WO2021029342A1 - 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム - Google Patents

情報処理装置、視線検出システム、視線検出方法および視線検出プログラム Download PDF

Info

Publication number
WO2021029342A1
WO2021029342A1 PCT/JP2020/030312 JP2020030312W WO2021029342A1 WO 2021029342 A1 WO2021029342 A1 WO 2021029342A1 JP 2020030312 W JP2020030312 W JP 2020030312W WO 2021029342 A1 WO2021029342 A1 WO 2021029342A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
user
light
event signal
line
Prior art date
Application number
PCT/JP2020/030312
Other languages
English (en)
French (fr)
Inventor
貴志 島津
平田　真一
小泉　誠
宏昌 長沼
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US17/630,496 priority Critical patent/US20220272256A1/en
Publication of WO2021029342A1 publication Critical patent/WO2021029342A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Definitions

  • the present invention relates to an information processing device, a line-of-sight detection system, a line-of-sight detection method, and a line-of-sight detection program.
  • An event-driven vision sensor in which pixels that detect a change in the intensity of incident light generate a signal asynchronously in time.
  • the event-driven vision sensor is advantageous in that it can operate at low power and high speed compared to a frame-type vision sensor that scans all pixels at predetermined cycles, specifically, an image sensor such as a CCD or CMOS. Is. Techniques for such an event-driven vision sensor are described in, for example, Patent Document 1 and Patent Document 2.
  • the present invention applies an information processing device, a line-of-sight detection system, and a line-of-sight detection capable of performing high-speed and highly accurate line-of-sight detection while suppressing a processing load by applying an event-driven vision sensor to the line-of-sight detection technology. It is an object of the present invention to provide a method and a line-of-sight detection program.
  • a light source control unit that changes the light intensity of a light source that irradiates the user's eye with light
  • a sensor that generates an event signal when a change in the intensity of incident light is detected.
  • the relative positional relationship between the receiver that receives the event signal indicating the position and time of the change in the intensity of the light reflected by the user's eye from the event-driven vision sensor, and the user's eye, light source, and vision sensor.
  • An information processing device including a line-of-sight detection unit that identifies a light source corresponding to an event signal and detects a user's line of sight based on an event signal generated at the same time as control by the light source control unit is provided.
  • a light source that irradiates the user's eye with light
  • a light source control unit that changes the light intensity of the light source, and an event signal are generated when a change in the intensity of incident light is detected.
  • An event-driven vision sensor composed of sensors, a receiver that receives an event signal indicating the position and time of a change in the intensity of light reflected by the user's eye from the vision sensor, and the user's eye, light source, and
  • a terminal device having a line-of-sight detection unit that identifies a light source corresponding to the event signal and detects the user's line of sight based on the relative positional relationship of the vision sensor and the event signal generated at the same time as the control by the light source control unit.
  • a line-of-sight detection system is provided.
  • the present invention is composed of a step of changing the light intensity of a light source that irradiates the user's eye with light, and a sensor that generates an event signal when a change in the intensity of incident light is detected.
  • a line-of-sight detection method including a step of identifying a light source corresponding to an event signal and detecting a user's line of sight based on an event signal generated at the same time as a change in the intensity of the light source is provided.
  • the present invention is composed of a function of changing the light intensity of a light source that irradiates the user's eye with light and a sensor that generates an event signal when a change in the intensity of incident light is detected.
  • a line-of-sight detection program is provided that enables a computer to identify a light source corresponding to an event signal based on an event signal generated at the same time as a change in the intensity of the light source and to detect a user's line of sight.
  • FIG. 1 is a block diagram showing a schematic configuration of a line-of-sight detection system 10 according to an embodiment of the present invention.
  • the line-of-sight detection system 10 may be incorporated into a device such as an HMD that is entirely mounted on the user's head, or a portion including an information processing device 200 described later is the user's head. It may be arranged at a position away from the portion.
  • the line-of-sight detection system 10 includes a first light source unit 101 and a second light source unit 102 including LEDs (Light Emitting Diodes), an event-driven vision sensor EDS (Event Driven Sensor) 103, and the like. Includes an information processing device 200.
  • the first light source unit 101, the second light source unit 102, and the EDS 103 are arranged in the vicinity of the user's eye, and each of the first light source unit 101, the second light source unit 102, and the EDS 103 is relative to the user's eye. Positional relationship is known.
  • the first light source unit 101 and the second light source unit 102 are provided with, for example, LEDs that emit infrared light, and are arranged at positions where the user's eyes can be irradiated with infrared light. Further, the first light source unit 101 and the second light source unit 102 are controlled by the information processing device 200. Details will be described later.
  • the EDS 103 is an example of a vision sensor that generates an event signal when the sensor detects a change in light intensity, and includes a sensor (not shown) constituting the sensor array and a processing circuit (not shown) connected to the sensor. ..
  • Each sensor includes a light receiving element and generates an event signal when it detects a change in the intensity of incident light, more specifically a change in luminance.
  • the EDS 103 is arranged at a position where the reflected image of the user's eye is incident, and generates an event signal when a change in brightness is detected in the reflected image of the user's eye. Since the sensor that does not detect the change in brightness does not generate the event signal, the event signal is generated asynchronously in time in the EDS 103.
  • the event signal generated by the EDS 103 is output to the information processing apparatus 200.
  • the event signal generated by the EDS 103 includes sensor identification information (for example, pixel position), brightness change polarity (rise or fall), time stamp, and the like.
  • the information processing device 200 is implemented by, for example, a computer having a communication interface, a processor, and a memory, and is realized by the processor operating according to a program stored in the memory or received via the communication interface. It includes the functions of 201, the receiving unit 202, the motion detecting unit 203, and the line-of-sight detecting unit 204. Further, the information processing apparatus 200 includes an irradiation pattern memory 205 for storing an irradiation pattern for controlling the first light source unit 101 and the second light source unit 102. The irradiation pattern memory 205 is referred to by the light source control unit 201 and the line-of-sight detection unit 204. The functions of each part will be further described below.
  • the light source control unit 201 When the light source control unit 201 receives a trigger described later from the motion detection unit 203, the light source control unit 201 transmits a control signal to the first light source unit 101 and the second light source unit 102 according to the irradiation pattern stored in the irradiation pattern memory 205. Specifically, the light source control unit 201 controls the lighting or extinguishing of each light source and the intensity of the light emitted from each light source. At this time, the light source control unit 201 independently controls the first light source unit 101 and the second light source unit 102 according to different irradiation patterns.
  • the receiving unit 202 receives the event signal generated by the EDS 103.
  • the event signal received by the receiving unit 202 is generated when the EDS 103 detects a change in brightness in the reflected image of the user's eye.
  • the first light source unit 101 and the second light source unit 102 are controlled by the light source control unit 201 described above, the reflected image of the user's eye undergoes a brightness change due to the control by the light source control unit 201, and the brightness change thereof.
  • the event signal generated due to the above is received by the receiving unit 202.
  • the receiving unit 202 receives an event signal indicating a position corresponding to the first light source unit 101 and a polarity corresponding to the lighting. Further, for example, when the second light source unit 102 is turned off by the light source control unit 201, the receiving unit 202 receives an event signal indicating the position corresponding to the second light source unit 102 and the polarity corresponding to the turning off. ..
  • FIG. 2 is a schematic diagram showing an event signal generated when the user's line of sight moves in the horizontal direction. Regions a1 and a2 in FIG. 2 indicate that the polarity of the luminance change is in the first direction (either + or ⁇ ), and regions a3 and a4 indicate that the polarity of the luminance change is opposite to the first direction. Indicates that the direction is the second direction (the opposite of the first direction among + and-). As shown in FIG.
  • an event signal showing the same polarity is generated on the same side of the EDS 103 in each of the left and right pupils. Further, in each pupil, an event signal showing opposite polarities to the inner and outer corners of the eye is generated with respect to the pupil.
  • the event signal generated according to the movement of the user's line of sight is characterized in position and polarity.
  • the motion detection unit 203 detects the presence or absence of movement of the user's line of sight and the approximate direction by collating the pattern prepared in advance corresponding to such a feature with the event signal received by the reception unit 202. Although the event signal is generated even when the user blinks, the motion detection unit 203 can distinguish between the movement of the user's line of sight and the blink by using the above pattern.
  • the first light source unit 101 and the second light source unit 102 may be turned off.
  • the EDS 103 generates an event signal according to the movement of the user's line of sight, so that the motion detection unit 203 can be used. Whether or not the user's line of sight moves can be detected regardless of whether the first light source unit 101 and the second light source unit 102 are turned on or off.
  • the motion detection unit 203 detects the movement of the user's line of sight as described above, the motion detection unit 203 transmits a trigger for starting the control of the first light source unit 101 and the second light source unit 102 to the light source control unit 201.
  • the control started by the light source control unit 201 by this trigger is for more accurately detecting the line of sight of the user.
  • the light source control unit 201 is the first light source unit 101 and the second light source unit 102. Is turned on or off according to the irradiation pattern stored in the irradiation pattern memory 205, respectively.
  • the motion detection unit 203 supplies the line-of-sight detection unit 204 with information indicating the result of the motion detection.
  • the line-of-sight detection unit 204 detects the user's line of sight based on the event signal received by the receiving unit 202.
  • the reflected images of the first light source unit 101 and the second light source unit 102 will be described with reference to FIG.
  • the upper part of FIG. 3 shows the relationship between the first light source unit 101 and the second light source unit 102 and the line of sight of the user, and the lower part shows the position of the reflected image in the event signal generated in each state.
  • FIG. 3 shows the case where the user's line of sight is directed in the arrow g1 direction
  • the center figure shows the case where the user's line of sight is pointed in the arrow g2 direction
  • the right side figure shows the case where the user's line of sight is directed in the arrow g2 direction.
  • the positions of the reflection images r1, r2, and r3 of the light source change according to the direction of the user's line of sight.
  • the line-of-sight detection unit 204 has a known relative positional relationship between each of the first light source unit 101, the second light source unit 102, and the EDS 103 and the user's eye. Based on the event signal received by the receiving unit 202, the relative positions of the user's eyes and the reflected images r1, r2, r3 of the light source are specified, and the direction of the user's line of sight is detected by performing a geometric calculation. can do. A method for discriminating between the reflected image of the light irradiated by the first light source unit 101 and the reflected image of the light irradiated by the second light source unit 102 in the event signal will be described later.
  • FIG. 4 is a flowchart showing an example of a user's line-of-sight detection method according to an embodiment of the present invention.
  • the receiving unit 202 of the information processing apparatus 200 receives the event signal generated by the EDS 103 (step S101), and the motion detecting unit 203 detects the presence or absence of movement of the user's line of sight based on the event signal. (Step S102).
  • the motion detection unit 203 determines whether or not there is a movement of the user's line of sight (step S103), and when there is a movement of the user's line of sight, the line of sight detection unit 204 performs a line of sight detection process described later (step S104).
  • the motion detection unit 203 detects the presence or absence of the movement of the user's line of sight (step S105), and the line-of-sight detection unit 204 repeats the line-of-sight detection process while the user's line of sight moves.
  • the line-of-sight detection process is not performed until it is next determined that there is movement of the user's line of sight based on the event signal (steps S101 to S103).
  • FIG. 5 is a flowchart showing the details of the line-of-sight detection process in FIG. 4, and FIG. 6 is a diagram for explaining the light source control at the time of executing the flowchart described in FIG.
  • the light source control unit 201 of the information processing apparatus 200 transmits a control signal to simultaneously light the first light source unit 101 and the second light source unit 102 (step S201).
  • the receiving unit 202 receives the event signal generated by the EDS 103 (step S202).
  • the event signal received by the receiving unit 202 in step S202 is generated in response to the change in light intensity caused by turning on the first light source unit 101 and the second light source unit 102 in step S201. It is an event signal.
  • the event signal generated by the EDS 103 is generated asynchronously in time and at high speed, so that the first light source unit 101 and the second light source unit 102 are lit almost simultaneously.
  • the EDS 103 also generates an event signal indicating the lighting of each light source almost at the same time. Therefore, in FIG. 6, the time when the light source control unit 201 turns on the first light source unit 101 and the second light source unit 102 in step S201 and the time (time stamp) of the event signal received in step S202 are both times. It is set to t0.
  • the motion detection unit 203 determines whether or not a predetermined time has elapsed since the first light source unit 101 and the second light source unit 102 were turned on at the same time and the time has reached t1 (step S203). Then, when the time reaches t1, the light source control unit 201 transmits a control signal to turn off the first light source unit 101 (step S204). At this time, the receiving unit 202 receives the event signal generated by the EDS 103 (step S205). The event signal received by the receiving unit 202 in step S205 is an event signal generated in response to a change in light intensity caused by turning off the first light source unit 101 in step S204.
  • step S201 similarly to the relationship between step S201 and step S202, the time when the light source control unit 201 turned off the first light source unit 101 in step S204 and the event signal received in step S205.
  • the time (time stamp) is set to time t1.
  • the motion detection unit 203 determines whether or not a predetermined time has elapsed since the first light source unit 101 was turned off and the time has reached t2 (step S206). Then, when the time reaches t2, the light source control unit 201 transmits a control signal to turn off the second light source unit 102 (step S207). At this time, the receiving unit 202 receives the event signal generated by the EDS 103 (step S208). The event signal received by the receiving unit 202 in step S208 is an event signal generated in response to a change in light intensity caused by turning off the second light source unit 102 in step S207.
  • the time (time stamp) of the event signal received in is set to time t2.
  • the line-of-sight detection unit 204 detects the user's line of sight based on the event signal received by the receiving unit 202 in steps S202, S205, and S208 (step S209).
  • the following information is specified at the time of step S209 by the information given in advance and the event signal received by the receiving unit 202 in steps S202, S205, and S208.
  • -Relative positional relationship between the first light source unit 101 and the second light source unit 102 and the user's eye-The state of the first light source unit 101 and the second light source unit 102 being turned off or lit in time series-The EDS 103 and the user Relative positional relationship with the eye ⁇ Position where events occur in time series ⁇ Polarity of brightness change ⁇ Time stamp
  • the first light source unit 101 and the second light source unit 102 are turned on at the same time, so that the brightness changes to the positions corresponding to the first light source unit 101 and the second light source unit 102, respectively. Events with the same polarity occur. Therefore, at time t0, an event signal indicating an event generated due to the lighting of the first light source unit 101 and the second light source unit 102 is generated.
  • the polarity of the brightness change is in the direction opposite to the time t0 and at the time t1 only at the position corresponding to the second light source unit 102.
  • An event occurs in the same direction as. Since the first light source unit 101 is still turned off at time t2 and the brightness does not change, no event occurs at the position corresponding to the first light source unit 101. Therefore, at time t2, an event signal indicating only the event generated due to the extinguishing of the second light source unit 102 is generated.
  • the event signal is generated by the EDS 103 at the same time as the control by the light source control unit 201, it can be determined which light source the generated event signal is based on the brightness change in the reflected image of the light emitted by which light source. It is identifiable.
  • the line-of-sight detection unit 204 can easily grasp at which position and what polarity the event occurred due to the lighting or extinguishing of each light source at each time. it can. Therefore, the line-of-sight detection unit 204 can detect the user's line of sight without complicated calculations based on the event signal generated at the timing when the first light source unit 101 and the second light source unit 102 are turned off or turned on. ..
  • the user's line of sight can be detected by the pupillary corneal reflex method using, for example, the positions of the reflected lights of the first light source unit 101 and the second light source unit 102.
  • the line-of-sight detection unit 204 may use the detection result of the presence or absence of movement of the user's line of sight performed in step S102 of FIG. 4 when detecting the line of sight. For example, the range of line-of-sight detection performed in step S209 of FIG. 5 may be limited based on the detection result of step S102.
  • the first light source unit 101 and the second light source unit 102 are in a state of being turned off. That is, when the user's line-of-sight detection process is started, the first light source unit 101 and the second light source unit 102 are turned on, and when the line-of-sight detection process is completed, the first light source unit 101 and the second light source unit 102 are turned off. Will be done. Therefore, since the first light source unit 101 and the second light source unit 102 are turned on only at the required timing, reduction in power consumption can be expected.
  • the line-of-sight detection process shown in FIGS. 5 and 6 is executed when the movement of the user's line of sight is detected.
  • the line-of-sight detection shown in FIGS. 5 and 6 is performed. It may be configured to perform processing at all times.
  • an example was shown in which the first light source unit 101 and the second light source unit 102 were turned on at the same timing and then turned off at different timings. Not limited. For example, each light source unit may be turned on at different timings.
  • the light source control unit 201 that changes the light intensity of the first light source unit 101 and the second light source unit 102 that irradiate the user's eyes with light, and the user's eyes. It includes an EDS 103 that generates an event signal indicating the position and time of a change in the intensity of the reflected light. Then, the event signal is supported based on the relative positional relationship between the user's eyes, the first light source unit 101, the second light source unit 102, and the EDS 103, and the event signal generated at the same time as the control by the light source control unit 201. Identify the light source to be used and detect the user's line of sight.
  • the time information of the light source control by the light source control unit 201 and the time information of the event signal generation by the EDS 103 are used to control the first light source unit 101 and the second light source unit 102 and the event signal generation by the EDS 103. Correlation can be accurately identified. Therefore, it is possible to perform high-speed and highly accurate line-of-sight detection while suppressing the processing load.
  • an event signal caused by the control of the light source occurs almost at the same time as the control of the light source by the light source control unit 201.
  • Is generated by EDS103 so that the accuracy of time information is high. Therefore, it is possible to reduce the processing load related to control and calculation, and it is possible to perform real-time and highly accurate processing.
  • the EDS 103 is a vision sensor that generates an event signal only when the sensor detects a change in light intensity, it is possible to reduce power consumption as compared with the case where an image sensor is used for constant imaging. it can.
  • the correlation between the control of the first light source unit 101 and the second light source unit 102 and the generation of the event signal by the EDS 103 is accurately specified, it is not easily affected by the outside light even outdoors.
  • the motion detection unit 203 detects the presence or absence of movement of the user's line of sight from the event signal, and when the movement of the user's line of sight is detected, the light source control unit 201 starts controlling the light source. Therefore, by performing the line-of-sight detection process only when the user's line-of-sight may have moved, unnecessary light source control and line-of-sight detection processing are avoided while maintaining the required accuracy, and power consumption is further reduced. be able to.
  • the light source control unit 201 independently controls the light intensity of the first light source unit 101 and the second light source unit 102, and the line-of-sight detection unit 204 is the first in the event signal.
  • the position where the event occurred due to the change in the light intensity of the light source unit 101 was specified as the position of the reflected light of the first light source unit 101, and the event occurred due to the change in the light intensity of the second light source unit 102.
  • the position is specified as the position of the reflected light of the second light source unit 102.
  • the event signal is obtained when the event signal generated by the EDS 103 is obtained at the same time as the control of the light source by the light source control unit 201.
  • the light source corresponding to can be easily specified.
  • the line-of-sight detection system 10 described in the above example may be mounted in a single device or may be mounted in a plurality of devices in a distributed manner.
  • the entire line-of-sight detection system 10 may be mounted on a terminal device including an HMD or the like, or the information processing device 200 may be separately mounted on a server device.
  • the irradiation pattern of the light source and the event signal are saved as data associated in chronological order, and then the line-of-sight detection process is performed after the fact. May be.
  • the line-of-sight detection process may be performed by a device for each of the light source control unit, the reception unit, and the motion detection unit.
  • each light source is relative to the user's eye. As long as the positional relationship is specified, it may be one light source or may include three or more light sources. In particular, in a configuration including three or more light sources, it can be expected that more detailed information such as three-dimensional information can be obtained by turning on or off some or all the light sources at different timings. Further, in the line-of-sight detection system 10 described in the above example, an example in which two light sources (first light source unit 101 and second light source unit 102) are turned on or off in the line-of-sight detection process is shown, but the light sources are completely turned on. The intensity of the light emitted from each light source may be changed without turning off the light.
  • an example including one vision sensor (EDS103) is shown, but if the relative positional relationship between each vision sensor and the user's eye is specified, , May include a plurality of vision sensors.
  • a configuration including a plurality of vision sensors it can be expected that more detailed information such as three-dimensional information can be acquired by devising the arrangement of each sensor and the control of the light source.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザーの眼に光を照射する光源の光の強度を変化させる光源制御部と、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信する受信部と、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源制御部による制御と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する視線検出部とを備える情報処理装置が提供される。

Description

情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
　本発明は、情報処理装置、視線検出システム、視線検出方法および視線検出プログラムに関する。
　入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。 
このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
　しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置と組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
　そこで、本発明は、イベント駆動型のビジョンセンサを視線検出技術に適用することによって、処理負荷を抑えつつ、高速かつ高精度な視線検出を行うことができる情報処理装置、視線検出システム、視線検出方法および視線検出プログラムを提供することを目的とする。
　本発明のある観点によれば、ユーザーの眼に光を照射する光源の光の強度を変化させる光源制御部と、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信する受信部と、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源制御部による制御と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する視線検出部とを備える情報処理装置が提供される。
　本発明の別の観点によれば、ユーザーの眼に光を照射する光源と、光源の光の強度を変化させる光源制御部と、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサと、ビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信する受信部、および、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源制御部による制御と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する視線検出部を有する端末装置とを備える視線検出システムが提供される。
　本発明のさらに別の観点によれば、ユーザーの眼に光を照射する光源の光の強度を変化させるステップと、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信するステップと、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源の強度の変化と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出するステップとを含む視線検出方法が提供される。
　本発明のさらに別の観点によれば、ユーザーの眼に光を照射する光源の光の強度を変化させる機能と、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を受信する機能と、ユーザーの眼、光源、およびビジョンセンサの相対的な位置関係と、光源の強度の変化と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する機能とをコンピュータに実現させる視線検出プログラムが提供される。
　上記の構成によれば、イベント駆動型のビジョンセンサを視線検出技術に適用することによって、処理負荷を抑えつつ、高速かつ高精度な視線検出を行うことができる。
本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の一実施形態における動き検出について概略的に説明するための図である。 本発明の一実施形態における視線検出について概略的に説明するための図である。 本発明の一実施形態に係る処理方法の例を示すフローチャートである。 本発明の一実施形態に係る処理方法の例を示すフローチャート（詳細）である。 本発明の一実施形態における光源制御について概略的に説明するための図である。
　以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の一実施形態に係る視線検出システム１０の概略的な構成を示すブロック図である。本発明の一実施形態に係る視線検出システム１０は、例えば全体がユーザーの頭部に装着されるＨＭＤなどの装置に組み込まれてもよいし、後述する情報処理装置２００を含む部分がユーザーの頭部から離れた位置に配置されるものであってもよい。
　図示された例において、視線検出システム１０は、ＬＥＤ（Light Emitting Diode）を備える第１光源部１０１および第２光源部１０２と、イベント駆動型のビジョンセンサであるＥＤＳ（Event Driven Sensor）１０３と、情報処理装置２００とを含む。このうち
、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３はユーザーの眼の近傍に配置され、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３のそれぞれとユーザーの眼との相対的な位置関係は既知である。
　第１光源部１０１および第２光源部１０２は、例えば、赤外光を発光するＬＥＤを備え、ユーザーの眼に赤外光を照射可能な位置に配置される。また、第１光源部１０１および第２光源部１０２は、情報処理装置２００により制御される。詳細は後述する。
　ＥＤＳ１０３は、センサが光の強度変化を検出したときにイベント信号を生成するビジョンセンサの例であり、センサアレイを構成する不図示のセンサと、センサに接続される不図示の処理回路とを含む。各センサは、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。本実施形態において、ＥＤＳ１０３はユーザーの眼の反射像が入射される位置に配置され、ユーザーの眼の反射像に輝度変化を検出したときにイベント信号を生成する。輝度変化を検出しなかったセンサはイベント信号を生成しないため、ＥＤＳ１０３においてイベント信号は時間非同期的に生成される。ＥＤＳ１０３で生成されたイベント信号は、情報処理装置２００に出力される。
　ＥＤＳ１０３で生成されるイベント信号は、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプなどを含む。
　情報処理装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される光源制御部２０１、受信部２０２、動き検出部２０３、視線検出部２０４の機能を含む。また、情報処理装置２００は、第１光源部１０１および第２光源部１０２を制御するための照射パターンを格納する照射パターンメモリ２０５を備える。照射パターンメモリ２０５は、光源制御部２０１および視線検出部２０４により参照される。以下、各部の機能についてさらに説明する。
　光源制御部２０１は、動き検出部２０３から後述するトリガを受信すると、照射パターンメモリ２０５に格納された照射パターンに従って、第１光源部１０１および第２光源部１０２に制御信号を送信する。具体的には、光源制御部２０１は、各光源の点灯または消灯の制御や、各光源から照射する光の強度の制御を行う。このとき、光源制御部２０１は、異なる照射パターンに従って、第１光源部１０１および第２光源部１０２を独立に制御する。
　受信部２０２は、ＥＤＳ１０３で生成されたイベント信号を受信する。ここで、受信部２０２が受信するイベント信号は、ＥＤＳ１０３がユーザーの眼の反射像に輝度変化を検出したときに生成されたものである。特に、上述した光源制御部２０１によって第１光源部１０１および第２光源部１０２が制御された場合、ユーザーの眼の反射像には光源制御部２０１による制御によって輝度変化が発生し、その輝度変化に起因して生成されたイベント信号が受信部２０２により受信される。例えば光源制御部２０１によって第１光源部１０１が点灯された場合には、第１光源部１０１に対応する位置と、点灯に対応する極性とを示すイベント信号が受信部２０２により受信される。また、例えば光源制御部２０１によって第２光源部１０２が消灯された場合には、第２光源部１０２に対応する位置と、消灯に対応する極性とを示すイベント信号が受信部２０２により受信される。
　動き検出部２０３は、受信部２０２が受信したイベント信号に基づき、ユーザーの視線の動きの有無を検出する。図２は、ユーザーの視線が水平方向に移動した場合に生成されるイベント信号を示す模式図である。図２の領域ａ１およびａ２は、輝度変化の極性が第１の方向（＋または－の何れか）であることを示し、領域ａ３およびａ４は、輝度変化の極性が第１の方向とは反対の第２の方向（＋および－のうち、第１の方向の反対）であることを示す。図２に示されるように、ユーザーの視線が水平方向に移動すると、左右それぞれの瞳において、ＥＤＳ１０３から見て同じ側に同じ極性を示すイベント信号が生成される。また、それぞれの瞳においては、瞳に対して目頭側および目尻側に反対の極性を示すイベント信号が生成される。
　このように、ユーザーの視線の動きに応じて生成されるイベント信号は、位置および極性に特徴を有する。動き検出部２０３は、このような特徴に対応して予め用意されたパターンを受信部２０２が受信したイベント信号と照合することにより、ユーザーの視線の動きの有無や、おおよその向きを検出する。なお、イベント信号はユーザーが瞬きをした場合にも生成されるが、動き検出部２０３は、上記のパターンを用いてユーザーの視線の動きと、瞬きとを区別することができる。
　なお、詳細は後述するが、上述した動き検出部２０３による検出の時点では、第１光源部１０１および第２光源部１０２が消灯されている場合がある。しかし、第１光源部１０１および第２光源部１０２によりユーザーの眼に光が照射されていなくても、ユーザーの視線の動きに応じてＥＤＳ１０３はイベント信号を生成するため、動き検出部２０３は、第１光源部１０１および第２光源部１０２の点灯または消灯にかかわらず、ユーザーの視線の動きの有無を検出することができる。
　そして、動き検出部２０３は、上述したようにユーザーの視線の動きを検出すると、第１光源部１０１および第２光源部１０２の制御を開始させるトリガを、光源制御部２０１に送信する。このトリガにより光源制御部２０１が開始する制御は、ユーザーの視線検出をより正確に行うためのものであり、本実施形態では、光源制御部２０１は、第１光源部１０１および第２光源部１０２をそれぞれ照射パターンメモリ２０５に格納された照射パターンに従って点灯または消灯させる。
　また、動き検出部２０３は、動き検出の結果を示す情報を視線検出部２０４に供給する。
　視線検出部２０４は、受信部２０２が受信したイベント信号に基づいて、ユーザーの視線を検出する。
　ここで、第１光源部１０１および第２光源部１０２の反射像について、図３を用いて説明する。図３の上段は第１光源部１０１および第２光源部１０２とユーザーの視線との関係を示し、下段は、それぞれの状態で生成されるイベント信号における反射像の位置を示す。また、図３の左側の図はユーザーの視線が矢印ｇ１方向を向いている場合を示し、中央の図はユーザーの視線が矢印ｇ２方向を向いている場合を示し、右側の図はユーザーの視線が矢印ｇ３方向を向いている場合を示す。図３に示されるように、ユーザーの視線の向きに応じて、光源の反射像ｒ１，ｒ２，ｒ３の位置が変化する。
　上述したように、視線検出システム１０において、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３のそれぞれとユーザーの眼との相対的な位置関係は既知であるため、視線検出部２０４は、受信部２０２が受信したイベント信号に基づき、ユーザーの瞳と光源の反射像ｒ１，ｒ２，ｒ３との相対的な位置を特定し、幾何的な演算を行うことにより、ユーザーの視線の方向を検出することができる。なお、イベント信号において第１光源部１０１が照射した光の反射像と第２光源部１０２が照射した光の反射像とを識別する方法については後述する。
　図４は、本発明の一実施形態に係るユーザーの視線検出方法の例を示すフローチャートである。図示された例では、情報処理装置２００の受信部２０２がＥＤＳ１０３により生成されたイベント信号を受信し（ステップＳ１０１）、動き検出部２０３がイベント信号に基づいてユーザーの視線の動きの有無を検出する（ステップＳ１０２）。動き検出部２０３はユーザーの視線の動きがあるか否かを判断し（ステップＳ１０３）、ユーザーの視線の動きがある場合に、視線検出部２０４が後述する視線検出処理を行う（ステップＳ１０４）。視線検出処理の開始後にも動き検出部２０３はユーザーの視線の動きの有無を検出し（ステップＳ１０５）、ユーザーの視線の動きがある間は視線検出部２０４が視線検出処理を繰り返す。一方、ユーザーの視線の動きがない場合には、次にイベント信号に基づいてユーザーの視線の動きがあると判断されるまで視線検出処理は行われない（ステップＳ１０１～Ｓ１０３）。
　図５は、図４における視線検出処理の詳細を示すフローチャートであり、図６は、図５で説明するフローチャート実行時の光源制御について説明するための図である。図示された例では、情報処理装置２００の光源制御部２０１が制御信号を送信して第１光源部１０１および第２光源部１０２を同時に点灯させる（ステップＳ２０１）。このとき、受信部２０２は、ＥＤＳ１０３により生成されたイベント信号を受信する（ステップＳ２０２）。ステップＳ２０２で受信部２０２が受信したイベント信号は、ステップＳ２０１で第１光源部１０１および第２光源部１０２を点灯されたことによって光の強度変化が発生し、その強度変化に応じて生成されたイベント信号である。
　ここで、ＥＤＳ１０３により生成されるイベント信号は、例えば従来のフレーム型ビジョンセンサとは異なり時間非同期的に、かつ高速に生成されるため、第１光源部１０１および第２光源部１０２をほぼ同時に点灯させた場合、ＥＤＳ１０３でもほぼ同時にそれぞれの光源の点灯を示すイベント信号が生成される。したがって、図６では、ステップＳ２０１で光源制御部２０１が第１光源部１０１および第２光源部１０２を点灯させた時刻、およびステップＳ２０２で受信されたイベント信号の時刻（タイムスタンプ）をいずれも時刻ｔ０としている。
　次に、動き検出部２０３は、第１光源部１０１および第２光源部１０２が同時に点灯されてから所定の時間が経過し、時刻がｔ１となったか否かを判断する（ステップＳ２０３）。そして、時刻がｔ１となった場合、光源制御部２０１が制御信号を送信して第１光源部１０１を消灯させる（ステップＳ２０４）。このとき、受信部２０２は、ＥＤＳ１０３により生成されたイベント信号を受信する（ステップＳ２０５）。ステップＳ２０５で受信部２０２が受信したイベント信号は、ステップＳ２０４で第１光源部１０１を消灯させたことによって光の強度変化が発生し、その強度変化に応じて生成されたイベント信号である。
　ここで、図６では、上記のステップＳ２０１とステップＳ２０２との関係と同様に、ステップＳ２０４で光源制御部２０１が第１光源部１０１を消灯させた時刻、およびステップＳ２０５で受信されたイベント信号の時刻（タイムスタンプ）は、いずれも時刻ｔ１としている。
　次に、動き検出部２０３は、第１光源部１０１が消灯されてから所定の時間が経過し、時刻がｔ２となったか否かを判断する（ステップＳ２０６）。そして、時刻がｔ２となった場合、光源制御部２０１が制御信号を送信して第２光源部１０２を消灯させる（ステップＳ２０７）。このとき、受信部２０２は、ＥＤＳ１０３により生成されたイベント信号を受信する（ステップＳ２０８）。ステップＳ２０８で受信部２０２が受信したイベント信号は、ステップＳ２０７で第２光源部１０２を消灯させたことによって光の強度変化が発生し、その強度変化に応じて生成されたイベント信号である。
　ここで、図６では、上記のステップＳ２０１およびステップＳ２０２の関係やステップＳ２０４およびステップＳ２０５の関係と同様に、ステップＳ２０７で光源制御部２０１が第２光源部１０２を消灯させた時刻、およびステップＳ２０８で受信されたイベント信号の時刻（タイムスタンプ）は、いずれも時刻ｔ２としている。
　最後に、視線検出部２０４は、ステップＳ２０２，Ｓ２０５，Ｓ２０８において受信部２０２が受信したイベント信号に基づいて、ユーザーの視線を検出する（ステップＳ２０９）。
　ここで、予め与えられている情報、およびステップＳ２０２，Ｓ２０５，Ｓ２０８において受信部２０２が受信したイベント信号によって、ステップＳ２０９の時点では以下の情報が特定されている。
　・第１光源部１０１および第２光源部１０２とユーザーの眼との相対的な位置関係
　・第１光源部１０１および第２光源部１０２の時系列での消灯または点灯の状態
　・ＥＤＳ１０３とユーザーの眼との相対的な位置関係
　・時系列のイベントの発生位置
　・輝度変化の極性
　・タイムスタンプ
　例えば、図６の時刻ｔ０においては、第１光源部１０１および第２光源部１０２が同時に点灯されることにより、第１光源部１０１および第２光源部１０２のそれぞれに対応する位置に、輝度変化の極性が同じイベントが発生する。したがって、時刻ｔ０においては、第１光源部１０１および第２光源部１０２の点灯に起因して発生したイベントを示すイベント信号が生成される。
　次に、図６の時刻ｔ１においては、第１光源部１０１のみが消灯されることにより、第１光源部１０１に対応する位置のみに、輝度変化の極性が時刻ｔ０とは反対の方向であるイベントが発生する。なお、時刻ｔ１において第２光源部１０２は点灯されたままであり、輝度変化が発生しないため、第２光源部１０２に対応する位置にはイベントが発生しない。したがって、時刻ｔ１においては、第１光源部１０１の消灯に起因して発生したイベントのみを示すイベント信号が生成される。
　そして、図６の時刻ｔ２においては、第２光源部１０２が消灯されることにより、第２光源部１０２に対応する位置のみに、輝度変化の極性が時刻ｔ０とは反対の方向、かつ時刻ｔ１とは同じ方向であるイベントが発生する。なお、時刻ｔ２において第１光源部１０１は消灯されたままであり、輝度変化が発生しないため、第１光源部１０１に対応する位置にはイベントが発生しない。したがって、時刻ｔ２においては、第２光源部１０２の消灯に起因して発生したイベントのみを示すイベント信号が生成される。
　このように、光源制御部２０１による制御と同時にＥＤＳ１０３によってイベント信号が生成されるため、生成された各イベント信号が、いずれの光源が照射した光の反射像における輝度変化に基づくものであるかを識別可能である。
　したがって、ステップＳ２０９の時点で、視線検出部２０４は、各時刻において、各光源の点灯または消灯に起因して、どの位置にどのような極性を有するイベントが発生したのかを容易に把握することができる。そのため、視線検出部２０４は、第１光源部１０１および第２光源部１０２が消灯または点灯されたタイミングで生成されたイベント信号に基づき、複雑な計算なしにユーザーの視線の検出を行うことができる。ユーザーの視線は、例えば第１光源部１０１および第２光源部１０２のそれぞれの反射光の位置を利用して瞳孔角膜反射法によって検出することができる。視線検出部２０４は、視線の検出を行う際に、図４のステップＳ１０２で行ったユーザーの視線の動きの有無の検出結果を用いてもよい。例えば、ステップＳ１０２の検出結果に基づいて、図５のステップＳ２０９で行う視線検出の範囲などを限定してもよい。
　ここで、図５および図６に示されるように、説明した視線検出処理が終了する時点で、第１光源部１０１および第２光源部１０２は消灯された状態である。つまり、ユーザーの視線検出処理が開始されると、第１光源部１０１および第２光源部１０２が点灯され、視線検出処理が終了する時点では、第１光源部１０１および第２光源部１０２が消灯されることになる。したがって、第１光源部１０１および第２光源部１０２が点灯されるのは必要なタイミングに限定されるので、消費電力の低減が期待できる。
　なお、図４に示した例では、ユーザーの視線の動きを検出した場合に図５および図６で示した視線検出処理を実行する例を示したが、図５および図６で示した視線検出処理を常時行う構成としてもよい。また、図５および図６に示した例では、第１光源部１０１および第２光源部１０２を同じタイミングで点灯させた後に、異なるタイミングで消灯させる例を示したが、本発明はこの例に限定されない。例えば、それぞれの光源部を異なるタイミングで点灯させてもよい。
　以上で説明したような本発明の一実施形態では、ユーザーの眼に光を照射する第１光源部１０１および第２光源部１０２の光の強度を変化させる光源制御部２０１と、ユーザーの眼で反射する光の強度変化の位置および時刻を示すイベント信号を生成するＥＤＳ１０３とを備える。そして、ユーザーの眼、第１光源部１０１、第２光源部１０２、およびＥＤＳ１０３の相対的な位置関係と、光源制御部２０１による制御と同時に生成されるイベント信号とに基づいて、イベント信号に対応する光源を特定し、ユーザーの視線を検出する。したがって、光源制御部２０１による光源の制御の時間情報と、ＥＤＳ１０３によるイベント信号生成の時間情報とを利用し、第１光源部１０１および第２光源部１０２の制御と、ＥＤＳ１０３によるイベント信号の生成との相関を正確に特定することができる。そのため、処理負荷を抑えつつ、高速かつ高精度な視線検出を行うことができる。
　なお、視線検出処理については、リアルタイムでの処理が求められる場合も多いが、本発明の一実施形態によれば、光源制御部２０１による光源の制御とほぼ同時に、光源の制御に起因したイベント信号がＥＤＳ１０３によって生成されるため、時間情報の精度が高い。そのため、制御や演算に関する処理負荷を軽くすることが可能であり、リアルタイムかつ高精度な処理を行うことができる。また、ＥＤＳ１０３は、センサが光の強度変化を検出したときにのみ、イベント信号を生成するビジョンセンサであるため、イメージセンサを利用して常時撮像を行う場合に比べて、消費電力を抑えることができる。また、第１光源部１０１および第２光源部１０２の制御と、ＥＤＳ１０３によるイベント信号の生成との相関が正確に特定されるので、屋外等であっても外光の影響を受けにくい。
　また、本発明の一実施形態では、動き検出部２０３によりイベント信号からユーザーの視線の動きの有無を検出し、ユーザーの視線の動きを検出すると、光源制御部２０１による光源の制御を開始する。したがって、ユーザーの視線が動いた可能性がある場合に限定して視線検出処理を行うことにより、必要な精度を維持しつつ、不要な光源制御や視線検出処理を避け、消費電力をさらに低減することができる。
　また、本発明の一実施形態では、光源制御部２０１は、第１光源部１０１および第２光源部１０２について、光の強度を独立に制御し、視線検出部２０４は、イベント信号において、第１光源部１０１の光の強度変化に起因してイベントが発生した位置を第１光源部１０１の反射光の位置として特定し、第２光源部１０２の光の強度変化に起因してイベントが発生した位置を第２光源部１０２の反射光の位置として特定する。したがって、第１光源部１０１および第２光源部１０２を互いに異なるタイミングで点灯または消灯させることにより、光源制御部２０１による光源の制御と同時にＥＤＳ１０３により生成されるイベント信号を得る際に、そのイベント信号に対応する光源を容易に特定することができる。
　なお、上記の例で説明された視線検出システム１０は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、ＨＭＤなどを含む端末装置に視線検出システム１０全体を実装してもよいし、情報処理装置２００をサーバー装置に分離して実装してもよい。また、マーケティングなどを目的としたデータ分析などの用途を想定し、光源の照射パターンとイベント信号とを時系列上で対応付けられたデータとして保存した上で、事後的に視線検出処理を行う構成としてもよい。この場合、視線検出処理は、光源制御部、受信部、および動き検出部別の装置で行う構成としてもよい。
　また、上記の例で説明された視線検出システム１０では、２つの光源（第１光源部１０１および第２光源部１０２）を含む例を示したが、各光源とユーザーの眼との相対的な位置関係が特定されていれば、１つの光源であってもよいし、３つ以上の光源を含んでもよい。特に、３つ以上の光源を含む構成では、一部またはすべての光源を互いに異なるタイミングで点灯または消灯させることにより、三次元情報などのさらに詳細な情報を取得することが期待できる。
　また、上記の例で説明された視線検出システム１０では、視線検出処理において、２つの光源（第１光源部１０１および第２光源部１０２）を点灯または消灯させる例を示したが、光源を完全には消灯せず、各光源から照射する光の強度を変更する構成としてもよい。
　また、上記の例で説明された視線検出システム１０では、１つのビジョンセンサ（ＥＤＳ１０３）を含む例を示したが、各ビジョンセンサとユーザーの眼との相対的な位置関係が特定されていれば、複数のビジョンセンサを含んでもよい。特に、複数のビジョンセンサを含む構成では、各センサの配置や光源の制御などを工夫することにより、三次元情報などのさらに詳細な情報を取得することが期待できる。
　以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０…視線検出システム、１０１…第１光源部、１０２…第２光源部、１０３…ＥＤＳ、２００…情報処理装置、２０１…光源制御部、２０２…受信部、２０３…動き検出部、２０４…視線検出部、２０５…照射パターンメモリ

Claims (6)

  1. 　ユーザーの眼に光を照射する光源の光の強度を変化させる光源制御部と、
    　入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信する受信部と、
    　前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源制御部による制御と同時に生成される前記イベント信号とに基づいて、前記イベント信号に対応する前記光源を特定し、前記ユーザーの視線を検出する視線検出部と
    　を備える情報処理装置。
  2. 　前記イベント信号から前記ユーザーの視線の動きの有無を検出する動き検出部をさらに備え、
    　前記光源制御部は、前記動き検出部が前記ユーザーの視線の動きを検出すると、前記光源の制御を開始する、請求項１に記載の情報処理装置。
  3. 　前記光源制御部は、少なくとも第１の光源および第２の光源を含む複数の前記光源について、前記光の強度を独立に制御し、
    　前記視線検出部は、前記イベント信号において、前記第１の光源の前記光の強度変化に起因してイベントが発生した位置を前記第１の光源の反射光の位置として特定し、前記第２の光源の前記光の強度変化に起因してイベントが発生した位置を前記第２の光源の反射光の位置として特定する、請求項１又は請求項２に記載の情報処理装置。
  4. 　ユーザーの眼に光を照射する光源と、
    　前記光源の光の強度を変化させる光源制御部と、
    　入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサと、
    　　前記ビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信する受信部、および、
    　　前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源制御部による制御と同時に生成される前記イベント信号とに基づいて、前記イベント信号に対応する前記光源を特定し、前記ユーザーの視線を検出する視線検出部
    　を有する端末装置と
    　を備える視線検出システム。
  5. 　ユーザーの眼に光を照射する光源の光の強度を変化させるステップと、
    　入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信するステップと、
    　前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源の光の強度の変化と同時に生成される前記イベント信号とに基づいて、前記イベント信号に対応する前記光源を特定し、前記ユーザーの視線を検出するステップと
    　を含む視線検出方法。
  6. 　ユーザーの眼に光を照射する光源の光の強度を変化させる機能と、
    　入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるイベント駆動型のビジョンセンサから、前記ユーザーの眼で反射する前記光の強度変化の位置および時刻を示す前記イベント信号を受信する機能と、
    　前記ユーザーの眼、前記光源、および前記ビジョンセンサの相対的な位置関係と、前記光源の光の強度の変化と同時に生成される前記イベント信号とに基づいて、前記イベント信号に対応する前記光源を特定し、前記ユーザーの視線を検出する機能と
    　をコンピュータに実現させる視線検出プログラム。
PCT/JP2020/030312 2019-08-14 2020-08-07 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム WO2021029342A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/630,496 US20220272256A1 (en) 2019-08-14 2020-08-07 Information processing device, visual line detection system, visual line detection method, and visual line detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-148854 2019-08-14
JP2019148854A JP7269131B2 (ja) 2019-08-14 2019-08-14 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム

Publications (1)

Publication Number Publication Date
WO2021029342A1 true WO2021029342A1 (ja) 2021-02-18

Family

ID=74570284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030312 WO2021029342A1 (ja) 2019-08-14 2020-08-07 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム

Country Status (3)

Country Link
US (1) US20220272256A1 (ja)
JP (1) JP7269131B2 (ja)
WO (1) WO2021029342A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023127240A1 (ja) * 2021-12-27 2023-07-06 株式会社Ｓｃｒｅｅｎホールディングス 動作監視方法および製造装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1156782A (ja) * 1997-08-12 1999-03-02 Techno Works:Kk 二光源及び画像差分手段を用いた眼球特徴点検出方式
JP2011125693A (ja) * 2009-11-18 2011-06-30 Panasonic Corp 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP2018196730A (ja) * 2017-05-23 2018-12-13 スティヒティング・イメック・ネーデルラントＳｔｉｃｈｔｉｎｇ ＩＭＥＣ Ｎｅｄｅｒｌａｎｄ 眼の位置を監視するための方法およびシステム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
JP6089705B2 (ja) * 2013-01-07 2017-03-08 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9468373B2 (en) * 2013-09-24 2016-10-18 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
TWI536279B (zh) * 2015-04-22 2016-06-01 緯創資通股份有限公司 人眼偵測方法及系統
CN108697321B (zh) * 2015-12-31 2021-09-17 视译公司 用于在限定操作范围内进行视线跟踪的装置
US10303246B2 (en) * 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
CN108698611A (zh) * 2016-03-16 2018-10-23 本田技研工业株式会社 车辆控制***、车辆控制方法及车辆控制程序
KR102548199B1 (ko) * 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
JP6587254B2 (ja) * 2016-09-16 2019-10-09 株式会社東海理化電機製作所 輝度制御装置、輝度制御システム及び輝度制御方法
DE112017006982T5 (de) * 2017-03-03 2019-10-31 Mitsubishi Electric Corporation Bedienungseignungsbeurteilungsvorrichtung,bedienungseignungsbeurteilungsverfahren undbedienungseignungsbeurteilungsprogramm
JP6841146B2 (ja) * 2017-04-21 2021-03-10 富士ゼロックス株式会社 眼球の光計測装置及び眼球の光計測方法
US10108261B1 (en) * 2017-07-05 2018-10-23 Oculus Vr, Llc Eye tracking based on light polarization
US10466779B1 (en) * 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
JP7056055B2 (ja) * 2017-09-27 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
CN111263925B (zh) * 2017-09-28 2022-06-14 苹果公司 用于使用事件相机数据的眼动跟踪的方法和设备
WO2019117350A1 (ko) * 2017-12-14 2019-06-20 삼성전자 주식회사 응시 거리를 결정하는 방법 및 디바이스
US11442539B2 (en) * 2018-01-24 2022-09-13 Apple Inc. Event camera-based gaze tracking using neural networks
US10380801B1 (en) * 2018-02-07 2019-08-13 Rockwell Collins, Inc. Head wearable device, system, and method for displaying teamed asset information
US11042031B2 (en) * 2018-02-20 2021-06-22 Google Llc Eye tracking system and method, eyeglass lens, and wearable heads-up display
US10936056B2 (en) * 2018-04-16 2021-03-02 Google Llc Method and system of eye tracking with glint drift correction on wearable heads-up display
US10976814B2 (en) * 2018-04-16 2021-04-13 Google Llc Method and system for eye tracking with glint space recalibration on wearable heads-up display
US11157077B2 (en) * 2018-04-16 2021-10-26 Google Llc Method and system for dual mode eye tracking on wearable heads-up display
US11314396B2 (en) * 2018-05-09 2022-04-26 Apple Inc. Selecting a text input field using eye gaze
US11064387B1 (en) * 2018-05-23 2021-07-13 Apple Inc. Adaptive wireless transmission schemes
US11435820B1 (en) * 2019-05-16 2022-09-06 Facebook Technologies, Llc Gaze detection pipeline in an artificial reality system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1156782A (ja) * 1997-08-12 1999-03-02 Techno Works:Kk 二光源及び画像差分手段を用いた眼球特徴点検出方式
JP2011125693A (ja) * 2009-11-18 2011-06-30 Panasonic Corp 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP2018196730A (ja) * 2017-05-23 2018-12-13 スティヒティング・イメック・ネーデルラントＳｔｉｃｈｔｉｎｇ ＩＭＥＣ Ｎｅｄｅｒｌａｎｄ 眼の位置を監視するための方法およびシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023127240A1 (ja) * 2021-12-27 2023-07-06 株式会社Ｓｃｒｅｅｎホールディングス 動作監視方法および製造装置

Also Published As

Publication number Publication date
JP2021029279A (ja) 2021-03-01
US20220272256A1 (en) 2022-08-25
JP7269131B2 (ja) 2023-05-08

Similar Documents

Publication Publication Date Title
US20180160079A1 (en) Pupil detection device
CN109076662B (zh) 用于镜子部件的自适应照明***和控制自适应照明***的方法
KR102669768B1 (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
US10321055B2 (en) Low power eye tracking system and method
WO2018177311A1 (zh) 视线追踪装置及头戴式显示设备
EP2226703B1 (en) Wearable eye tracking system
EP2823751B1 (en) Eye gaze imaging
CN107094247B (zh) 位置检测装置及其对比度调整方法
US11140319B2 (en) Eye-tracking module with scenario-based mode switching function
RU2013128144A (ru) Электронная офтальмологическая линза с датчиком конвергенции зрачков
EP3173811B1 (en) High speed, high precision six degree-of-freedom optical tracker system and method
KR20150075906A (ko) 시선 추적 장치 및 방법
US11245845B2 (en) Systems and methods for operating an imaging device
KR20170057110A (ko) 이미지 장치 및 그것의 동작 방법
WO2022095605A1 (zh) 一种手柄控制追踪器
US20220261079A1 (en) Controlling illuminators for optimal glints
WO2021029342A1 (ja) 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
JP2012187190A (ja) 視線検出装置及び視線検出方法
WO2018164104A1 (ja) 眼部画像処理装置
JP6503828B2 (ja) インタラクティブプロジェクションシステム，指示体，およびインタラクティブプロジェクションシステムの制御方法
US20190073024A1 (en) Image sound output device, image sound output method and image sound output program
CN103565399A (zh) 瞳孔检测装置
JP6370168B2 (ja) 照明撮像装置及びそれを備えた視線検出装置
JP6618337B2 (ja) 物体検出装置、物体検出方法、及びコンピュータプログラム
US10331273B2 (en) Touch display system, touch device and touch display method for avoiding misjudging of touch position

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20853178

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20853178

Country of ref document: EP

Kind code of ref document: A1