WO2018100875A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2018100875A1
WO2018100875A1 PCT/JP2017/036188 JP2017036188W WO2018100875A1 WO 2018100875 A1 WO2018100875 A1 WO 2018100875A1 JP 2017036188 W JP2017036188 W JP 2017036188W WO 2018100875 A1 WO2018100875 A1 WO 2018100875A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil diameter
user
information processing
processing apparatus
state
Prior art date
Application number
PCT/JP2017/036188
Other languages
English (en)
French (fr)
Inventor
横山　正幸
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17875960.1A priority Critical patent/EP3549525A4/en
Priority to US16/340,868 priority patent/US20210282639A1/en
Publication of WO2018100875A1 publication Critical patent/WO2018100875A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 when a user wears a glasses-type wearable terminal and views an image displayed on the display, the user's awakening state is determined based on the change speed of the pupil diameter accompanying the change in the brightness of the display. Techniques for determining are disclosed.
  • the estimation accuracy of the user state may be lowered.
  • the change rate of the pupil diameter changes according to the brightness of the display, the gazing point, or the like.
  • the present disclosure has been made in view of the above, and the present disclosure provides a new and improved information processing apparatus, information processing method, and program capable of further improving the estimation accuracy of the user state. To do.
  • the measurement unit that measures the first pupil diameter of the user the calculation unit that calculates the reference pupil diameter based on the measurement condition of the first pupil diameter, the first pupil diameter, and the An information processing apparatus is provided that includes an estimation unit that estimates the state of the user based on a reference pupil diameter.
  • measuring the first pupil diameter of the user includes estimating the state of the user based on a reference pupil diameter.
  • measuring the first pupil diameter of the user calculating the reference pupil diameter based on the measurement condition of the first pupil diameter, the first pupil diameter, and the A program for causing a computer to estimate the state of the user based on a reference pupil diameter is provided.
  • FIGS. 1 and 2 are diagrams for explaining the principle of state estimation based on the pupil diameter.
  • Pupil enlargement also referred to as “mydriasis”
  • reduction also referred to as “mydriasis”
  • the pupil dilator muscle contracts and the pupil sphincter muscles relax to produce a mydriasis
  • the pupil dilator muscles relax and the pupil sphincter muscles contract to produce a miosis.
  • the pupil dilator and pupil sphincter are not controlled by the user's intention, but are controlled by the autonomic nervous system. More specifically, the pupil dilator muscle is controlled by the sympathetic nerve, and the pupil sphincter is controlled by the parasympathetic nerve. Therefore, when the user is in an excited state or awakened state, the sympathetic nerve is dominant and the mydriasis is generated, and when the user is fatigued or sleepy, the parasympathetic nerve is dominant and the miosis is appear.
  • the pupil diameter is larger than the reference pupil diameter (hereinafter referred to as “reference pupil diameter” for convenience)
  • the pupil diameter is the reference If it is smaller than the pupil diameter, it can be estimated that the user is in a fatigue (sleepy) state.
  • the pupil diameter is approximately the same as the reference pupil diameter (a state in which the difference from the reference pupil diameter is within a predetermined threshold)
  • it can be estimated that the user is in an awake (relaxed) state.
  • the pupil diameters of both eyes are basically equal, and therefore, the comparison between the pupil diameter and the reference pupil diameter needs to be performed only for one eye.
  • Patent Document 1 when a user wears a glasses-type wearable terminal and views an image displayed on the display, the user's arousal state is based on the change speed of the pupil diameter accompanying the change in brightness of the display. A technique for determining the above is disclosed.
  • the pupil diameter is influenced not only by the state of the user but also by the amount of incident light or the gaze point. More specifically, basically, the pupil diameter increases when the amount of incident light is small, and the pupil diameter decreases when the amount of incident light is large. Also, when the depth distance of the user's gaze point is short (when the user focuses on the vicinity. Hereinafter, for the sake of convenience, it is also referred to as “near vision”) and when the depth distance of the user's gaze point is long (user In the following, the pupil diameter measured at the near vision is smaller than the pupil diameter measured at the far vision. Note that the interpupillary distance measured during near vision is shorter than the interpupillary distance measured during far vision. As described above, the estimation accuracy of the user state may be lowered depending on the measurement condition of the incident light amount or the depth distance of the gazing point.
  • the information processing apparatus calibrates the reference pupil diameter based on pupil diameter measurement conditions (such as the amount of incident light or a gazing point). Therefore, since the information processing apparatus according to the present embodiment can set an appropriate reference pupil diameter with respect to the measurement conditions, it is possible to improve the estimation accuracy of the user state.
  • pupil diameter measurement conditions such as the amount of incident light or a gazing point
  • the present disclosure can be applied to various apparatuses or systems.
  • the present disclosure may be applied to an image acquisition device such as an in-vehicle camera, a digital camera, and a video camera, an information processing device such as a PC (Personal Computer), a tablet PC, and a server, a communication device such as a mobile phone and a smartphone.
  • an image acquisition device such as an in-vehicle camera, a digital camera, and a video camera
  • an information processing device such as a PC (Personal Computer), a tablet PC, and a server
  • a communication device such as a mobile phone and a smartphone.
  • the present disclosure can also be applied to a system including one or two or more devices that are premised on connection to a network (or communication between devices), such as cloud computing.
  • HMD 100 head mounted display 100
  • FIG. 3 a case where the present disclosure is applied to a shielded HMD 100 that covers the entire field of view of the wearer will be described.
  • the type and shape of the HMD 100 are arbitrary.
  • the HMD 100 may be a see-through display.
  • the amount of incident light is a concept corresponding to the average luminance (or luminance) of the display.
  • the HMD 100 controls the amount of light incident on the eye by controlling the average luminance (or luminance) of the display.
  • the reference pupil diameter is calibrated based on the amount of incident light. More specifically, the HMD 100 according to the present embodiment changes the average luminance of the display twice or more after the user wears the device, and measures the pupil diameter as a sample for each average luminance. The HMD 100 assumes that the pupil diameter change amount is linearly inversely proportional to the display average brightness change amount, and performs linear approximation using a sample of the display average brightness and the corresponding pupil diameter. The pupil diameter is calculated.
  • the HMD 100 keeps the display in an off state or a dark state close to the off state. Immediately after the user wears his / her device, the HMD 100 measures the pupil diameter D1, and stores the measurement result and information on the average luminance I1 ( ⁇ 0) of the display at the time of measurement as the sample P1 (I1, D1). . Next, the HMD 100 measures the pupil diameter D2 in a state where the display is brightened almost uniformly to a predetermined luminance, and stores the measurement result and information on the average luminance I2 of the display at the time of measurement as a sample P2 (I2, D2). . Then, the HMD 100 calculates the reference pupil diameter Dref at an arbitrary average luminance I between the average luminance I1 and the average luminance I2, for example, using the following formula 1.
  • the value obtained by the linear approximation that the change amount of the pupil diameter is linearly inversely proportional to the change amount of the average luminance of the display includes an error to some extent.
  • the function of the rod cells and cone cells that make up the photoreceptor cells can be precisely determined by the various factors such as the amount of incident light or the wavelength of the incident light, so that the pupil diameter corresponding to the amount of incident light can be accurately determined. It is difficult to model. However, when the dynamic range of the amount of incident light is relatively small, the error of the linear approximation is relatively small.
  • the illuminance of sunlight may reach 100 klux or more when the day is sunny, whereas the illuminance of the display in a shielded head mounted display including the HMD 100 is about 500 lux. Therefore, by applying the present disclosure to an apparatus such as a shielded head mounted display that can measure the pupil diameter in an environment where the dynamic range of the amount of incident light is relatively small, the accuracy of estimation of the user state can be improved. It can be improved further.
  • the method for calculating the reference pupil diameter is not limited to the above method.
  • the HMD 100 increases the number of samples of the average luminance of the display and the corresponding pupil diameter to a predetermined number or more, and calculates a reference pupil diameter using an arbitrary approximation method such as a least square method based on these samples. May be.
  • the HMD 100 can calculate a more appropriate reference pupil diameter by increasing the number of samples used for calculating the reference pupil diameter.
  • the display control method performed when calculating the reference pupil diameter is not limited to the above method.
  • the HMD 100 may calculate the reference pupil diameter by changing the display from a dark state to a bright state or changing from a bright state to a dark state at an arbitrary timing.
  • the HMD 100 acquires samples in consideration of the bright adaptation time and dark adaptation time of the pupil.
  • the bright adaptation time in the present embodiment refers to the time required for the pupil diameter size to adapt to the brightness of the display and stabilize when the display changes from a dark state to a bright state.
  • the display changes from a bright state to a dark state it indicates the time required for the pupil diameter to adapt and stabilize to the brightness of the display.
  • FIG. 5A is a diagram showing the pupil's bright adaptation time
  • FIG. 5B is a diagram showing the pupil's dark adaptation time.
  • the light adaptation time is about 1 second, which is shorter than the dark adaptation time.
  • the dark adaptation time may be about 10 seconds or may be longer if the amount of change in incident light amount is large.
  • the HMD 100 changes the average brightness of the display before changing the light adaptation time when changing the display from a dark state to a bright state. After the elapse of time, that is, after the change of the pupil diameter is completed and stabilized, the pupil diameter is measured. Thus, the HMD 100 can measure an appropriate pupil diameter in a short time.
  • the HMD 100 changes the pupil diameter or pupil depending on the time constant when changing the display from a bright state to a dark state.
  • the reference pupil diameter in the transient state is calculated.
  • the HMD 100 acquires the sample P1 (I1, D1) when the display is dark, and acquires the sample P2 (I2, D2) when the display is bright, as in the above procedure. . Subsequently, the HMD 100 returns the average luminance of the display to the same value as at the time of acquiring P1, and the amount of increase in the pupil area is 63, which is the amount of increase from the pupil area at the time of acquiring P2 to the pupil area at the time of acquiring P1. The time until reaching% is measured, and this time is taken as the time constant ⁇ of the RCL circuit model.
  • the relationship between the time constant ⁇ and the corresponding pupil area A ( ⁇ ) can be expressed by the following equation 2.
  • the pupil area A (t) at the elapsed time t is expressed by the following equation: 3 can be represented.
  • the HMD 100 can calculate the reference pupil diameter corresponding to the elapsed time t based on the result of Expression 3.
  • the time constant ⁇ during dark adaptation is usually about 2 to 3 seconds, the HMD 100 can calculate the reference pupil diameter in a shorter time than the dark adaptation time by the above method.
  • the HMD 100 compares the measured pupil diameter (first pupil diameter) with the reference pupil diameter. If the pupil diameter is larger than the reference pupil diameter, the HMD 100 determines that the user is in an excited state, and the pupil diameter is the reference pupil. If it is less than the diameter, it is determined that the user is in a fatigued state.
  • the user state estimation method is arbitrary.
  • the HMD 100 may calculate another value based on the reference pupil diameter and compare the value with the pupil diameter.
  • the HMD 100 compares the pupil diameter with a value obtained by multiplying the reference pupil diameter by a certain value (for example, a value obtained by multiplying the reference pupil diameter by 1.2), and the pupil diameter is smaller than the value.
  • the HMD 100 compares the pupil diameter with a value obtained by multiplying the reference pupil diameter by another value (for example, a value obtained by multiplying the reference pupil diameter by 0.8), and the pupil diameter is the value. If it is smaller than that, it may be determined that the user is in a fatigued state. Further, the HMD 100 may set stepwise indices (arousal level, arousal level, etc.) according to the pupil diameter. Thereby, the HMD 100 can express the user state in more detail.
  • the HMD 100 may estimate the user state by comparing the average value of the pupil diameter and the average value of the reference pupil diameter in a predetermined period. For example, the HMD 100 measures the pupil diameter and calculates the reference pupil diameter for a total of 1 minute at 1 second intervals. The HMD 100 calculates the average value of the measured pupil diameter and the average value of the calculated reference pupil diameter, and compares the average values as described above to estimate the user state. Good. Although the pupil diameter may become unstable due to various factors such as ambient sounds and vibrations, the HMD 100 compares the average value of the pupil diameter with the average value of the reference pupil diameter, thereby estimating the user state. Stability and accuracy can be improved. The HMD 100 can also obtain the same effect by performing threshold determination on the average value of the arousal level for a predetermined period (such as 1 minute) using the value obtained by normalizing the pupil diameter with the reference pupil diameter as the arousal level. Can do.
  • a predetermined period such as 1 minute
  • the HMD 100 may estimate the user state when the average value of the amount of incident light falls within a predetermined range. More specifically, when the dynamic range of the amount of incident light increases, the influence of incident light on the pupil diameter increases, so the error included in the user state estimation result increases. Therefore, the HMD 100 calculates an average value of the amount of incident light, and when the average value falls within a predetermined range, the HMD 100 performs user state estimation processing using information such as the pupil diameter measured at that time. Also good. Further, the average value of the amount of incident light used by the HMD 100 is merely an example, and the HMD 100 may use an arbitrary value representing the stability of the amount of incident light. By these methods, HMD100 can reduce the influence which incident light has on an estimation result.
  • FIG. 8 is a diagram illustrating a functional configuration of the HMD 100 according to the first embodiment.
  • the HMD 100 includes a display unit 110, an infrared light source 120, an imaging unit 130, a luminance calculation unit 140, a processing unit 150, a control unit 160, and a storage unit 170.
  • the processing unit 150 includes a pupil diameter measurement unit 151, a reference pupil diameter calculation unit 152, and a state estimation unit 153.
  • the luminance calculation unit 140 has a function as a measurement unit, and the processing unit 150 has a function as a measurement unit, a calculation unit, and an estimation unit.
  • the display unit 110 includes a display and displays various objects that are also used for estimating the user state. More specifically, the display unit 110 is controlled by the control unit 160 to display various information as various objects such as images, texts, graphs, etc., thereby visually displaying the information to the user. To be notified. As the display unit 110 displays various objects having different luminances, the pupil diameter changes every moment.
  • the infrared light source 120 emits infrared rays used for imaging the pupil diameter. More specifically, the infrared light source 120 acquires an ON / OFF signal based on the brightness around the eye including the pupil from the control unit 160, and emits light based on the signal.
  • Imaging unit 130 images the periphery of the eye including the pupil. More specifically, the imaging unit 130 performs imaging of the periphery of the eye including the pupil using the infrared rays emitted from the infrared light source 120 as controlled by the control unit 160, and captures the captured image data later. To the processing unit 150.
  • the imaging unit 130 includes an imaging device such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal-Oxide Semiconductor) sensor having sensitivity in the infrared wavelength band.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the imaging unit 130 performs imaging without giving the user a sense of incongruity, obtains a stable captured image that does not depend on ambient light, and makes it easy to distinguish between the pupil region and the iris region. An image can be obtained.
  • the luminance calculation unit 140 calculates the average luminance of the display. More specifically, the luminance calculation unit 140 acquires information about the object displayed by the display unit 110 from the control unit 160, and calculates the average luminance of the display based on the information. The luminance calculation unit 140 provides the calculated average luminance information to the processing unit 150 described later.
  • the pupil diameter measuring unit 151 measures the pupil diameter by analyzing the captured image data. This analysis method is arbitrary. For example, the pupil diameter measuring unit 151 performs various types of image processing on the captured image data (for example, adjustment processing such as distortion, black level, and white balance), processing for obtaining a luminance distribution in the captured image, and pupils based on the luminance distribution.
  • the pupil may be identified by a series of processes such as a process of detecting the contour (edge) of the lens and a process of approximating the detected contour of the pupil with a figure such as a circle or an ellipse. Then, the pupil diameter measuring unit 151 measures the pupil diameter based on the pupil identification result, and generates pupil diameter information.
  • the reference pupil diameter calculation unit 152 calculates a reference pupil diameter based on the average luminance. More specifically, the reference pupil diameter calculation unit 152 obtains the average luminance information of the display at the time of pupil diameter measurement from the luminance calculation unit 140, and inputs the information into, for example, Equation 1 above, for example, the reference pupil diameter Is calculated. Then, the reference pupil diameter calculation unit 152 generates reference pupil diameter information.
  • the state estimation unit 153 estimates the user state based on the reference pupil diameter and the pupil diameter. More specifically, the state estimation unit 153 acquires reference pupil diameter information from the reference pupil diameter calculation unit 152, acquires pupil diameter information from the pupil diameter measurement unit 151, and compares the reference pupil diameter and the pupil diameter. Thus, the state of the user is estimated. And the state estimation part 153 produces
  • Control unit 160 The control unit 160 comprehensively controls each component of the HMD 100. More specifically, the control unit 160 controls the display unit 110, the infrared light source 120, the imaging unit 130, the luminance calculation unit 140, and the processing unit 150, so that each component can appropriately perform the above-described processing. To. The control unit 160 acquires user state estimation information from the state estimation unit 153, and performs various processes based on the information. Details are described in “4. Examples of Utilization of User State Estimation Results”.
  • the storage unit 170 stores various parameters, a database, various programs, and the like that can be referred to when the control unit 160 and the processing unit 150 perform various processes. Further, the storage unit 170 may store temporary data, history information, and the like generated when various processes are performed by the control unit 160 and the processing unit 150. The control unit 160 and the processing unit 150 can freely perform data read / write processing on the storage unit 170.
  • FIG. 9 is a flowchart illustrating an operation in which the HMD 100 according to the first embodiment estimates a user state.
  • the imaging unit 130 images the periphery of the eye including the pupil.
  • the pupil diameter measurement unit 151 measures the pupil diameter by analyzing the captured image data.
  • the luminance calculation unit 140 acquires information about the object displayed on the display from the control unit 160, and calculates the average luminance of the display based on the information.
  • the reference pupil diameter calculation unit 152 calculates the reference pupil diameter by inputting the average luminance of the display to the above equation 1.
  • the state estimation unit 153 estimates the user state by comparing the reference pupil diameter with the pupil diameter.
  • HMD100 which concerns on said embodiment compared the measured pupil diameter with the reference
  • HMD100 which concerns on the modification of 1st Embodiment estimates a user state by converting the measured pupil diameter into the pupil diameter (2nd pupil diameter) equivalent to the case where it measures in a dark room. .
  • Non-Patent Document 1 when a subject is resting in a dark room (hereinafter referred to as “dark room rest” for convenience), when the subject is sleepy, a change in the pupil diameter of the subject takes several seconds to several tens of seconds. It has been reported that low frequency fluctuations of about a second occur.
  • Non-Patent Document 2 the change in the pupil diameter of the subject is measured for a predetermined time when the dark room is resting, the pupil diameter change wave is divided into several segments, and the integration of the power spectrum below the predetermined frequency of each segment Disclosed is a method for determining sleepiness of a subject based on the sum of the absolute value of the value, the average value of the pupil diameter, and the amount of change in the pupil diameter.
  • FIG. 6 is a diagram showing pupil diameter change waves published in Non-Patent Document 2.
  • FIG. 6A is a pupil diameter change wave of a user who is in an awake state
  • FIG. 6B is a pupil diameter change wave of a user who is in a sleep state.
  • FIG. 6 when the user is in a sleepy state, the fluctuation of the pupil diameter change becomes more intense than in the case where the user is in a wakeful state.
  • FIG. 7 is a diagram showing the transition of the power spectrum corresponding to each of the pupil diameter change waves of FIG. 6A and FIG. 6B and the average value of the pupil diameter corresponding to each of FIG. 6A and FIG. 6B.
  • the integrated value of the power spectrum of the pupil diameter change wave when the user is in a sleepy state is larger than that in the case where the user is in an awake state.
  • the average value of the pupil diameter of the user in the awake state changes with little change, whereas the average value of the pupil diameter of the user in the sleepy state changes so as to become smaller at a certain time.
  • the determination method described in Non-Patent Document 2 is based on the assumption that the pupil diameter is measured when the dark room is at rest.
  • the HMD 100 converts the pupil diameter measured at an arbitrary average luminance into the pupil diameter measured in the dark room, so that the method of Non-Patent Document 2 is performed.
  • HMD100 calculated the reference
  • FIG. The HMD 100 measures the pupil diameter D in a state in which the average luminance of the display shows an arbitrary value (average luminance I), and inputs these values into the following Equation 4 to make the pupil diameter D the darkest. It is converted into the pupil diameter Ddark measured in the state.
  • the HMD 100 generates a pupil diameter change wave in the dark room based on the result of Equation 4, and analyzes the waveform, for example, in the same manner as in Non-Patent Document 2, the power spectrum integrated value, the average pupil diameter, and the pupil diameter variation
  • the user state can be estimated by calculating the sum of absolute quantity values.
  • the second embodiment is a case where the reference pupil diameter is calibrated based not only on the amount of incident light but also on the depth distance of the user's gaze point. As described above, the pupil diameter is influenced not only by the amount of incident light but also by the depth distance of the user's point of sight.
  • the pupil diameter and the inter-pupil distance at the time of far vision and near vision will be described.
  • the HMD 100 when comparing the distance and near vision, it can be seen that the pupil diameter is smaller and the interpupillary distance is shorter in near vision. There are individual differences in the difference in pupil diameter and distance between pupils during near vision and distance vision. Generally, as the user's age increases, the difference in pupil diameter increases, and the difference in pupil distance decreases. It is thought to be. Therefore, the HMD 100 according to this embodiment can improve the estimation accuracy of the user state for a wide range of users by calibrating the reference pupil diameter in consideration of not only the amount of incident light but also the depth distance of the gazing point. it can.
  • the HMD 100 calibrates the pupil diameter based only on the depth distance of the gazing point. You may go. More specifically, as the dynamic range of the average luminance of the display of the HMD 100 becomes smaller, the influence of the amount of incident light on the pupil diameter becomes smaller. Therefore, the HMD 100 may be able to obtain an estimation result with a desired accuracy or higher even if the pupil diameter is calibrated based only on the depth distance of the gazing point. As a result, the HMD 100 can suppress the consumption of energy used only for the calibration process based on the amount of incident light.
  • the HMD 100 includes a 3D display (hereinafter referred to as “display” for convenience), and the HMD 100 displays a predetermined three-dimensional object on the display.
  • display hereinafter referred to as “display” for convenience
  • the HMD 100 displays a predetermined three-dimensional object on the display.
  • FIG. 11 the HMD 100 displays a predetermined three-dimensional object and displays the three-dimensional object so as to be moved far away (FIG. 11A) or nearer (FIG. 11B), during which pupil diameter and pupil center position are displayed. Is measured several times as a sample.
  • the HMD 100 controls the average brightness of the display to be constant (or within a predetermined range) so that the average brightness of the three-dimensional object and the background becomes a close value.
  • the HMD 100 performs this processing at least twice by changing the average luminance of the display (for example, the HMD 100 performs the above-described processing when the average luminance of the display is the lowest and when it is the highest).
  • the HMD 100 obtains information on the correspondence between the depth of the gazing point and the reference pupil diameter at different average luminances (average luminance I1 and average luminance I2 in FIG. 12). Can do.
  • the depth distance of the gazing point and the reference pupil diameter have a relationship represented by a correlation curve in which the reference pupil diameter gradually increases as the depth distance of the gazing point increases. Note that the average luminance I1 in FIG. 12 assumes the lowest average luminance of the display, and the average luminance I2 assumes the highest average luminance.
  • HMD100 can estimate the information regarding the correspondence of the depth distance of a gaze point and a reference
  • the HMD 100 can acquire information on the correspondence between the depth distance of the gazing point and the interpupillary distance as shown in FIG. 13 by measuring the pupil center position when measuring the sample. As shown in FIG. 13, the depth distance of the gazing point and the interpupillary distance have a relationship represented by a correlation curve in which the interpupillary distance increases as the gazing point depth distance increases. Accordingly, the HMD 100 can estimate the depth distance of the gazing point based on the interpupillary distance imaged at an arbitrary timing. Furthermore, the HMD 100 can calculate the reference pupil diameter based on the estimated depth distance and the average brightness of the display based on the correspondence relationship in FIG.
  • the HMD 100 since the interpupillary distance is also affected by the user's gaze point, the HMD 100 according to the present embodiment also considers the user's gaze point on the display. More specifically, the HMD 100 creates information regarding the correspondence between the depth distance of the gazing point and the inter-pupil distance as shown in FIG. 13 for each position category on the display. For example, as shown in FIG. 14A, the HMD 100 sets nine position segments (a1 to a3, b1 to b3, and c1 to c3) in the display. And the pupil position when a user gazes each position division is shown to FIG. 14B. Reference numerals such as a1 in FIG. 14B correspond to reference numerals such as a1 in FIG. 14A.
  • the HMD 100 determines the user's gazing point on the display, and selects information related to the correspondence between the depth distance of the gazing point and the interpupillary distance corresponding to the position segment closest to the gazing point. After that, the HMD 100 estimates the depth distance of the gazing point based on the imaged interpupillary distance, and calculates the reference pupil diameter based on the estimated depth distance and the average brightness of the display based on the correspondence relationship in FIG.
  • the position division on the display may be a region having a predetermined area instead of a point. In this case, the HMD 100 determines the user's gazing point on the display, and performs the above processing based on which region the gazing point is included in. With these processes, the HMD 100 can estimate the depth distance of the gazing point with higher accuracy, and thus can calculate a more appropriate reference pupil diameter.
  • FIG. 15 is a diagram illustrating a functional configuration of the HMD 100 according to the second embodiment.
  • the HMD 100 includes a display unit 110, an infrared light source 120, an imaging unit 130, a luminance calculation unit 140, a processing unit 150, a control unit 160, and a storage unit 170.
  • the processing unit 150 includes a pupil diameter measurement unit 151, a reference pupil diameter calculation unit 152, a state estimation unit 153, a gaze point estimation unit 154, an interpupillary distance measurement unit 155, and a depth distance estimation unit 156.
  • the description same as HMD100 which concerns on 1st Embodiment is abbreviate
  • the display unit 110 includes a 3D display, and is controlled by the control unit 160 to display a three-dimensional object as illustrated in FIG. 11 and to move the three-dimensional object far or near.
  • the gaze point estimation unit 154 estimates the user's gaze point on the display by analyzing the captured image data.
  • the gaze point estimation method is arbitrary, and a known estimation method may be used.
  • the gaze point estimation unit 154 calculates the corneal curvature center position based on the bright spot generated on the pupil based on the captured image data, calculates the optical axis passing through the pupil center position and the corneal curvature center position, The visual axis may be calculated by correcting the optical axis, and the gaze point on the display may be estimated based on the positional relationship between the visual axis and the display. Then, the gaze point estimation unit 154 generates gaze point information based on the estimation result.
  • the interpupillary distance measuring unit 155 measures the interpupillary distance by analyzing the captured image data. This method is arbitrary. For example, the interpupillary distance measuring unit 155 identifies the pupils of both eyes by various processes (image processing or the like) as in the above-described pupil diameter measuring unit 151, and calculates the distance between the centers of the pupils of both eyes. Then, the interpupillary distance measuring unit 155 generates interpupillary distance information based on the calculation result.
  • the depth distance estimation unit 156 estimates the depth distance of the gazing point based on the user's gazing point and the interpupillary distance. More specifically, the depth distance estimation unit 156 acquires the gaze point information from the gaze point estimation unit 154, and uses the gaze point depth distance and pupil to estimate the gaze point depth distance based on the information. Information on the correspondence relationship with the inter-distance (information shown in FIG. 13) is determined. Then, the depth distance estimation unit 156 acquires the interpupillary distance information from the interpupillary distance measurement unit 155, and calculates the interpupillary distance based on the information and the information on the correspondence between the depth distance of the gazing point and the interpupillary distance. Estimate the depth distance of the corresponding gaze point. Then, the depth distance estimation unit 156 generates depth distance information based on the estimation result.
  • the reference pupil diameter calculation unit 152 calculates the reference pupil diameter based on the depth distance of the gazing point and the average luminance of the display. More specifically, the reference pupil diameter calculation unit 152 acquires depth distance information from the depth distance estimation unit 156 and acquires average luminance information of the display from the luminance calculation unit 140. Then, the reference pupil diameter calculation unit 152 outputs the reference pupil diameter by inputting these pieces of information into information (information shown in FIG. 12) regarding the correspondence relationship between the depth distance of the gazing point and the reference pupil diameter. The output reference pupil diameter is used for the user state estimation process by the state estimation unit 153.
  • FIG. 16 is a flowchart illustrating an operation in which the HMD 100 according to the second embodiment estimates a user state.
  • the imaging unit 130 images the periphery of the eye including the pupil.
  • the pupil diameter measuring unit 151 analyzes the captured image data to measure the pupil diameter.
  • the gaze point estimation unit 154 analyzes the captured image data to estimate the user's gaze point on the display.
  • the interpupillary distance measurement unit 155 analyzes the captured image data to measure the interpupillary distance.
  • the depth distance estimation unit 156 estimates the depth distance of the gaze point based on the user's gaze point and interpupillary distance.
  • the luminance calculation unit 140 acquires information on the object displayed on the display from the control unit 160, and calculates the average luminance of the display based on the information.
  • step S1124 the reference pupil diameter calculation unit 152 calculates the reference pupil diameter based on the average luminance of the display and the depth distance of the gazing point.
  • step S1128 the state estimation unit 153 estimates the user state by comparing the reference pupil diameter with the pupil diameter.
  • the control unit 160 of the HMD 100 changes the number of objects appearing in the game, the moving speed or changing speed of the objects, the volume or rhythm of music, the color scheme of the objects, and the like according to the estimation result of the user state. For example, in a shooting game, when the user's arousal level is high (or the user is in an excited state or awakened state), the control unit 160 increases the number of enemy aircraft so that the user can earn a high score in a short time.
  • the difficulty level may be improved by creating an easy state or by increasing the moving speed of the enemy aircraft or the own aircraft.
  • control unit 160 can reduce the burden on the user by reducing the number of enemy aircraft, The difficulty level may be lowered by lowering the moving speed.
  • control unit 160 may change various parameters in a race game, a simulation game, an RPG game, a rhythm game, and the like.
  • the target application may be any application other than a game.
  • control unit 160 may control the storage process of the application according to the estimation result of the user state. For example, the control unit 160 may automatically save the execution state of an application such as a game when the user's arousal level is low (the user is in a fatigued state or sleepy state). Accordingly, even when the user falls asleep without saving the execution state of the application, the control unit 160 can prevent the application from being stopped without being saved.
  • an application such as a game when the user's arousal level is low (the user is in a fatigued state or sleepy state). Accordingly, even when the user falls asleep without saving the execution state of the application, the control unit 160 can prevent the application from being stopped without being saved.
  • control unit 160 may cause the color therapy effect by controlling the color scheme of the object displayed on the display in accordance with the estimation result of the user state. More specifically, warm colors such as red have an effect of promoting an excited state by stimulating sympathetic nerves, and cold colors such as blue have an effect of promoting a relaxed state by stimulating parasympathetic nerves. Therefore, when the user's arousal level tends to increase, the user's ability to concentrate may increase, so the control unit 160 changes the color scheme of the display background or the like to a color scheme in which red is emphasized. Further, when the user's arousal level tends to decrease, the user may start to get tired, so the control unit 160 changes the color scheme of the display background or the like to a color scheme in which blue is emphasized.
  • control unit 160 converts the color system of image data to be displayed on the display from the RGB system to the HSV system, sets the hue (H) to a color close to red or a color close to blue, and then changes the color system to The processing may be realized by converting to the RGB system. Further, the control unit 160 may cause the color therapy effect by changing not only the hue but also the saturation (S) or the lightness (V). In addition, the control unit 160 may increase or decrease the color temperature (enhance blue) or decrease (enhance red) by adjusting the gain of each RBG. Accordingly, the control unit 160 can further enhance the user's concentration by using the color therapy effect or can relax the user.
  • a function capable of providing contents suitable for each user by automatically generating a content list for each user Has been developed.
  • the HMD 100 can automatically generate a content list according to the user state.
  • control unit 160 of the HMD 100 acquires and analyzes metadata included in each content, thereby changing the number of scene switching, the number of conversations, the average luminance of the display, or the amount of change in the average luminance in each content. Get the value for etc. Then, the control unit 160 classifies and ranks the contents based on the level of each value. In addition, said value is an example to the last, and the value which the control part 160 acquires can be changed suitably.
  • the control unit 160 when the user's arousal level is high, the control unit 160 lists contents having a high value in proportion to the arousal level and provides the content to the user. When the user's arousal level is low, the control unit 160 lists contents having a low value in proportion to the arousal level and provides the content to the user. Accordingly, the control unit 160 can provide or propose a content list suitable for the user state. For example, when the user's arousal level is high, an action movie including intense movements and explosion sounds is provided, and when the user's arousal level is low, a music program including classical music performance is provided. obtain.
  • the pupil diameter change waveform when viewing specific content is basically different for each user. Therefore, the HMD 100 can make a user determination based on a change waveform of the pupil diameter of a user who has viewed a specific content. More specifically, the pupil diameter measuring unit 151 of the HMD 100 acquires the pupil diameter change wave by acquiring the pupil diameter change of the user who has viewed the specific content for a predetermined time. Then, the controller 160 calculates a correlation value between the acquired pupil diameter change wave and the pupil diameter change wave of each user when the content has been viewed in the past. The method for calculating the correlation value is arbitrary. For example, the control unit 160 may calculate the correlation value using the following Expression 5.
  • w fg (j) is a correlation value at lag (phase difference between pupil diameter change wave f and pupil diameter change wave g) j
  • f (t) is a value of pupil diameter change wave f at time t
  • g (t + j) is the value of the pupil diameter change wave g at time t + j
  • T is the time length of the pupil diameter change wave.
  • the control unit 160 may calculate a correlation value in consideration of the delay by calculating a maximum value when the lag j is changed to some extent. And the control part 160 performs a user determination by specifying the pupil diameter change wave whose correlation value is the highest among each user's pupil diameter change wave, and whose correlation value is higher than a predetermined threshold value.
  • control unit 160 can perform the user determination without making the user aware that the user determination work is being performed. Then, the control unit 160 can personalize the content or the device itself (refers to applying personal settings or providing personal content) based on the user determination result.
  • the HMD 100 which concerns on this application example can prevent a traffic accident by performing various processes according to the fall of a driver
  • the HMD 100 can increase the driver's arousal level by sounding an in-vehicle alarm or vibrating the seat according to a decrease in the user's arousal level.
  • the HMD 100 may notify the surroundings of a dangerous state by turning on a hazard lamp, performing high beam irradiation of a headlight, or turning on a warning light according to a decrease in the degree of arousal of the user. it can.
  • These processes are merely examples, and can be arbitrarily changed.
  • the HMD 100 broadcasts a wireless signal via a communication unit (not shown) to notify a surrounding traveling vehicle, a surrounding pedestrian's smartphone, etc. of a dangerous state, or to notify the police or the like. May be.
  • the HMD 100 may perform various processes based on the pupil diameter measurement result instead of performing various processes based on the user state estimation result as described above. For example, even when the driver is in an awake state, when entering or exiting a tunnel or when the headlight of an oncoming vehicle is illuminated, the incident light suddenly changes, causing the eyes to dazzle, and the driver suddenly pushes the steering wheel. There is a possibility of cutting or braking. As a result, it is conceivable that a traffic accident such as a collision of a car with a surrounding traveling vehicle or a side wall occurs.
  • the HMD 100 can prevent a traffic accident by performing various processes based on a rapid change in the driver's pupil diameter.
  • the HMD 100 when the driver's pupil diameter suddenly changes at a speed exceeding a predetermined threshold, the HMD 100 maintains a certain degree of operability in the steering wheel, brake, or accelerator, while the steering wheel operation that causes the automobile to deviate from the lane,
  • the operation mode may be switched to a semi-automatic operation mode in which an accelerator operation that collides with a forward traveling vehicle or a brake operation that causes a vehicle to collide with a backward traveling vehicle is not permitted.
  • the above processing can be realized to some extent not only by the measurement result of the pupil diameter but also by sensing data from an illuminance sensor installed in front of the automobile.
  • the characteristics of the illuminance sensor and the perceptual characteristics of the user are different, and the perceptual characteristics are different for each user.
  • the HMD 100 according to this application example detects dizziness of eyes based on a change in pupil diameter, which is a reaction result of the optic nerve, high detection accuracy can be obtained.
  • the various types of processing of the present disclosure can also be incorporated into the processing flow of the iris authentication system. More specifically, the iris authentication system analyzes the captured image around the eye including the iris, extracts the iris region and the pupil region, and performs pattern matching processing based on the extraction result, thereby performing iris authentication. It is carried out.
  • the pupil identification, pupil diameter measurement, and pupil center position performed in the above embodiment are performed.
  • Various processes such as identification may be performed. Accordingly, the present disclosure can be realized by using a part of the program and the device of the iris authentication system.
  • FIG. 17 is a block diagram illustrating a hardware configuration of the HMD 100 according to an embodiment of the present disclosure.
  • the HMD 100 includes, for example, an MPU 901, a ROM 902, a RAM 903, a recording medium 904, an input / output interface 905, an operation input device 906, a display device 907, a communication interface 908, an imaging device 909, and an IR LED (infrared).
  • spectroscopic Light Emitting Diode spectroscopic Light Emitting Diode
  • the HMD 100 connects each component with a bus 911 serving as a data transmission path, for example.
  • the MPU 901 includes one or more processors or various processing circuits, and has a function of controlling each component included in the HMD 100 and performing processing.
  • the MPU 901 functions as, for example, the luminance calculation unit 140, the processing unit 150, and the control unit 160 in the HMD 100.
  • the ROM 902 functions as the storage unit 170 and stores control data such as a program used by the MPU 901 or calculation parameters.
  • the RAM 903 functions as the storage unit 170 and temporarily stores, for example, a program executed by the MPU 901.
  • the recording medium 904 functions as the storage unit 170, and stores various data such as data related to the information processing method according to the present embodiment, image data indicating a captured image, or an application.
  • Examples of the recording medium 904 include a magnetic recording medium such as a hard disk or a nonvolatile memory such as a flash memory. Further, the recording medium 904 may be detachable from the HMD 100.
  • the input / output interface 905 connects the operation input device 906 and the display device 907.
  • the operation input device 906 functions as an operation unit (not shown), and the display device 907 functions as the display unit 110.
  • examples of the input / output interface 905 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 906 is provided on the HMD 100 and connected to the input / output interface 905, for example.
  • Examples of the operation input device 906 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 907 is provided on the HMD 100, for example, and is connected to the input / output interface 905.
  • Examples of the display device 907 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display), and an OLED display (Organic Light Emitting Display Display).
  • the input / output interface 905 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse), a display device, or an imaging device as an external device of the HMD 100.
  • an operation input device for example, a keyboard or a mouse
  • a display device for example, a liquid crystal display
  • an imaging device as an external device of the HMD 100.
  • the communication interface 908 is a communication unit included in the HMD 100 and functions as a communication unit (not shown) for performing wireless or wired communication with an external device.
  • Examples of the communication interface 908 include a communication antenna and an RF (Radio Frequency) circuit, an IEEE 802.15.1 port and a transmission / reception circuit, an IEEE 802.11 port and a transmission / reception circuit, or a LAN (Local Area Network) terminal and a transmission / reception circuit.
  • the communication unit may have a configuration corresponding to an arbitrary standard capable of communication such as a USB (Universal Serial Bus) terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via a network. Good.
  • USB Universal Serial Bus
  • a wired network such as a LAN or a WAN (Wide Area Network), a wireless LAN (WLAN: Wireless Local Area Network) or a wireless WAN via a base station (WWAN: Wireless Wide Area).
  • a wireless network such as Network) or the Internet using a communication protocol such as TCP / IP (Transmission Control Protocol Internet Protocol).
  • the imaging device 909 is an imaging unit included in the HMD 100 and functions as the imaging unit 130 that generates a captured image by imaging.
  • the imaging device 909 is an imaging element such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor, and outputs an intensity signal corresponding to the amount of light received for each pixel constituting the light receiving surface. Thus, an image (captured image) corresponding to the incident light on the light receiving surface is acquired.
  • the imaging device 909 is provided at a position where the eye irradiated with light from the infrared light source 120 can be imaged.
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the image sensor into a digital signal (image data).
  • the signal processing circuit performs various processes related to, for example, RAW development. Further, the signal processing circuit is, for example, White Various signal processing such as balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing may be performed.
  • IR LED 910 is an infrared light source 120 provided in the HMD 100.
  • the IR LED 910 is provided at a position where infrared rays are irradiated to the user's eyes.
  • the light source 101 included in the HMD 100 is not limited to the IR LED, and various optical elements may be applied as long as the optical element emits light.
  • the hardware configuration of the head mounted display 100 is not limited to the configuration shown in FIG.
  • the HMD 100 can be configured not to include one or both of the imaging device 909 and the IR LED 910.
  • the communication interface 908 may not be provided.
  • the HMD 100 may have a configuration that does not include the recording medium 904, the operation input device 906, and the display device 907.
  • the HMD 100 according to the present disclosure calibrates the reference pupil diameter based on the amount of incident light that is the measurement condition of the pupil diameter or the depth distance of the gazing point. Accordingly, the HMD 100 according to the present embodiment can set an appropriate reference pupil diameter with respect to the measurement conditions, and thus can improve the estimation accuracy of the user state.
  • each step in the operation of the HMD 100 according to the present disclosure does not necessarily have to be processed in time series in the order described as a flowchart. That is, each step in the processing of the HMD 100 may be processed in an order different from the order described as the flowchart, or may be processed in parallel. For example, step S1004 and step S1008 in FIG. 9 may be processed in different orders or in parallel.
  • the HMD 100 can be provided outside the HMD 100 as appropriate.
  • the infrared light source 120 or the imaging unit 130 can be provided in an external device.
  • control unit 160 may implement part of the function of the luminance calculation unit 140 or the processing unit 150.
  • the measurement condition is a condition related to the amount of incident light, The information processing apparatus according to (1).
  • the measurement unit measures the light amount, The calculation unit calculates the reference pupil diameter based on the correspondence information between the light amount generated in advance and the reference pupil diameter, and the measured light amount.
  • the light quantity and the reference pupil diameter have a relation that the reference pupil diameter decreases as the light quantity increases.
  • the measurement unit measures a time constant of the pupil area obtained from the first pupil diameter, The calculation unit calculates the reference pupil diameter using the time constant;
  • the measurement condition is a condition related to the depth distance of the gazing point.
  • the measurement unit measures the interpupillary distance
  • the calculation unit specifies the depth distance based on the correspondence information between the interpupillary distance and the depth distance generated in advance, and the measured interpupillary distance, and the depth distance generated in advance Calculating the reference pupil diameter based on the correspondence information with the reference pupil diameter and the identified depth distance;
  • the information processing apparatus according to (6).
  • the calculating unit uses which of the correspondence information between the interpupillary distance and the depth distance is associated with each predetermined position on the display on which the user is gazing, and the gazing point of the user and the position Determined based on the positional relationship with The information processing apparatus according to (7).
  • the estimation unit performs the estimation based on a difference between the first pupil diameter and the reference pupil diameter.
  • the information processing apparatus according to any one of (1) to (8).
  • the estimation unit performs the estimation based on a difference between an average value of the first pupil diameter and an average value of the reference pupil diameter in a predetermined period.
  • the information processing apparatus according to any one of (1) to (9).
  • the estimation unit performs the estimation based on whether an average value of the light amount in a predetermined period is within a predetermined range.
  • the information processing apparatus according to any one of (2) to (5).
  • the estimation unit performs the estimation based on an absolute value of the change amount of the second pupil diameter, an average value of the second pupil diameter, or a power spectrum of a change wave of the second pupil diameter.
  • the state is one of a state related to arousal, excitement, fatigue or sleepiness.
  • the information processing device is a head-mounted display device or a see-through display device.
  • the information processing apparatus according to any one of (1) to (14).
  • the information processing apparatus further includes a control unit that controls an application according to the state, The control unit controls the number of objects in the application, the moving speed or changing speed of the object, the volume or rhythm of music, the color scheme of the object, and the application saving process according to the state.
  • the information processing apparatus according to any one of (1) to (15).
  • the information processing apparatus further includes a control unit that edits a content list that a user views according to the state for each user.
  • the information processing apparatus according to any one of (1) to (16).
  • Measuring a user's first pupil diameter Calculating a reference pupil diameter based on measurement conditions of the first pupil diameter; Estimating the state of the user based on the first pupil diameter and the reference pupil diameter; A program to make a computer realize.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】ユーザ状態の推定精度をより向上させることを可能にする。 【解決手段】ユーザの第１の瞳孔径を測定する測定部と、前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出する算出部と、前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態の推定を行う推定部と、を備える、情報処理装置を提供する。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、ユーザから取得される生体情報に基づいてユーザの状態を推定する技術の研究開発が盛んに行われている。例えば、特許文献１には、ユーザがメガネ型ウェアラブル端末を装着し、ディスプレイに表示される画像を見る場合において、ディスプレイの明るさの変化に伴う瞳孔径の変化速度に基づいてユーザの覚醒状態を判定する技術が開示されている。
特開平７－２５５６６９号公報
O.Lowenstein、外２名「Pupillary movements during acute andchronic fatigue」１９６３年 H.Ludtke、外４名「Mathematicalprocedures in data recording and processing of pupillary fatigue waves」１９９８年
　ここで、特許文献１等の技術においては、ユーザ状態の推定精度が低くなる場合があった。例えば、瞳孔径は、入射光の光量または注視点等によっても変化するため、ディスプレイの輝度や注視点等に応じて瞳孔径の変化速度は変わる。
　そこで、本開示は、上記に鑑みてなされたものであり、本開示は、ユーザ状態の推定精度をより向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供する。
　本開示によれば、ユーザの第１の瞳孔径を測定する測定部と、前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出する算出部と、前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態の推定を行う推定部と、を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザの第１の瞳孔径を測定することと、前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出することと、前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態を推定することと、を有する、コンピュータにより実行される情報処理方法が提供される。
　また、本開示によれば、ユーザの第１の瞳孔径を測定することと、前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出することと、前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態を推定することと、をコンピュータに実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザ状態の推定精度をより向上させることが可能になる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
瞳孔径に基づく状態推定の原理を説明する図である。 瞳孔径に基づく状態推定の原理を説明する図である。 本開示の一実施形態に係るＨＭＤのイメージを示す図である。 基準瞳孔径の算出方法について説明する図である。 瞳孔の明順応時間および瞳孔の暗順応時間について説明する図である。 非特許文献２における状態推定の原理を説明する図である。 非特許文献２における状態推定の原理を説明する図である。 第１の実施形態に係るＨＭＤの機能構成を示す図である。 第１の実施形態に係るＨＭＤがユーザ状態を推定する動作を示すフローチャートである。 遠見時および近見時における瞳孔径および瞳孔間距離を示す図である。 ＨＭＤのディスプレイに表示される物体の一例を示す図である。 注視点の奥行距離と基準瞳孔径との対応関係を示す図である。 注視点の奥行距離と瞳孔間距離との対応関係を示す図である。 ＨＭＤのディスプレイにおける位置区分の一例を示す図である。 第２の実施形態に係るＨＭＤの機能構成を示す図である。 第２の実施形態に係るＨＭＤがユーザ状態を推定する動作を示すフローチャートである。 第１の実施形態および第２の実施形態に係るＨＭＤのハードウェア構成を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．背景
　２．第１の実施形態
　　２－１．第１の実施形態の機能内容
　　２－２．第１の実施形態の機能構成
　　２－３．第１の実施形態に係るＨＭＤの動作
　　２－４．第１の実施形態の変形例
　３．第２の実施形態
　　３－１．第２の実施形態の機能内容
　　３－２．第２の実施形態の機能構成
　　３－３．第２の実施形態に係るＨＭＤの動作
　４．ユーザ状態の推定結果の活用例
　　４－１．インタラクティブ型アプリケーションへの活用例
　　４－２．視聴コンテンツパーソナライズへの活用例
　　４－３．ユーザ判定への活用例
　５．応用例
　６．備考
　７．ハードウェア構成
　８．むすび
　　＜１．背景＞
　上述のとおり、近年、ユーザから取得される生体情報に基づいてユーザの状態を推定する技術の研究開発が盛んに行われている。ここで、図１および図２を参照して、瞳孔径に基づく状態推定の原理について説明する。図１および図２は、瞳孔径に基づく状態推定の原理を説明する図である。
　瞳孔の拡大（「散瞳」とも呼称される）、縮小（「縮瞳」とも呼称される）は、主に瞳孔散大筋および瞳孔括約筋によって制御されている。より具体的に説明すると、図１に示すように、瞳孔散大筋が収縮し瞳孔括約筋が弛緩することで散瞳が生じ、瞳孔散大筋が弛緩し瞳孔括約筋が収縮することで縮瞳が生じる。
　また、瞳孔散大筋および瞳孔括約筋はユーザの意思によっては制御されず、自律神経系によって制御されている。より具体的に説明すると、瞳孔散大筋は交感神経によって制御され、瞳孔括約筋は副交感神経によって制御されている。したがって、ユーザが興奮状態や覚醒状態にある場合等には交感神経が優位になるため散瞳が発生し、ユーザが疲労状態や眠い状態にある場合には副交感神経が優位になるため縮瞳が発生する。
　この原理によって、図２に示すように、瞳孔径が、基準となる瞳孔径（以降、便宜的に「基準瞳孔径」と呼称する）より大きい場合にユーザが興奮状態にあり、瞳孔径が基準瞳孔径より小さい場合にはユーザが疲労（眠い）状態にあると推定され得る。なお、瞳孔径が基準瞳孔径と同程度（基準瞳孔径との差異が所定の閾値以内である状態）である場合に、ユーザが覚醒（リラックス）状態にあるとも推定され得る。なお、健常者の場合、両目の瞳孔径は基本的に等しいと考えられるため、瞳孔径と基準瞳孔径の比較は片目だけ行われればよい。
　また、ユーザが疲労状態にある場合には、瞳孔径の変化速度が遅くなるという特徴も明らかになっている。この原理によって、特許文献１では、ユーザがメガネ型ウェアラブル端末を装着し、ディスプレイに表示される画像を見る場合において、ディスプレイの明るさの変化に伴う瞳孔径の変化速度に基づいてユーザの覚醒状態を判定する技術が開示されている。
　しかし、瞳孔径は、ユーザの状態だけではなく入射光の光量または注視点等にも影響される。より具体的に説明すると、基本的に、入射光量が少ない場合には瞳孔径は大きくなり、入射光量が多い場合には瞳孔径は小さくなる。また、ユーザの注視点の奥行距離が短い時（ユーザが近辺に焦点を合わせる時。以降、便宜的に「近見時」とも呼称する）と、ユーザの注視点の奥行距離が長い時（ユーザが遠方に焦点を合わせる時。以降、便宜的に「遠見時」とも呼称する）とを比較すると、近見時に測定された瞳孔径は遠見時に測定された瞳孔径よりも小さくなる。なお、近見時に測定された瞳孔間距離は遠見時に測定された瞳孔間距離よりも短くなる。以上によって、入射光量または注視点の奥行距離の測定条件によっては、ユーザ状態の推定精度が低くなる場合があった。
　また、ユーザが特許文献１に記載のメガネ型ウェアラブル端末に表示されるコンテンツを見ている場合に、システムがコンテンツの輝度を制御できないため、ユーザの状態を判定できる機会が限定されていた。
　そこで、本件の開示者は、上記事情に着眼して本開示を創作するに至った。本開示の一実施形態に係る情報処理装置は、瞳孔径の測定条件（入射光の光量または注視点等）に基づいて基準瞳孔径のキャリブレーションを行う。したがって、本実施形態に係る情報処理装置は、測定条件に対して適切な基準瞳孔径を設定することができるため、ユーザ状態の推定精度を向上させることができる。以下では、本開示の第１の実施形態、第２の実施形態、ユーザ状態の推定結果の活用例、応用例等を詳細に説明する。
　　＜第１の実施形態＞
　上記では、本開示の背景について説明した。続いて、本開示の第１の実施形態について説明する。なお、本開示は、様々な装置またはシステム等に適用され得る。例えば、本開示は、車載カメラ、デジタルカメラ、ビデオカメラなどの画像取得装置、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット型ＰＣ、サーバなどの情報処理装置、携帯電話、スマートフォンなどの通信装置などに適用され得る。また、本開示は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムにも適用され得る。
　以下では、一例として、本開示が情報処理装置の一種であるヘッドマウントディスプレイ１００（以降、便宜的に「ＨＭＤ１００」と呼称する）に適用される場合について説明する。より具体的に説明すると、図３に示すように、装着者の視界全体が覆われる遮蔽型のＨＭＤ１００に本開示が適用される場合について説明するが、ＨＭＤ１００の種類、形状は任意である。例えば、ＨＭＤ１００は、シースルーディスプレイでもよい。また、本実施形態における、入射光の光量とは、ディスプレイの平均輝度（または輝度）に対応している概念であるとする。言い換えると、本実施形態に係るＨＭＤ１００は、ディスプレイの平均輝度（または輝度）を制御することにより眼への入射光の光量を制御する。
　（２－１．第１の実施形態の機能内容）
　まず、第１の実施形態の機能内容について説明する。第１の実施形態は、基準瞳孔径が入射光の光量に基づいてキャリブレーションされるケースである。より具体的に説明すると、本実施形態に係るＨＭＤ１００は、ユーザが自装置を装着した後にディスプレイの平均輝度を２回以上変更し、平均輝度毎に瞳孔径をサンプルとして測定する。そして、ＨＭＤ１００は、瞳孔径の変化量がディスプレイの平均輝度の変化量に線形に反比例すると仮定して、ディスプレイの平均輝度とそれに対応する瞳孔径のサンプルを用いて線形近似を行うことによって、基準瞳孔径を算出する。
　ここで、図４を参照して、基準瞳孔径の算出方法について説明する。まず、ＨＭＤ１００は、ユーザが自装置を装着する時には、ディスプレイをオフの状態または、オフの状態に近い暗い状態にしておく。そして、ユーザが自装置を装着した直後に、ＨＭＤ１００は、瞳孔径Ｄ１を測定し、測定結果および測定時のディスプレイの平均輝度Ｉ１（≒０）の情報をサンプルＰ１（Ｉ１，Ｄ１）として記憶する。次いで、ＨＭＤ１００は、ディスプレイをほぼ一様に所定の輝度まで明るくした状態で瞳孔径Ｄ２を測定し、測定結果および測定時のディスプレイの平均輝度Ｉ２の情報をサンプルＰ２（Ｉ２，Ｄ２）として記憶する。そして、ＨＭＤ１００は、平均輝度Ｉ１から平均輝度Ｉ２の間の任意の平均輝度Ｉにおける、基準瞳孔径Ｄｒｅｆを、例えば、以下の式１により算出する。
Figure JPOXMLDOC01-appb-M000001
  
　ここで、瞳孔径の変化量がディスプレイの平均輝度の変化量に線形に反比例しているという線形近似によって得られた値は、ある程度誤差を含んでいる。また、視細胞を構成する捍体細胞と錐体細胞の働きは、入射光の光量または入射光の波長によっても変化する等の様々な要因によって、入射光の光量に対応する瞳孔径を正確にモデル化することは困難である。しかし、入射光の光量のダイナミックレンジが比較的小さい場合には、上記の線形近似の誤差は比較的小さくなる。例えば、太陽光の照度は、日中快晴時には１００ｋｌｕｘ以上に達する場合があるのに対し、ＨＭＤ１００を含む遮蔽型のヘッドマウントディスプレイにおけるディスプレイの照度は５００ｌｕｘ程度である。したがって、入射光の光量のダイナミックレンジが比較的小さい環境で瞳孔径を測定することが可能な遮蔽型ヘッドマウントディスプレイのような装置に対して本開示を適用することで、ユーザ状態の推定精度をより向上させることができる。
　なお、基準瞳孔径の算出方法は、上記の方法に限定されない。例えば、ＨＭＤ１００は、ディスプレイの平均輝度とそれに対応する瞳孔径のサンプル数を所定の数以上に増やし、これらのサンプルに基づいて最小二乗法等の任意の近似方法を用いて基準瞳孔径を算出してもよい。ＨＭＤ１００は、基準瞳孔径の算出に用いるサンプル数を増加させることで、より適切な基準瞳孔径を算出することができる。
　また、基準瞳孔径の算出にあたり行われる、ディスプレイの制御方法は上記の方法に限定されない。例えば、ＨＭＤ１００は、任意のタイミングでディスプレイを暗い状態から明るい状態へ変更したり、明るい状態から暗い状態へ変更したりして基準瞳孔径を算出してもよい。
　また、ＨＭＤ１００は、瞳孔の明順応時間および暗順応時間を考慮してサンプルの取得を行うこととする。本実施形態における明順応時間とは、ディスプレイが暗い状態から明るい状態へ変化した場合に、瞳孔径の大きさがディスプレイの明るさに適応し安定するまでに要する時間を指し、暗順応時間とは、ディスプレイが明るい状態から暗い状態へ変化した場合に、瞳孔径の大きさがディスプレイの明るさに適応し安定するまでに要する時間を指す。
　ここで、図５を参照して、瞳孔の明順応時間および瞳孔の暗順応時間について説明する。図５Ａは瞳孔の明順応時間を示す図であり、図５Ｂは瞳孔の暗順応時間を示す図である。図５に示すように、明順応時間は約１秒程度であり暗順応時間よりも短い。一方、暗順応時間は、約１０秒程度であったり、入射光量の変化量が多ければそれ以上になったりする場合がある。
　明順応時間は約１秒程度と比較的短時間であることを踏まえて、ＨＭＤ１００は、ディスプレイを暗い状態から明るい状態へ変化させる場合には、ディスプレイの平均輝度を変更してから明順応時間が経過した後に、すなわち瞳孔径の変化が完了し安定した後に瞳孔径を測定する。これによって、ＨＭＤ１００は、短時間で適切な瞳孔径を測定することができる。
　一方、暗順応時間は約１０秒程度もしくはそれ以上と比較的長時間であることを踏まえて、ＨＭＤ１００は、ディスプレイを明るい状態から暗い状態へ変化させる場合には、時定数により瞳孔径変化または瞳孔面積変化の過渡状態をモデル化することで、過渡状態での基準瞳孔径を算出することとする。
　より具体的に説明すると、ＨＭＤ１００は、上記の手順と同様に、ディスプレイが暗い状態にてサンプルＰ１（Ｉ１，Ｄ１）を取得し、ディスプレイが明るい状態にてサンプルＰ２（Ｉ２，Ｄ２）を取得する。続いて、ＨＭＤ１００は、ディスプレイの平均輝度をＰ１の取得時と同一の値まで戻し、瞳孔面積の増加量が、Ｐ２の取得時における瞳孔面積からＰ１の取得時における瞳孔面積までの増加量の６３％に達するまでの時間を測定し、この時間をＲＣＬ回路モデルの時定数τとする。なお、時定数τとそれに対応する瞳孔面積Ａ（τ）の関係は以下の式２によって表され得る。
Figure JPOXMLDOC01-appb-M000002
  
　そして、入射光の光量が変更された時点（すなわち、ディスプレイが明るい状態から暗い状態へ変化された時点）からの経過時間をｔとすると、経過時間ｔにおける瞳孔面積Ａ（ｔ）は以下の式３によって表され得る。
Figure JPOXMLDOC01-appb-M000003
  
　ＨＭＤ１００は、式３の結果によって、経過時間ｔに対応する基準瞳孔径を算出することができる。ここで、暗順応時における時定数τは通常約２～３秒程度であるため、ＨＭＤ１００は、上記の方法により暗順応時間よりも短時間で基準瞳孔径の算出を行うことができる。
　そして、ＨＭＤ１００は、測定した瞳孔径（第１の瞳孔径）を基準瞳孔径と比較し、瞳孔径が基準瞳孔径よりも大きければ、ユーザが興奮状態にあると判定し、瞳孔径が基準瞳孔径以下であれば、ユーザが疲労状態にあると判定する。なお、ユーザ状態の推定方法は任意である。例えば、ＨＭＤ１００は、基準瞳孔径に基づいて別の値を算出し、当該値と瞳孔径を比較してもよい。例えば、ＨＭＤ１００は、基準瞳孔径にある値を乗算して得られる値（例えば、基準瞳孔径に１．２を乗算して得られる値）と瞳孔径を比較し、瞳孔径が当該値よりも大きければ、ユーザが興奮状態にあると判定してもよい。また、ＨＭＤ１００は、基準瞳孔径に別のある値を乗算して得られる値（例えば、基準瞳孔径に０．８を乗算して得られる値）と瞳孔径を比較し、瞳孔径が当該値よりも小さければ、ユーザが疲労状態にあると判定してもよい。また、ＨＭＤ１００は、瞳孔径に応じて段階的な指標（覚醒レベル、覚醒度等）を設定してもよい。これによって、ＨＭＤ１００は、ユーザ状態をより詳細に表現することができる。
　また、ＨＭＤ１００は、所定期間における瞳孔径の平均値と基準瞳孔径の平均値を比較することで、ユーザ状態を推定してもよい。例えば、ＨＭＤ１００は、１秒間隔で計１分間、瞳孔径の測定および基準瞳孔径の算出を行う。そして、ＨＭＤ１００は、測定した瞳孔径の平均値および算出した基準瞳孔径の平均値をそれぞれ算出し、上記のように、各平均値の比較等を行うことで、ユーザ状態の推定を行ってもよい。瞳孔径は、周囲の音や振動等の様々な要因によって不安定になる場合があるが、ＨＭＤ１００は、瞳孔径の平均値と基準瞳孔径の平均値を比較することで、ユーザ状態の推定結果の安定性および精度を向上させることができる。また、ＨＭＤ１００は、瞳孔径を基準瞳孔径で正規化した値を覚醒度とし、所定期間（１分間等）の覚醒度の平均値に対して閾値判定を行うことでも、同様の効果を得ることができる。
　また、ＨＭＤ１００は、入射光の光量の平均値が所定の範囲内に収まる場合にユーザ状態の推定を行ってもよい。より具体的に説明すると、入射光の光量のダイナミックレンジが大きくなると、入射光が瞳孔径に与える影響が大きくなるためユーザ状態の推定結果に含まれる誤差が大きくなる。そこで、ＨＭＤ１００は、入射光の光量の平均値を算出し、当該平均値が所定の範囲内に収まる場合に、その時点に測定した瞳孔径等の情報を用いてユーザ状態の推定処理を行ってもよい。また、ＨＭＤ１００が入射光の光量の平均値を用いるのはあくまで一例であり、ＨＭＤ１００は、入射光の光量の安定性を表す任意の値を用いてもよい。これらの方法により、ＨＭＤ１００は、入射光が推定結果に与える影響を低減させることができる。
　（２－２．第１の実施形態の機能構成）
　上記では、第１の実施形態の機能内容について説明した。続いて、図８を参照して、第１の実施形態に係るＨＭＤ１００の機能構成について説明する。図８は、第１の実施形態に係るＨＭＤ１００の機能構成を示す図である。
　図８に示すように、本実施形態に係るＨＭＤ１００は、表示部１１０と、赤外線光源１２０と、撮像部１３０と、輝度算出部１４０と、処理部１５０と、制御部１６０と、記憶部１７０と、を備える。処理部１５０は、瞳孔径測定部１５１と、基準瞳孔径算出部１５２と、状態推定部１５３と、を備える。輝度算出部１４０は測定部としての機能を有し、処理部１５０は測定部、算出部および推定部としての機能を有する。
　（表示部１１０）
　表示部１１０は、ディスプレイを備え、ユーザ状態の推定にも使用される各種オブジェクトを表示する。より具体的に説明すると、表示部１１０は、制御部１６０に制御されることにより、様々な情報を画像、テキスト、グラフなどの多様なオブジェクトで表示することで、ユーザに対して当該情報を視覚的に通知する。表示部１１０が輝度の異なる様々なオブジェクトを表示することで、瞳孔径が刻々と変化する。
　（赤外線光源１２０）
　赤外線光源１２０は、瞳孔径の撮像に用いられる赤外線を射出する。より具体的に説明すると、赤外線光源１２０は、瞳孔を含む眼周辺の明るさに基づくＯＮ／ＯＦＦ信号を制御部１６０から取得し、当該信号に基づいて発光を行う。
　（撮像部１３０）
　撮像部１３０は、瞳孔を含む眼周辺を撮像する。より具体的に説明すると、撮像部１３０は、制御部１６０に制御されることにより上記の赤外線光源１２０から射出された赤外線を用いて、瞳孔を含む眼周辺の撮像を行い、撮像画像データを後述する処理部１５０へ提供する。撮像部１３０は、例えば赤外線の波長帯域に感度を有するＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの撮像素子を備えている。
　撮像処理に赤外線が用いられることによって、撮像部１３０は、ユーザに違和感を与えることなく撮像を行うこと、環境光に依存しない安定した撮像画像を得ること、瞳孔領域と虹彩領域が区別しやすい撮像画像を得ることができる。
　（輝度算出部１４０）
　輝度算出部１４０は、ディスプレイの平均輝度を算出する。より具体的に説明すると、輝度算出部１４０は、表示部１１０によって表示されるオブジェクトの情報を制御部１６０から取得し、当該情報に基づいてディスプレイの平均輝度を算出する。輝度算出部１４０は、算出した平均輝度情報を後述する処理部１５０に提供する。
　（瞳孔径測定部１５１）
　瞳孔径測定部１５１は、撮像画像データを解析することで瞳孔径を測定する。この解析方法は任意である。例えば、瞳孔径測定部１５１は、撮像画像データに対する各種の画像処理（例えば歪みや黒レベル、ホワイトバランスなどの調整処理）、撮像画像内の輝度分布を取得する処理、当該輝度分布に基づいて瞳孔の輪郭（エッジ）を検出する処理、検出された瞳孔の輪郭を円又は楕円などの図形で近似する処理などの一連の処理によって、瞳孔を識別してもよい。そして、瞳孔径測定部１５１は、瞳孔の識別結果に基づいて瞳孔径を測定し、瞳孔径情報を生成する。
　（基準瞳孔径算出部１５２）
　基準瞳孔径算出部１５２は、平均輝度に基づいて基準瞳孔径を算出する。より具体的に説明すると、基準瞳孔径算出部１５２は、瞳孔径測定時におけるディスプレイの平均輝度情報を輝度算出部１４０から取得し、例えば上記の式１に当該情報を入力することによって基準瞳孔径を算出する。そして、基準瞳孔径算出部１５２は基準瞳孔径情報を生成する。
　（状態推定部１５３）
　状態推定部１５３は、基準瞳孔径および瞳孔径に基づいてユーザの状態を推定する。より具体的に説明すると、状態推定部１５３は、基準瞳孔径算出部１５２から基準瞳孔径情報を取得し、瞳孔径測定部１５１から瞳孔径情報を取得し、基準瞳孔径と瞳孔径を比較することによって、ユーザの状態を推定する。そして、状態推定部１５３は、ユーザ状態の推定結果であるユーザ状態推定情報を生成する。
　（制御部１６０）
　制御部１６０は、ＨＭＤ１００の各構成を統括的に制御する。より具体的に説明すると、制御部１６０は、表示部１１０、赤外線光源１２０、撮像部１３０、輝度算出部１４０および処理部１５０を制御することによって、各構成が適切に上記処理を行うことを可能にする。また、制御部１６０は、状態推定部１５３からユーザ状態推定情報を取得し、当該情報に基づいて各種処理を行う。詳細については「４．ユーザ状態の推定結果の活用例」に記載する。
　（記憶部１７０）
　記憶部１７０は、制御部１６０および処理部１５０が各種処理を実施するに際して参照可能な、各種パラメータ及びデータベース、並びに、各種プログラム等を記憶する。また、かかる記憶部１７０は、制御部１６０および処理部１５０によって各種処理が実施される際に生成される一時的なデータや履歴情報等を格納してもよい。制御部１６０および処理部１５０は、記憶部１７０に対して、自由にデータのリード／ライト処理を実施することが可能である。
　（２－３．第１の実施形態に係るＨＭＤ１００の動作）
　上記では、第１の実施形態の機能構成について説明した。続いて、図９を参照して、第１の実施形態に係るＨＭＤ１００の動作について説明する。図９は、第１の実施形態に係るＨＭＤ１００がユーザ状態を推定する動作を示すフローチャートである。
　まず、ステップＳ１０００では、撮像部１３０が瞳孔を含む眼周辺を撮像する。ステップＳ１００４では、瞳孔径測定部１５１が撮像画像データを解析することで瞳孔径を測定する。ステップＳ１００８では、輝度算出部１４０が、ディスプレイに表示されるオブジェクトの情報を制御部１６０から取得し、当該情報に基づいてディスプレイの平均輝度を算出する。ステップＳ１０１２では、基準瞳孔径算出部１５２がディスプレイの平均輝度を上記の式１に入力することによって基準瞳孔径を算出する。ステップＳ１０１６では、状態推定部１５３が、基準瞳孔径と瞳孔径を比較することによってユーザの状態を推定する。
　（２－４．第１の実施形態の変形例）
　上記では、第１の実施形態に係るＨＭＤ１００の動作について説明した。続いて、第１の実施形態の変形例について説明する。上記の実施形態に係るＨＭＤ１００は、測定した瞳孔径を基準瞳孔径と比較し、これらの大小に応じてユーザ状態を推定していた。一方、第１の実施形態の変形例に係るＨＭＤ１００は、測定した瞳孔径を、暗室で測定された場合に相当する瞳孔径（第２の瞳孔径）へと変換することによってユーザ状態を推定する。
　本実施形態に係る推定方法の前提となる技術について説明する。上記の非特許文献１には、被験者が暗室で安静にしている時（以降、便宜的に「暗室安静時」と呼称する）に眠い状態にある場合、被験者の瞳孔径変化に数秒～数十秒程度の低周波の揺らぎが発生することが報告されている。また、非特許文献２には、暗室安静時において被験者の瞳孔径変化を所定の時間測定し、瞳孔径変化波を数個のセグメントに分割し、各セグメントの所定の周波数以下におけるパワースペクトルの積分値、瞳孔径の平均値の推移、および、瞳孔径の変化量の絶対値の総和により被験者の眠気を判定する方法が開示されている。
　ここで、図６および図７を参照して、非特許文献２に記載されている判定方法について具体的に説明する。図６は、非特許文献２に掲載されている瞳孔径変化波を示す図である。図６Ａは、覚醒状態にあるユーザの瞳孔径変更波であり、図６Ｂは、眠い状態にあるユーザの瞳孔径変更波である。図６に示すように、ユーザが眠い状態にある場合はユーザが覚醒状態にある場合に比べて、瞳孔径変化の揺らぎが激しくなる。
　次に、図７は、図６Ａおよび図６Ｂの瞳孔径変化波のそれぞれに対応するパワースペクトルと、図６Ａおよび図６Ｂそれぞれに対応する瞳孔径の平均値の推移を示す図である。図７に示すように、ユーザが眠い状態にある場合の瞳孔径変化波のパワースペクトルの積分値は、ユーザが覚醒状態にある場合に比べて大きな値を示す。また、覚醒状態にあるユーザの瞳孔径の平均値はほとんど変化なく推移しているのに対し、眠い状態にあるユーザの瞳孔径の平均値は、ある時点で小さくなるように変化している。なお、非特許文献２に記載されている判定方法は、暗室安静時に瞳孔径が測定されることを前提としている。
　上記を踏まえて、第１の実施形態の変形例に係るＨＭＤ１００は、任意の平均輝度において測定した瞳孔径を、暗室において測定された瞳孔径へと変換することで、非特許文献２の方法を用いてユーザ状態を推定する。ここで、ＨＭＤ１００が上記の式１によって基準瞳孔径を算出したケースを用いてより具体的に説明する。ＨＭＤ１００は、ディスプレイの平均輝度が任意の値（平均輝度Ｉ）を示している状態で瞳孔径Ｄを測定し、以下の式４にこれらの値を入力することによって、瞳孔径Ｄを、最も暗い状態で測定された瞳孔径Ｄdarkへ変換する。
Figure JPOXMLDOC01-appb-M000004
  
　ＨＭＤ１００は、式４の結果に基づいて暗室における瞳孔径変化波を生成し、当該波形を解析することで、例えば非特許文献２と同様の方法でパワースペクトル積分値、平均瞳孔径、瞳孔径変動量絶対値の総和を算出することで、ユーザ状態を推定することができる。
　　＜３．第２の実施形態＞
　上記では、本開示の第１の実施形態について説明した。続いて、本開示の第２の実施形態について説明する。
　（３－１．第２の実施形態の機能内容）
　まず、第２の実施形態の機能内容について説明する。第２の実施形態は、基準瞳孔径が入射光の光量だけでなく、ユーザの注視点の奥行距離にも基づいてキャリブレーションされるケースである。上記のとおり、瞳孔径は、入射光の光量だけでなくユーザの注視点の奥行距離によっても影響される。ここで、図１０を参照して遠見時および近見時における瞳孔径および瞳孔間距離について説明する。
　図１０に示すように、遠見時と近見時とを比較すると、近見時の方が瞳孔径はより小さくなっており、瞳孔間距離はより短くなっていることがわかる。近見時と遠見時における瞳孔径の差異および瞳孔間距離の差異には個人差があり、一般的にユーザの年齢が高くなるにつれて、瞳孔径の差異は大きくなり、瞳孔間距離の差異は小さくなると考えられている。そこで、本実施形態に係るＨＭＤ１００は、入射光の光量だけでなく注視点の奥行距離も考慮して基準瞳孔径のキャリブレーションを行うことで、幅広いユーザに対するユーザ状態の推定精度を向上させることができる。
　なお、以下では、入射光の光量と注視点の奥行距離に基づいて瞳孔径のキャリブレーションが行われる例について記載するが、ＨＭＤ１００は、注視点の奥行距離のみに基づいて瞳孔径のキャリブレーションを行ってもよい。より具体的に説明すると、ＨＭＤ１００のディスプレイの平均輝度のダイナミックレンジが小さくなるほど、入射光の光量が瞳孔径に与える影響は小さくなる。したがって、ＨＭＤ１００は、注視点の奥行距離のみに基づいて瞳孔径のキャリブレーションを行っても所望の精度以上の推定結果を得られる場合がある。これによって、ＨＭＤ１００は入射光の光量に基づくキャリブレーション処理に使用されるだけのエネルギーの消費を抑えることができる。
　本実施形態に係るＨＭＤ１００は３Ｄディスプレイ（以降、便宜的に「ディスプレイ」と呼称する）を備えており、ＨＭＤ１００はディスプレイ上に所定の立体物を表示する。ここで、図１１を参照して、ＨＭＤ１００がディスプレイに表示する立体物の一例について説明する。図１１に示すように、ＨＭＤ１００は、所定の立体物を表示し、当該立体物を遠方（図１１Ａ）または近方（図１１Ｂ）に移動させるように表示し、その間、瞳孔径および瞳孔中心位置をサンプルとして数回測定する。なお、測定中において、ＨＭＤ１００は、ディスプレイの平均輝度を一定（または所定の範囲内）に保ち、立体物と背景の平均輝度が近い値になるように制御することとする。ＨＭＤ１００は、この処理を、ディスプレイの平均輝度を変更して少なくとも２回以上行う（例えば、ＨＭＤ１００は、ディスプレイの平均輝度が最も低い場合と、最も高い場合において上記の処理を行う）。
　これによって、ＨＭＤ１００は、図１２に示すように、異なる平均輝度（図１２においては、平均輝度Ｉ１および平均輝度Ｉ２）での注視点の奥行距離と基準瞳孔径との対応関係に関する情報を得ることができる。図１２に示すように、注視点の奥行距離および基準瞳孔径は、注視点の奥行距離が長くなるにつれて基準瞳孔径が逓増するような相関曲線で表される関係を有している。なお、図１２における平均輝度Ｉ１は、ディスプレイの最も低い平均輝度を想定しており、平均輝度Ｉ２は最も高い平均輝度を想定している。そして、ＨＭＤ１００は、平均輝度Ｉ１および平均輝度Ｉ２の間の任意の平均輝度（平均輝度Ｉ）における、注視点の奥行距離と基準瞳孔径との対応関係に関する情報を推定することができる。なお、ＨＭＤ１００は、サンプルを測定する際の平均輝度の変更回数を増やすことで、任意の平均輝度Ｉにおける、注視点の奥行距離と基準瞳孔径との対応関係に関する情報の精度を向上させることができる。
　また、ＨＭＤ１００は、サンプルを測定するにあたり瞳孔中心位置を測定することによって、図１３に示すように、注視点の奥行距離と瞳孔間距離との対応関係に関する情報を取得することができる。図１３に示すように、注視点の奥行距離と瞳孔間距離は、注視点の奥行距離が長くなるにつれて瞳孔間距離が逓増するような相関曲線で表される関係を有している。これによって、ＨＭＤ１００は、任意のタイミングに撮像された瞳孔間距離に基づいて注視点の奥行距離を推定することができる。さらに、ＨＭＤ１００は、図１２の対応関係に基づいて、推定した奥行距離とディスプレイの平均輝度により基準瞳孔径を算出することができる。
　加えて、瞳孔間距離は、ユーザの注視点にも影響されるため、本実施形態に係るＨＭＤ１００は、ディスプレイにおけるユーザの注視点も考慮する。より具体的に説明すると、ＨＭＤ１００は、図１３に示すような注視点の奥行距離と瞳孔間距離との対応関係に関する情報を、ディスプレイにおける位置区分毎に作成する。例えば、ＨＭＤ１００は、図１４Ａに示すように、ディスプレイ中に９個の位置区分（ａ１～ａ３、ｂ１～ｂ３、ｃ１～ｃ３）を設定する。そして、ユーザが各位置区分を注視したときの瞳孔位置を図１４Ｂに示す。図１４Ｂにおけるａ１等の符号は、図１４Ａのａ１等の符号に対応している。
　ＨＭＤ１００は、ディスプレイ上におけるユーザの注視点を判定し、当該注視点に最も近い位置区分に対応する、注視点の奥行距離と瞳孔間距離との対応関係に関する情報を選択する。その後、ＨＭＤ１００は、撮像された瞳孔間距離に基づいて注視点の奥行距離を推定し、図１２の対応関係に基づいて、推定した奥行距離とディスプレイの平均輝度により基準瞳孔径を算出する。なお、ディスプレイ上の位置区分は、点ではなく所定の面積を有する領域であってもよい。この場合、ＨＭＤ１００は、ディスプレイ上におけるユーザの注視点を判定し、当該注視点がいずれの領域に含まれるかに基づいて上記の処理を行う。これらの処理により、ＨＭＤ１００は、注視点の奥行距離をより精度の高く推定することができるため、より適切な基準瞳孔径を算出することができる。
　（３－２．第２の実施形態の機能構成）
　上記では、第２の実施形態の機能内容について説明した。続いて、図１５を参照して、第２の実施形態に係るＨＭＤ１００の機能構成について説明する。図１５は、第２の実施形態に係るＨＭＤ１００の機能構成を示す図である。
　図１５に示すように、本実施形態に係るＨＭＤ１００は、表示部１１０と、赤外線光源１２０と、撮像部１３０と、輝度算出部１４０と、処理部１５０と、制御部１６０と、記憶部１７０と、を備える。処理部１５０は、瞳孔径測定部１５１と、基準瞳孔径算出部１５２と、状態推定部１５３と、注視点推定部１５４と、瞳孔間距離測定部１５５と、奥行距離推定部１５６と、を備える。なお、以下では、第１の実施形態に係るＨＭＤ１００と同一の説明を省略し、主に、第１の実施形態に係るＨＭＤ１００とは異なる機能について説明する。
　（表示部１１０）
　表示部１１０は、３Ｄディスプレイを備えており、制御部１６０に制御されることにより、図１１に示すような立体物を表示し当該立体物を遠方または近方に移動させるように表示する。
　（注視点推定部１５４）
　注視点推定部１５４は、撮像画像データを解析することで、ディスプレイにおけるユーザの注視点を推定する。なお、注視点の推定方法は任意であり、既知の推定方法が使用されてもよい。例えば、注視点推定部１５４は、撮像画像データに基づいて、瞳孔上に生じる輝点等に基づいて角膜曲率中心位置を算出し、瞳孔中心位置と角膜曲率中心位置を通る光軸を算出し、当該光軸を補正すること視軸を算出し、視軸とディスプレイの位置関係に基づいて、ディスプレイ上の注視点を推定してもよい。そして、注視点推定部１５４は、推定結果に基づいて注視点情報を生成する。
　（瞳孔間距離測定部１５５）
　瞳孔間距離測定部１５５は、撮像画像データを解析することで瞳孔間距離を測定する。この方法は任意である。例えば、瞳孔間距離測定部１５５は、上記の瞳孔径測定部１５１と同様に各種処理（画像処理等）によって両目の瞳孔を識別し、両目の瞳孔の中心間の距離を算出する。そして、瞳孔間距離測定部１５５は、算出結果に基づいて瞳孔間距離情報を生成する。
　（奥行距離推定部１５６）
　奥行距離推定部１５６は、ユーザの注視点および瞳孔間距離に基づいて注視点の奥行距離を推定する。より具体的に説明すると、奥行距離推定部１５６は、注視点推定部１５４から注視点情報を取得し、当該情報に基づいて注視点の奥行距離の推定に使用する、注視点の奥行距離と瞳孔間距離との対応関係に関する情報（図１３に示した情報）を決定する。そして、奥行距離推定部１５６は、瞳孔間距離測定部１５５から瞳孔間距離情報を取得し、当該情報と注視点の奥行距離と瞳孔間距離との対応関係に関する情報に基づいて、瞳孔間距離に対応する注視点の奥行距離を推定する。そして、奥行距離推定部１５６は、推定結果に基づいて奥行距離情報を生成する。
　（基準瞳孔径算出部１５２）
　基準瞳孔径算出部１５２は、注視点の奥行距離およびディスプレイの平均輝度に基づいて基準瞳孔径を算出する。より具体的に説明すると、基準瞳孔径算出部１５２は、奥行距離推定部１５６から奥行距離情報を取得し、輝度算出部１４０からディスプレイの平均輝度情報を取得する。そして、基準瞳孔径算出部１５２は、これらの情報を、注視点の奥行距離と基準瞳孔径との対応関係に関する情報（図１２に示した情報）に入力することで基準瞳孔径を出力する。出力された基準瞳孔径は、状態推定部１５３によるユーザ状態の推定処理に使用されることになる。
　（３－３．第２の実施形態に係るＨＭＤ１００の動作）
　上記では、第２の実施形態の機能構成について説明した。続いて、図１６を参照して、第２の実施形態に係るＨＭＤ１００の動作について説明する。図１６は、第２の実施形態に係るＨＭＤ１００がユーザ状態を推定する動作を示すフローチャートである。
　まず、ステップＳ１１００では、撮像部１３０が瞳孔を含む眼周辺を撮像する。ステップＳ１１０４では、瞳孔径測定部１５１が撮像画像データを解析することで瞳孔径を測定する。ステップＳ１１０８では、注視点推定部１５４が撮像画像データを解析することでディスプレイにおけるユーザの注視点を推定する。ステップＳ１１１２では、瞳孔間距離測定部１５５が撮像画像データを解析することで瞳孔間距離を測定する。ステップＳ１１１６では、奥行距離推定部１５６がユーザの注視点および瞳孔間距離に基づいて注視点の奥行距離を推定する。ステップＳ１１２０では、輝度算出部１４０が、ディスプレイに表示されるオブジェクトの情報を制御部１６０から取得し、当該情報に基づいてディスプレイの平均輝度を算出する。ステップＳ１１２４では、基準瞳孔径算出部１５２がディスプレイの平均輝度および注視点の奥行距離に基づいて基準瞳孔径を算出する。ステップＳ１１２８では、状態推定部１５３が、基準瞳孔径と瞳孔径を比較することによってユーザの状態を推定する。
　　＜４．ユーザ状態の推定結果の活用例＞
　上記では、本開示の第２の実施形態について説明した。続いて、ユーザ状態の推定結果の活用例について説明する。
　（４－１．インタラクティブ型アプリケーションへの活用例）
　まず、上記方法により得られたユーザ状態の推定結果がインタラクティブ型アプリケーションに活用される例について説明する。
　例えば、ＨＭＤ１００が、特にゲームのような、ユーザと自装置とのインタラクティブ型アプリケーションをインストールしているとする。このとき、例えば、ＨＭＤ１００の制御部１６０は、ユーザ状態の推定結果に応じて、ゲームに登場するオブジェクト数、オブジェクトの移動速度または変化速度、音楽の音量またはリズム、オブジェクトの配色等を変更する。例えば、シューティングゲームにおいては、ユーザの覚醒度が高い（または、ユーザが興奮状態もしくは覚醒状態にある）場合、制御部１６０は、敵機数を増加させることでユーザが短時間で高得点を稼ぎ易い状態を作り出したり、敵機または自機の移動速度を高くすることで難易度を向上させたりしてもよい。また、ユーザの覚醒度が低い（または、ユーザが疲労状態もしくは眠い状態にある）場合、制御部１６０は、敵機数を減少させることでユーザの負担を軽減させたり、敵機または自機の移動速度を低くすることで難易度を低下させたりしてもよい。上記と同様に、制御部１６０は、レースゲーム、シミュレーションゲーム、ＲＰＧゲーム、リズムゲーム等における各種パラメータを変更してもよい。なお、上記はあくまで一例であり、対象のアプリケーションはゲーム以外の任意のアプリケーションでもよい。
　また、制御部１６０は、ユーザ状態の推定結果に応じて、アプリケーションの保存処理を制御してもよい。例えば、制御部１６０は、ユーザの覚醒度が低い（ユーザが疲労状態または眠い状態にある）場合、ゲーム等のアプリケーションの実行状態を自動的に保存してもよい。これによって、ユーザがアプリケーションの実行状態を保存していない状態で眠ってしまった場合でも、制御部１６０は、保存が行われないままアプリケーションが停止することを防ぐことができる。
　また、制御部１６０は、ユーザ状態の推定結果に応じて、ディスプレイに表示させるオブジェクトの配色等を制御することで、カラーセラピー効果を生じさせてもよい。より具体的に説明すると、赤等の暖色は交感神経を刺激することで興奮状態を促進させる効果があり、青等の寒色は副交感神経を刺激することでリラックス状態を促進させる効果がある。そこで、ユーザの覚醒度が上昇傾向にある場合、ユーザの集中力が高まっている可能性があるため、制御部１６０は、ディスプレイの背景等の配色をより赤が強調された配色へ変更する。また、ユーザの覚醒度が下降傾向にある場合、ユーザが疲労し始めている可能性があるため、制御部１６０は、ディスプレイの背景等の配色をより青が強調された配色へ変更する。
　例えば、制御部１６０は、ディスプレイに表示させる画像データの表色系をＲＧＢ系からＨＳＶ系に変換し、色相（Ｈ）を赤に近い色または青に近い色に設定した後に、表色系をＲＧＢ系に変換することで、当該処理を実現してもよい。また、制御部１６０は、色相だけでなく、彩度（Ｓ）または明度（Ｖ）を変化させることで、カラーセラピー効果を生じさせてもよい。また、制御部１６０は、ＲＢＧそれぞれのゲインを調整することで色温度を上げたり（青を強調させたり）、下げたり（赤を強調させたり）してもよい。これによって、制御部１６０は、カラーセラピー効果を利用してユーザの集中力を更に高めたり、ユーザをリラックスさせたりすることができる。
　（４－２．視聴コンテンツパーソナライズへの活用例）
　続いて、ユーザ状態の推定結果が視聴コンテンツパーソナライズに活用される例について説明する。
　例えば、インターネットを介して配信されたコンテンツやユーザにより録画されたコンテンツの数が多い場合、ユーザ毎にコンテンツリストが自動生成されることで、各ユーザに適したコンテンツを提供することが可能な機能が開発されている。当該機能に対して、本開示を適用することで、ＨＭＤ１００は、ユーザ状態に応じたコンテンツリストを自動生成することができる。
　より具体的に説明すると、ＨＭＤ１００の制御部１６０は、各コンテンツに含まれるメタデータを取得し解析することで、各コンテンツにおけるシーンの切り替え回数、会話数、ディスプレイの平均輝度または平均輝度の変化量等に関する値を取得する。そして、制御部１６０は各値の高低に基づいてコンテンツを分類したり、順位付けを行ったりする。なお、上記の値はあくまで一例であり、制御部１６０が取得する値は適宜変更され得る。
　そして、例えば、ユーザの覚醒度が高い場合には、制御部１６０は、当該覚醒度に比例して高い値を有するコンテンツをリスト化してユーザに提供する。また、ユーザの覚醒度が低い場合には、制御部１６０は、当該覚醒度に比例して低い値を有するコンテンツをリスト化してユーザに提供する。これによって、制御部１６０は、ユーザ状態に適したコンテンツリストを提供または提案することができる。例えば、ユーザの覚醒度が高い場合には、激しい動きや爆発音等が含まれるアクション映画が提供され、ユーザの覚醒度が低い場合には、クラシック音楽の演奏が含まれる音楽番組等が提供され得る。
　（４－３．ユーザ判定への活用例）
　続いて、ユーザ状態の推定結果がユーザ判定に活用される例について説明する。
　特定のコンテンツを視聴したときにおける瞳孔径の変化波形は、基本的にユーザ毎に異なる。そこで、ＨＭＤ１００は、特定のコンテンツを視聴したユーザの瞳孔径の変化波形に基づいてユーザ判定を行うことができる。より具体的に説明すると、ＨＭＤ１００の瞳孔径測定部１５１は、特定のコンテンツを視聴したユーザの瞳孔径変化を所定の時間取得することで瞳孔径変化波を取得する。そして、制御部１６０は、取得された瞳孔径変化波と、当該コンテンツが過去視聴された際の各ユーザの瞳孔径変化波との相関値を算出する。なお、相関値の算出方法は任意である。例えば、制御部１６０は、以下の式５を用いて相関値を算出してもよい。
Figure JPOXMLDOC01-appb-M000005
  
　ここで、ｗｆｇ（ｊ）は、ラグ（瞳孔径変化波ｆと瞳孔径変化波ｇとの位相差）ｊでの相関値、ｆ（ｔ）は時間ｔにおける瞳孔径変化波ｆの値、ｇ（ｔ＋ｊ）は時間ｔ＋ｊにおける瞳孔径変化波ｇの値、Ｔは瞳孔径変化波の時間長を表す。制御部１６０は、ラグｊをある程度変化させたときの最大値を算出することで、遅延を考慮した相関値を算出してもよい。そして、制御部１６０は、各ユーザの瞳孔径変化波の中から相関値が最も高く、かつ、相関値が所定の閾値よりも高い瞳孔径変化波を特定することによって、ユーザ判定を行う。
　これによって、制御部１６０は、ユーザ判定作業が行われていることをユーザに意識させることなく、ユーザ判定を行うことができる。そして、制御部１６０は、ユーザ判定結果に基づいてコンテンツまたは自装置のパーソナライズ（個人設定を適用したり、個人向けのコンテンツを提供したりすること等を指す）を行うことができる。
　　＜５．応用例＞
　上記では、ユーザ状態の推定結果の活用例について説明した。続いて、本開示の応用例について説明する。上記のとおり、本開示は、様々な装置またはシステム等に適用され得る。そこで、以下では一例として、本開示が車載カメラに適用されるケースについて説明する。本応用例におけるＨＭＤ１００はシースルーディスプレイであるとする。また、本応用例における入射光は環境光である。このように、本開示は、ディスプレイから照射される光だけでなく環境光にも対応することができる。
　近年、前方走行車を追従するオートクルージング機能等を含めた自動運転技術の研究開発が盛んに行われている。自動運転機能を有している自動車であっても、運転者は走行中常に覚醒状態を維持し、自動運転プログラムの誤作動に備えておくことが求められる。しかし、仮に運転者の覚醒度が低下したとしても自動運転が継続されることにより、周囲の走行車の運転者または周囲の歩行者はこの状況に気づかない可能性がある。
　本応用例に係るＨＭＤ１００は、運転者の覚醒度の低下に応じて各種処理を行うことによって交通事故を防止することができる。例えば、ＨＭＤ１００は、ユーザの覚醒度の低下に応じて、車内アラームを鳴らしたり、座席を振動させたりすることで運転者の覚醒度を上昇させることを図ることができる。また、ＨＭＤ１００は、ユーザの覚醒度の低下に応じて、ハザードランプを点灯させたり、ヘッドライトのハイビーム照射を行ったり、警告灯を点灯させたりすることで、周囲に危険状態を通知することができる。これらの処理はあくまで一例であり、任意に変更され得る。例えば、ＨＭＤ１００は、通信部（図示なし）を介して無線信号をブロードキャストすることによって周囲の走行車、周囲の歩行者のスマートフォン等に対して危険状態を通知したり、警察等に通報を行ったりしてもよい。
　また、ＨＭＤ１００は、上記のようにユーザ状態の推定結果に基づいて各種処理を行うのではなく、瞳孔径の測定結果に基づいて各種処理を行ってもよい。例えば、運転者が覚醒状態にある場合においても、トンネルへの入出時や対向車のヘッドライトが照射された時において、入射光が急激に変化することで眼がくらみ、運転者がハンドルを急に切ったりブレーキをかけたりする可能性がある。これによって、自動車が周囲の走行車または側壁と衝突する等の交通事故が発生することが考えられる。ここで、ＨＭＤ１００は、運転者の瞳孔径の急激な変化に基づいて各種処理を行うことによって、交通事故を防止することができる。例えば、ＨＭＤ１００は、運転者の瞳孔径が所定の閾値を上回る速度で急激に変化した場合、ハンドル、ブレーキまたはアクセルにある程度の操作性を残しつつ、自動車が車線を外れるようなハンドル操作、自動車が前方走行車に追突するようなアクセル操作または自動車が後方走行車に衝突するようなブレーキ操作を許容しないという半自動運転モードへ運転モードを切り替えてもよい。
　これによって、ＨＭＤ１００は、運転者の運転操作を大きく妨げることなく、または、運転者に半自動運転モードへの切り替えを意識させることなく交通事故のリスクを低減させることができる。
　なお、上記の処理は、瞳孔径の測定結果によってではなく、自動車の前方に向けて設置された照度センサからのセンシングデータによってもある程度は実現され得る。しかし、照度センサの特性とユーザの知覚特性は異なっており、知覚特性はユーザ毎に異なっている。さらに、実際に運転者の眼に入射する光量と等価な値を取得できるように照度センサを配置することは困難である。一方、本応用例に係るＨＭＤ１００は、視神経の反応結果である瞳孔径の変化に基づいて眼のくらみを検知するため、高い検知精度を得ることができる。
　　＜６．備考＞
　なお、本開示の各種処理は、虹彩認証システムの処理フローにも組み込まれ得る。より具体的に説明すると、虹彩認証システムは、虹彩を含む眼周辺の撮像画像を解析し、虹彩領域と瞳孔領域を抽出し、その抽出結果に基づいてパターンマッチング処理等を行うことで、虹彩認証を行っている。
　ここで、撮像画像の解析により虹彩領域と瞳孔領域を抽出する処理によって抽出された瞳孔領域情報を用いて、上記の実施形態にて行われた瞳孔の特定、瞳孔径の測定、瞳孔中心位置の特定等の各種処理が行われてもよい。これによって、虹彩認証システムのプログラムの一部およびデバイスを利用して、本開示が実現され得る。
　　＜７．ハードウェア構成＞
　図１７は、本開示の一実施形態に係るＨＭＤ１００のハードウェア構成を示すブロック図である。ＨＭＤ１００は、例えば、ＭＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、記録媒体９０４と、入出力インタフェース９０５と、操作入力デバイス９０６と、表示デバイス９０７と、通信インタフェース９０８と、撮像デバイス９０９と、ＩＲ　ＬＥＤ（ｉｎｆｒａｒｅｄ　ｓｐｅｃｔｒｏｓｃｏｐｙ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）９１０とを備える。また、ＨＭＤ１００は、例えば、データの伝送路としてのバス９１１で各構成要素間を接続する。
　ＭＰＵ９０１は、１または２以上のプロセッサまたは各種処理回路などを備え、ＨＭＤ１００に備えられている各構成要素を制御したり処理を行ったりする機能を有する。また、ＭＰＵ９０１は、ＨＭＤ１００において、例えば、輝度算出部１４０、処理部１５０、制御部１６０の機能を担う。
　ＲＯＭ９０２は、記憶部１７０として機能し、ＭＰＵ９０１が使用するプログラムまたは演算パラメータなどの制御用データなどを記憶する。ＲＡＭ９０３は、記憶部１７０として機能し、例えば、ＭＰＵ９０１により実行されるプログラムなどを一時的に記憶する。
　記録媒体９０４は、記憶部１７０として機能し、例えば、本実施形態に係る情報処理方法に係るデータ、撮像画像を示す画像データまたはアプリケーションなどの様々なデータを記憶する。記録媒体９０４としては、例えば、ハードディスクなどの磁気記録媒体またはフラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体９０４は、ＨＭＤ１００から着脱可能であってもよい。
　入出力インタフェース９０５は、操作入力デバイス９０６や、表示デバイス９０７を接続する。操作入力デバイス９０６は、操作部（図示せず）として機能し、また、表示デバイス９０７は、表示部１１０として機能する。ここで、入出力インタフェース９０５としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路などが挙げられる。
　操作入力デバイス９０６は、例えば、ＨＭＤ１００上に備えられ、入出力インタフェース９０５と接続される。操作入力デバイス９０６としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
　表示デバイス９０７は、例えば、ＨＭＤ１００上に備えられ、入出力インタフェース９０５と接続される。表示デバイス９０７としては、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）または、ＯＬＥＤディスプレイ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ　Ｄｉｓｐｌａｙ）などが挙げられる。
　なお、入出力インタフェース９０５が、ＨＭＤ１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。
　通信インタフェース９０８は、ＨＭＤ１００が備える通信手段であり、外部装置と無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース９０８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ）回路や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路、ＩＥＥＥ８０２．１１ポートおよび送受信回路、あるいはＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）端子および送受信回路などが挙げられる。また、通信部は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
　また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ　Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Ｗｉｒｅｌｅｓｓ　Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ　Ｃｏｎｔｒｏｌ　ＰｒｏｔｏｃｏｌｓｕｒａｓｓｈｕＩｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）などの通信プロトコルを用いたインターネットなどが挙げられる。
　撮像デバイス９０９は、ＨＭＤ１００が備える撮像手段であり、撮像により撮像画像を生成する撮像部１３０として機能する。撮像デバイス９０９は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）イメージセンサなどの撮像素子であり、受光面を構成する画素ごとに受光した光量に応じた強度の信号を出力することにより、当該受光面への入射光に応じた画像（撮像画像）を取得する。また、撮像デバイス９０９は、赤外線光源１２０からの光が照射される眼を撮像することが可能な位置に設けられる。
　信号処理回路は、例えば、ＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）回路やＡＤＣ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ
Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
　ＩＲ　ＬＥＤ９１０は、ＨＭＤ１００が備える赤外線光源１２０である。ＩＲ　ＬＥＤ９１０は、赤外線がユーザの眼に照射される位置に設けられる。なお、上述したように、ＨＭＤ１００が備える光源１０１はＩＲ　ＬＥＤに限られず、光を発する光学素子であれば各種の光学素子が適用され得る。
　なお、本実施形態に係るヘッドマウントディスプレイ１００のハードウェア構成は、図１７に示す構成に限られない。例えば、ＨＭＤ１００は、撮像デバイス９０９とＩＲ　ＬＥＤ９１０との一方または双方を備えない構成をとることが可能である。
　また、ＨＭＤ１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース９０８を備えていなくてもよい。また、ＨＭＤ１００は、記録媒体９０４や、操作入力デバイス９０６、表示デバイス９０７を備えない構成をとることも可能である。
　　＜８．むすび＞
　以上説明したように、本開示に係るＨＭＤ１００は、瞳孔径の測定条件である入射光の光量または注視点の奥行距離に基づいて基準瞳孔径のキャリブレーションを行う。これによって、本実施形態に係るＨＭＤ１００は、測定条件に対して適切な基準瞳孔径を設定することができるため、ユーザ状態の推定精度を向上させることができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本開示に係るＨＭＤ１００の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、ＨＭＤ１００の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。例えば、図９のステップＳ１００４およびステップＳ１００８は異なる順序で処理されても、並列的に処理されてもよい。
　また、ＨＭＤ１００の構成の一部は、適宜ＨＭＤ１００外に設けられ得る。例えば、赤外線光源１２０または撮像部１３０は外部装置に設けられ得る。
　また、ＨＭＤ１００の機能の一部が、制御部１６０よって具現されてもよい。例えば、制御部１６０が輝度算出部１４０または処理部１５０の機能の一部を具現してもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの第１の瞳孔径を測定する測定部と、
　前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出する算出部と、
　前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態の推定を行う推定部と、を備える、
　情報処理装置。
（２）
　前記測定条件は、入射光の光量に関する条件である、
　前記（１）に記載の情報処理装置。
（３）
　前記測定部は、前記光量を測定し、
　前記算出部は、予め生成された前記光量と前記基準瞳孔径との対応関係情報、および、測定された光量に基づいて前記基準瞳孔径を算出する、
　前記（２）に記載の情報処理装置。
（４）
　前記光量と前記基準瞳孔径との対応関係情報にて、前記光量と前記基準瞳孔径は、前記光量が多くなるほど前記基準瞳孔径が小さくなる関係を有する、
　前記（３）に記載の情報処理装置。
（５）
　前記測定部は、前記第１の瞳孔径から求められる瞳孔面積の時定数を測定し、
　前記算出部は、前記時定数を用いて前記基準瞳孔径を算出する、
　前記（２）に記載の情報処理装置。
（６）
　前記測定条件は、注視点の奥行距離に関する条件である、
　前記（１）に記載の情報処理装置。
（７）
　前記測定部は、瞳孔間距離を測定し、
　前記算出部は、予め生成された前記瞳孔間距離と前記奥行距離との対応関係情報、および、測定された前記瞳孔間距離に基づいて前記奥行距離を特定し、予め生成された前記奥行距離と前記基準瞳孔径との対応関係情報、および、特定された前記奥行距離に基づいて前記基準瞳孔径を算出する、
　前記（６）に記載の情報処理装置。
（８）
　前記算出部は、ユーザが注視するディスプレイにおける所定の位置毎に対応付けられた、前記瞳孔間距離と前記奥行距離との対応関係情報のいずれを使用するかを、前記ユーザの注視点と前記位置との位置関係に基づいて決定する、
　前記（７）に記載の情報処理装置。
（９）
　前記推定部は、前記第１の瞳孔径および前記基準瞳孔径の差異に基づいて前記推定を行う、
　前記（１）から（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記推定部は、所定期間における前記第１の瞳孔径の平均値および前記基準瞳孔径の平均値の差異に基づいて前記推定を行う、
　前記（１）から（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記推定部は、所定期間における前記光量の平均値が所定範囲内であるか否かに基づいて前記推定を行う、
　前記（２）から（５）のいずれか１項に記載の情報処理装置。
（１２）
　前記推定部は、前記基準瞳孔径に基づいて、前記第１の瞳孔径が暗室で測定された場合に相当する第２の瞳孔径を算出し、前記第２の瞳孔径に基づいて前記推定を行う、
　前記（１）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記推定部は、前記第２の瞳孔径の変化量の絶対値、前記第２の瞳孔径の平均値、または、前記第２の瞳孔径の変化波のパワースペクトルに基づいて前記推定を行う、
　前記（１２）に記載の情報処理装置。
（１４）
　前記状態は、覚醒状態、興奮状態、疲労状態または眠気に関する状態のいずれかである、
　前記（１）から（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記情報処理装置は、ヘッドマウントディスプレイ装置またはシースルーディスプレイ装置である、
　前記（１）から（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記情報処理装置は、前記状態に応じてアプリケーションを制御する制御部をさらに備え、
　前記制御部は、前記状態に応じて前記アプリケーションにおけるオブジェクト数、オブジェクトの移動速度または変化速度、音楽の音量またはリズム、オブジェクトの配色、アプリケーションの保存処理を制御する、
　前記（１）から（１５）のいずれか１項に記載の情報処理装置。
（１７）
　前記情報処理装置は、前記状態に応じてユーザが視聴するコンテンツリストを前記ユーザ毎に編集する制御部をさらに備える、
　前記（１）から（１６）のいずれか１項に記載の情報処理装置。
（１８）
　ユーザの第１の瞳孔径を測定することと、
　前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出することと、
　前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態を推定することと、を有する、
　コンピュータにより実行される情報処理方法。
（１９）
　ユーザの第１の瞳孔径を測定することと、
　前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出することと、
　前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態を推定することと、
　をコンピュータに実現させるためのプログラム。
　１００　　ＨＭＤ
　１１０　　表示部
　１２０　　赤外線光源
　１３０　　撮像部
　１４０　　輝度算出部
　１５０　　処理部
　１５１　　瞳孔径測定部
　１５２　　基準瞳孔径算出部
　１５３　　状態推定部
　１５４　　注視点推定部
　１５５　　瞳孔間距離測定部
　１５６　　奥行距離推定部
　１６０　　制御部
　１７０　　記憶部

Claims (19)

  1. 　ユーザの第１の瞳孔径を測定する測定部と、
    　前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出する算出部と、
    　前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態の推定を行う推定部と、を備える、
    　情報処理装置。
  2. 　前記測定条件は、入射光の光量に関する条件である、
    　請求項１に記載の情報処理装置。
  3. 　前記測定部は、前記光量を測定し、
    　前記算出部は、予め生成された前記光量と前記基準瞳孔径との対応関係情報、および、測定された光量に基づいて前記基準瞳孔径を算出する、
    　請求項２に記載の情報処理装置。
  4. 　前記光量と前記基準瞳孔径との対応関係情報にて、前記光量と前記基準瞳孔径は、前記光量が多くなるほど前記基準瞳孔径が小さくなる関係を有する、
    　請求項３に記載の情報処理装置。
  5. 　前記測定部は、前記第１の瞳孔径から求められる瞳孔面積の時定数を測定し、
    　前記算出部は、前記時定数を用いて前記基準瞳孔径を算出する、
    　請求項２に記載の情報処理装置。
  6. 　前記測定条件は、注視点の奥行距離に関する条件である、
    　請求項１に記載の情報処理装置。
  7. 　前記測定部は、瞳孔間距離を測定し、
    　前記算出部は、予め生成された前記瞳孔間距離と前記奥行距離との対応関係情報、および、測定された前記瞳孔間距離に基づいて前記奥行距離を特定し、予め生成された前記奥行距離と前記基準瞳孔径との対応関係情報、および、特定された前記奥行距離に基づいて前記基準瞳孔径を算出する、
    　請求項６に記載の情報処理装置。
  8. 　前記算出部は、ユーザが注視するディスプレイにおける所定の位置毎に対応付けられた、前記瞳孔間距離と前記奥行距離との対応関係情報のいずれを使用するかを、前記ユーザの注視点と前記位置との位置関係に基づいて決定する、
    　請求項７に記載の情報処理装置。
  9. 　前記推定部は、前記第１の瞳孔径および前記基準瞳孔径の差異に基づいて前記推定を行う、
    　請求項１に記載の情報処理装置。
  10. 　前記推定部は、所定期間における前記第１の瞳孔径の平均値および前記基準瞳孔径の平均値の差異に基づいて前記推定を行う、
    　請求項１に記載の情報処理装置。
  11. 　前記推定部は、所定期間における前記光量の平均値が所定範囲内であるか否かに基づいて前記推定を行う、
    　請求項２に記載の情報処理装置。
  12. 　前記推定部は、前記基準瞳孔径に基づいて、前記第１の瞳孔径が暗室で測定された場合に相当する第２の瞳孔径を算出し、前記第２の瞳孔径に基づいて前記推定を行う、
    　請求項１に記載の情報処理装置。
  13. 　前記推定部は、前記第２の瞳孔径の変化量の絶対値、前記第２の瞳孔径の平均値、または、前記第２の瞳孔径の変化波のパワースペクトルに基づいて前記推定を行う、
    　請求項１２に記載の情報処理装置。
  14. 　前記状態は、覚醒状態、興奮状態、疲労状態または眠気に関する状態のいずれかである、
    　請求項１に記載の情報処理装置。
  15. 　前記情報処理装置は、ヘッドマウントディスプレイ装置またはシースルーディスプレイ装置である、
    　請求項１に記載の情報処理装置。
  16. 　前記情報処理装置は、前記状態に応じてアプリケーションを制御する制御部をさらに備え、
    　前記制御部は、前記状態に応じて前記アプリケーションにおけるオブジェクト数、オブジェクトの移動速度または変化速度、音楽の音量またはリズム、オブジェクトの配色、アプリケーションの保存処理を制御する、
    　請求項１に記載の情報処理装置。
  17. 　前記情報処理装置は、前記状態に応じてユーザが視聴するコンテンツリストを前記ユーザ毎に編集する制御部をさらに備える、
    　請求項１に記載の情報処理装置。
  18. 　ユーザの第１の瞳孔径を測定することと、
    　前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出することと、
    　前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態を推定することと、を有する、
    　コンピュータにより実行される情報処理方法。
  19. 　ユーザの第１の瞳孔径を測定することと、
    　前記第１の瞳孔径の測定条件に基づいて基準瞳孔径を算出することと、
    　前記第１の瞳孔径および前記基準瞳孔径に基づいて前記ユーザの状態を推定することと、
    　をコンピュータに実現させるためのプログラム。
PCT/JP2017/036188 2016-11-30 2017-10-04 情報処理装置、情報処理方法およびプログラム WO2018100875A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17875960.1A EP3549525A4 (en) 2016-11-30 2017-10-04 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US16/340,868 US20210282639A1 (en) 2016-11-30 2017-10-04 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-232658 2016-11-30
JP2016232658 2016-11-30

Publications (1)

Publication Number Publication Date
WO2018100875A1 true WO2018100875A1 (ja) 2018-06-07

Family

ID=62241574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036188 WO2018100875A1 (ja) 2016-11-30 2017-10-04 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20210282639A1 (ja)
EP (1) EP3549525A4 (ja)
WO (1) WO2018100875A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059116A1 (ja) * 2018-09-21 2020-03-26 三菱電機株式会社 体調不良検出装置及び体調不良検出方法
WO2020194529A1 (ja) * 2019-03-26 2020-10-01 日本電気株式会社 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN112672676A (zh) * 2018-09-10 2021-04-16 卡尔蔡司医疗技术股份公司 用于控制眼科设备的照度的方法
CN114175045A (zh) * 2019-07-30 2022-03-11 苹果公司 利用亮度变化来确定用户特征

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050633A (ko) * 2017-11-03 2019-05-13 주식회사 만도 운전자 상태 기반 차량 제어 시스템 및 방법
JP7140077B2 (ja) * 2019-09-02 2022-09-21 トヨタ自動車株式会社 衝突回避支援装置
WO2021044249A1 (ja) * 2019-09-06 2021-03-11 株式会社半導体エネルギー研究所 情報処理装置
CN111103975B (zh) * 2019-11-30 2022-09-23 华为技术有限公司 显示方法、电子设备及***
SE2150387A1 (en) * 2021-03-30 2022-10-01 Tobii Ab System and method for determining reference gaze data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (ja) 1994-03-24 1995-10-09 Sony Corp 状態検出装置および表示装置
JP2007522003A (ja) * 2004-02-02 2007-08-09 ペーター ブラウン，ウベ 車中のドライバの運転能力を測定するための装置
JP2008246013A (ja) * 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 眠気検知装置
JP2009078006A (ja) * 2007-09-26 2009-04-16 Honda Motor Co Ltd 眠気状態判定装置
JP2012065016A (ja) * 2010-09-14 2012-03-29 Kddi Corp 携帯通信端末装置、ストレス状態演算方法、ストレス状態演算プログラム
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7938785B2 (en) * 2007-12-27 2011-05-10 Teledyne Scientific & Imaging, Llc Fusion-based spatio-temporal feature detection for robust classification of instantaneous changes in pupil response as a correlate of cognitive response
US9357918B1 (en) * 2014-12-18 2016-06-07 Karen Elise Cohen System and method for drug screening and monitoring pupil reactivity and voluntary and involuntary eye muscle function

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (ja) 1994-03-24 1995-10-09 Sony Corp 状態検出装置および表示装置
JP2007522003A (ja) * 2004-02-02 2007-08-09 ペーター ブラウン，ウベ 車中のドライバの運転能力を測定するための装置
JP2008246013A (ja) * 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 眠気検知装置
JP2009078006A (ja) * 2007-09-26 2009-04-16 Honda Motor Co Ltd 眠気状態判定装置
JP2012065016A (ja) * 2010-09-14 2012-03-29 Kddi Corp 携帯通信端末装置、ストレス状態演算方法、ストレス状態演算プログラム
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3549525A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672676A (zh) * 2018-09-10 2021-04-16 卡尔蔡司医疗技术股份公司 用于控制眼科设备的照度的方法
WO2020059116A1 (ja) * 2018-09-21 2020-03-26 三菱電機株式会社 体調不良検出装置及び体調不良検出方法
WO2020194529A1 (ja) * 2019-03-26 2020-10-01 日本電気株式会社 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US11887349B2 (en) 2019-03-26 2024-01-30 Nec Corporation Interest determination apparatus, interest determination system, interest determination method, and non-transitory computer readable medium storing program
CN114175045A (zh) * 2019-07-30 2022-03-11 苹果公司 利用亮度变化来确定用户特征
CN114175045B (zh) * 2019-07-30 2023-05-12 苹果公司 利用亮度变化来确定用户特征
US11861837B2 (en) 2019-07-30 2024-01-02 Apple Inc. Utilization of luminance changes to determine user characteristics

Also Published As

Publication number Publication date
US20210282639A1 (en) 2021-09-16
EP3549525A4 (en) 2019-12-18
EP3549525A1 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
WO2018100875A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP3392739B1 (en) Eye-brain interface (ebi) system and method for controlling same
TWI486630B (zh) 適應性調整頭戴式顯示器的方法與頭戴式顯示器
JP5366028B2 (ja) 顔画像撮像装置
US7855743B2 (en) Image capturing and displaying apparatus and image capturing and displaying method
CN108520241A (zh) 基于光学指纹技术的指纹采集方法、装置和用户终端
US20210349536A1 (en) Biofeedback method of modulating digital content to invoke greater pupil radius response
TW201117771A (en) Sensory-evoked potential (SEP) classification/detection in the time domain
WO2015086615A1 (en) Method for operating an eye tracking device and eye tracking device for providing an active power management
CN109155053B (zh) 信息处理设备、信息处理方法和记录介质
JP2007003618A (ja) 表示装置および携帯端末装置
CN104076510A (zh) 适应性调整头戴式显示器的方法与头戴式显示器
CN108711407B (zh) 显示效果调节方法、调节装置、显示设备及存储介质
WO2017013051A1 (en) Head-mountable computing device, method and computer program product
US20210259565A1 (en) Biometric apparatus, biometric method, and non-transitory computer-readable storage medium
US10719059B2 (en) Systems and methods for control of output from light output apparatus
US11521575B2 (en) Electronic device, electronic device control method, and medium
US10757337B2 (en) Information processing apparatus and information processing method to control exposure for imaging the eye
US11687635B2 (en) Automatic exposure and gain control for face authentication
US20220087547A1 (en) Electronic device, control method for electronic device, and recording medium
CN103445759A (zh) 基于数字图像处理的瞳孔孔径对光反应自动测量装置
US20170053575A1 (en) Electronic apparatus and method of providing image
US11947722B2 (en) Devices and headsets
Ueno et al. Relation between human alertness, velocity wave profile of saccade, and performance of visual activities
US20220409094A1 (en) Visual brain-computer interface

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17875960

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017875960

Country of ref document: EP

Effective date: 20190701

NENP Non-entry into the national phase

Ref country code: JP