WO2016076268A1 - プログラム、情報処理装置、及びアイウエア - Google Patents

プログラム、情報処理装置、及びアイウエア Download PDF

Info

Publication number
WO2016076268A1
WO2016076268A1 PCT/JP2015/081487 JP2015081487W WO2016076268A1 WO 2016076268 A1 WO2016076268 A1 WO 2016076268A1 JP 2015081487 W JP2015081487 W JP 2015081487W WO 2016076268 A1 WO2016076268 A1 WO 2016076268A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
electrode
unit
blink
electrooculogram
Prior art date
Application number
PCT/JP2015/081487
Other languages
English (en)
French (fr)
Inventor
俊介 塩谷
Original Assignee
株式会社ジェイアイエヌ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイアイエヌ filed Critical 株式会社ジェイアイエヌ
Publication of WO2016076268A1 publication Critical patent/WO2016076268A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a program, an information processing apparatus, and eyewear.
  • Eyewear is known in which a plurality of electrodes are provided in a frame portion and an electrooculogram signal is acquired from each electrode (see, for example, Patent Document 1).
  • an object of the present invention is to prevent false detection of blinks and eye movements.
  • the program according to one aspect of the present invention includes an acquisition step of acquiring an electrooculogram signal based on an electrooculogram detected by each electrode that is in contact with the periphery of the subject's eye, and based on the electrooculogram signal It is determined that a detection step for detecting eye movement, a determination step for determining whether or not a first condition relating to detection of predetermined noise is satisfied based on the electrooculogram signal, and that the first condition is satisfied A stop step of stopping detection of the blink or the movement of the line of sight.
  • FIG. 1 is a perspective view illustrating an example from the front of the glasses 100 according to the embodiment.
  • FIG. 2 is a perspective view illustrating an example from the rear of the glasses 100 in the embodiment.
  • the glasses 100 include a lens 110 and a frame 120. Glasses 100 and frame 120 are examples of eyewear.
  • the frame 120 supports a pair of lenses 110.
  • the frame 120 includes a rim 122, an eyebrow portion (for example, a bridge) 124, an armor 126, a hinge 128, a temple 130, a modern 132, a pair of nose pads 140, a first electrode 152, and a second electrode. 154, a third electrode 156, an electric wire (not shown), a processing device 200, and an amplification unit 250.
  • the pair of nose pads 140 includes a right nose pad 142 and a left nose pad 144.
  • the rim 122, the armor 126, the hinge 128, the temple 130, and the modern 132 are provided in a pair on the left and right.
  • the rim 122 holds the lens 110.
  • the armor 126 is provided outside the rim 122 and holds the temple 130 rotatably with a hinge 128.
  • the temple 130 presses the upper part of the user's ear to pinch this part.
  • the modern 132 is provided at the tip of the temple 130.
  • the modern 132 contacts the upper part of the user's ear.
  • the modern 132 is not necessarily provided in the glasses 100.
  • the first electrode 152 and the second electrode 154 are provided on the respective surfaces of the pair of nose pads 140 and detect the electrooculogram.
  • the first electrode 152 is provided on the right nose pad 142
  • the second electrode 154 is provided on the left nose pad 144.
  • the first electrode 152 detects the electrooculogram of the user's right eye.
  • the second electrode 154 detects the electrooculogram of the user's left eye.
  • the electrode for detecting the electrooculogram is provided on the surface of the nose pad that inevitably contacts the skin of the user. Thereby, the burden given to a user's skin can be reduced compared with making a pair of electrodes contact the circumference
  • the third electrode 156 is provided on the surface of the interbrow portion 124 and detects an electrooculogram.
  • a ground electrode (not shown) is provided on the surface of the modern 132. When the glasses 100 do not have the modern 132, the ground electrode is provided at the tip of the temple 130.
  • the potential detected by the first electrode 152, the second electrode 154, and the third electrode 156 may be based on the potential detected by the ground electrode.
  • the processing apparatus 200 may be provided in the temple 130, for example. Thus, the design when the glasses 100 are viewed from the front is not impaired.
  • the installation position of the processing apparatus 200 is not necessarily the temple 130, but may be positioned in consideration of the balance when the glasses 100 are worn.
  • the processing device 200 is connected to the amplifying unit 250 via an electric wire. Note that the processing device 200 and the amplifying unit 250 may be connected via wireless.
  • the amplification unit 250 is provided in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156, and is connected to each amplification target electrode via an electric wire.
  • the amplifying unit 250 acquires an electrooculogram signal (or electrooculogram signal) indicating the electrooculogram detected by each electrode.
  • the amplification unit 250 amplifies an electrooculogram signal indicating an electrooculogram detected by the first electrode 152, the second electrode 154, and the third electrode 156.
  • the amplification unit 250 may perform addition / subtraction processing on each electrooculogram signal before amplification or after amplification.
  • the amplifying unit 250 may obtain a reference electrooculogram signal indicating the potential of the first electrode 152 with respect to the third electrode 156.
  • the amplifying unit 250 may obtain a reference electrooculogram signal indicating the potential of the second electrode 154 with respect to the third electrode 156.
  • the signal amplified or processed by the amplification unit 250 is output to the processing device 200.
  • External device 300 is an information processing device having a communication function.
  • the external device 300 is a mobile communication terminal such as a mobile phone or a smartphone possessed by the user, a personal computer, or the like.
  • the external device 300 executes processing based on the electrooculogram signal received from the transmission unit 220.
  • the external device 300 detects blinks and eye movements from the received electrooculogram signal.
  • the external device 300 issues a warning for preventing a doze when detecting that the number of blinks of the user has increased. Details of the external device 300 will be described later.
  • FIG. 3 is a block diagram illustrating an example of the processing apparatus 200 in the embodiment.
  • the processing device 200 includes a processing unit 210, a transmission unit 220, and a power supply unit 230.
  • the first electrode 152, the second electrode 154, and the third electrode 156 are connected to the processing unit 210 via, for example, the amplification unit 250.
  • Each component of the processing device 200 may be provided in a distributed manner on a pair of temples.
  • the processing unit 210 acquires the electrooculogram signal amplified from the amplification unit 250 and processes it. For example, the processing unit 210 may process a reference electrooculogram signal indicating the potential of the first electrode 152 with respect to the third electrode 156. In addition, although the reference
  • the processing unit 210 performs processing so as to obtain an electrooculogram signal indicating the vertical and / or horizontal movement of the eye based on the electrooculogram detected from each electrode in the right eye and the left eye. You may go.
  • the processing unit 210 performs the digitization process or acquires an electrooculogram signal amplified from each electrode. Add or subtract signals.
  • the processing unit 210 may transmit the electrooculogram signal acquired from the amplification unit 250 to the transmission unit 220 as it is.
  • the transmission unit 220 transmits the electrooculogram signal processed by the processing unit 210 to the external device 300.
  • the transmission unit 220 transmits an electrooculogram signal to the external device 300 by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the power supply unit 230 supplies power to the processing unit 210, the transmission unit 220, and the amplification unit 250.
  • FIG. 4 is a diagram schematically showing the contact position of the electrode with respect to the user.
  • the first contact position 452 represents the contact position of the first electrode 152.
  • the second contact position 454 represents the contact position of the second electrode 154.
  • the third contact position 456 represents the contact position of the third electrode 156.
  • a horizontal center line 460 represents a horizontal center line connecting the center of the right eye 402 and the center of the left eye 404.
  • the vertical center line 462 represents a center line orthogonal to the horizontal center line 460 at the center of the right eye 402 and the left eye 404.
  • first contact position 452 and the second contact position 454 are located below the horizontal center line 460. Further, it is desirable that the first contact position 452 and the second contact position 454 are arranged so that the line connecting the centers of the first contact position 452 and the second contact position 454 is parallel to the horizontal center line 460.
  • first contact position 452 and the second contact position 454 are desirably arranged so that the distance from the first contact position 452 to the right eye 402 and the distance between the second contact position 454 and the left eye 404 are equal. . Further, it is desirable that the first contact position 452 and the second contact position 454 are separated from each other by a certain distance or more.
  • the third contact position 456 is located on the vertical center line 462.
  • the third contact position 456 is preferably located above the horizontal center line 460 and away from the first contact position 452 and the second contact position 454.
  • the distance between the third contact position 456 and the right eye 402 is separated from the distance between the right eye 402 and the first contact position 452, and the distance from the left eye 404 is the second contact with the left eye 404.
  • the distance from the position 454 may be greater than the distance.
  • the eyeball is positively charged on the corneal side and negatively charged on the retinal side. Therefore, when the line of sight moves upward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become negative. When the line of sight moves downward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become positive.
  • the influence of noise can be suitably reduced.
  • the inter-brow portion 124 may be disposed at or near the upper end of the rim 122. Further, the third electrode 156 may be provided above the center of the eyebrow portion 124. In this case, it is desirable to adopt the eyebrow portion 124 having a wide vertical width as the arrangement position of the third electrode 156.
  • the processing unit 210 detects the third electrode based on the reference electrode from the potential of the first electrode 152 based on the reference electrode. The potential of 156 may be reduced. Similarly, instead of detecting the potential of the second electrode 154 with respect to the third electrode 156, the processing unit 210 detects the potential of the second electrode 154 with respect to the reference electrode as a reference. The potential of the three electrodes 156 may be reduced.
  • a ground electrode may be used as the reference electrode.
  • a reference electrode may be separately provided in the glasses 100 at a position away from the first electrode 152, the second electrode 154, and the third electrode 156.
  • the reference electrode may be provided on the modern 132 on the right side.
  • the reference electrode may be provided at a portion of the right temple 130 that is in contact with the user's skin.
  • the process of subtracting the potential of the third electrode 156 from the potential of the first electrode 152 relative to the reference electrode and the process of subtracting the potential of the third electrode 156 from the potential of the second electrode 154 relative to the reference electrode are as follows:
  • the processing unit 210 may execute, or the amplification unit 250 or the external device 300 may execute.
  • the signal indicating the potential to be processed is amplified by the amplification unit 250.
  • FIG. 5 is a diagram illustrating an example of a configuration of the amplification unit 250 in the embodiment.
  • the amplification unit 250 includes a first amplifier 260 and a second amplifier 270.
  • the first amplifier 260 is an amplifier that is positioned in front of the second amplifier 270 and functions as a buffer amplifier.
  • the first amplifier 260 is also referred to as a buffer amplifier 260.
  • the second amplifier 270 is an amplifier that functions as a main amplifier.
  • the second amplifier 270 is also referred to as a main amplifier 270.
  • the signal amplified by the main amplifier 270 is output to the processing device 200 by wire or wireless.
  • the installation position of the amplifying unit 250 is desirably the portion 124 between the eyebrows.
  • the amplification unit 250 may be provided so as to be embedded in the eyebrow portion 124.
  • the installation positions of the electrodes depend on the shape of the frame 120, there is a limit even if they are separated.
  • the potential difference between the electrodes may not be sufficiently large, and if noise is mixed in an electrooculogram signal indicating a small potential detected at each electrode, a sufficiently accurate potential can be detected. Will become difficult.
  • the amplifying unit 250 is provided in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156 for the purpose of amplifying the detected electrooculogram signal before noise is mixed therein.
  • the amplifying unit 250 is preferably provided in the portion between the eyebrows 124 where the space is present in the frame 120 near each electrode.
  • FIG. 6 is a diagram for explaining the reason why the buffer amplifier 260 is provided.
  • the example shown in FIG. 6 uses the third electrode 156, but the same applies to the first electrode 152 and the second electrode 154.
  • the third electrode 156 touches human skin when wearing the glasses 100, it may be considered that a resistance R0 exists between the third electrode 156 and the ground. At this time, the resistance R 0 is, for example, several hundred k ⁇ . Further, the main amplifier 270, there is an internal resistance R 1. In this case, the use of conventional amplifier as a main amplifier 270, the internal resistance R 1 is the number 10 k.OMEGA ⁇ number 100 k.OMEGA.
  • a buffer amplifier 260 is provided at a position before the main amplifier 270 so that no current flows into the main amplifier 270 side.
  • FIG. 7 is a diagram illustrating another example of the configuration of the amplifying unit in the embodiment.
  • the amplifying unit shown in FIG. 7 is denoted by reference numeral 250A.
  • the amplification unit 250A includes a buffer amplifier 260, a main amplifier 270, an A / D conversion unit 280, and a wireless communication unit 290. Since the buffer amplifier 260 and the main amplifier 270 have the same functions as those shown in FIG. 5, the A / D conversion unit 280 and the wireless communication unit 290 will be mainly described below.
  • the A / D converter 280 converts the signal amplified by the main amplifier 270 from analog to digital.
  • the A / D conversion unit 280 outputs the digitally converted signal to the wireless communication unit 290.
  • the wireless communication unit 290 transmits the digital signal converted by the A / D conversion unit 280 to the processing device 200 using wireless communication. Therefore, the wireless communication unit 290 functions as a transmission unit.
  • the wireless communication unit 290 uses wireless communication such as Bluetooth (registered trademark) and wireless LAN.
  • the wireless communication unit 290 may directly transmit a digital signal to the external device 300.
  • the order of the electrooculogram signals from the electrodes may be determined and amplified. Further, a buffer amplifier 260 and a main amplifier 270 may be provided for each electrode.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the external device 300 in the embodiment.
  • the external device 300 includes a communication unit 310, a storage unit 320, and a control unit 330.
  • the communication unit 310 receives an electrooculogram signal by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the communication unit 310 outputs the electrooculogram signal received from the communication unit 220 of the processing device 200 to the control unit 330.
  • the control unit 330 is a CPU (Central Processing Unit), for example, and controls each unit and performs various arithmetic processes.
  • the control unit 330 includes an acquisition unit 340, a determination unit 342, a detection control unit 344, and a detection unit 346.
  • the acquisition unit 340 acquires an electrooculogram signal based on an electrooculogram detected by each electrode that contacts the periphery of the subject's eye. For example, when acquiring the electrooculogram signal received by the communication unit 310, the acquisition unit 340 outputs the electrooculogram signal to the determination unit 342 and the detection unit 346.
  • the control unit 330 stores the maximum and minimum values of the electrooculogram signal indicating the movement of the eyes in the vertical direction and the horizontal direction in the storage unit 320 with respect to the acquired electrooculogram signal. Further, the control unit 330 may store the maximum value and / or the minimum value of the electrooculogram signal indicating the eye movement in the vertical direction and the horizontal direction in the storage unit 320 for each predetermined period.
  • the predetermined period is, for example, 200 msec, but is not limited thereto. Further, the predetermined period may be temporally varied by allowing overlap by using a time window.
  • the vertical direction refers to the direction from the top to the bottom of the head with respect to the face
  • the horizontal direction refers to a direction orthogonal to the vertical direction.
  • the storage unit 320 is, for example, a RAM (Random Access Memory), and stores a maximum value and / or a minimum value of the electrooculogram signal in the vertical direction and the horizontal direction.
  • the storage unit 320 includes a maximum value FIFO buffer and a minimum value FIFO buffer. When the storage capacity of the FIFO buffer is full due to the maximum or minimum value data, the oldest data is erased and the latest data is stored, whereby the data stored in the storage area is updated. .
  • the storage unit 320 may store a detection result of the detection unit 346 described later. Further, the maximum value or the minimum value may be a maximum value or a minimum value every predetermined time, respectively.
  • the storage unit 320 stores a program that causes the computer to execute blink detection processing and eye movement detection processing described later.
  • the blink detection process and the eye movement detection process are collectively referred to as a detection process.
  • This program may be installed in the external device 300 via the Internet or a recording medium such as an SD card, or may be preinstalled.
  • the storage unit that stores the program may be different from the storage unit 320.
  • ⁇ Determining unit 342 determines whether or not the first condition related to detection of predetermined noise is satisfied based on the electrooculogram signal acquired from acquisition unit 340.
  • the first condition is a condition related to the amplitude of the electrooculogram signal or the width between peaks, and is a determination condition for determining whether noise due to disturbance is occurring.
  • noise due to disturbance for example, electromagnetic noise, noise due to movement of the subject during walking, and the like are included.
  • the noise caused by the movement of the subject is, for example, a change in the facial expression of the subject, the subject wearing eyewear, the subject re-applying eyewear, the subject taking a face, and the subject taking gum. Including eating and drinking.
  • the determination unit 342 performs the second operation relating to the resumption of the detection of the blink or the eye movement based on the acquired electrooculogram signal. It is determined whether or not two conditions are satisfied.
  • the second condition is a condition related to the amplitude of the electrooculogram signal or the width between the peaks, and is a determination condition for determining whether or not noise is mixed due to disturbance.
  • the determination unit 342 will be described later with reference to FIG.
  • the detection control unit 344 controls to stop detection of blinking or eye movement by the detection unit 346 described later.
  • the detection control unit 344 performs control so that the detection of the blink or eye movement by the detection unit 346 is restarted when it is determined that the second condition is satisfied after the detection of the blink or eye movement is stopped.
  • the detection control unit 344 outputs a stop signal to the detection unit 346 when the determination unit 342 determines that the first condition is satisfied, and the restart signal when the determination unit 342 determines that the second condition is satisfied. Is output to the detection unit 346.
  • the detection unit 346 performs a blink or eye movement detection process based on the electrooculogram signal acquired from the acquisition unit 340. In addition, the detection unit 346 stops detecting blink or line-of-sight movement based on the stop signal from the detection control unit 344, and restarts detection of blink or line-of-sight movement based on the restart signal.
  • the detection unit 346 returns to the normal detection process at an appropriate timing by resuming the blink or eye movement detection process when it is determined that the amount of noise is reduced after the detection is stopped. be able to.
  • FIG. 9 is a block diagram illustrating an example of a functional configuration of the determination unit 342 in the embodiment.
  • the determination unit 342 illustrated in FIG. 9 includes a stop determination unit 410 and a restart determination unit 420.
  • the stop determination unit 410 determines whether or not the current electrooculogram signal is in the noise mode based on the determination condition regarding the predetermined noise.
  • the stop determination unit 410 includes a first stop mode determination unit 412 and a second stop mode determination unit 414.
  • the first stop mode determination unit 412 acquires the detection result from the detection unit 346, and determines whether or not the electromagnetic noise mode is a mode in which electromagnetic noise is mixed in the electrooculogram signal.
  • the first stop mode determination unit 412 determines whether or not blinks are detected a predetermined number of times or more within a predetermined time using the peak width of the electrooculogram signal in order to distinguish the electromagnetic noise mode. For example, the first stop mode determination unit 412 determines whether five or more blinks are detected per second.
  • the first stop mode determination unit 412 determines that the mode is the electromagnetic noise mode when, for example, five or more blinks are detected per second.
  • the second stop mode determination unit 414 acquires the detection result from the detection unit 346, and determines whether or not the super noise mode in which large noise due to walking or the like is mixed in the electrooculogram signal.
  • the second stop mode determination unit 414 determines whether or not the value of the amplitude of the electrooculogram signal that is equal to or greater than a predetermined value is detected a predetermined number of times within a predetermined time in order to distinguish the super noise mode. For example, the second stop mode determination unit 414 determines whether or not an amplitude value greater than or equal to a predetermined value is detected three or more times in 2 seconds.
  • the predetermined value may be set to a value based on the average value of the peak values actually detected as blinks. If the amplitude value has a value that is a predetermined multiple or more larger than the average value of the actual peak value of the blink, it can be determined that it is due to the influence of disturbance (for example, walking). It should be noted that an appropriate value may be set as a coefficient for multiplying the average value by a prior experiment or the like.
  • the resumption determination unit 420 determines whether or not the second condition relating to resumption of detection of blink or gaze movement is satisfied based on the electrooculogram signal after detection of blink or gaze movement is stopped.
  • the restart determination unit 420 includes a first restart determination unit 422 and a second restart determination unit 424.
  • the first restart determination unit 422 acquires the detection result from the detection unit 346 and determines whether or not the electromagnetic noise mode has returned to the normal mode.
  • the normal mode is a mode in which blink or eye movement can be detected.
  • the first restart determination unit 422 uses, for example, the peak width (interval) of the electrooculogram signal to identify that the amount of electromagnetic noise is reduced, and the blink is less than a predetermined number of times within a predetermined time. It is determined whether or not it is detected. More specifically, the first stop mode determination unit 412 determines whether or not blinks of less than 5 times per second are detected as an example of the second condition.
  • the first restart determination unit 412 may be integrated with the first stop mode determination unit 412. For this determination, the detection unit 346 does not detect blink or eye movement, but determines whether or not there is a blink.
  • the second restart determination unit 424 acquires the electrooculogram signal from the acquisition unit 340 and determines whether or not the super noise mode has returned to the normal mode. For example, the second restart determination unit 424 determines that the average value of the peak value of the electrooculogram signal in the latest few seconds transitions to the super-noise mode in order to recognize that the noise is reduced due to walking or the like. It is determined whether it is less than a predetermined multiple of the average value of the peak value of the electrooculogram signal in the previous few seconds. More specifically, as an example of the second condition, the second restart determination unit 424 calculates the average value of the peak values for the last 5 seconds before the transition to the super noise mode. It is determined whether it is less than 1.2 times.
  • the detection process itself of the blink or eye movement by the detection unit 346 can be stopped, which can contribute to power saving.
  • FIG. 10 is a diagram for explaining the electromagnetic noise mode.
  • the first stop mode determination unit 412 detects five or more blinks per second.
  • the first stop mode determination unit 412 determines that the electromagnetic noise is in the electromagnetic noise mode mixed in the electrooculogram signal, and the detection of blink or eye movement is stopped. Further, after the time point when the period N1 ends, the first restart determination unit 422 determines that the normal mode has been restored, and detection of blinking or eye movement is resumed.
  • FIG. 11 is a diagram for explaining the super noise mode.
  • the second stop mode determination unit 414 detects an amplitude value greater than or equal to a predetermined value three times or more in 2 seconds.
  • the second stop noise determination unit 414 determines that the super-noise mode in which large noise due to walking or the like is mixed in the electrooculogram signal, and detection of blink or eye movement is stopped.
  • the second restart determination unit 424 determines that the normal mode has been restored, and the detection of blink or eye movement is resumed.
  • the electrooculogram signal S1 or S2 exceeds the determination threshold for blink or eye movement. Blinks and eye movements are detected, and erroneous detection occurs.
  • the electrooculogram intensity on the vertical axis shown in FIGS. 10 and 11 is a unit indicating the intensity of electrooculogram, and is represented by, for example, an electrooculogram signal measurement value ⁇ 1.5 (V) ⁇ 2048.
  • the case of walking has been described as an example.
  • the operation of running, coughing, sneezing, screaming, shaking the head, etc. has a large amplitude as in the case of walking. Therefore, these may be determined as the super noise mode.
  • the detection unit 346 may detect the movement of the line of sight using a known method. For example, the detection unit 346 divides the acquired electrooculogram signal into a right electrocardiogram and a left electrocardiogram, and when a negative potential is indicated in the right electrocardiogram and the left electrocardiogram, the line of sight is displayed. Detect that is facing up. Further, the detection unit 346 has a line of sight when a positive potential is shown in the right electrogram and the left electrogram, a negative potential is shown in the right electrogram, and a positive potential is shown in the left electrogram. Is detected, it is detected that the line of sight is directed to the left when the line of sight is right, the right electrogram shows a positive potential and the left electrogram shows a negative potential.
  • the detection unit 346 can increase the detection accuracy of the line of sight by adding and subtracting the potential V1 indicated by the right electrogram and the potential V2 indicated by the left electrogram. For example, when V1 + V2 is negative and V1-V2 is substantially zero, it can be detected that the line of sight is directed upward. When V1 + V2 is positive and V1-V2 is substantially zero, it can be determined that the line of sight is directed downward. If V1 + V2 is substantially zero and V1-V2 is negative, it can be determined that the line of sight is directed to the right. When V1 + V2 is substantially zero and V1-V2 is positive, it can be determined that the line of sight is directed to the left. By adding and subtracting V1 and V2, the calculated positive value and negative value are increased. Therefore, since the threshold value can be set larger accordingly, it is possible to reduce erroneous detection that erroneously detects noise as eye movement.
  • the detection unit 346 can use a known blink detection algorithm using an electrooculogram signal. In this embodiment, an algorithm for changing a threshold value used for blink determination will be described.
  • the detection unit 346 includes a threshold value calculation unit 350.
  • the threshold value calculation unit 350 calculates a threshold value using the maximum value and / or the minimum value stored in the storage unit 320. For example, the threshold value calculation unit 350 may calculate the absolute value of the threshold value from the average value of the absolute value of the local maximum value or the local minimum value in order to simplify the processing.
  • the threshold value calculation unit 350 may calculate the first threshold value using the local maximum value stored in the storage unit 320, and may calculate the second threshold value using the local minimum value stored in the storage unit 320.
  • the first threshold value is used to determine that the eye has moved in the vertical direction
  • the second threshold value is used to determine that the eye has moved in the vertical direction. Accordingly, threshold values can be set for each of the upward eye movement and the downward eye movement, so that appropriate threshold determination can be performed.
  • the threshold value calculation unit 350 includes a first calculation unit 352 and a second calculation unit 354.
  • the first calculator 352 calculates the average value and standard deviation of the maximum values stored in the maximum value FIFO buffer.
  • the first calculation unit 352 calculates the average value and standard deviation of the minimum values stored in the minimum value FIFO buffer.
  • the second calculation unit 354 calculates the first threshold value based on the average value and standard deviation of the maximum value, and calculates the second threshold value based on the average value and standard deviation of the minimum value.
  • the threshold value can be set using an electrooculogram signal indicating the latest state of the subject.
  • the first threshold value and the second threshold value can be changed in accordance with the intensity of a signal indicating the most recent state of the user.
  • the second calculation unit 354 sets a value obtained by adding a value obtained by multiplying the standard value of the maximum value by a coefficient to the average value of the maximum value as the first threshold value.
  • the second calculation unit 354 sets a value obtained by subtracting a value obtained by multiplying the standard deviation of the minimum value by a coefficient from the average value of the minimum value as the second threshold value. Thereby, an appropriate threshold value can be set.
  • the threshold value calculation unit 350 updates the first threshold value and the second threshold value each time the maximum value and / or the minimum value is stored in the storage unit 320. As a result, the threshold calculation unit 350 can set the threshold based on the past electrooculogram signal, so that even if the electrooculogram signal becomes weak due to sleepiness and slowing of eye movement. Since the threshold can be set according to the weakened signal, the blink can be detected appropriately.
  • the threshold calculation unit 350 sets the average of the predetermined maximum values stored in the storage unit 320 as the first threshold, or sets the average of the predetermined minimum values stored in the storage unit 320 as the second threshold. May be. Further, the threshold value calculation unit 350 may calculate the first threshold value and the second threshold value using the standard deviations of the local maximum value and the local minimum value stored in the storage unit 320.
  • the detection unit 346 detects blinks from an electrooculogram signal indicating the vertical movement of the eye using the first threshold value and the second threshold value calculated by the second calculation unit 354. For example, the detection unit 346 determines the difference between the first time of the maximum value stored in the storage unit 320 that is equal to or greater than the first threshold and the second time of the minimum value stored in the storage unit 320 that is equal to or less than the second threshold. If is within a predetermined time, blink is detected.
  • the second time is the latest time after the first time.
  • the predetermined time is, for example, 500 msec, but is not limited thereto.
  • the detection unit 346 detects blinks using the electrocardiogram signals of the right eye and the left eye, and detects the final blink when the blinks are detected in both eyes at a timing within a predetermined range. May be.
  • the detection unit 346 may detect blinks using the average of both electrooculogram signals on the assumption that the right eye and the left eye move in the same manner. Next, a blink detection algorithm will be described using specific electrooculogram signals.
  • FIG. 12 is a diagram showing an example of an electrooculogram signal indicating the vertical movement of the eye.
  • the electrooculogram signal S3 shown in FIG. 12 is an electrooculogram signal indicating the vertical movement of one eye.
  • the blink detection algorithm will be described with reference to FIG.
  • the blink detection algorithm described below is an algorithm for calculating a threshold value using the maximum value and the minimum value of a predetermined period.
  • the control unit 330 obtains maximum and minimum values for each predetermined period T1 (for example, 500 msec) of the electrooculogram signal S3.
  • the controller 330 stores the value in the second FIFO buffer.
  • the control unit 330 stores the minimum value in a second FIFO buffer in a different area from the first FIFO buffer. Save (storage unit 320).
  • the order of (2) and (3) is not limited.
  • a black dot on the electrooculogram signal S3 represents a value detected as a maximum value or a minimum value in each period. Note that the maximum value and the minimum value can be obtained using differentiation, for example, using a difference signal of the electrooculogram signal S3.
  • the first calculation unit 352 calculates the average value (a1) and the standard deviation (b1) of the maximum values stored in the first FIFO buffer. Is calculated. The first calculation unit 352 calculates the average value (a2) and standard deviation (b2) of the maximum values stored in the second FIFO buffer.
  • the second calculation unit 354 calculates the first threshold and the second threshold using the average value and the standard deviation calculated in (4).
  • the first threshold value (Th1) and the second threshold value (Th2) are calculated by the following equations.
  • Th1 a1 + E ⁇ b1 Formula (1)
  • Th2 a2-E ⁇ b2 Formula (2)
  • the coefficient E is set to 2, for example.
  • the coefficient E may be variably set according to the signal strength.
  • each threshold value varies with the passage of time of the electrooculogram signal, and the threshold value is appropriately changed following the strength (magnitude) of the electrooculogram signal.
  • the first threshold value TH1 and the second threshold value TH2 shown in FIG. 8 are merely conceptually showing threshold value fluctuations.
  • the detection unit 342 identifies the maximum value greater than or equal to the first threshold calculated in (5).
  • the maximum value to be subjected to the threshold determination is a maximum value that is stored in the first FIFO buffer and has not yet been subjected to the threshold determination.
  • the detection unit 342 specifies a minimum value equal to or less than the second threshold calculated in (5).
  • the minimum value to be subjected to the threshold determination is a minimum value that is stored in the second FIFO buffer and has not yet been subjected to the threshold determination.
  • the specified maximum and minimum values are represented by black dots surrounded by squares.
  • the detection unit 342 includes, for each specified maximum value, the first time of the maximum value and the second time of the specified minimum value, and the latest time after the first time If the difference from the second time is within a predetermined time, the vertical movement of the eye is detected as a blink.
  • the eye movement is detected as a blink.
  • the predetermined time is, for example, 500 msec.
  • the blink detection algorithm has been described above, but this algorithm is only an example and is not limited to this example.
  • the same processing as described above may be performed using the difference signal in the time direction of the electrooculogram signal.
  • the difference signal is, for example, a signal obtained by subtracting an electrooculogram signal a predetermined time before time t from an electrooculogram signal at time t. Thereby, detection accuracy can be improved by using a difference signal with strong noise tolerance.
  • FIG. 13 is a flowchart illustrating an example of a process related to the blink / gaze movement detection process in the embodiment.
  • the flowchart shown in FIG. 13 shows a state in which the user wears the glasses 100 and the first electrode 152, the second electrode 154, the third electrode 156, and the ground electrode are in contact with the user's skin, and the external device 300 Starts when the operation mode (normal mode), which is a mode for detecting blink or eye movement, is set.
  • normal mode which is a mode for detecting blink or eye movement
  • step S102 illustrated in FIG. 13 the acquisition unit 340 acquires an electrooculogram signal from the glasses 100.
  • step S104 the detection unit 346 detects blink or eye movement. Note that the detection unit 346 may perform both detections. The blink detection process will be described later with reference to FIG.
  • step S106 the determination unit 342 determines whether or not the first condition related to detection of predetermined noise is satisfied based on the electrooculogram signal. If it is determined that the first condition is satisfied (step S106—YES), the detection control unit 344 outputs a stop signal to the detection unit 346 in order to stop the blink or eye movement detection process, The process proceeds to S108. If it is determined that the first condition is not satisfied (step S106—NO), the process proceeds to step S114.
  • step S108 when the detection unit 346 acquires a stop signal from the detection control unit 344, the detection unit 346 stops detecting blinking or eye movement.
  • step S110 the acquisition unit 340 acquires an electrooculogram signal from the glasses 100.
  • step S112 the determination unit 342 determines whether or not the second condition related to the resumption of detection of blinking or eye movement is satisfied based on the electrooculogram signal. If it is determined that the second condition is satisfied (step S112—YES), the detection control unit 344 outputs a restart signal to the detection unit 346 to restart the blink or eye movement detection process. Proceed to S114. If it is determined that the second condition is not satisfied (step S112—NO), the process returns to step S110.
  • step S114 the control unit 330 determines whether an instruction to end the operation mode has been received.
  • the operation mode end instruction is executed by, for example, a button operation of the external apparatus 300 from the user. If there is an end instruction (step S114—YES), the detection process ends. If there is no end instruction (step S114—NO), the process returns to step S102.
  • this embodiment it is possible to determine a mode in which erroneous detection of blink or line-of-sight movement is likely to occur. When transitioning to this mode, detection of blink or line-of-sight movement is stopped. It is possible to prevent false detection.
  • FIG. 14 is a flowchart showing an example of blink detection processing in the embodiment.
  • a determination threshold is calculated using a moving average of the maximum value and the minimum value.
  • step S202 the control unit 330 stores the calculated maximum value and / or minimum value in the storage unit 320.
  • the threshold value calculation unit 350 calculates a threshold value (first threshold value and second threshold value) using the maximum value and / or the minimum value stored in the storage unit 320. At this time, the threshold value calculation unit 350 sets, for example, the average value of the ten latest local maximum values as the first threshold value, or the average value of the ten latest local minimum values as the second threshold value. In addition, you may exclude from the average calculation process after the next time the maximum value and minimum value which are determined to be a blink afterward.
  • step S206 the detection unit 346 specifies the first time of the maximum value that is equal to or greater than the first threshold value, or the second time of the minimum value that is equal to or less than the second threshold value. At this time, the detection part 360 specifies the time of the nearest minimum value after the specified 1st time as 2nd time.
  • step S208 the detection unit 346 determines whether or not the second time-first time is smaller than the predetermined time. If this condition is satisfied (step S208—YES), the process proceeds to step S210. If this condition is not satisfied (step S208—NO), the process ends.
  • step S210 the detection unit 346 detects an eye movement between the first time and the second time as a blink.
  • the external device 300 can detect blinks using an appropriate threshold value.
  • the predetermined noise is mixed in the electrooculogram signal. If the current electrooculogram signal is in this mode, blinking or eye movement is performed. By stopping the detection of this, erroneous detection can be prevented.
  • eyewear is glasses
  • eyewear is not limited to this.
  • the eyewear may be any device related to the eye, and may be a face wearing device or a head wearing device such as glasses, sunglasses, goggles and a head mounted display and their frames.
  • the external device 300 a mobile communication terminal such as a mobile phone or a smartphone or a personal computer, which is separate from the processing device 200, has been described.
  • the external apparatus 300 may be provided as a unit integrated with the processing apparatus 200, instead of being provided as an apparatus “outside” the glasses 100 or the processing apparatus 200.
  • the external device 300 is provided integrally with the eyewear.
  • any function of the external device 300 may be provided in the processing device 200.
  • a processing apparatus 200A as an example of incorporating the function of the external apparatus 300 into the processing apparatus 200 will be described.
  • FIG. 15 is a block diagram illustrating an example of a configuration of the processing unit 210A in the embodiment.
  • the processing unit 210 ⁇ / b> A includes a determination unit 342 ⁇ / b> A, a detection control unit 344 ⁇ / b> A, and a detection unit 346 ⁇ / b> B of the external device 300 in addition to the functions of the processing unit 210 described above.
  • the determination unit 342A, the detection control unit 344A, and the detection unit 346A have the same functions as the determination unit 342, the detection control unit 344, and the detection unit 346, but will be described using different reference numerals.
  • the detection control unit 344A stops the detection of blink or eye movement by the detection unit 346A. To control. In addition, when the determination unit 342A determines that the second condition related to the restart of the detection process is satisfied, the detection control unit 344A performs control so as to restart detection of blinking or eye movement by the detection unit 346A.
  • the detection unit 346A executes blinking or eye movement detection processing.
  • the transmission unit 220 transmits the detection result by the detection unit 346A to the external device 300.
  • External device 300 acquires a detection result by communication unit 310 and stores the detection result in storage unit 320. Thereby, the control unit 330 can execute a predetermined process using the detection result.
  • detection result transmission there are two types of detection result transmission: real-time processing and batch processing.
  • real-time processing every time a detection result is acquired, the detection result is transmitted to the external device 300. Further, an electrooculogram signal or the like may be transmitted to the external device 300 in real time together with the detection result. By performing this real-time processing, detailed analysis can be performed at an early stage by the external device 300 or the like.
  • the detection results are totaled every predetermined time (for example, one minute), and the total results are transmitted to the external device 300.
  • the counting result may include an electrooculogram signal in the meantime.
  • FIG. 16 is a flowchart illustrating an example of a transmission process of the processing apparatus 200A according to the embodiment.
  • the processing unit 210A acquires an electrooculogram signal from each electrode.
  • step S304 the detection unit 346A detects blink or eye movement.
  • the detection unit 346A may perform both detections.
  • step S306 the determination unit 342A determines, based on the electrooculogram signal, whether or not a first condition related to detection of predetermined noise is satisfied. If it is determined that the first condition is satisfied (step S306—YES), the detection control unit 344A outputs a stop signal to the detection unit 346A in order to stop the blink or eye movement detection process. Thereafter, the process proceeds to step S308. If it is determined that the first condition is not satisfied (step S306—NO), the process proceeds to step 314.
  • step S308 when the detection unit 346A acquires a stop signal from the detection control unit 344A, the detection unit 346A stops detecting blinking or eye movement.
  • step S310 the processing unit 210A acquires an electrooculogram signal from each electrode.
  • step S312 the determination unit 342A determines whether or not the second condition related to the resumption of detection of blinking or eye movement is satisfied based on the electrooculogram signal. If it is determined that the second condition is satisfied (step S312—YES), the detection control unit 344A outputs a restart signal to the detection unit 346A in order to restart the blink or eye movement detection process. Thereafter, the process proceeds to step S314. If it is determined that the second condition is not satisfied (step S312—NO), the process returns to step S310.
  • step S314 the transmission unit 220 transmits the detection result to the external device 300.
  • the processing unit 210A determines whether or not a predetermined time has elapsed after counting the detection results. If the predetermined time has not elapsed, the process returns to step S ⁇ b> 302. If the predetermined time has elapsed, the transmission unit 220 transmits the aggregation result to the external device 300.
  • step S316 the processing unit 210A determines whether or not an operation mode end instruction has been received.
  • the operation mode end instruction is executed by, for example, a button operation of the external apparatus 300 by the user. If there is an end instruction (step S316—YES), the detection process ends. If there is no end instruction (step S316—NO), the process returns to step S302. Note that the detection process in step S304 may be executed between step S312 and step S314.
  • the same effect as that of the processing device 200 described above can be obtained, and further, detection is performed using a signal that is not affected by a communication error with the external device 300 or the like. Processing can be performed.
  • the glasses 100 include the third electrode 156
  • the glasses 100 may not include the third electrode 156.
  • an electrooculogram indicated by the potential of the first electrode 152 relative to the reference electrode and an electrooculogram indicated by the potential of the second electrode 154 relative to the reference electrode may be transmitted to the external device 300.
  • a ground electrode may be provided at the position of the third electrode 156 to serve as a reference electrode.
  • a ground electrode provided in the left modern may be used as a reference electrode, or an electrode provided separately from the first electrode 152 and the second electrode 154 may be used as a reference electrode.
  • the glasses 100 include the nose pad 140 integrated with the rim 122 .
  • the glasses 100 are not limited to this.
  • the glasses 100 may include a klings provided on the rim 122 and a nose pad 140 attached to the krings.
  • the electrode provided on the surface of the nose pad 140 is electrically connected to the electric wire embedded in the frame via the krings.
  • the nose pad 140 may include an extending portion that extends downward, and the first electrode 152 and the second electrode 154 may be provided in the extending portion. This allows the first electrode 152 and the second electrode 154 to be in contact below the eye position even for a user whose nose pad is located directly beside the eye due to individual differences in eye and nose positions. Can do.
  • the third electrode 156 has been described as an example in which the third electrode 156 is provided on the surface of the eyebrow portion 124.
  • the eyebrow portion 124 may include an extending portion that extends upward, and the third electrode 156 may be provided in the extending portion.
  • a movable part that moves the extending part up and down between the extending part and the eyebrow part 124 may be provided so that the position of the third electrode 156 can be adjusted up and down.
  • the position of each electrode is not limited to the above-described position, and may be disposed at a position where an electrooculogram signal indicating the vertical and horizontal movements of the eye can be acquired.
  • noise may be prevented by using a shielded cable as the electric wire.
  • the configuration using three electrodes is illustrated in FIG. 1, but a configuration using four or more electrodes may be used.
  • the glasses have an upper electrode, a lower electrode, a left electrode, and a right electrode.
  • the upper electrode and the lower electrode are provided on the rim 122 shown in FIG. 1
  • the left electrode is provided on the left temple 130
  • the right electrode is provided on the right temple 130. There is no. Note that these electrodes are in contact with a part of the face.
  • the vertical direction of the eye can be detected by the voltage difference between the upper electrode and the lower electrode, and the horizontal direction of the eye can be detected by the voltage difference between the left electrode and the right electrode.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

プログラムは、対象者の眼周辺に接触する各電極により検出される眼電位に基づく眼電図信号を取得する取得ステップと、眼電図信号に基づいて、瞬目又は視線移動を検出する検出ステップと、眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する判定ステップと、第1条件が満たされると判定された場合、瞬目又は視線移動の検出を停止する停止ステップと、をコンピュータに実行させる。

Description

プログラム、情報処理装置、及びアイウエア
 本発明は、プログラム、情報処理装置、及びアイウエアに関する。
 フレーム部分に複数の電極を設け、各電極から眼電図信号を取得するアイウエアが知られている(例えば、特許文献1参照)。
米国特許出願公開第2004/0070729号明細書
 しかしながら、アイウエアは、ウェラブルデバイスであることから、アースをとることがデザイン的に困難であり、その結果、アースを設けないことで、外乱によるノイズ成分が眼電図信号に含まれる場合がある。
 ここで、アイウエアに設けられた各電極から得られる眼電図信号に基づいて、瞬目や視線移動が検出される場合、外乱によるノイズ成分の影響で誤検出が多く発生してしまうという問題点があった。
 そこで、本発明は、瞬目や視線移動の誤検出を防止することを目的とする。
 本発明の一態様におけるプログラムは、対象者の眼周辺に接触する各電極により検出される眼電位に基づく眼電図信号を取得する取得ステップと、前記眼電図信号に基づいて、瞬目又は視線移動を検出する検出ステップと、前記眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する判定ステップと、前記第1条件が満たされると判定された場合、前記瞬目又は前記視線移動の検出を停止する停止ステップと、をコンピュータに実行させる。
 本発明によれば、瞬目や視線移動の誤検出を防止することができる。
実施例におけるメガネの前方からの一例を示す斜視図である。 実施例におけるメガネの後方からの一例を示す斜視図である。 実施例における処理装置の一例を示すブロック図である。 使用者に対する電極の接触位置を概略的に示す図である。 実施例における増幅部の構成の一例を示す図である。 バッファアンプを設ける理由を説明するための図である。 実施例における増幅部の構成の他の例を示す図である。 実施例における外部装置の構成の一例を示すブロック図である。 実施例における判定部の機能構成の一例を示すブロック図である。 電磁ノイズモードを説明するための図である。 超ノイズモードを説明するための図である。 眼の垂直方向の動きを示す眼電図信号の一例を示す図である。 実施例における瞬目、視線移動の検出処理に関する処理の一例を示すフローチャートである。 実施例における瞬目検出処理の一例を示すフローチャートである。 実施例における処理部210Aの構成の一例を示すブロック図である。 実施例における処理装置200Aの送信処理の一例を示すフローチャートである。
 以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
 [実施例]
 図1は、実施例におけるメガネ100の前方からの一例を示す斜視図である。図2は、実施例におけるメガネ100の後方からの一例を示す斜視図である。メガネ100は、レンズ110及びフレーム120を備える。メガネ100及びフレーム120は、アイウエアの一例である。
 フレーム120は、一対のレンズ110を支持する。フレーム120は、リム122と、眉間部(例えばブリッジ)124と、ヨロイ126と、丁番128と、テンプル130と、モダン132と、一対のノーズパッド140と、第1電極152と、第2電極154と、第3電極156と、電線(不図示)と、処理装置200と、増幅部250とを有する。なお、メガネ100の種類によっては、一枚レンズを用いることでフレームのブリッジ部分がない場合がある。この場合、一枚レンズの眉間部分を眉間部とする。
 一対のノーズパッド140は、右ノーズパッド142及び左ノーズパッド144を含む。リム122、ヨロイ126、丁番128、テンプル130、及びモダン132は、それぞれ左右一対に設けられる。
 リム122は、レンズ110を保持する。ヨロイ126は、リム122の外側に設けられ、丁番128によりテンプル130を回転可能に保持する。テンプル130は、使用者の耳の上部を押圧して、この部位を挟持する。モダン132は、テンプル130の先端に設けられる。モダン132は、使用者の耳の上部に接触する。なお、モダン132は、必ずしもメガネ100に設ける必要はない。
 第1電極152及び第2電極154は、一対のノーズパッド140のそれぞれの表面に設けられ、眼電位を検出する。例えば、第1電極152は、右ノーズパッド142に設けられ、第2電極154は、左ノーズパッド144に設けられる。
 第1電極152は、使用者の右眼の眼電位を検出する。第2電極154は、使用者の左眼の眼電位を検出する。このように、眼電位を検出するための電極を、使用者の皮膚に必然的に接触するノーズパッドの表面に設ける。これにより、使用者の眼の周囲に二対の電極を接触させるのに比べて、使用者の皮膚に与える負担を軽減することができる。
 第3電極156は、眉間部124の表面に設けられ、眼電位を検出する。接地電極(不図示)は、モダン132の表面に設けられるとする。メガネ100にモダン132がない場合は、接地電極は、テンプル130の先に設けられる。実施例において、第1電極152、第2電極154及び第3電極156が検出する電位は、接地電極が検出する電位を基準としてもよい。
 処理装置200は、例えば、テンプル130に設けてもよい。これにより、メガネ100を正面から見たときのデザイン性を損なうことがない。処理装置200の設置位置は、必ずしもテンプル130である必要はないが、メガネ100を装着した際のバランスを考慮して位置決めすればよい。処理装置200は、電線を介して増幅部250に接続される。なお、処理装置200と、増幅部250とは、無線を介して接続されてもよい。
 増幅部250は、第1電極152、第2電極154及び第3電極156の近傍に設けられ、増幅対象の各電極と電線を介して接続される。増幅部250は、各電極が検出した眼電位を示す眼電図信号(又は眼電位信号)を取得する。例えば、増幅部250は、第1電極152、第2電極154及び第3電極156により検出された眼電位を示す眼電図信号を増幅する。
 また、増幅部250は、眼電図信号を処理する処理部を有していれば、増幅する前又は増幅した後の各眼電図信号に対し、加減処理を行ってもよい。例えば、増幅部250は、第3電極156を基準とした第1電極152の電位を示す基準眼電図信号を求めてもよい。また、増幅部250は、第3電極156を基準とした第2電極154の電位を示す基準眼電図信号を求めてもよい。増幅部250により増幅又は処理された信号は、処理装置200に出力される。
 外部装置300は、通信機能を有する情報処理装置である。例えば、外部装置300は、使用者が所持する携帯電話及びスマートフォン等の携帯通信端末やパーソナルコンピュータ等である。外部装置300は、送信部220から受信した眼電図信号に基づく処理を実行する。例えば、外部装置300は、受信した眼電図信号から、瞬目や視線移動を検出する。瞬目を検出する場合の応答として、外部装置300は、使用者の瞬目の回数が増加していることを検出した場合などに、居眠りを防止するための警告を発する。外部装置300の詳細については後述する。
 <処理装置の構成>
 図3は、実施例における処理装置200の一例を示すブロック図である。図3に示すように、処理装置200は、処理部210、送信部220、及び電源部230を有する。第1電極152、第2電極154、第3電極156は、例えば増幅部250を介して処理部210に接続される。処理装置200の各構成は、一対のテンプルに分散して設けられてもよい。
 処理部210は、増幅部250から増幅された眼電図信号を取得し、処理する。例えば、処理部210は、第3電極156を基準とした第1電極152の電位を示す基準眼電図信号を処理してもよい。なお、基準眼電図信号は、説明の便宜上「基準」を付したが、眼電図信号に含まれる。また、処理部210は、第3電極156を基準とした第2電極154の電位を示す基準眼電図信号を処理してもよい。
 このとき、処理部210は、右眼及び左眼において、各電極から検出された眼電位に基づいて、眼の垂直方向及び/又は水平方向の動きを示す眼電図信号となるように処理を行ってもよい。
 他にも、処理部210は、取得した眼電図信号がデジタル化されていなければ、デジタル化処理を行ったり、各電極から増幅された眼電図信号を取得した場合には、眼電図信号の加減処理を行ったりする。また、処理部210は、増幅部250から取得した眼電図信号をそのまま送信部220に送信してもよい。
 送信部220は、処理部210によって処理された眼電図信号を外部装置300に送信する。例えば、送信部220は、Bluetooth(登録商標)及び無線LAN等の無線通信、又は有線通信によって眼電図信号を外部装置300に送信する。電源部230は、処理部210、送信部220、及び増幅部250に電力を供給する。
 図4は、使用者に対する電極の接触位置を概略的に示す図である。第1接触位置452は、第1電極152の接触位置を表す。第2接触位置454は、第2電極154の接触位置を表す。第3接触位置456は、第3電極156の接触位置を表す。水平中心線460は、右眼402の中心と左眼404の中心とを結んだ水平方向の中心線を表す。垂直中心線462は、右眼402と左眼404との中心において水平中心線460と直交する中心線を表す。
 第1接触位置452及び第2接触位置454は、水平中心線460よりも下側に位置することが望ましい。また、第1接触位置452及び第2接触位置454は、第1接触位置452と第2接触位置454との中心を結ぶ線分が、水平中心線460と平行になるべく配置されることが望ましい。
 また、第1接触位置452及び第2接触位置454は、第1接触位置452から右眼402への距離と、第2接触位置454と左眼404との距離が等しくなるべく配置されることが望ましい。また、第1接触位置452及び第2接触位置454は、互いに一定の距離以上離間していることが望ましい。
 第3接触位置456は、垂直中心線462上に位置することが望ましい。また、第3接触位置456は、水平中心線460よりも上側であって、第1接触位置452及び第2接触位置454から離れた位置であることが望ましい。また、例えば、第3接触位置456と右眼402との距離は、右眼402と第1接触位置452との距離よりも離間させ、左眼404との距離は、左眼404と第2接触位置454との距離よりも離間させてよい。
 眼球は、角膜側が正に帯電しており、網膜側が負に帯電している。したがって、視線が上に移動した場合、第3電極156を基準とした第1電極152の電位及び第3電極156を基準とした第2電極154の電位が負となる。視線が下に移動した場合、第3電極156を基準とした第1電極152の電位及び第3電極156を基準とした第2電極154の電位が正となる。
 視線が右に移動した場合、第3電極156を基準とした第1電極152の電位が負となり、第3電極156を基準とした第2電極154の電位が正となる。視線が左に移動した場合、第3電極156を基準とした第1電極152の電位が正となり、第3電極156を基準とした第2電極154の電位が負となる。
 第3電極156を基準とした第1電極152の電位及び第3電極156を基準とした第2電極154の電位を検出することによって、好適にノイズの影響を軽減することができる。第3接触位置456を第1接触位置452及び第2接触位置454から可能な限り離間させるべく、眉間部124は、リム122の上端又はその近傍に配置されてもよい。また、眉間部124の中心よりも上側に第3電極156は設けられてもよい。この場合、第3電極156の配置位置として、縦幅の広い眉間部124を採用することが望ましい。
 なお、処理部210は、第3電極156を基準とした第1電極152の電位を検出する代わりに、基準電極を基準とした第1電極152の電位から、基準電極を基準とした第3電極156の電位を減じてもよい。そして同様に、処理部210は、第3電極156を基準とした第2電極154の電位を検出する代わりに、基準電極を基準とした第2電極154の電位から、基準電極を基準とした第3電極156の電位を減じてもよい。
 基準電極としては、接地電極を用いてもよい。また、メガネ100の、第1電極152、第2電極154及び第3電極156から離間した位置に、別途基準電極を設けてもよい。例えば、基準電極は、右側のモダン132に設けられてもよい。また、基準電極は、右側のテンプル130の使用者の肌に接する部位に設けられてもよい。
 なお、基準電極を基準とした第1電極152の電位から第3電極156の電位を減じる処理、及び基準電極を基準とした第2電極154の電位から第3電極156の電位を減じる処理は、処理部210が実行してもよく、増幅部250又は外部装置300が実行してもよい。この場合、処理対象の電位を示す信号は、増幅部250により増幅されている。
 <増幅部の構成>
 次に、増幅部250の構成について説明する。図5は、実施例における増幅部250の構成の一例を示す図である。図5に示すように、増幅部250は、第1アンプ260及び第2アンプ270を有する。第1アンプ260は、第2アンプ270の前段に位置し、バッファアンプとして機能するアンプである。以下、第1アンプ260をバッファアンプ260とも称する。第2アンプ270は、メインのアンプとして機能するアンプである。以下、第2アンプ270は、メインアンプ270とも称する。メインアンプ270により増幅された信号は処理装置200に有線又は無線を用いて出力される。
 増幅部250の設置位置は、眉間部124部分であることが望ましい。なお、増幅部250は、眉間部124に埋め込むようにして設けてもよい。前述したとおり、各電極は可能な限り離間させた方が望ましいが、各電極の設置位置はフレーム120の形状に依存してしまうため、離間させるにしても限界がある。
 このため、各電極の電位差が十分な大きさにならない場合があり、各電極で検出された小さい電位を示す眼電図信号にノイズが混入してしまうと、十分な精度の電位を検出することが困難になってしまう。
 そこで、実施例においては、検出された眼電図信号にノイズが混入する前に増幅することを目的として、増幅部250は、第1電極152、第2電極154及び第3電極156の近傍に設けられる。例えば、増幅部250は、各電極に近く、フレーム120にスペースが存在する眉間部124部分に設けることが好ましい。これにより、各電極により検出された眼電図信号が電線を通過する間に、ノイズが混入して眼電図信号の精度を低下させるリスクを減らすことができる。
 次に、メインアンプ270の前段の位置にバッファアンプ260を設ける理由を、図6を用いて説明する。図6は、バッファアンプ260を設ける理由を説明するための図である。図6に示す例は、第3電極156を用いるが、第1電極152及び第2電極154においても同様である。
 第3電極156は、メガネ100を装着した際、人肌に触れるため、グランドとの間に抵抗Rが存在すると考えてよい。このとき、抵抗Rは、例えば数100kΩである。また、メインアンプ270には、内部抵抗Rが存在する。このとき、メインアンプ270として通常のアンプを用いると、内部抵抗Rは、数10kΩ~数100kΩである。
 ここで、理想的にはメインアンプ270に電流が流れ込まないことであるが、内部抵抗Rが抵抗Rよりも小さいと、電流がメインアンプ270側に流れ込む。そうすると、電極の電圧Viとメインアンプ270の電圧Vxとが分圧されて観測されてしまう。そこで、メインアンプ270の前段の位置にバッファアンプ260を設けてメインアンプ270側に電流が流れ込まないようにする。
 図7は、実施例における増幅部の構成の他の例を示す図である。図7に示す増幅部は、符号250Aと表記される。増幅部250Aは、バッファアンプ260、メインアンプ270、A/D変換部280、及び無線通信部290を有する。バッファアンプ260及びメインアンプ270は、図5に示す機能と同様であるため、以下では、A/D変換部280及び無線通信部290について主に説明する。
 A/D変換部280は、メインアンプ270により増幅された信号をアナログからデジタルに変換する。A/D変換部280は、デジタル変換した信号を無線通信部290に出力する。
 無線通信部290は、A/D変換部280により変換されたデジタル信号を、無線通信を用いて処理装置200に送信する。よって、無線通信部290は、送信部として機能する。無線通信部290は、例えばBluetooth(登録商標)及び無線LAN等の無線通信を用いる。また、無線通信部290は、外部装置300にデジタル信号を直接送信してもよい。
 なお、実施例では、バッファアンプ260及びメインアンプ270を1つ設ける例を示したが、この場合は各電極からの眼電図信号に対して順番を決めて増幅していけばよい。また、各電極それぞれにバッファアンプ260及びメインアンプ270を設けてもよい。
 <外部装置の構成>
 次に、外部装置300の構成について説明する。図8は、実施例における外部装置300の構成の一例を示すブロック図である。図8に示すように、外部装置300は、通信部310、記憶部320、及び制御部330を有する。
 通信部310は、Bluetooth(登録商標)及び無線LAN等の無線通信、又は有線通信によって眼電図信号を受信する。通信部310は、処理装置200の通信部220から受信した眼電図信号を制御部330に出力する。
 制御部330は、例えばCPU(Central Processing Unit)であり、各部の制御を行ったり、各種の演算処理を行ったりする。図8に示す例では、制御部330は、取得部340、判定部342、検出制御部344、及び検出部346を有する。
 取得部340は、対象者の眼周辺に接触する各電極により検出される眼電位に基づく眼電図信号を取得する。取得部340は、例えば、通信部310が受信した眼電図信号を取得すると、この眼電図信号を判定部342及び検出部346に出力する。
 制御部330は、取得された眼電図信号に対し、垂直方向及び水平方向の眼の動きを示す眼電図信号の極大値及び極小値を記憶部320に記憶するようにする。また、制御部330は、所定期間毎に、垂直方向及び水平方向の眼の動きを示す眼電図信号の最大値及び/又は最小値を記憶部320に記憶するようにしてもよい。所定期間は、例えば200msecとするが、この限りではない。また、所定期間は、時間窓を用いることで重複を許して時間的に変動するようにしてもよい。ここでいう垂直方向とは、顔を基準とした頭の上から下までの方向をいい、水平方向とは、垂直方向に直交する方向をいう。
 記憶部320は、例えば、RAM(Random Access Memory)であり、垂直方向及び水平方向の眼電図信号の極大値及び/又は極小値を記憶する。例えば、記憶部320は、極大値用のFIFOバッファと、極小値用のFIFOバッファとを有する。FIFOバッファは、極大値または極小値のデータにより記憶容量が一杯になったときは、最も古いデータが消去されて最新のデータが記憶されることにより、記憶領域に記憶されるデータが更新される。また、記憶部320は、後述する検出部346の検出結果を記憶してもよい。また、極大値又は極小値は、それぞれ所定時間毎の最大値又は極小値でもよい。
 また、記憶部320は、後述する瞬目検出処理や視線移動検出処理をコンピュータに実行させるプログラムを記憶する。以下、瞬目検出処理及び視線移動検出処理をまとめて検出処理とも称す。このプログラムは、インターネット、又はSDカードなどの記録媒体を介して外部装置300にインストールされてもよいし、プリインストールされていてもよい。また、このプログラムを記憶する記憶部は、記憶部320とは別であってもよい。
 判定部342は、取得部340から取得した眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する。例えば、第1条件は、眼電図信号の振幅又はピーク間の幅に関する条件であり、外乱によるノイズが発生しているか否かを判定するための判定条件である。以下、外乱によるノイズとしては、例えば、電磁ノイズや、歩行時の対象者の動きによるノイズなどを含む。対象者の動きによるノイズは、例えば、対象者の表情の変化、対象者がアイウエアをかけること、対象者がアイウエアをかけ直すこと、対象者が顔をかくこと、及び対象者がガム等の飲食物を食べることなどを含む。
 また、判定部342は、一旦第1条件が満たされて瞬目又は視線移動の検出が停止されると、取得される眼電図信号に基づいて、瞬目又は視線移動の検出の再開に関する第2条件が満たされるか否かを判定する。例えば、第2条件は、眼電図信号の振幅又はピーク間の幅に関する条件であり、外乱によるノイズの混入が少なくなったか否かを判定するための判定条件である。判定部342については、図9を用いて後述する。
 検出制御部344は、第1条件が満たされると判定された場合、後述する検出部346による瞬目又は視線移動の検出を停止するよう制御する。
 また、検出制御部344は、瞬目又は視線移動の検出の停止後に、第2条件が満たされると判定された場合、検出部346による瞬目又は視線移動の検出を再開するよう制御する。
 例えば、検出制御部344は、判定部342により第1条件を満たすと判定された場合、停止信号を検出部346に出力し、判定部342により第2条件を満たすと判定された場合、再開信号を検出部346に出力する。
 検出部346は、取得部340から取得した眼電図信号に基づいて、瞬目又は視線移動の検出処理を実行する。また、検出部346は、検出制御部344からの停止信号に基づいて瞬目又は視線移動の検出を停止し、再開信号に基づいて瞬目又は視線移動の検出を再開する。
 これにより、多くのノイズが眼電図信号に混入していると判定されたときに、瞬目又は視線移動の検出を停止することで、誤検出を防止することができる。また、検出処理の停止は、省電力にも寄与する。
 また、検出部346は、検出を停止した後に、ノイズの混入が少なくなったと判定されたときに、瞬目又は視線移動の検出処理を再開することで、適切なタイミングで通常の検出処理に戻ることができる。
 次に、外乱によるノイズの具体例として、電磁ノイズと、歩行ノイズを例に挙げて、判定部342の処理について説明する。図9は、実施例における判定部342の機能構成の一例を示すブロック図である。
 図9に示す判定部342は、停止判定部410と、再開判定部420とを含む。停止判定部410は、所定ノイズに関する判定条件により、現在の眼電図信号がノイズモードであるか否かを判定する。停止判定部410は、第1停止モード判定部412と、第2停止モード判定部414とを含む。
 第1停止モード判定部412は、検出部346から検出結果を取得し、電磁ノイズが眼電図信号に混入している電磁ノイズモードであるか否かを判定する。第1停止モード判定部412は、電磁ノイズモードを見分けるために、眼電図信号のピークの幅を用いて、瞬目が所定時間内に所定回数以上検出されるか否かを判定する。例えば、第1停止モード判定部412は、1秒間に5回以上の瞬目が検出されるか否かを判定する。
 これは、例えば約5.6Hzの電磁ノイズが発生している環境では、人間の瞬目は早くても3~4Hzであるため、1秒間に5回以上の瞬目が検出された場合には電磁ノイズの影響により瞬目が検出されていると判定することができる。よって、第1停止モード判定部412は、例えば1秒間に5回以上の瞬目が検出された場合は、電磁ノイズモードであると判定する。
 第2停止モード判定部414は、検出部346から検出結果を取得し、歩行等による大きなノイズが眼電図信号に混入している超ノイズモードであるか否かを判定する。第2停止モード判定部414は、超ノイズモードを見分けるために、所定値以上となる眼電図信号の振幅の値が所定時間内に所定回数以上検出されるか否かを判定する。例えば、第2停止モード判定部414は、所定値以上の振幅値が2秒間に3回以上検出されるか否かを判定する。
 これは、例えば歩行等によるノイズが発生している場合では、瞬目の振幅値よりもかなり大きい振幅値が発生する。そのため、所定時間内に瞬目の振幅値よりもかなり大きい振幅値が多数発生している場合には、歩行等によるノイズの影響により瞬目が検出されていると判定することができる。
 また、所定値は、実際に瞬目として検出されたピーク値の平均値に基づく値に設定されればよい。実際の瞬目のピーク値の平均値よりも所定倍以上大きい値の振幅値であれば、それは、外乱(例えば歩行)の影響によるものと判定することができる。なお、平均値に乗算する係数は、事前の実験等により適切な値が設定されていればよい。
 再開判定部420は、瞬目や視線移動の検出が停止された後、眼電図信号に基づいて、瞬目又は視線移動の検出の再開に関する第2条件が満たされるか否かを判定する。再開判定部420は、第1再開判定部422と、第2再開判定部424とを含む。
 第1再開判定部422は、検出部346から検出結果を取得し、電磁ノイズモードから通常モードに戻っているか否かを判定する。通常モードとは、瞬目又は視線移動が検出可能なモードである。第1再開判定部422は、電磁ノイズの混入が少なくなっていることを見分けるために、例えば、眼電図信号のピークの幅(間隔)を用いて、瞬目が所定時間内に所定回数未満検出されるか否かを判定する。より具体的には、第1停止モード判定部412は、第2条件の一例として、1秒間に5回未満の瞬目が検出されるか否かを判定する。
 この判定は、第1停止モード判定部412による判定と逆の判定を行うため、第1再開判定部412は、第1停止モード判定部412と統合されてもよい。なお、この判定に対して、検出部346において、瞬目又は視線移動の検出は行われないが、瞬目があったか否かの判定は行われる。
 第2再開判定部424は、取得部340から眼電図信号を取得し、超ノイズモードから通常モードに戻っているか否かを判定する。例えば、第2再開判定部424は、歩行等によるノイズの混入が少なくなっていることを見分けるために、直近の数秒間における眼電図信号のピーク値の平均値が、超ノイズモードに遷移する前の数秒間における眼電図信号のピーク値の平均値の所定倍未満になっているか否かを判定する。より具体的には、第2再開判定部424は、第2条件の一例として、直近の5秒間のピーク値の平均値が、超ノイズモードに遷移する前の5秒間におけるピーク値の平均値の1.2倍未満になっているか否かを判定する。
 この判定は、眼電図信号に基づいて行われるため、検出部346による瞬目又は視線移動の検出処理自体を停止することができ、省電力に寄与することができる。
 次に、具体的な信号を用いて、電磁ノイズモードと超ノイズモードとを説明する。図10は、電磁ノイズモードを説明するための図である。図10に示す眼電図信号S1において、期間N1では、第1停止モード判定部412により1秒間に5回以上の瞬目が検出される。
 よって、この期間N1は、第1停止モード判定部412により、電磁ノイズが眼電図信号に混入している電磁ノイズモードであると判定され、瞬目又は視線移動の検出が停止される。また、期間N1が終了した時点以降において、第1再開判定部422により、通常モードに戻ったと判定され、瞬目又は視線移動の検出が再開される。
 図11は、超ノイズモードを説明するための図である。図11に示す眼電図信号S2において、期間N2では、第2停止モード判定部414により所定値以上の振幅値が2秒間に3回以上検出される。
 よって、この期間N2は、第2停止ノイズ判定部414により、歩行等による大きなノイズが眼電図信号に混入している超ノイズモードであると判定され、瞬目又は視線移動の検出が停止される。また、期間N2が終了した時点以降において、第2再開判定部424により、通常モードに戻ったと判定され、瞬目又は視線移動の検出が再開される。
 なお、図10や図11に示す期間N1やN2において瞬目や視線移動の検出処理を行ってしまうと、眼電図信号S1やS2が瞬目や視線移動の判定閾値を超えることで、多くの瞬目や視線移動が検出され、誤検出が発生してしまう。
 これに対し、本実施例では、電磁ノイズモードや超ノイズモードを判定し、これらのモード時には瞬目や視線移動を検出しないことにより、誤検出を防ぐことができる。なお、図10や図11に示す縦軸の眼電強度は、眼電位の強度を示す単位であり、例えば眼電図信号の計測値×1.5(V)÷2048などで表される。
 なお、図11に示す例では、歩行の場合を例に用いて説明したが、走行、咳、くしゃみ、頷き、頭を振るなどの動作についても、歩行と同様に眼電図信号が大きな振幅となるため、これらを超ノイズモードとして判定できるようにすればよい。
 ≪視線移動検出≫
 次に、視線移動の検出について説明する。図8に戻り、検出部346は、公知の方法を用いて視線移動を検出すればよい。例えば、検出部346は、取得した眼電図信号から右眼電図と、左眼電図とに分けて、右眼電図及び左眼電図で負の電位が示された場合には視線が上を向いたことを検出する。また、検出部346は、右眼電図及び左眼電図で正の電位が示された場合には視線が下、右眼電図で負の電位が示され左眼電図で正の電位が示された場合には視線が右、右眼電図で正の電位が示され左眼電図で負の電位が示された場合には視線が左に向いたことを検出する。
 さらに、検出部346は、右眼電図が示す電位V1と左眼電図が示す電位V2とを加減算することによって、視線の検出精度を高めることができる。例えば、V1+V2が負であり、V1-V2が略ゼロの場合は、視線が上に向けられたと検出できる。V1+V2が正であり、V1-V2が略ゼロの場合は、視線が下に向けられたと判断できる。V1+V2が略ゼロであり、V1-V2が負の場合は、視線が右に向けられたと判断できる。V1+V2が略ゼロであり、V1-V2が正の場合は、視線が左に向けられたと判断できる。V1とV2とを加減算することにより、算出される正の値及び負の値が大きくなる。したがって、その分閾値を大きく設定することができるので、ノイズを誤って視線移動として検出してしまう誤検出を低減できる。
 ≪瞬目検出≫
 つぎに、瞬目検出について説明する。検出部346は、眼電図信号を用いた公知の瞬目検出アルゴリズムを用いることができるが、本実施例では、瞬目判定に用いる閾値を可変にするアルゴリズムについて説明する。検出部346は、閾値算出部350を有する。
 閾値算出部350は、記憶部320に記憶された極大値及び/又は極小値を用いて閾値を算出する。閾値算出部350は、例えば処理を簡略化するため、極大値又は極小値の絶対値の平均値等から閾値の絶対値を算出してもよい。
 また、閾値算出部350は、記憶部320に記憶された極大値を用いて第1閾値を算出し、また、記憶部320に記憶された極小値を用いて第2閾値を算出してもよい。ここで、第1閾値は、眼が垂直方向の上に動いたことを判定するために用いられ、第2閾値は、眼が垂直方向の下に動いたことを判定するために用いられる。これにより、上方向の眼の動き、下方向の眼の動きそれぞれに閾値を設定できるので、適切な閾値判定を行うことができる。
 また、閾値算出部350は、第1算出部352及び第2算出部354を有する。第1算出部352は、極大値用のFIFOバッファに記憶されている極大値の平均値及び標準偏差を算出する。また、第1算出部352は、極小値用のFIFOバッファに記憶されている最小値の平均値及び標準偏差を算出する。
 第2算出部354は、極大値の平均値及び標準偏差に基づいて第1閾値を算出し、極小値の平均値及び標準偏差に基づいて第2閾値を算出する。これにより、例えば対象者の直近の状態を示す眼電図信号を用いて閾値を設定することができる。また、第1閾値及び第2閾値は、使用者の直近の状態を示す信号の強度に追従して値を変更させることができる。
 例えば、第2算出部354は、極大値の平均値に、極大値の標準偏差に係数を乗算した値を加算した値を第1閾値とする。第2算出部354は、極小値の平均値から、極小値の標準偏差に係数を乗算した値を減算した値を第2閾値とする。これにより、適切な閾値を設定することができる。
 また、閾値算出部350は、記憶部320に極大値及び/又は極小値が記憶される度に、第1閾値及び第2閾値を更新する。これにより、閾値算出部350は、過去の眼電図信号に基づいて閾値を設定することができるため、眠くなって眼の動きが遅くなり、眼電図信号が弱くなった場合であっても、その弱くなった信号に応じて閾値を設定することができるので、適切に瞬目を検出することができる。
 また、閾値算出部350は、記憶部320に記憶された所定個の極大値の平均を第1閾値としたり、記憶部320に記憶された所定個の極小値の平均を第2閾値としたりしてもよい。また、閾値算出部350は、記憶部320に記憶された極大値及び極小値それぞれの標準偏差を用いて第1閾値及び第2閾値を算出してもよい。
 検出部346は、第2算出部354により算出された第1閾値、及び第2閾値を用いて、眼の垂直方向の動きを示す眼電図信号から瞬目を検出する。例えば、検出部346は、第1閾値以上となる記憶部320に記憶された極大値の第1時刻と、第2閾値以下となる記憶部320に記憶された極小値の第2時刻との差分が所定時間以内であれば、瞬目を検出する。ここで、第2時刻は、第1時刻以降であって直近の時刻とする。所定時間は、例えば500msecとするがこの限りではない。
 なお、検出部346は、右眼、左眼それぞれの眼電図信号を用いて瞬目を検出し、所定範囲内のタイミングで両目において瞬目が検出されたときに最終的な瞬目を検出してもよい。また、検出部346は、右眼と左眼は同様の動きをすることを前提とし、双方の眼電図信号の平均を用いて瞬目を検出してもよい。次に、具体的な眼電図信号を用いて瞬目検出アルゴリズムについて説明する。
 図12は、眼の垂直方向の動きを示す眼電図信号の一例を示す図である。図12に示す眼電図信号S3は、片側の眼の垂直方向の動きを示す眼電図信号である。ここで、図12を用いて瞬目検出アルゴリズムを説明する。以下に説明する瞬目検出アルゴリズムは、所定期間の最大値及び最小値を用いて閾値を算出する場合のアルゴリズムである。
 (1)所定期間ごとの最大値、最小値を求める
 制御部330は、眼電図信号S3の所定期間T1(例えば500msec)ごとの最大値、最小値を求める。
 (2)最大値が極大値である場合、第1FIFOバッファに保存する
 制御部330は、(1)で求めた最大値が極大値である場合、第1FIFOバッファ(記憶部320)に保存する。
 (3)最小値が極小値である場合、第2FIFOバッファに保存する
 制御部330は、(1)で求めた最小値が極小値である場合、第1FIFOバッファとは別領域の第2FIFOバッファに保存(記憶部320)する。なお、(2)及び(3)について、順序は問わない。以降、第1FIFOバッファ及び第2FIFOバッファをまとめる場合は、単にバッファと称する。図10において、眼電図信号S3上にある黒点は、各期間において極大値又は極小値として検出された値を表す。なお、極大値及び極小値は、微分を用いて、例えば眼電図信号S3の差分信号を用いて求めることができる。
 (4)バッファの容量分データが保存されたら、平均値及び標準偏差を算出する
 第1算出部352は、第1FIFOバッファに保存されている最大値の平均値(a1)及び標準偏差(b1)を算出する。また、第1算出部352は、第2FIFOバッファに保存されている最大値の平均値(a2)及び標準偏差(b2)を算出する。
 (5)閾値を算出する
 第2算出部354は、(4)で算出された平均値及び標準偏差を用いて第1閾値及び第2閾値を算出する。第1閾値(Th1)及び第2閾値(Th2)は、以下の式で算出される。
Th1=a1+E×b1・・・式(1)
Th2=a2-E×b2・・・式(2)
ここで、係数Eは、例えば2とする。
なお、第1閾値(Th1)、第2閾値(Th2)の絶対値に下限値を設定しておいてもよい。これにより、眼のわずかな上下運動を瞬きであると誤検出することを防止することができる。また、係数Eは、信号強度に応じて可変に設定できるようにされてもよい。
 図12において、第1閾値の例として、符号TH1で表し、第2閾値の例として符号TH2で表す。図12に示すとおり、眼電図信号の時間経過に伴って、それぞれの閾値が変動し、さらに、眼電図信号の強さ(振幅の大きさ)に追従して閾値が適切に変更される。図8に示す第1閾値TH1と第2閾値TH2は、閾値の変動を概念的に示したものに過ぎない。
 (6)第1閾値以上の最大値、及び第2閾値以下の最小値を特定する
 検出部342は、(5)で算出された第1閾値以上の最大値を特定する。ここで、閾値判定の対象となる最大値は、第1FIFOバッファに記憶されており、閾値判定がまだされていない最大値である。
 また、検出部342は、(5)で算出された第2閾値以下の最小値を特定する。ここで、閾値判定の対象となる最小値は、第2FIFOバッファに記憶されており、閾値判定がまだされていない最小値である。図12において、特定された最大値及び最小値は、四角で囲われた黒点により表される。
 (7)瞬目を検出する
 検出部342は、特定された最大値毎に、この最大値の第1時刻と、特定された最小値の第2時刻であり、この第1時刻以降の直近の第2時刻との差が、所定時間以内であれば、その眼の上下の動きを瞬目とみなして検出する。
 図12において、例えば、特定された最大値の時刻t11と、t11以降で直近に特定された最小値の時刻t21との差が所定時間以内であれば、その眼の動きを瞬目として検出する。所定時間は、例えば500msecとする。
 以上、瞬目検出アルゴリズムを説明したが、このアルゴリズムは、あくまでも一例であり、この例に限らない。なお、瞬目、視線移動の検出処理においては、眼電図信号の時間方向の差分信号を用いて上述した処理と同様の処理を行ってもよい。差分信号とは、例えば時間tの眼電図信号から時間tの所定時間前の眼電図信号を減算した信号である。これにより、ノイズ耐性が強い差分信号を用いることで、検出精度を向上させることができる。
 <動作>
 次に、実施例における外部装置300の動作について説明する。図13は、実施例における瞬目、視線移動の検出処理に関する処理の一例を示すフローチャートである。図13に示すフローチャートは、使用者がメガネ100を装着して、第1電極152、第2電極154、第3電極156及び接地電極が使用者の皮膚に接触した状態であって、外部装置300が瞬目又は視線移動の検出を実行するモードである動作モード(通常モード)に設定された場合に開始する。
 図13に示すステップS102で、取得部340は、メガネ100から、眼電図信号を取得する。
 ステップS104で、検出部346は、瞬目又は視線移動の検出を実行する。なお、検出部346は、両方の検出を行ってもよい。瞬目の検出処理については、図14を用いて後述する。
 ステップS106で、判定部342は、眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する。第1条件が満たされると判定されれば(ステップS106-YES)、瞬目又は視線移動の検出処理を停止するため、検出制御部344は、検出部346に停止信号を出力し、処理はステップS108に進む。第1条件が満たされないと判定されれば(ステップS106-NO)、処理はステップS114に進む。
 ステップS108で、検出部346は、検出制御部344から停止信号を取得すると、瞬目又は視線移動の検出を停止する。
 ステップS110で、取得部340は、メガネ100から、眼電図信号を取得する。
 ステップS112で、判定部342は、眼電図信号に基づいて、瞬目又は視線移動の検出の再開に関する第2条件が満たされるか否かを判定する。第2条件が満たされると判定されれば(ステップS112-YES)、瞬目又は視線移動の検出処理を再開するため、検出制御部344は、検出部346に再開信号を出力し、処理はステップS114に進む。第2条件が満たされないと判定されれば(ステップS112-NO)、処理はステップS110に戻る。
 ステップS114で、制御部330は、動作モードの終了指示を受けているか否かを判定する。動作モードの終了指示は、例えばユーザから外部装置300のボタン操作などにより実行される。終了指示があれば(ステップS114-YES)検出処理は終了し、終了指示がなければ(ステップS114-NO)ステップS102に戻る。
 以上の処理により、本実施例では、瞬目又は視線移動の誤検出が発生しやすいモードを判定することができ、このモードに遷移した場合には、瞬目又は視線移動の検出を停止して誤検出が行われないようにすることができる。
 次に、図14は、実施例における瞬目検出処理の一例を示すフローチャートである。以下に説明する瞬目検出処理は、極大値及び極小値の移動平均を用いて判定閾値を算出する。
 ステップS202で、制御部330は、算出される極大値及び/又は極小値を記憶部320に記憶する。
 ステップS204で、閾値算出部350は、記憶部320に記憶された極大値及び/又は最小値を用いて閾値(第1閾値及び第2閾値)を算出する。このとき、閾値算出部350は、例えば直近の10個の極大値の平均値を第1閾値、又は直近の10個の極小値の平均値を第2閾値とする。なお、後に瞬目と判定される極大値及び極小値は、次回以降の平均算出処理から除外してもよい。
 ステップS206で、検出部346は、第1閾値以上となる極大値の第1時刻、又は第2閾値以下となる極小値の第2時刻を特定する。このとき、検出部360は、第2時刻として、特定した第1時刻以降の直近の極小値の時刻を特定する。
 ステップS208で、検出部346は、第2時刻-第1時刻が所定時間より小さいかを判定する。この条件が満たされれば(ステップS208-YES)、処理はステップS210に進み、この条件が満たされなければ(ステップS208-NO)、処理は終了する。
 ステップS210で、検出部346は、第1時刻と第2時刻との間の眼の動きを瞬目として検出する。
 以上の処理により、外部装置300は、適切な閾値を用いて、瞬目を検出することができる。
 以上、実施例によれば、所定ノイズが眼電図信号に混入しているモードであるかを判定し、現在の眼電図信号の状態がこのモードである場合には、瞬目や視線移動の検出を停止することで、誤検出を防止することができる。
 なお、本実施例において、アイウエアがメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。
 上述した実施例では、外部装置300の例として、処理装置200と別体の、携帯電話及びスマートフォン等の携帯通信端末やパーソナルコンピュータを挙げて説明した。しかし、これに限定されない。外部装置300は、メガネ100又は処理装置200の「外部」にある装置として設けられるのではなく、処理装置200と一体のユニットとして設けられてもよい。例えば、外部装置300は、アイウエアに一体として設けられる。また、外部装置300の任意の各機能が、処理装置200に設けられてもよい。以下、外部装置300の機能を処理装置200に組み込む例としての処理装置200Aについて説明する。
 例えば、外部装置300の判定部342、検出制御部344及び検出部346を組み込んだ処理装置200Aについて説明する。処理装置200Aは、処理装置200と同様に、処理部210A、送信部220、電源部230を有する。図15は、実施例における処理部210Aの構成の一例を示すブロック図である。図15に示すように、処理部210A内部には、上述した処理部210の機能に加え、外部装置300の判定部342A、検出制御部344A及び検出部346Bが含まれる。ここでは、説明の便宜上、判定部342A、検出制御部344A及び検出部346Aは、判定部342、検出制御部344及び検出部346と同様の機能を有するが、異なる符号を用いて説明する。
 図15に示す処理部210Aにおいて、判定部342Aは、所定ノイズの検出に関する第1条件が満たされると判定した場合、検出制御部344Aは、検出部346Aによる瞬目又は視線移動の検出を停止するように制御する。また、判定部342Aは、検出処理の再開に関する第2条件が満たされると判定した場合、検出制御部344Aは、検出部346Aによる瞬目又は視線移動の検出を再開するよう制御する。
 他方、判定部342Aは、第1条件が満たされないと判定した場合、検出部346Aは、瞬目又は視線移動の検出処理を実行する。この場合、送信部220は、検出部346Aによる検出結果を外部装置300に送信する。
 外部装置300は、通信部310により検出結果を取得し、記憶部320に検出結果を記憶する。これにより、制御部330において、検出結果を用いた所定の処理を実行することができる。
 なお、検出結果の送信については、リアルタイム処理とバッチ処理とがある。リアルタイム処理では、検出結果が取得される度に、検出結果が外部装置300に送信される。また、検出結果とともに眼電図信号等がリアルタイムに外部装置300に送信されてもよい。このリアルタイム処理を行うことで、早期に詳細な分析を外部装置300等で行うことができるようになる。
 また、バッチ処理では、所定時間(例えば1分間)ごとに、検出結果が集計され、集計結果が外部装置300に送信される。集計結果は、その間の眼電図信号を含んでもよい。このバッチ処理を行うことで、所定時間ごとに集計結果を送信することになるので、送信回数を減らし、処理部210Aの消費電力を低減することができる。
 図16は、実施例における処理装置200Aの送信処理の一例を示すフローチャートである。図16に示すステップS302で、処理部210Aは、各電極から、眼電図信号を取得する。
 ステップS304で、検出部346Aは、瞬目又は視線移動の検出を実行する。なお、検出部346Aは、両方の検出を行ってもよい。
 ステップS306で、判定部342Aは、眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する。第1条件が満たされると判定されれば(ステップS306-YES)、瞬目又は視線移動の検出処理を停止するため、検出制御部344Aは、検出部346Aに停止信号を出力する。その後、処理はステップS308に進む。第1条件が満たされないと判定されれば(ステップS306-NO)、処理はステップ314に進む。
 ステップS308で、検出部346Aは、検出制御部344Aから停止信号を取得すると、瞬目又は視線移動の検出を停止する。
 ステップS310で、処理部210Aは、各電極から、眼電図信号を取得する。
 ステップS312で、判定部342Aは、眼電図信号に基づいて、瞬目又は視線移動の検出の再開に関する第2条件が満たされるか否かを判定する。第2条件が満たされると判定されれば(ステップS312-YES)、瞬目又は視線移動の検出処理を再開するため、検出制御部344Aは、検出部346Aに再開信号を出力する。その後、処理はステップS314に進む。第2条件が満たされないと判定されれば(ステップS312-NO)、処理はステップS310に戻る。
 ステップS314で、送信部220は、検出結果を外部装置300に送信する。なお、送信についてバッチ処理が行われる場合、処理部210Aは、検出結果を集計した後、所定時間が経過した否かを判定する。所定時間が経過していない場合、処理はステップS302に戻り、所定時間が経過している場合、送信部220は、集計結果を外部装置300に送信する。
 ステップS316で、処理部210Aは、動作モードの終了指示を受けているか否かを判定する。動作モードの終了指示は、例えばユーザによる外部装置300のボタン操作などにより実行される。終了指示があれば(ステップS316-YES)、検出処理は終了し、終了指示がなければ(ステップS316-NO)、ステップS302に戻る。なお、ステップS304の検出処理は、ステップS312とステップS314との間に実行されてもよい。
 以上の処理装置200Aを用いる実施例によれば、上述した処理装置200の場合と同様の効果を奏することができ、さらに、外部装置300との通信エラー等に影響を受けない信号を用いて検出処理を行うことができる。
 上記実施例において、メガネ100が第3電極156を備える例を挙げて説明した。しかし、メガネ100はこれに限定されない。メガネ100が、第3電極156を備えなくてもよい。この場合、基準電極を基準とした第1電極152の電位が示す眼電図及び基準電極を基準とした第2電極154の電位が示す眼電図が、外部装置300に送信されればよい。ここで、接地電極を第3電極156の位置に設けて、基準電極としてもよい。また、左モダンに設けられた接地電極を基準電極として用いてもよいし、第1電極152及び第2電極154から離間した位置に、別途設けられた電極を基準電極として用いてもよい。
 上記実施例において、メガネ100が、リム122と一体になっているノーズパッド140を備える例を挙げて説明した。しかし、メガネ100はこれに限定されない。メガネ100が、リム122に備え付けられたクリングスと、クリングスに取り付けられたノーズパッド140とを備えてもよい。この場合、ノーズパッド140の表面に設けられた電極は、クリングスを介して、フレームに埋設された電線と電気的に接続される。
 上記実施例において、第1電極152及び第2電極154をノーズパッド140の中心よりも下側に設ける例を挙げて説明した。しかし、これに限定されない。ノーズパッド140が下側に延伸する延伸部を備え、第1電極152及び第2電極154を延伸部に設けてもよい。これにより、眼及び鼻の位置の個人差によってノーズパッドが眼の真横に位置してしまう使用者であっても、第1電極152及び第2電極154を眼の位置よりも下に接触させることができる。
 上記実施例において、第3電極156を眉間部124の表面に設ける例を挙げて説明した。しかし、これに限定されない。眉間部124が、上側に延伸する延伸部を備え、延伸部に第3電極156を設けてもよい。またさらに、延伸部と眉間部124との間に延伸部を上下に可動させる可動部を備え、第3電極156の位置を上下に調整可能としてもよい。これにより、眼の位置の個人差によって、第3電極156の接触位置が眼の近傍になってしまう使用者であっても、調整により第3電極156の接触位置を眼から離間させることができる。また、本実施例において、各電極の位置は前述した位置に限られず、眼の垂直方向及び水平方向の動きを示す眼電図信号が取得できる位置に配置されていればよい。
 また、上記実施例では、電線としてシールドケーブルを用いることで、ノイズの混入を防ぐようにしてもよい。
 また、上記実施例では、図1において3つの電極を用いる構成を例示したが、4つ以上の電極を用いる構成であってもよい。この場合、メガネは、上部電極と、下部電極と、左部電極と、右部電極とを有する。例えば、上部電極及び下部電極は、図1に示すリム122に設けられ、左部電極は、左テンプル130に設けられ、右部電極は、右テンプル130に設けられるが、必ずしもこの位置にある必要はない。なお、これらの電極は、顔の一部に接触しているとする。
 4つの電極の例では、上部電極及び下部電極の電圧差により、眼の上下方向を検知することができ、左部電極及び右部電極の電圧差により、眼の左右方向を検知することができる。
 以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
100 メガネ
120 フレーム
124 眉間部
140 ノーズパッド
152 第1電極
154 第2電極
156 第3電極
200 処理装置
300 外部装置
320 記憶部
330 制御部
340 取得部
342 判定部
344 検出制御部
346 検出部
350 閾値算出部

Claims (7)

  1.  対象者の眼周辺に接触する各電極により検出される眼電位に基づく眼電図信号を取得する取得ステップと、
     前記眼電図信号に基づいて、瞬目又は視線移動を検出する検出ステップと、
     前記眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する判定ステップと、
     前記第1条件が満たされると判定された場合、前記瞬目又は前記視線移動の検出を停止する停止ステップと、
     をコンピュータに実行させるプログラム。
  2.  前記第1条件は、前記眼電図信号のピークの幅を用いて、前記瞬目が所定時間内に所定回数以上検出されることである、請求項1に記載のプログラム。
  3.  前記第1条件は、所定値以上となる前記眼電図信号の振幅の値が所定時間内に所定回数以上検出されることである、請求項1に記載のプログラム。
  4.  前記所定値は、前記瞬目として検出されたピーク値の平均値に基づく値である、請求項3に記載のプログラム。
  5.  前記瞬目又は前記視線移動の検出が停止された後、前記眼電図信号のピーク値の平均値に基づいて、前記瞬目又は前記視線移動の検出の再開に関する第2条件が満たされるか否かを判定する判定ステップをさらにコンピュータに実行させる、請求項3又は4に記載のプログラム。
  6.  対象者の眼周辺に接触する各電極により検出される眼電位に基づく眼電図信号を取得する取得部と、
     前記眼電図信号に基づいて、瞬目又は視線移動を検出する検出部と、
     前記眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する判定部と、
     前記第1条件が満たされると判定された場合、前記瞬目又は前記視線移動の検出を停止するよう制御する検出制御部と、
     を備える情報処理装置。
  7.  眉間部と、
     一対のノーズパッドを有するフレームと、
     前記一対のノーズパッドそれぞれの表面に設けられる第1電極及び第2電極と、
     前記眉間部の表面に設けられる第3電極と、
     各電極により検出される眼電位に基づく眼電図信号を取得する取得部と、
     前記眼電図信号に基づいて、瞬目又は視線移動を検出する検出部と、
     前記眼電図信号に基づいて、所定ノイズの検出に関する第1条件が満たされるか否かを判定する判定部と、
     前記第1条件が満たされると判定された場合、前記瞬目又は前記視線移動の検出を停止するよう制御する検出制御部と、
     を備えるアイウエア。
PCT/JP2015/081487 2014-11-11 2015-11-09 プログラム、情報処理装置、及びアイウエア WO2016076268A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014229163A JP2018010329A (ja) 2014-11-11 2014-11-11 プログラム、情報処理装置、及びアイウエア
JP2014-229163 2014-11-11

Publications (1)

Publication Number Publication Date
WO2016076268A1 true WO2016076268A1 (ja) 2016-05-19

Family

ID=55954353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081487 WO2016076268A1 (ja) 2014-11-11 2015-11-09 プログラム、情報処理装置、及びアイウエア

Country Status (2)

Country Link
JP (1) JP2018010329A (ja)
WO (1) WO2016076268A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441912A (zh) * 2019-08-27 2019-11-12 高维度(深圳)生物信息智能应用有限公司 一种便携眼镜智能穿戴设备及其控制方法
GB2574580A (en) * 2018-05-25 2019-12-18 Uea Enterprises Ltd Portable wearable eye movement monitoring system, device and monitoring method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148469A1 (ja) * 2006-06-21 2007-12-27 Panasonic Corporation サービス提供システム
JP2013244370A (ja) * 2012-05-29 2013-12-09 Jin Co Ltd アイウエア
JP2014110032A (ja) * 2012-12-04 2014-06-12 Sharp Corp 情報処理装置、および情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148469A1 (ja) * 2006-06-21 2007-12-27 Panasonic Corporation サービス提供システム
JP2013244370A (ja) * 2012-05-29 2013-12-09 Jin Co Ltd アイウエア
JP2014110032A (ja) * 2012-12-04 2014-06-12 Sharp Corp 情報処理装置、および情報処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2574580A (en) * 2018-05-25 2019-12-18 Uea Enterprises Ltd Portable wearable eye movement monitoring system, device and monitoring method
GB2574580B (en) * 2018-05-25 2023-03-29 Uea Enterprises Ltd Portable wearable eye movement monitoring system, device and monitoring method
CN110441912A (zh) * 2019-08-27 2019-11-12 高维度(深圳)生物信息智能应用有限公司 一种便携眼镜智能穿戴设备及其控制方法
CN110441912B (zh) * 2019-08-27 2024-04-19 高维度(深圳)生物信息智能应用有限公司 一种便携眼镜智能穿戴设备及其控制方法

Also Published As

Publication number Publication date
JP2018010329A (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
KR102627452B1 (ko) 다중 모드 눈 추적
JP6426589B2 (ja) 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
US9706941B2 (en) Eyewear
US20160070122A1 (en) Computerized replacement temple for standard eyewear
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
CN110366388B (zh) 信息处理方法、信息处理装置以及计算机可读存储介质
WO2016093096A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6687639B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
WO2015159861A1 (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
US20220273211A1 (en) Fatigue evaluation system and fatigue evaluation device
WO2015159851A1 (ja) 検出ユニット、アイウエア、及び眼電位検出システム
JP6594953B2 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
WO2017064800A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6556860B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
WO2016152849A1 (ja) 信号処理方法、プログラム、情報処理装置及びアイウエア
WO2017064799A1 (ja) アイウエア
JP2015205030A (ja) アイウエア
JP5919323B2 (ja) 瞬き検出装置及び眼鏡型電子機器
WO2017122533A1 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15859323

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15859323

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP