WO2016152849A1 - 信号処理方法、プログラム、情報処理装置及びアイウエア - Google Patents

信号処理方法、プログラム、情報処理装置及びアイウエア Download PDF

Info

Publication number
WO2016152849A1
WO2016152849A1 PCT/JP2016/058972 JP2016058972W WO2016152849A1 WO 2016152849 A1 WO2016152849 A1 WO 2016152849A1 JP 2016058972 W JP2016058972 W JP 2016058972W WO 2016152849 A1 WO2016152849 A1 WO 2016152849A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
value
extreme value
electrooculogram
electrode
Prior art date
Application number
PCT/JP2016/058972
Other languages
English (en)
French (fr)
Inventor
俊介 塩谷
Original Assignee
株式会社ジェイアイエヌ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジェイアイエヌ filed Critical 株式会社ジェイアイエヌ
Publication of WO2016152849A1 publication Critical patent/WO2016152849A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention relates to a signal processing method, a program, an information processing apparatus, and eyewear.
  • an object of the present invention is to appropriately detect blink or eye movement.
  • an acquisition step in which a computer acquires an electrooculogram related signal related to an electrooculogram detected by each electrode in contact with the periphery of the eye of the subject, and an extreme value of the electrooculogram related signal And a first calculating step for calculating an extreme value difference signal with respect to an extreme value before the extreme value, and a detecting step for detecting eye movement or blink based on the extreme value difference signal.
  • blink or eye movement can be detected appropriately.
  • FIG. 1 is a perspective view illustrating an example from the front of the glasses 100 according to the embodiment.
  • FIG. 2 is a perspective view illustrating an example from the rear of the glasses 100 in the embodiment.
  • the glasses 100 include a lens 110 and a frame 120. Glasses 100 and frame 120 are examples of eyewear.
  • the frame 120 supports a pair of lenses 110.
  • the frame 120 includes a rim 122, an eyebrow portion (for example, a bridge) 124, an armor 126, a hinge 128, a temple 130, a modern 132, a pair of nose pads 140, a first electrode 152, and a second electrode. 154, a third electrode 156, an electric wire (not shown), a processing device 200, and an amplification unit 250.
  • the pair of nose pads 140 includes a right nose pad 142 and a left nose pad 144.
  • the rim 122, the armor 126, the hinge 128, the temple 130, and the modern 132 are provided in a pair on the left and right.
  • the rim 122 holds the lens 110.
  • the armor 126 is provided outside the rim 122 and holds the temple 130 rotatably with a hinge 128.
  • the temple 130 presses the upper part of the user's ear to pinch this part.
  • the modern 132 is provided at the tip of the temple 130.
  • the modern 132 contacts the upper part of the user's ear.
  • the modern 132 is not necessarily provided in the glasses 100.
  • the first electrode 152 and the second electrode 154 are provided on the respective surfaces of the pair of nose pads 140 and detect the electrooculogram.
  • the first electrode 152 is provided on the right nose pad 142
  • the second electrode 154 is provided on the left nose pad 144.
  • the first electrode 152 detects the electrooculogram of the user's right eye.
  • the second electrode 154 detects the electrooculogram of the user's left eye.
  • the electrode for detecting the electrooculogram is provided on the surface of the nose pad that inevitably contacts the skin of the user. Thereby, the burden given to a user's skin can be reduced compared with making a pair of electrodes contact the circumference
  • the third electrode 156 is provided on the surface of the interbrow portion 124 and detects an electrooculogram.
  • a ground electrode (not shown) may be provided on the surface of the modern 132. When the glasses 100 do not have the modern 132, the ground electrode is provided at the tip of the temple 130.
  • the potential detected by the first electrode 152, the second electrode 154, and the third electrode 156 may be based on the potential detected by the ground electrode.
  • the processing apparatus 200 may be provided in the temple 130, for example. Thus, the design when the glasses 100 are viewed from the front is not impaired.
  • the installation position of the processing apparatus 200 is not necessarily the temple 130, but may be positioned in consideration of the balance when the glasses 100 are worn.
  • the processing device 200 is connected to the amplifying unit 250 via an electric wire. Note that the processing device 200 and the amplifying unit 250 may be connected via wireless.
  • the amplification unit 250 is provided in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156, and is connected to each amplification target electrode via an electric wire.
  • the amplifying unit 250 acquires an electrooculogram signal indicating the electrooculogram detected by each electrode.
  • the amplification unit 250 amplifies an electrooculogram signal indicating an electrooculogram detected by the first electrode 152, the second electrode 154, and the third electrode 156.
  • the amplification unit 250 may perform addition / subtraction processing on each electrooculogram signal before or after amplification.
  • the amplifying unit 250 may obtain a reference ocular potential signal indicating the potential of the first electrode 152 with respect to the third electrode 156.
  • the amplifying unit 250 may obtain a reference ocular potential signal indicating the potential of the second electrode 154 with respect to the third electrode 156.
  • the signal amplified or processed by the amplification unit 250 is output to the processing device 200.
  • External device 300 is an information processing device having a communication function.
  • the external device 300 is a mobile communication terminal such as a mobile phone and a smartphone possessed by the user, a personal computer, or the like.
  • the external device 300 executes processing based on the electrooculogram signal received from the transmission unit 220 illustrated in FIG.
  • the external device 300 detects blinks and eye movements from the received electrooculogram signal.
  • the external device 300 issues a warning for preventing a doze when detecting that the number of blinks of the user has increased. Details of the external device 300 will be described later. Further, the external device 300 may be able to operate an application based on the detected line-of-sight movement.
  • FIG. 3 is a block diagram illustrating an example of the processing apparatus 200 in the embodiment.
  • the processing device 200 includes a processing unit 210, a transmission unit 220, and a power supply unit 230.
  • the first electrode 152, the second electrode 154, and the third electrode 156 are connected to the processing unit 210 via, for example, the amplification unit 250.
  • Each component of the processing apparatus 200 may be provided by being distributed in a pair of temples.
  • the processing unit 210 acquires and processes the amplified electrooculogram signal from the amplification unit 250.
  • the processing unit 210 may process a reference electrooculogram signal indicating the potential of the first electrode 152 with respect to the third electrode 156.
  • standard” for convenience of explanation, it is contained in an electrooculogram signal as a concept.
  • the processing unit 210 may process a reference electrooculogram signal indicating the potential of the second electrode 154 with respect to the third electrode 156.
  • the processing unit 210 performs processing so as to obtain an electrooculogram signal indicating the vertical and / or horizontal movement of the eye based on the electrooculogram detected from each electrode in the right eye and the left eye. May be.
  • the processing unit 210 generates a first ocular potential signal by subtracting the potential of the third electrode 156 from the potential of the second electrode 154, or generates the first ocular potential signal from the potential of the first electrode 152.
  • the average of the potential of the electrode 156 may be subtracted to generate the second electrooculogram signal.
  • the processing unit 210 may calculate a difference signal between a predetermined electrooculogram signal and an electrooculogram signal a predetermined time ago. Further, the processing unit 210 detects an extreme value for an electrooculogram signal or a difference signal (hereinafter also referred to as an electrooculogram related signal), and a difference between the detected extreme value and an extreme value before the extreme value. An extremum difference signal representing the above may be calculated.
  • the processing unit 210 when the acquired electrooculogram signal is not digitized, the processing unit 210 performs the digitization process or increases or decreases the electrooculogram signal when the electrooculogram signal amplified from each electrode is acquired. Process. In addition, the processing unit 210 may transmit the electrooculogram signal acquired from the amplification unit 250 to the transmission unit 220 as it is.
  • the transmission unit 220 transmits the electrooculogram related signal or the extreme value difference signal processed by the processing unit 210 to the external device 300.
  • the transmission unit 220 transmits an electrooculogram signal to the external device 300 by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the power supply unit 230 supplies power to the processing unit 210, the transmission unit 220, and the amplification unit 250.
  • FIG. 4 is a diagram schematically showing the contact position of the electrode with respect to the user.
  • the first contact position 452 represents the contact position of the first electrode 152.
  • the second contact position 454 represents the contact position of the second electrode 154.
  • the third contact position 456 represents the contact position of the third electrode 156.
  • a horizontal center line 460 represents a horizontal center line connecting the center of the right eye 402 and the center of the left eye 404.
  • the vertical center line 462 represents a center line orthogonal to the horizontal center line 460 at the center of the right eye 402 and the left eye 404.
  • first contact position 452 and the second contact position 454 are located below the horizontal center line 460. Further, it is desirable that the first contact position 452 and the second contact position 454 are arranged so that the line connecting the centers of the first contact position 452 and the second contact position 454 is parallel to the horizontal center line 460.
  • first contact position 452 and the second contact position 454 are desirably arranged so that the distance from the first contact position 452 to the right eye 402 and the distance between the second contact position 454 and the left eye 404 are equal. . Further, it is desirable that the first contact position 452 and the second contact position 454 are separated from each other by a certain distance or more.
  • the third contact position 456 is located on the vertical center line 462.
  • the third contact position 456 is preferably located above the horizontal center line 460 and away from the first contact position 452 and the second contact position 454.
  • the distance between the third contact position 456 and the right eye 402 is separated from the distance between the right eye 402 and the first contact position 452, and the distance from the left eye 404 is the second contact with the left eye 404.
  • the distance from the position 454 may be greater than the distance.
  • the eyeball is positively charged on the corneal side and negatively charged on the retinal side. Therefore, when the line of sight moves upward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become negative. When the line of sight moves downward, the potential of the first electrode 152 with respect to the third electrode 156 and the potential of the second electrode 154 with respect to the third electrode 156 become positive.
  • the influence of noise can be suitably reduced.
  • the inter-brow portion 124 may be disposed at or near the upper end of the rim 122. Further, the third electrode 156 may be provided above the center of the eyebrow portion 124. In this case, it is desirable to adopt the eyebrow portion 124 having a wide vertical width as the arrangement position of the third electrode 156.
  • the processing unit 210 detects the third electrode based on the reference electrode from the potential of the first electrode 152 based on the reference electrode. The potential of 156 may be reduced. Similarly, instead of detecting the potential of the second electrode 154 with respect to the third electrode 156, the processing unit 210 detects the potential of the second electrode 154 with respect to the reference electrode as a reference. The potential of the three electrodes 156 may be reduced.
  • a ground electrode may be used as the reference electrode.
  • a reference electrode may be separately provided in the glasses 100 at a position away from the first electrode 152, the second electrode 154, and the third electrode 156.
  • the reference electrode may be provided on the modern 132 on the right side.
  • the reference electrode may be provided at a portion of the right temple 130 that is in contact with the user's skin.
  • the process of subtracting the potential of the third electrode 156 from the potential of the first electrode 152 relative to the reference electrode and the process of subtracting the potential of the third electrode 156 from the potential of the second electrode 154 relative to the reference electrode are as follows:
  • the processing unit 210 may execute, or the amplification unit 250 or the external device 300 may execute.
  • the signal indicating the potential to be processed is amplified by the amplification unit 250.
  • FIG. 5 is a diagram illustrating an example of a configuration of the amplification unit 250 in the embodiment.
  • the amplification unit 250 includes a first amplifier 260 and a second amplifier 270.
  • the first amplifier 260 is an amplifier that is positioned in front of the second amplifier 270 and functions as a buffer amplifier.
  • the first amplifier 260 is also referred to as a buffer amplifier 260.
  • the second amplifier 270 is an amplifier that functions as a main amplifier.
  • the second amplifier 270 is also referred to as a main amplifier 270.
  • the signal amplified by the main amplifier 270 is output to the processing device 200 by wire or wireless.
  • the installation position of the amplifying unit 250 is desirably the portion 124 between the eyebrows.
  • the amplification unit 250 may be provided so as to be embedded in the eyebrow portion 124.
  • the installation positions of the electrodes depend on the shape of the frame 120, there is a limit even if they are separated.
  • the potential difference between the electrodes may not be sufficiently large, and if noise is mixed in an electrooculogram signal indicating a small potential detected at each electrode, a sufficiently accurate potential can be detected. It becomes difficult.
  • the amplification unit 250 is provided in the vicinity of the first electrode 152, the second electrode 154, and the third electrode 156 for the purpose of amplifying the detected electrooculogram signal before noise is mixed therein. It is done.
  • the amplifying unit 250 is preferably provided in the portion between the eyebrows 124 where the space is present in the frame 120 near each electrode. Thereby, while the electrooculogram signal detected by each electrode passes through the electric wire, it is possible to reduce the risk of noise being mixed and reducing the accuracy of the electrooculogram signal.
  • FIG. 6 is a diagram for explaining the reason why the buffer amplifier 260 is provided.
  • the example shown in FIG. 6 uses the third electrode 156, but the same applies to the first electrode 152 and the second electrode 154.
  • the third electrode 156 touches human skin when wearing the glasses 100, it may be considered that a resistance R0 exists between the third electrode 156 and the ground. At this time, the resistance R 0 is, for example, several hundred k ⁇ . Further, the main amplifier 270, there is an internal resistance R 1. In this case, the use of conventional amplifier as a main amplifier 270, the internal resistance R 1 is the number 10 k.OMEGA ⁇ number 100 k.OMEGA.
  • a buffer amplifier 260 is provided at a position before the main amplifier 270 so that no current flows into the main amplifier 270 side.
  • FIG. 7 is a diagram illustrating another example of the configuration of the amplifying unit in the embodiment.
  • the amplifying unit shown in FIG. 7 is denoted by reference numeral 250A.
  • the amplification unit 250A includes a buffer amplifier 260, a main amplifier 270, an A / D conversion unit 280, and a wireless communication unit 290. Since the buffer amplifier 260 and the main amplifier 270 have the same functions as those shown in FIG. 5, the A / D conversion unit 280 and the wireless communication unit 290 will be mainly described below.
  • the A / D converter 280 converts the signal amplified by the main amplifier 270 from analog to digital.
  • the A / D conversion unit 280 outputs the digitally converted signal to the wireless communication unit 290.
  • the wireless communication unit 290 transmits the digital signal converted by the A / D conversion unit 280 to the processing device 200 using wireless communication. Therefore, the wireless communication unit 290 functions as a transmission unit.
  • the wireless communication unit 290 uses wireless communication such as Bluetooth (registered trademark) and wireless LAN.
  • the wireless communication unit 290 may directly transmit a digital signal to the external device 300.
  • one buffer amplifier 260 and one main amplifier 270 are provided.
  • the order of the electrooculogram signals from the electrodes may be determined and amplified.
  • a buffer amplifier 260 and a main amplifier 270 may be provided for each electrode.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the external device 300 in the embodiment.
  • the external device 300 includes a communication unit 310, a storage unit 320, and a control unit 330.
  • the communication unit 310 receives an electrooculogram related signal by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication.
  • the communication unit 310 outputs the electrooculogram related signal received from the transmission unit 220 of the processing device 200 to the control unit 330.
  • the storage unit 320 is, for example, a RAM (Random Access Memory), and stores a maximum value and / or a minimum value of the electrooculogram related signals of the right eye and the left eye. Further, the maximum value or the minimum value may be a maximum value or a minimum value for each predetermined period.
  • RAM Random Access Memory
  • the storage unit 320 may store a local maximum value and / or a local minimum value with respect to a signal of a difference between adjacent extreme values of an electrooculogram related signal.
  • the storage unit 320 includes a maximum value FIFO buffer and a minimum value FIFO buffer.
  • the oldest data is erased and the latest data is stored, whereby the data stored in the storage area is updated.
  • the storage unit 320 may store a detection result of the detection unit 370 described later.
  • the storage unit 320 stores a program that causes a computer to execute signal processing to be described later.
  • This program may be installed in the external device 300 via the Internet or a recording medium such as an SD card, or may be preinstalled.
  • the storage unit that stores the program may be different from the storage unit 320.
  • the control unit 330 is a CPU (Central Processing Unit), for example, and controls each unit and performs various arithmetic processes.
  • the control unit 330 includes an acquisition unit 340, a calculation unit 350, a determination unit 360, and a detection unit 370.
  • the acquisition unit 340 acquires an electrooculogram related signal based on an electrooculogram detected by each electrode that contacts the periphery of the eye of the subject.
  • the electrooculogram related signal includes, for example, an electrooculogram signal acquired from the communication unit 310 and a differential signal of the electrooculogram signal.
  • the acquired electrooculogram related signal is an electrooculogram related signal of the right eye and / or the left eye.
  • the acquisition unit 340 will be described using an example of acquiring an electrooculogram signal as an electrooculogram related signal.
  • a difference signal is calculated on the eyewear side, and the difference signal is acquired. Also good.
  • the difference signal is a signal representing a difference between a predetermined electrooculogram signal and an electrooculogram signal a predetermined time before the electrooculogram signal.
  • the predetermined time is, for example, 5 msec.
  • the calculation unit 350 calculates an extreme value with respect to the electrooculogram related signal acquired by the acquisition unit 340, or calculates an extreme value difference signal representing a difference between the extreme values.
  • the extreme value difference signal is, for example, a signal representing a difference between adjacent extreme values (peak values) of an electrooculogram signal or a difference signal.
  • the calculation unit 350 includes a difference calculation unit 352 and an extreme value calculation unit 354 in order to perform the above-described processing.
  • the difference calculation unit 352 calculates a difference signal between the predetermined electrooculogram signal acquired by the acquisition unit 340 and the electrooculogram signal a predetermined time before the electrooculogram signal.
  • the electrooculogram signal before the predetermined time is, for example, an electrooculogram signal four points before the electrooculogram signal acquired by the acquisition unit 340 with respect to the discrete electrooculogram signal, but is not limited to this example.
  • the difference calculation unit 352 uses the extreme value calculated by the extreme value calculation unit 354 to calculate an extreme value difference signal representing a difference between extreme values.
  • an extreme value difference signal for example, a signal representing a difference between the calculated latest extreme value and the extreme value immediately before is calculated.
  • the extreme value calculation unit 354 calculates the maximum value and the minimum value of the difference signal calculated by the difference calculation unit 352.
  • the extreme value calculation unit 354 outputs the maximum value and the minimum value of the difference signal to the difference calculation unit 352.
  • the extreme value calculation unit 354 calculates the maximum value and the minimum value of the extreme value difference signal calculated by the difference calculation unit 352.
  • the extreme value calculation unit 354 outputs the maximum value and the minimum value of the extreme value difference signal to the determination unit 360. Further, the extreme value calculation unit 354 may store the calculated maximum value and minimum value in the storage unit 320.
  • the determination unit 360 Based on whether or not a predetermined condition relating to the maximum value and / or the minimum value calculated by the extreme value calculation unit 354 is satisfied, the determination unit 360 detects either blink processing or eye movement detection processing. Determine whether to perform. Further, the determination unit 360 may determine which of the blink processing detection processing and the eye movement detection processing is performed by comparing the value of the extreme value difference signal with a threshold value.
  • the detection unit 370 performs blink detection or eye movement detection processing based on the result determined by the determination unit 360. Therefore, the detection unit 370 includes a blink detection unit 372 and a line-of-sight movement detection unit 374.
  • the blink detection part 372 may perform a detection process using a well-known technique as a blink detection process, and may perform the detection process mentioned later.
  • the line-of-sight movement detection unit 374 may perform a detection process using a known technique as a line-of-sight movement detection process, or may perform a detection process described later.
  • the determination unit 360 performs determination processing using a predetermined condition related to the ratio between the maximum value and the minimum value of the extreme value difference signal, or uses a predetermined condition related to the time from the first value to the second value of the extreme value difference signal. Judgment processing is performed. Further, the determination unit 360 may perform determination processing between the extreme value of the extreme value difference signal and the threshold value. In addition, about a determination process, one or several conditions may be used and the determination part 360 may determine with performing a detection process, when all the several conditions are satisfy
  • the determination unit 360 determines that blink detection processing is performed, and this ratio is determined. Is not included in the predetermined range, it is determined that the line-of-sight movement detection process is performed.
  • the ratio between the maximum value and the minimum value is, for example, the ratio between the maximum value or minimum value that exceeds the calculated threshold and the minimum value or maximum value that appears next. Since the minimum value is basically a negative value, the ratio is a negative value, but an absolute value may be taken. This ratio is also called a peak ratio.
  • ⁇ Determining unit 360 uses the peak ratio to prevent blinking based on an extreme difference signal that is not appropriate for blink detection.
  • An extreme value difference signal that is not suitable for blink detection is a signal whose maximum value amplitude is sufficiently larger than the minimum value amplitude. For example, when chewing gum, an extreme value difference signal that is not appropriate for blink detection appears.
  • the first threshold value that is the lower limit is, for example, a value from -1.3 to -1.1
  • the second threshold value that is the upper limit is, for example, a value from -0.8 to -0.6.
  • the determination unit 360 may determine that the line-of-sight movement detection process is performed when the peak ratio is equal to or smaller than a third threshold value smaller than the first threshold value or equal to or larger than a fourth value larger than the second threshold value.
  • a third threshold value smaller than the first threshold value or equal to or larger than a fourth value larger than the second threshold value.
  • the third threshold is ⁇ 1.8, for example
  • the fourth threshold is ⁇ 0.3, for example.
  • the determination unit 360 uses a predetermined condition regarding the time required from the value of the electrooculogram signal related to the maximum value or the minimum value of the extreme value difference signal to the predetermined value of the electrooculogram signal.
  • a predetermined condition the time required from the first value of the electrooculogram signal corresponding to the maximum value of the extreme value difference signal to the second value of the electrooculogram signal that falls within a predetermined range from the first value is a predetermined time. It shall be within.
  • the extreme value difference signal may be an extreme value difference signal for the electrooculogram signal instead of the extreme value difference signal for the difference signal.
  • the predetermined time is 0.5 sec, for example.
  • the determination unit 360 determines to perform blink detection processing, and this time If it is not within the predetermined time, it is determined that the process of detecting the eye movement is performed.
  • the determination unit 360 may set a condition using a time difference from the first value to the second value of the electrooculogram signal so that the above can be determined.
  • the determination unit 360 appropriately determines whether blink detection or eye movement detection is to be performed based on conditions regarding the maximum value and the minimum value of the extreme value difference signal, and adaptively performs the detection process. You can switch to
  • the peak ratio when used, it is possible to remove the noise due to the influence of disturbance or the like by using the third or fourth threshold described above, and appropriately perform blink detection or eye movement detection.
  • the determination unit 360 may set, for example, 50 as the eye movement threshold and 100 as the blink threshold. At this time, the determination unit 360 determines that the line-of-sight movement detection process is performed if the value of the extreme difference signal is within a predetermined range (first predetermined range) of 50 or more and 100 or less, and the value of the extreme difference signal If it exceeds 100, it may be determined that the blink detection process is performed.
  • a predetermined range first predetermined range
  • the determination unit 360 may set, for example, 20 as the eye movement threshold and 50 as the blink threshold. At this time, the determination unit 360 determines that the gaze movement detection process is performed if the value of the extreme difference signal is within a predetermined range (first predetermined range) of 20 or more and 50 or less, and the value of the extreme difference signal is determined. If it exceeds 50, it may be determined that blink detection processing is performed.
  • a predetermined range first predetermined range
  • the determination unit 360 may detect blinking or line-of-sight movement instead of determining that blink detection processing or line-of-sight movement detection processing is performed by the above-described determination process. Thereby, it is possible to detect blink or eye movement more easily.
  • the determination unit 360 may detect blink or eye movement by the above-described peak ratio determination and / or threshold determination. Moreover, when using the extreme value difference signal with respect to the difference signal, the determination unit 360 may detect blink or eye movement by the time determination and / or threshold determination described above. In this case, the detection unit 370 need not be provided.
  • FIG. 9 is a block diagram illustrating an example of the blink detection unit 372 in the embodiment.
  • the blink detection unit 372 can use a known blink detection algorithm using an electrooculogram signal. However, in the following, it is possible to detect an appropriate blink by changing the threshold used for blink determination. The algorithm will be described.
  • the blink detection unit 372 includes a threshold calculation unit 502.
  • the threshold value calculation unit 502 calculates the threshold value using the local maximum value and / or the local minimum value of the electrooculogram related signal or the extreme value difference signal stored in the storage unit 320. For example, the threshold value calculation unit 502 may calculate the absolute value of the threshold value from the average value of the absolute value of the local maximum value or the local minimum value in order to simplify the processing.
  • the threshold value calculation unit 502 may calculate the fifth threshold value using the local maximum value stored in the storage unit 320, and may calculate the sixth threshold value using the local minimum value stored in the storage unit 320.
  • the fifth threshold value is used to determine that the eye has moved upward in the vertical direction
  • the sixth threshold value is used to determine that the eye has moved downward in the vertical direction. Accordingly, threshold values can be set for each of the upward eye movement and the downward eye movement, so that appropriate threshold determination can be performed.
  • the threshold calculation unit 502 includes a first calculation unit 512 and a second calculation unit 514 in order to perform the above-described threshold determination.
  • the first calculation unit 512 calculates an average value and a standard deviation of the maximum values stored in the maximum value FIFO buffer.
  • the first calculation unit 512 calculates the average value and standard deviation of the minimum values stored in the minimum value FIFO buffer.
  • the second calculation unit 514 calculates the fifth threshold value based on the average value and standard deviation of the maximum values, and calculates the sixth threshold value based on the average value and standard deviation of the minimum values.
  • a threshold value can be set using, for example, an electrooculogram related signal or an extreme difference signal indicating the latest state of the subject.
  • the fifth threshold value and the sixth threshold value can be changed in accordance with the intensity of the signal indicating the most recent state of the user.
  • the second calculation unit 514 sets a value obtained by adding a value obtained by multiplying the standard value of the maximum value by a coefficient to the average value of the maximum value as the fifth threshold value.
  • the second calculation unit 514 uses a value obtained by subtracting a value obtained by multiplying the standard deviation of the minimum value by a coefficient from the average value of the minimum value as the sixth threshold value. Thereby, an appropriate threshold value can be set.
  • the threshold value calculation unit 502 updates the fifth threshold value and the sixth threshold value each time the maximum value and / or the minimum value is stored in the storage unit 320.
  • the threshold calculation unit 502 can set the threshold based on the past electrooculogram related signal or the extreme value difference signal. Even when the signal becomes weak, the threshold can be set according to the weakened signal, so that the blink can be detected appropriately.
  • the fifth threshold value and the sixth threshold value calculated by the threshold value calculation unit 502 are used to determine the maximum value and the minimum value exceeding these threshold values in the determination unit 360 in order to increase the accuracy of the maximum value and the minimum value. May be used.
  • the threshold value calculation unit 502 sets the average of the predetermined maximum values stored in the storage unit 320 as the fifth threshold value, or sets the average of the predetermined maximum values stored in the storage unit 320 as the sixth threshold value. May be. Further, the threshold value calculation unit 502 may calculate the fifth threshold value and the sixth threshold value by using standard deviations of the local maximum value and the local minimum value stored in the storage unit 320.
  • the blink detection unit 372 detects blinks from the electrooculogram related signal or the extreme difference signal using the fifth threshold and the sixth threshold calculated by the second calculation unit 514.
  • the blink detection unit 372 includes the first time of the maximum value stored in the storage unit 320 that is equal to or greater than the fifth threshold value, and the second time of the minimum value stored in the storage unit 320 that is equal to or less than the sixth threshold value. If the difference is within a predetermined time, blink is detected.
  • the second time is the latest time after the first time.
  • the predetermined time is, for example, 500 msec, but is not limited thereto.
  • the blink detection unit 372 detects blinks using the electrooculogram related signals of the right eye and the left eye, and the final blink when the blinks are detected in both eyes at a timing within a predetermined range. May be detected.
  • the blink detection unit 372 may detect blinks using an average of both electro-oculogram related signals on the assumption that the right eye and the left eye move in the same manner. A blink detection algorithm using a specific electrooculogram related signal will be described later with reference to FIG.
  • the line-of-sight movement detection unit 374 may detect the line-of-sight movement using a known method. For example, the line-of-sight movement detection unit 374 divides the acquired electrooculogram-related signal into a right electrocardiogram and a left electrocardiogram, and when a negative potential is indicated in the right electrocardiogram and the left electrocardiogram. Detects that the line of sight is facing up.
  • the gaze movement detection unit 374 has a low gaze when a positive potential is shown in the right electrogram and the left electrogram, a negative potential is shown in the right electrogram, and a positive potential is shown in the left electrogram. When the potential is shown, the line of sight is directed to the right, when the right electrogram shows a positive potential and when the left electrogram shows a negative potential, it is detected that the line of sight is directed to the left.
  • the line-of-sight movement detection unit 374 can increase the line-of-sight detection accuracy by adding and subtracting the electric potential V1 indicated by the right electrogram and the electric potential V2 indicated by the left electrogram. For example, when V1 + V2 is negative and V1-V2 is substantially zero, it can be detected that the line of sight is directed upward. When V1 + V2 is positive and V1-V2 is substantially zero, it can be determined that the line of sight is directed downward. If V1 + V2 is substantially zero and V1-V2 is negative, it can be determined that the line of sight is directed to the right. When V1 + V2 is substantially zero and V1-V2 is positive, it can be determined that the line of sight is directed to the left. By adding and subtracting V1 and V2, the calculated positive value and negative value are increased. Therefore, since the threshold value can be set larger accordingly, it is possible to reduce erroneous detection that erroneously detects noise as eye movement.
  • the eye movement detection unit 374 indicates a positive potential using an electrooculogram signal generated by subtracting the average of the potentials of the second electrode 154 and the third electrode 156 from the potential of the first electrode 152. If a negative potential is indicated, it may be detected that the camera has turned downward. At this time, the line-of-sight movement detection unit 374 may detect the line-of-sight movement using a result of determining an appropriate threshold and a positive potential or a negative potential. The line-of-sight movement detection unit 374 may detect the line-of-sight movement by performing the above-described processing using the extreme value difference signal.
  • FIG. 10 is a diagram illustrating an example of an electrooculogram signal.
  • the electrooculogram intensity on the vertical axis is a unit indicating the intensity of the electrooculogram, and is represented by, for example, an electrooculogram signal measurement value ⁇ 1.5 (V) ⁇ 2048 ⁇ 1000.
  • the horizontal axis is time.
  • the intensity of the electrooculogram signal as a base varies greatly. For this reason, when the determination threshold for blinking or eye movement is set, the determination target signal of the electrooculogram signal S1 serving as a base may be greatly affected by the signal intensity immediately before the eye movement or blinking. Judgment may not be performed properly.
  • the first extreme value difference signal is a signal representing a difference between a predetermined extreme value (for example, P13) of the electrooculogram signal and the extreme value (for example, P12) immediately before that.
  • FIG. 11 is a diagram illustrating an example of the first extreme value difference signal.
  • the first extreme value difference signal S2 shown in FIG. 11 is a signal obtained by obtaining a difference between a predetermined extreme value and the immediately preceding extreme value.
  • the difference value D13 is a value obtained by subtracting the extreme value P12 from the extreme value P13 of the electrooculogram signal S1.
  • the first extreme value difference signal S2 may be signaled by connecting each difference value (D12, D13, D14, etc.), or may be a set of only difference values.
  • the eye movement can be more appropriately reflected. Therefore, it is possible to appropriately determine blink or eye movement.
  • FIG. 12 is a diagram illustrating an example of the difference signal.
  • the difference intensity on the vertical axis indicates the intensity of the difference in electrooculogram.
  • the horizontal axis is time. Since the difference signal S3 shown in FIG. 12 is a difference signal, the electrooculogram signal as a base is stable in the vicinity of zero.
  • a binary difference signal may be used.
  • the second extreme value difference signal is a signal representing a difference between a predetermined extreme value of the difference signal and the extreme value immediately before the second extreme value difference signal.
  • FIG. 13 is a diagram illustrating an example of the second extreme value difference signal.
  • the second extreme value difference signal S4 shown in FIG. 13 is a signal obtained by obtaining a difference between a predetermined extreme value and the immediately preceding extreme value.
  • the difference value D23 is a value obtained by subtracting the extreme value P22 from the extreme value P23 of the difference signal S3.
  • the second extreme value difference signal S4 may be signaled by connecting each difference value (D22, D23, D24, etc.), or may be a set of only difference values.
  • FIG. 14 is a diagram for explaining the determination process using the peak ratio.
  • the fifth threshold value TH1 and the sixth threshold value TH2 are calculated using the second extreme value difference signal S5.
  • the maximum value when the maximum value is equal to or greater than the fifth threshold value and the next minimum value is equal to or less than the sixth threshold value, it may basically be detected as a blink, but it is also detected as a blink when chewing gum or the like. May end up.
  • the determination in the blink detection process includes a peak ratio determination by the determination unit 360 and a threshold determination by the blink detection unit 372, but these are out of order, and the threshold determination is performed first, and then the peak is determined. Ratio determination may be performed, or both determinations may be performed in parallel.
  • FIG. 15 is a diagram for explaining a determination process using a time difference.
  • FIG. 15A is an example of an electrooculogram related signal
  • FIG. 15B is an example of an extreme value difference signal in the electrooculogram related signal shown in FIG. 15A, but the accuracy of the difference is questionable. Absent.
  • the electrooculogram related signal is in the case of eye movement. However, in the case of eye movement, the electrooculogram related signal gradually decreases from the maximum value, unlike blinks.
  • the time t from the first value Q1 of the electrooculogram related signal corresponding to the maximum value of the extreme value difference signal to the second value Q2 of the value corresponding to Q1 is predetermined. Used for conditions.
  • the first value Q1 is, for example, an electrooculogram signal at time t1 when the extreme value difference signal is an electrooculogram signal at time t2 from an electrooculogram signal at time t1, but may be an electrooculogram signal at time t2.
  • the second value Q2 may be the same value as the first value Q1, or may be a value obtained by adding an offset to the first value.
  • the determination unit 360 calculates a time t from the first value Q1 to the second value Q2, determines whether the time t is within a predetermined time, and if the time t is within the predetermined time. If the time t is not within the predetermined time, it is determined that the eye movement detection process is to be performed.
  • the predetermined time is 500 msec, for example, and an appropriate value may be set by a prior experiment or the like. Note that the time t may be a time from the maximum value to the minimum value of the electrooculogram signal as long as it can be determined whether the gradient of the electrooculogram signal is gentle or steep.
  • FIG. 16 is a diagram illustrating an example of an electrooculogram signal indicating the vertical movement of the eye.
  • the electrooculogram signal S6 shown in FIG. 16 is an electrooculogram signal indicating the vertical movement of one eye.
  • the blink detection algorithm described below is an algorithm for calculating a threshold value using a maximum value and a minimum value for a predetermined period.
  • the control unit 330 obtains maximum and minimum values for each predetermined period T1 (for example, 500 msec) of the electrooculogram signal S6.
  • the controller 330 stores the value in the second FIFO buffer.
  • the control unit 330 stores the minimum value in a second FIFO buffer in a different area from the first FIFO buffer. Save (storage unit 320).
  • the order of (2) and (3) is not limited.
  • a black dot on the electrooculogram signal S6 represents a value detected as a maximum value or a minimum value in each period. Note that the maximum value and the minimum value can be obtained using differentiation, for example, using a differential signal of the electrooculogram signal S6.
  • the first calculation unit 512 calculates the average value (a1) and the standard deviation (b1) of the local maximum values stored in the first FIFO buffer. Is calculated. In addition, the first calculation unit 512 calculates the average value (a2) and the standard deviation (b2) of the minimum values stored in the second FIFO buffer.
  • the second calculator 514 calculates the fifth threshold and the sixth threshold using the average value and the standard deviation calculated in (4).
  • the fifth threshold value (TH1) and the sixth threshold value (TH2) are calculated by the following equations.
  • TH1 a1 + E ⁇ b1 (1)
  • TH2 a2-E ⁇ b2 Formula (2)
  • the coefficient E is set to 2, for example.
  • lower limit values may be set for the absolute values of the fifth threshold value (TH1) and the sixth threshold value (TH2). As a result, it is possible to prevent erroneous detection of a slight vertical movement of the eye as blinking. Further, the coefficient E may be variably set according to the signal strength.
  • each threshold value fluctuates with the passage of time of the electrooculogram signal, and the threshold value is appropriately changed following the strength (magnitude) of the electrooculogram signal.
  • the fifth threshold value TH1 and the sixth threshold value TH2 shown in FIG. 16 are merely conceptually showing threshold value fluctuations.
  • the detection unit 370 identifies a local maximum value equal to or greater than the fifth threshold calculated in (5).
  • the maximum value to be subjected to the threshold determination is a maximum value that is stored in the first FIFO buffer and has not yet been subjected to the threshold determination.
  • the determination unit 360 specifies the minimum value equal to or less than the sixth threshold calculated in (5).
  • the minimum value to be subjected to the threshold determination is a minimum value that is stored in the second FIFO buffer and has not yet been subjected to the threshold determination.
  • the specified maximum and minimum values are represented by black dots surrounded by a square.
  • the detection unit 370 is, for each specified maximum value, the first time of the maximum value and the second time of the specified minimum value, and the latest time after the first time If the difference from the second time is within a predetermined time, the vertical movement of the eye is detected as a blink.
  • the eye movement is detected as a blink.
  • the predetermined time is, for example, 500 msec.
  • the blink detection algorithm has been described above, but this algorithm is only an example and is not limited to this example.
  • FIG. 17 is a flowchart illustrating an example of processing related to detection processing for blinking and eye movement in the embodiment.
  • 17 is a state in which the user wears the glasses 100 and the first electrode 152, the second electrode 154, and the third electrode 156 are in contact with the user's skin, and the external device 300 is blinked. Or it starts when it sets to the operation mode (normal mode) which is a mode which performs the detection of a gaze movement.
  • the operation mode normal mode
  • step S102 shown in FIG. 17 the acquisition unit 340 acquires an electrooculogram signal from the glasses 100.
  • step S104 the difference calculation unit 352 calculates a difference signal between the acquired predetermined electrooculogram signal and an electrooculogram signal for a predetermined time before the electrooculogram signal.
  • step S106 the extreme value calculation unit 354 calculates the maximum value and the minimum value of the difference signal. In addition, the extreme value calculation unit 354 may calculate the maximum value and the minimum value of the electrooculogram signal.
  • step S108 the difference calculation unit 352 calculates an extreme value difference signal using the maximum value and the minimum value of the difference signal. For example, the difference calculation unit 352 calculates and generates an extreme value difference signal by subtracting an extreme value immediately before the extreme value from a predetermined extreme value.
  • step S110 the extreme value calculation unit 354 calculates the maximum value and the minimum value of the extreme value difference signal.
  • step S ⁇ b> 112 the determination unit 360 performs either a blink detection process or a gaze movement detection process based on whether or not a predetermined condition regarding the calculated maximum value and / or minimum value is satisfied. Determine whether. The difference between the predetermined conditions will be described later with reference to FIGS.
  • step S114 the blink detection unit 372 performs blink detection processing.
  • step S116 the line-of-sight movement detection unit 374 performs a line-of-sight movement detection process.
  • step S114 and step S116 the process shown in FIG. 17 is repeated until the control unit 330 receives an instruction to end the operation mode.
  • FIG. 18 is a flowchart illustrating an example of determination processing using the peak ratio in the embodiment.
  • the determination unit 360 calculates a peak ratio between the maximum value and the minimum value.
  • step S204 the determination unit 360 determines whether or not the peak ratio is included in a predetermined range between the first threshold value and the second threshold value. If the peak ratio is included in the predetermined range (step S204—YES), the process proceeds to step S114. If the peak ratio is not included in the predetermined range (step S204—NO), the process proceeds to step S206.
  • step S206 the determination unit 360 determines whether or not the peak ratio is equal to or less than the third threshold value. If the peak ratio is less than or equal to the third threshold (step S206—YES), the process proceeds to step S116. If the peak ratio is not less than or equal to the third threshold (step S206—NO), the process proceeds to step S102. In step S206, a case where the peak ratio is greater than or equal to the fourth threshold value may be added to the determination condition. Further, step S206 may be deleted, and the process may proceed to step S116 after NO in step S204.
  • FIG. 19 is a flowchart illustrating an example of a determination process using a time difference in the embodiment.
  • the determination unit 360 acquires the first value Q1 of the electrooculogram signal corresponding to the maximum value.
  • step S304 the determination unit 360 determines whether or not the next extreme value difference signal acquired is the second value Q2. If the next extreme value difference signal acquired is the second value Q2 (step S304—YES), the process proceeds to step S306. If the next extreme value difference signal acquired is not the second value Q2 (step S304— The process returns to step S304.
  • step S306 the determination unit 360 calculates the time t by subtracting the time t_Q1 of the first value Q1 from the time t_Q2 of the second value Q2.
  • step S308 the determination unit 360 determines whether the time t is within a predetermined time (time threshold). If the time t is within the predetermined time (step S308—YES), the process proceeds to step S114. If the time t is not within the predetermined time (step S308—NO), the process proceeds to step S116.
  • a predetermined time time threshold
  • the embodiment it is possible to appropriately switch the blink and eye movement detection processing.
  • detection processing is switched using an extreme value difference signal of an electrooculogram related signal. As a result, it is possible to prevent erroneous determination due to the influence of the state and intensity of the signal before the occurrence of the signal due to the eye movement to be captured.
  • the determination unit 360 performs threshold determination, peak ratio determination, and time determination, but appropriately determines two or three of these determinations, and based on the determination results It may be determined whether to perform blink detection or eye movement detection.
  • the detection unit 370 may detect blink or detection of eye movement using the first determination result and / or the second determination result.
  • eyewear is glasses
  • eyewear is not limited to this.
  • the eyewear may be any device related to the eye, and may be a face wearing device or a head wearing device such as glasses, sunglasses, goggles and a head mounted display and their frames.
  • the glasses 100 include the third electrode 156
  • the glasses 100 may not include the third electrode 156.
  • an electrooculogram indicated by the potential of the first electrode 152 relative to the reference electrode and an electrooculogram indicated by the potential of the second electrode 154 relative to the reference electrode may be transmitted to the external device 300.
  • a ground electrode may be provided at the position of the third electrode 156 to serve as a reference electrode.
  • a ground electrode provided in the left modern may be used as a reference electrode, or an electrode provided separately from the first electrode 152 and the second electrode 154 may be used as a reference electrode.
  • the glasses 100 include the nose pad 140 integrated with the rim 122 .
  • the glasses 100 are not limited to this.
  • the glasses 100 may include a klings provided on the rim 122 and a nose pad 140 attached to the krings.
  • the electrode provided on the surface of the nose pad 140 is electrically connected to the electric wire embedded in the frame via the krings.
  • the first electrode 152 and the second electrode 154 have been described as examples provided below the center of the nose pad 140. However, it is not limited to this.
  • the nose pad 140 may include an extending portion that extends downward, and the first electrode 152 and the second electrode 154 may be provided in the extending portion. This allows the first electrode 152 and the second electrode 154 to be in contact below the eye position even for a user whose nose pad is located directly beside the eye due to individual differences in eye and nose positions. Can do.
  • the third electrode 156 has been described as an example in which the third electrode 156 is provided on the surface of the eyebrow portion 124.
  • the eyebrow portion 124 may include an extending portion that extends upward, and the third electrode 156 may be provided in the extending portion.
  • a movable part that moves the extending part up and down between the extending part and the eyebrow part 124 may be provided so that the position of the third electrode 156 can be adjusted up and down.
  • the position of each electrode is not limited to the above-described position, and may be disposed at a position where an electrooculogram signal indicating the vertical and horizontal movements of the eye can be acquired.
  • the external device 300 a mobile communication terminal such as a mobile phone and a smartphone, which is separate from the processing device 200, has been described.
  • the external device 300 may be a unit integrated with the processing device 200.
  • the external device 300 is provided integrally with the eyewear.
  • the detection result of the detection unit of the processing device 200 is transmitted to the external device 300 every time it is detected in real time, and the detection results are totaled every predetermined time (for example, one minute). May be transmitted to the external device 300.
  • noise may be prevented by using a shielded cable as the electric wire.
  • the configuration using three electrodes is illustrated in FIG. 1, but a configuration using four or more electrodes may be used.
  • the glasses have an upper electrode, a lower electrode, a left electrode, and a right electrode.
  • the upper electrode and the lower electrode are provided on the rim 122 shown in FIG. 1
  • the left electrode is provided on the left temple 130
  • the right electrode is provided on the right temple 130. There is no. Note that these electrodes are in contact with a part of the face.
  • the vertical direction of the eye can be detected by the voltage difference between the upper electrode and the lower electrode, and the horizontal direction of the eye can be detected by the voltage difference between the left electrode and the right electrode.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

信号処理方法は、コンピュータが、対象者の眼周辺に接触する各電極により検出される眼電位に関する眼電位関連信号を取得する取得ステップと、眼電位関連信号の極値と、極値以前の他の極値との極値差信号を算出する第１算出ステップと、極値差信号に基づいて、視線移動又は瞬目を検出する検出ステップと、を実行する。

Description

信号処理方法、プログラム、情報処理装置及びアイウエア
　本発明は、信号処理方法、プログラム、情報処理装置及びアイウエアに関する。
　フレーム部分に複数の電極を設け、各電極から眼電位信号を取得するアイウエアが知られている（例えば、特許文献１参照）。また、眼電位信号から、ユーザの視線方向を検出する装置が知られている（例えば、特許文献２参照）。
米国特許出願公開第２００４／００７０７２９号明細書 特開２０１１－１２５６９２号公報
　しかしながら、視線移動や瞬目を検出する際に、検出したい眼の動きに起因する信号が、その前の信号の状態や強度などに影響を受けてしまい、視線移動や瞬目が適切に検出されない場合があった。例えば、極大値側に振れる信号によって視線移動を検出したいときに、その前の信号がノイズによって極小値側に大きく振れてしまっていた場合、そのノイズの影響を受けつつ極大値側に振れた信号が、視線移動用に設定された閾値を超えずに視線移動が検出されないなどの問題があった。
　そこで、本発明は、瞬目又は視線移動を適切に検出することができることを目的とする。
　本発明の一態様における信号処理方法は、コンピュータが、対象者の眼周辺に接触する各電極により検出される眼電位に関する眼電位関連信号を取得する取得ステップと、前記眼電位関連信号の極値と、該極値以前の極値との極値差信号を算出する第１算出ステップと、前記極値差信号に基づいて、視線移動又は瞬目を検出する検出ステップと、を実行する。
　本発明によれば、瞬目又は視線移動を適切に検出することができる。
実施例におけるメガネの前方からの一例を示す斜視図である。 実施例におけるメガネの後方からの一例を示す斜視図である。 実施例における処理装置の一例を示すブロック図である。 使用者に対する電極の接触位置を概略的に示す図である。 実施例における増幅部の構成の一例を示す図である。 バッファアンプを設ける理由を説明するための図である。 実施例における増幅部の構成の他の例を示す図である。 実施例における外部装置の構成の一例を示すブロック図である。 実施例における瞬目検出部の一例を示すブロック図である。 眼電位信号の一例を示す図である。 第１極値差信号の一例を示す図である。 差分信号の一例を示す図である。 第２極値差信号の一例を示す図である。 ピーク比を用いた判定処理を説明するための図である。 時間差を用いた判定処理を説明するための図である。 眼の垂直方向の動きを示す眼電位信号の一例を示す図である。 実施例における瞬目、視線移動の検出処理に関する処理の一例を示すフローチャートである。 実施例におけるピーク比を用いた判定処理の一例を示すフローチャートである。 実施例における時間差を用いた判定処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施例］
　図１は、実施例におけるメガネ１００の前方からの一例を示す斜視図である。図２は、実施例におけるメガネ１００の後方からの一例を示す斜視図である。メガネ１００は、レンズ１１０及びフレーム１２０を備える。メガネ１００及びフレーム１２０は、アイウエアの一例である。
　フレーム１２０は、一対のレンズ１１０を支持する。フレーム１２０は、リム１２２と、眉間部（例えばブリッジ）１２４と、ヨロイ１２６と、丁番１２８と、テンプル１３０と、モダン１３２と、一対のノーズパッド１４０と、第１電極１５２と、第２電極１５４と、第３電極１５６と、電線（不図示）と、処理装置２００と、増幅部２５０とを有する。なお、メガネ１００の種類によっては、一枚レンズを用いることでフレームのブリッジ部分がない場合がある。この場合、一枚レンズの眉間部分を眉間部とする。
　一対のノーズパッド１４０は、右ノーズパッド１４２及び左ノーズパッド１４４を含む。リム１２２、ヨロイ１２６、丁番１２８、テンプル１３０、及びモダン１３２は、それぞれ左右一対に設けられる。
　リム１２２は、レンズ１１０を保持する。ヨロイ１２６は、リム１２２の外側に設けられ、丁番１２８によりテンプル１３０を回転可能に保持する。テンプル１３０は、使用者の耳の上部を押圧して、この部位を挟持する。モダン１３２は、テンプル１３０の先端に設けられる。モダン１３２は、使用者の耳の上部に接触する。なお、モダン１３２は、必ずしもメガネ１００に設ける必要はない。
　第１電極１５２及び第２電極１５４は、一対のノーズパッド１４０のそれぞれの表面に設けられ、眼電位を検出する。例えば、第１電極１５２は、右ノーズパッド１４２に設けられ、第２電極１５４は、左ノーズパッド１４４に設けられる。
　第１電極１５２は、使用者の右眼の眼電位を検出する。第２電極１５４は、使用者の左眼の眼電位を検出する。このように、眼電位を検出するための電極を、使用者の皮膚に必然的に接触するノーズパッドの表面に設ける。これにより、使用者の眼の周囲に二対の電極を接触させるのに比べて、使用者の皮膚に与える負担を軽減することができる。
　第３電極１５６は、眉間部１２４の表面に設けられ、眼電位を検出する。接地電極（不図示）は、モダン１３２の表面に設けられてもよい。メガネ１００にモダン１３２がない場合は、接地電極は、テンプル１３０の先に設けられる。実施例において、第１電極１５２、第２電極１５４及び第３電極１５６が検出する電位は、接地電極が検出する電位を基準としてもよい。
　処理装置２００は、例えば、テンプル１３０に設けてもよい。これにより、メガネ１００を正面から見たときのデザイン性を損なうことがない。処理装置２００の設置位置は、必ずしもテンプル１３０である必要はないが、メガネ１００を装着した際のバランスを考慮して位置決めすればよい。処理装置２００は、電線を介して増幅部２５０に接続される。なお、処理装置２００と、増幅部２５０とは、無線を介して接続されてもよい。
　増幅部２５０は、第１電極１５２、第２電極１５４及び第３電極１５６の近傍に設けられ、増幅対象の各電極と電線を介して接続される。増幅部２５０は、各電極が検出した眼電位を示す眼電位信号を取得する。例えば、増幅部２５０は、第１電極１５２、第２電極１５４及び第３電極１５６により検出された眼電位を示す眼電位信号を増幅する。
　また、増幅部２５０は、眼電位信号を演算する処理部を有していれば、増幅する前又は増幅した後の各眼電位信号に対し、加減処理を行ってもよい。例えば、増幅部２５０は、第３電極１５６を基準とした第１電極１５２の電位を示す基準眼電位信号を求めてもよい。また、増幅部２５０は、第３電極１５６を基準とした第２電極１５４の電位を示す基準眼電位信号を求めてもよい。増幅部２５０により増幅又は処理された信号は、処理装置２００に出力される。
　外部装置３００は、通信機能を有する情報処理装置である。例えば、外部装置３００は、使用者が所持する携帯電話及びスマートフォン等の携帯通信端末、パーソナルコンピュータ等である。外部装置３００は、図３に示す送信部２２０から受信した眼電位信号に基づく処理を実行する。例えば、外部装置３００は、受信した眼電位信号から、瞬目や視線移動を検出する。瞬目を検出する場合の応答として、外部装置３００は、使用者の瞬目の回数が増加していることを検出した場合などに、居眠りを防止するための警告を発する。外部装置３００の詳細については後述する。また、外部装置３００は、検出した視線移動に基づいて、アプリケーションを操作することを可能にしてもよい。
　＜処理装置の構成＞
　図３は、実施例における処理装置２００の一例を示すブロック図である。図３に示すように、処理装置２００は、処理部２１０、送信部２２０、及び電源部２３０を有する。第１電極１５２、第２電極１５４、第３電極１５６は、例えば増幅部２５０を介して処理部２１０に接続される。処理装置２００の各構成は、一対のテンプルに分散されて設けられてもよい。
　処理部２１０は、増幅部２５０から増幅された眼電位信号を取得し、処理する。例えば、処理部２１０は、第３電極１５６を基準とした第１電極１５２の電位を示す基準眼電位信号を処理してもよい。なお、基準眼電位信号は、説明の便宜上「基準」を付したが、概念としては眼電位信号に含まれる。また、処理部２１０は、第３電極１５６を基準とした第２電極１５４の電位を示す基準眼電位信号を処理してもよい。
　このとき、処理部２１０は、右眼及び左眼において、各電極から検出された眼電位に基づいて、眼の垂直方向及び／又は水平方向の動きを示す眼電位信号となるように処理を行ってもよい。例えば、処理部２１０は、第２電極１５４の電位から第３電極１５６の電位を減算して第１の眼電位信号を生成したり、第１電極１５２の電位から、第２電極１５４及び第３電極１５６の電位の平均を減算して第２の眼電位信号を生成したりしてもよい。
　また、処理部２１０は、所定の眼電位信号と、所定時間前の眼電位信号との差分信号を算出してもよい。さらに、処理部２１０は、眼電位信号又は差分信号（以下、眼電位関連信号とも称す。）に対して、極値検出を行い、検出した極値と、その極値以前の極値との差分を表す極値差信号を算出してもよい。
　他にも、処理部２１０は、取得した眼電位信号がデジタル化されていなければ、デジタル化処理を行ったり、各電極から増幅された眼電位信号を取得した場合には、眼電位信号の加減処理を行ったりする。また、処理部２１０は、増幅部２５０から取得した眼電位信号をそのまま送信部２２０に送信してもよい。
　送信部２２０は、処理部２１０によって処理された眼電位関連信号又は極値差信号を外部装置３００に送信する。例えば、送信部２２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって眼電位信号を外部装置３００に送信する。電源部２３０は、処理部２１０、送信部２２０、及び増幅部２５０に電力を供給する。
　図４は、使用者に対する電極の接触位置を概略的に示す図である。第１接触位置４５２は、第１電極１５２の接触位置を表す。第２接触位置４５４は、第２電極１５４の接触位置を表す。第３接触位置４５６は、第３電極１５６の接触位置を表す。水平中心線４６０は、右眼４０２の中心と左眼４０４の中心とを結んだ水平方向の中心線を表す。垂直中心線４６２は、右眼４０２と左眼４０４との中心において水平中心線４６０と直交する中心線を表す。
　第１接触位置４５２及び第２接触位置４５４は、水平中心線４６０よりも下側に位置することが望ましい。また、第１接触位置４５２及び第２接触位置４５４は、第１接触位置４５２と第２接触位置４５４との中心を結ぶ線分が、水平中心線４６０と平行になるべく配置されることが望ましい。
　また、第１接触位置４５２及び第２接触位置４５４は、第１接触位置４５２から右眼４０２への距離と、第２接触位置４５４と左眼４０４との距離が等しくなるべく配置されることが望ましい。また、第１接触位置４５２及び第２接触位置４５４は、互いに一定の距離以上離間していることが望ましい。
　第３接触位置４５６は、垂直中心線４６２上に位置することが望ましい。また、第３接触位置４５６は、水平中心線４６０よりも上側であって、第１接触位置４５２及び第２接触位置４５４から離れた位置であることが望ましい。また、例えば、第３接触位置４５６と右眼４０２との距離は、右眼４０２と第１接触位置４５２との距離よりも離間させ、左眼４０４との距離は、左眼４０４と第２接触位置４５４との距離よりも離間させてよい。
　眼球は、角膜側が正に帯電しており、網膜側が負に帯電している。したがって、視線が上に移動した場合、第３電極１５６を基準とした第１電極１５２の電位及び第３電極１５６を基準とした第２電極１５４の電位が負となる。視線が下に移動した場合、第３電極１５６を基準とした第１電極１５２の電位及び第３電極１５６を基準とした第２電極１５４の電位が正となる。
　視線が右に移動した場合、第３電極１５６を基準とした第１電極１５２の電位が負となり、第３電極１５６を基準とした第２電極１５４の電位が正となる。視線が左に移動した場合、第３電極１５６を基準とした第１電極１５２の電位が正となり、第３電極１５６を基準とした第２電極１５４の電位が負となる。
　第３電極１５６を基準とした第１電極１５２の電位及び第３電極１５６を基準とした第２電極１５４の電位を検出することによって、好適にノイズの影響を軽減することができる。第３接触位置４５６を第１接触位置４５２及び第２接触位置４５４から可能な限り離間させるべく、眉間部１２４は、リム１２２の上端又はその近傍に配置されてもよい。また、眉間部１２４の中心よりも上側に第３電極１５６は設けられてもよい。この場合、第３電極１５６の配置位置として、縦幅の広い眉間部１２４を採用することが望ましい。
　なお、処理部２１０は、第３電極１５６を基準とした第１電極１５２の電位を検出する代わりに、基準電極を基準とした第１電極１５２の電位から、基準電極を基準とした第３電極１５６の電位を減じてもよい。そして同様に、処理部２１０は、第３電極１５６を基準とした第２電極１５４の電位を検出する代わりに、基準電極を基準とした第２電極１５４の電位から、基準電極を基準とした第３電極１５６の電位を減じてもよい。
　基準電極としては、接地電極を用いてもよい。また、メガネ１００の、第１電極１５２、第２電極１５４及び第３電極１５６から離間した位置に、別途基準電極を設けてもよい。例えば、基準電極は、右側のモダン１３２に設けられてもよい。また、基準電極は、右側のテンプル１３０の使用者の肌に接する部位に設けられてもよい。
　なお、基準電極を基準とした第１電極１５２の電位から第３電極１５６の電位を減じる処理、及び基準電極を基準とした第２電極１５４の電位から第３電極１５６の電位を減じる処理は、処理部２１０が実行してもよく、増幅部２５０又は外部装置３００が実行してもよい。この場合、処理対象の電位を示す信号は、増幅部２５０により増幅されている。
　＜増幅部の構成＞
　次に、増幅部２５０の構成について説明する。図５は、実施例における増幅部２５０の構成の一例を示す図である。図５に示すように、増幅部２５０は、第１アンプ２６０及び第２アンプ２７０を有する。第１アンプ２６０は、第２アンプ２７０の前段に位置し、バッファアンプとして機能するアンプである。以下、第１アンプ２６０をバッファアンプ２６０とも称する。第２アンプ２７０は、メインのアンプとして機能するアンプである。以下、第２アンプ２７０は、メインアンプ２７０とも称する。メインアンプ２７０により増幅された信号は処理装置２００に有線又は無線を用いて出力される。
　増幅部２５０の設置位置は、眉間部１２４部分であることが望ましい。なお、増幅部２５０は、眉間部１２４に埋め込むようにして設けてもよい。前述したとおり、各電極は可能な限り離間させた方が望ましいが、各電極の設置位置はフレーム１２０の形状に依存してしまうため、離間させるにしても限界がある。
　このため、各電極の電位差が十分な大きさにならない場合があり、各電極で検出された小さい電位を示す眼電位信号にノイズが混入してしまうと、十分な精度の電位を検出することが困難になってしまう。
　そこで、実施例においては、検出された眼電位信号にノイズが混入する前に増幅することを目的として、増幅部２５０は、第１電極１５２、第２電極１５４及び第３電極１５６の近傍に設けられる。例えば、増幅部２５０は、各電極に近く、フレーム１２０にスペースが存在する眉間部１２４部分に設けることが好ましい。これにより、各電極により検出された眼電位信号が電線を通過する間に、ノイズが混入して眼電位信号の精度を低下させるリスクを減らすことができる。
　次に、メインアンプ２７０の前段の位置にバッファアンプ２６０を設ける理由を、図６を用いて説明する。図６は、バッファアンプ２６０を設ける理由を説明するための図である。図６に示す例は、第３電極１５６を用いるが、第１電極１５２及び第２電極１５４においても同様である。
　第３電極１５６は、メガネ１００を装着した際、人肌に触れるため、グランドとの間に抵抗Ｒ０が存在すると考えてよい。このとき、抵抗Ｒ０は、例えば数１００ｋΩである。また、メインアンプ２７０には、内部抵抗Ｒ１が存在する。このとき、メインアンプ２７０として通常のアンプを用いると、内部抵抗Ｒ１は、数１０ｋΩ～数１００ｋΩである。
　ここで、理想的にはメインアンプ２７０に電流が流れ込まないことであるが、内部抵抗Ｒ１が抵抗Ｒ０よりも小さいと、電流がメインアンプ２７０側に流れ込む。そうすると、電極の電圧Ｖｉとメインアンプ２７０の電圧Ｖｘとが分圧されて観測されてしまう。そこで、メインアンプ２７０の前段の位置にバッファアンプ２６０を設けてメインアンプ２７０側に電流が流れ込まないようにする。
　図７は、実施例における増幅部の構成の他の例を示す図である。図７に示す増幅部は、符号２５０Ａと表記される。増幅部２５０Ａは、バッファアンプ２６０、メインアンプ２７０、Ａ／Ｄ変換部２８０、及び無線通信部２９０を有する。バッファアンプ２６０及びメインアンプ２７０は、図５に示す機能と同様であるため、以下では、Ａ／Ｄ変換部２８０及び無線通信部２９０について主に説明する。
　Ａ／Ｄ変換部２８０は、メインアンプ２７０により増幅された信号をアナログからデジタルに変換する。Ａ／Ｄ変換部２８０は、デジタル変換した信号を無線通信部２９０に出力する。
　無線通信部２９０は、Ａ／Ｄ変換部２８０により変換されたデジタル信号を、無線通信を用いて処理装置２００に送信する。よって、無線通信部２９０は、送信部として機能する。無線通信部２９０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信を用いる。また、無線通信部２９０は、外部装置３００にデジタル信号を直接送信してもよい。
　なお、実施例では、バッファアンプ２６０及びメインアンプ２７０を１つ設ける例を示したが、この場合は各電極からの眼電位信号に対して順番を決めて増幅していけばよい。また、各電極それぞれにバッファアンプ２６０及びメインアンプ２７０を設けてもよい。
　＜外部装置の構成＞
　次に、外部装置３００の構成について説明する。図８は、実施例における外部装置３００の構成の一例を示すブロック図である。図８に示すように、外部装置３００は、通信部３１０、記憶部３２０、及び制御部３３０を有する。
　通信部３１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって眼電位関連信号を受信する。通信部３１０は、処理装置２００の送信部２２０から受信した眼電位関連信号を制御部３３０に出力する。
　記憶部３２０は、例えば、ＲＡＭ（Random Access Memory）であり、右眼及び左眼の眼電位関連信号の極大値及び／又は極小値を記憶する。また、極大値又は極小値は、それぞれ所定期間毎の最大値又は最小値でもよい。
　また、記憶部３２０は、眼電位関連信号の隣り合う極値の差の信号に対する極大値及び／又は極小値を記憶してもよい。
　例えば、記憶部３２０は、極大値用のＦＩＦＯバッファと、極小値用のＦＩＦＯバッファとを有する。ＦＩＦＯバッファは、極大値または極小値のデータにより記憶容量が一杯になったときは、最も古いデータが消去されて最新のデータが記憶されることにより、記憶領域に記憶されるデータが更新される。また、記憶部３２０は、後述する検出部３７０の検出結果を記憶してもよい。
　また、記憶部３２０は、後述する信号処理をコンピュータに実行させるプログラムを記憶する。このプログラムは、インターネット、又はＳＤカードなどの記録媒体を介して外部装置３００にインストールされてもよいし、プリインストールされていてもよい。また、このプログラムを記憶する記憶部は、記憶部３２０とは別であってもよい。
　制御部３３０は、例えばＣＰＵ（Central Processing Unit）であり、各部の制御を行ったり、各種の演算処理を行ったりする。図８に示す例では、制御部３３０は、取得部３４０、算出部３５０、判定部３６０、検出部３７０を有する。
　取得部３４０は、対象者の眼周辺に接触する各電極により検出される眼電位に基づく眼電位関連信号を取得する。眼電位関連信号は、例えば通信部３１０から取得された眼電位信号や、この眼電位信号の差分信号を含む。取得された眼電位関連信号は、右眼及び／又は左眼の眼電位関連信号である。以下、取得部３４０は、眼電位関連信号として眼電位信号を取得する例を用いて説明するが、上述したように、アイウエア側で差分信号が算出され、この差分信号を取得するようにしてもよい。
　差分信号とは、所定の眼電位信号と、この眼電位信号の所定時間前の眼電位信号との差分を表す信号である。所定時間は、例えば５ｍｓｅｃなどである。信号の差分を取ることにより、ノイズ耐性を強くすることができる。なお、これらの信号の差分をとることは、微分を行うことと同義であるとする。
　算出部３５０は、取得部３４０が取得した眼電位関連信号に対して極値を算出したり、極値間の差分を表す極値差信号を算出したりする。
　極値差信号とは、例えば、眼電位信号又は差分信号の隣り合う極値（ピーク値）の差分を表す信号である。この極値差信号を取ることにより、眼が動く直前の信号レベルなどに影響を受けることなく、視線移動などの判定を適切に行うことができる。
　算出部３５０は、上述した処理を行うため、差分算出部３５２と、極値算出部３５４とを有する。差分算出部３５２は、取得部３４０により取得された所定の眼電位信号と、この眼電位信号の所定時間前の眼電位信号との差分信号を算出する。所定時間前の眼電位信号とは、例えば、離散的な眼電位信号に対し、取得部３４０により取得された眼電位信号から４点前の眼電位信号とするが、この例に限られない。差分信号を求めることで、眼電位信号のベースラインの変動を吸収することができる。
　また、差分算出部３５２は、極値算出部３５４により算出された極値を用いて、極値間の差分を表す極値差信号を算出する。極値差信号は、例えば、算出された最新の極値と、その直前の極値との差分を表す信号を算出する。
　極値算出部３５４は、差分算出部３５２により算出された差分信号の極大値及び極小値を算出する。極値算出部３５４は、差分信号の極大値及び極小値を差分算出部３５２に出力する。
　また、極値算出部３５４は、差分算出部３５２により算出された極値差信号の極大値及び極小値を算出する。極値算出部３５４は、極値差信号の極大値及び極小値を判定部３６０に出力する。また、極値算出部３５４は、算出した極大値及び極小値を記憶部３２０に記憶するようにしてもよい。
　判定部３６０は、極値算出部３５４により算出された極大値及び／又は極小値に関する所定条件が満たされるか否かに基づいて、瞬目の検出処理及び視線移動の検出処理のいずれの検出処理を行うかを判定する。また、判定部３６０は、極値差信号の値と、閾値とを比較することで、瞬目の検出処理及び視線移動の検出処理のいずれの検出処理を行うかを判定してもよい。
　検出部３７０は、判定部３６０により判定された結果に基づき、瞬目又は視線移動の検出処理を行う。そのため、検出部３７０は、瞬目検出部３７２と、視線移動検出部３７４とを含む。瞬目検出部３７２は、瞬目の検出処理として、公知の技術を用いて検出処理を行ってもよいし、後述する検出処理を行ってもよい。視線移動検出部３７４は、視線移動の検出処理として、公知の技術を用いて検出処理を行ってもよいし、後述する検出処理を行ってもよい。次に、判定部３６０の判定処理及び検出部３７０の検出処理について詳しく説明する。
　≪判定処理≫
　判定部３６０は、極値差信号の極大値と極小値との比に関する所定条件を用いて判定処理を行ったり、極値差信号の第１値から第２値までの時間に関する所定条件を用いて判定処理を行ったりする。また、判定部３６０は、極値差信号の極値と、閾値との判定処理を行ってもよい。なお、判定処理については、１つ又は複数の条件が用いられてもよいし、複数の条件が全て満たされる場合に、判定部３６０は検出処理を行うと判定してもよい。
　判定部３６０は、極大値と極小値との比が、第１閾値以上第２閾値以下の所定範囲（第２所定範囲）に含まれる場合、瞬目の検出処理を行うと判定し、この比が所定範囲に含まれない場合、視線移動の検出処理を行うと判定する。なお、極大値と極小値との比とは、例えば、算出された閾値を超える極大値又は極小値と、次に現れる極小値又は極大値との比である。極小値は基本的にマイナスの値であるため、比は、マイナスの値になるが、絶対値を取ってもよい。なお、この比は、ピーク比とも称される。
　判定部３６０は、ピーク比を用いることで、瞬目検出に適切ではない極値差信号に基づいて瞬目をすることを防止する。瞬目検出に適切ではない極値差信号とは、極大値の振幅が極小値の振幅よりも十分に大きい信号などである。例えば、ガムを噛むなどの場合に、瞬目検出に適切ではない極値差信号が現れる。
　他方、適切な瞬目における極大値と極小値との比は、所定範囲に入ることが実験等により知られている。下限となる第１閾値は、例えば－１．３から－１．１の値であり、上限となる第２閾値は、例えば－０．８から－０．６の値である。
　また、判定部３６０は、ピーク比が、第１閾値よりも小さい第３閾値以下、又は第２閾値よりも大きい第４値以上の場合に、視線移動の検出処理を行うと判定してもよい。視線移動の場合は、上を向いた場合はこのピーク比が大きくなり、下を向いた場合はピーク比が小さくなることが実験等により知られている。このとき、第３閾値は、例えば－１．８であり、第４閾値は例えば－０．３である。
　判定部３６０は、極値差信号の極大値又は極小値に関する眼電位信号の値から、眼電位信号の所定値までに要する時間に関する所定条件を用いる。例えば、所定条件として、極値差信号の極大値に対応する眼電位信号の第１値から、この第１値から所定範囲内に入る眼電位信号の第２値までに要する時間が、所定時間以内であることとする。なお、この場合の極値差信号は、差分信号に対する極値差信号ではなく、眼電位信号に対する極値差信号でもよい。所定時間は、例えば０．５ｓｅｃとする。
　このとき、判定部３６０は、眼電位信号の第１値から第２値までに推移するのに要する時間が、所定時間以内である場合、瞬目の検出処理を行うと判定し、この時間が所定時間以内ではない場合、視線移動の検出処理を行うと判定する。
　なお、眼電位信号の極大値から次の極小値までの時間が短いものが瞬目であり、極大値から次の極小値までの時間が長いものが視線移動であることが実験等により知られている。したがって、判定部３６０は、上述したことが判定できるように、眼電位信号の第１値から第２値までの時間差を用いた条件を設定すればよい。
　これにより、判定部３６０は、極値差信号の極大値や極小値に関する条件に基づいて、瞬目の検出を行うのか、視線移動の検出を行うのかを適切に判断し、検出処理を適応的に切り替えることができる。
　また、ピーク比が用いられる場合は、上述した第３又は第４閾値を用いるなどして、外乱などの影響によるノイズを除去し、適切に瞬目検出又は視線移動検出を行うことができる。
　また、判定部３６０は、眼電位信号に対する極値差信号が求められる場合、視線移動の閾値として例えば５０、瞬目の閾値として例えば１００を設定してもよい。このとき、判定部３６０は、極値差信号の値が、５０以上１００以下の所定範囲（第１所定範囲）内であれば視線移動の検出処理を行うと判定し、極値差信号の値が１００を超えれば瞬目の検出処理を行うと判定してもよい。
　また、判定部３６０は、差分信号に対する極値差信号が求められる場合、視線移動の閾値として例えば２０、瞬目の閾値として例えば５０を設定してもよい。このとき、判定部３６０は、極値差信号の値が、２０以上５０以下の所定範囲（第１所定範囲）内であれば視線移動の検出処理を行うと判定し、極値差信号の値が５０を超えれば瞬目の検出処理を行うと判定してもよい。
　なお、判定部３６０は、上述した判定処理により、瞬目の検出処理又は視線移動の検出処理を行うと判定するのではなく、瞬目又は視線移動を検出してもよい。これにより、より簡便に瞬目又は視線移動を検出することができる。
　例えば、判定部３６０は、眼電位信号に対する極値差信号を用いる場合、上述したピーク比判定及び／又は閾値判定により、瞬目又は視線移動を検出してもよい。また、判定部３６０は、差分信号に対する極値差信号を用いる場合、上述した時間判定及び／又は閾値判定により、瞬目又は視線移動を検出してもよい。この場合、検出部３７０を設ける必要がない。
　≪瞬目検出≫
　次に、瞬目検出について説明する。図９は、実施例における瞬目検出部３７２の一例を示すブロック図である。
　瞬目検出部３７２は、眼電位信号を用いた公知の瞬目検出アルゴリズムを用いることができるが、以下では、瞬目判定に用いる閾値を可変にすることで、適切な瞬目が検出可能なアルゴリズムについて説明する。瞬目検出部３７２は、閾値算出部５０２を有する。
　閾値算出部５０２は、記憶部３２０に記憶された眼電位関連信号又は極値差信号の極大値及び／又は極小値を用いて閾値を算出する。閾値算出部５０２は、例えば処理を簡略化するため、極大値又は極小値の絶対値の平均値等から閾値の絶対値を算出してもよい。
　また、閾値算出部５０２は、記憶部３２０に記憶された極大値を用いて第５閾値を算出し、また、記憶部３２０に記憶された極小値を用いて第６閾値を算出してもよい。ここで、第５閾値は、眼が垂直方向の上に動いたことを判定するために用いられ、第６閾値は、眼が垂直方向の下に動いたことを判定するために用いられる。これにより、上方向の眼の動き、下方向の眼の動きそれぞれに閾値を設定できるので、適切な閾値判定を行うことができる。
　また、閾値算出部５０２は、上述した閾値判定を行うため、第１算出部５１２及び第２算出部５１４を有する。第１算出部５１２は、極大値用のＦＩＦＯバッファに記憶されている極大値の平均値及び標準偏差を算出する。また、第１算出部５１２は、極小値用のＦＩＦＯバッファに記憶されている最小値の平均値及び標準偏差を算出する。
　第２算出部５１４は、極大値の平均値及び標準偏差に基づいて第５閾値を算出し、極小値の平均値及び標準偏差に基づいて第６閾値を算出する。これにより、例えば対象者の直近の状態を示す眼電位関連信号又は極値差信号を用いて閾値を設定することができる。また、第５閾値及び第６閾値は、使用者の直近の状態を示す信号の強度に追従して値を変更させることができる。
　例えば、第２算出部５１４は、極大値の平均値に、極大値の標準偏差に係数を乗算した値を加算した値を第５閾値とする。第２算出部５１４は、極小値の平均値から、極小値の標準偏差に係数を乗算した値を減算した値を第６閾値とする。これにより、適切な閾値を設定することができる。
　また、閾値算出部５０２は、記憶部３２０に極大値及び／又は極小値が記憶される度に、第５閾値及び第６閾値を更新する。これにより、閾値算出部５０２は、過去の眼電位関連信号又は極値差信号に基づいて閾値を設定することができるため、眠くなって眼の動きが遅くなり、眼電位関連信号や極値差信号が弱くなった場合であっても、その弱くなった信号に応じて閾値を設定することができるので、適切に瞬目を検出することができる。閾値算出部５０２により算出された第５閾値及び第６閾値は、判定部３６０において、極大値及び極小値の精度を上げるために、これらの閾値を超えた極大値及び極小値を判定するために用いられてもよい。
　また、閾値算出部５０２は、記憶部３２０に記憶された所定個の極大値の平均を第５閾値としたり、記憶部３２０に記憶された所定個の極小値の平均を第６閾値としたりしてもよい。また、閾値算出部５０２は、記憶部３２０に記憶された極大値及び極小値それぞれの標準偏差を用いて第５閾値及び第６閾値を算出してもよい。
　瞬目検出部３７２は、第２算出部５１４により算出された第５閾値、及び第６閾値を用いて、眼電位関連信号又は極値差信号から瞬目を検出する。例えば、瞬目検出部３７２は、第５閾値以上となる記憶部３２０に記憶された極大値の第１時刻と、第６閾値以下となる記憶部３２０に記憶された極小値の第２時刻との差分が所定時間以内であれば、瞬目を検出する。ここで、第２時刻は、第１時刻以降であって直近の時刻とする。所定時間は、例えば５００ｍｓｅｃとするがこの限りではない。
　なお、瞬目検出部３７２は、右眼、左眼それぞれの眼電位関連信号を用いて瞬目を検出し、所定範囲内のタイミングで両目において瞬目が検出されたときに最終的な瞬目を検出してもよい。また、瞬目検出部３７２は、右眼と左眼は同様の動きをすることを前提とし、双方の眼電位関連信号の平均を用いて瞬目を検出してもよい。具体的な眼電位関連信号を用いた瞬目検出アルゴリズムについては、図１６を用いて後述する。
　≪視線移動検出≫
　次に、視線移動の検出について説明する。視線移動検出部３７４は、公知の方法を用いて視線移動を検出すればよい。例えば、視線移動検出部３７４は、取得した眼電位関連信号から右眼電図と、左眼電図とに分けて、右眼電図及び左眼電図で負の電位が示された場合には視線が上を向いたことを検出する。また、視線移動検出部３７４は、右眼電図及び左眼電図で正の電位が示された場合には視線が下、右眼電図で負の電位が示され左眼電図で正の電位が示された場合には視線が右、右眼電図で正の電位が示され左眼電図で負の電位が示された場合には視線が左に向いたことを検出する。
　さらに、視線移動検出部３７４は、右眼電図が示す電位Ｖ１と左眼電図が示す電位Ｖ２とを加減算することによって、視線の検出精度を高めることができる。例えば、Ｖ１＋Ｖ２が負であり、Ｖ１－Ｖ２が略ゼロの場合は、視線が上に向けられたと検出できる。Ｖ１＋Ｖ２が正であり、Ｖ１－Ｖ２が略ゼロの場合は、視線が下に向けられたと判断できる。Ｖ１＋Ｖ２が略ゼロであり、Ｖ１－Ｖ２が負の場合は、視線が右に向けられたと判断できる。Ｖ１＋Ｖ２が略ゼロであり、Ｖ１－Ｖ２が正の場合は、視線が左に向けられたと判断できる。Ｖ１とＶ２とを加減算することにより、算出される正の値及び負の値が大きくなる。したがって、その分閾値を大きく設定することができるので、ノイズを誤って視線移動として検出してしまう誤検出を低減できる。
　また、視線移動検出部３７４は、第１電極１５２の電位から、第２電極１５４及び第３電極１５６の電位の平均を減算して生成された眼電位信号を用いて、正の電位が示された場合には上、負の電位が示された場合には下を向いたことを検出してもよい。この際に、視線移動検出部３７４は、適切な閾値と、正の電位や負の電位とが判定された結果を用いて、視線移動を検出してもよい。また、視線移動検出部３７４は、極値差信号を用いて上述した処理を行い、視線移動を検出してもよい。
　＜具体例＞
　次に、眼電位信号や差分信号や極値差信号の具体例を用いて判定処理や検出処理について説明する。図１０は、眼電位信号の一例を示す図である。図１０に示すグラフにおいて、縦軸の眼電強度は、眼電位の強度を示す単位であり、例えば眼電位信号の計測値×１．５（Ｖ）÷２０４８÷１０００などで表される。横軸は時間である。
　図１０に示す眼電位信号Ｓ１は、ベースとなる眼電位信号の強度が大きく変動している。そのため、瞬目又は視線移動の判定閾値が設定されている場合、ベースとなる眼電位信号Ｓ１の判定対象信号が、その直前の信号強度に大きく影響を受けることがあり、視線移動又は瞬目の判定が適切にできない場合がある。
　そこで、判定対象信号が、ベースとなる眼電位信号Ｓ１の直前の信号強度に影響を受けないようにするため、眼電位信号Ｓ１の極値（Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４など）の差分を表す第１極値差信号が用いられるとよい。ここでは、第１極値差信号は、眼電位信号の所定の極値（例えばＰ１３）と、その直前の極値（例えばＰ１２）との差分を表す信号とする。
　図１１は、第１極値差信号の一例を示す図である。図１１に示す第１極値差信号Ｓ２は、所定の極値と、直前の極値との差分を求めることで得られた信号である。例えば、差分値Ｄ１３は、眼電位信号Ｓ１の極値Ｐ１３から極値Ｐ１２を減算した値である。第１極値差信号Ｓ２は、各差分値（Ｄ１２、Ｄ１３、Ｄ１４など）をつなぐことで信号化してもよいし、差分値だけの集合でもよい。
　第１極値差信号Ｓ２が用いられることにより、眼の動きをより適切に反映させることができる。よって、瞬目又は視線移動の判定を適切に行うことができる。
　図１２は、差分信号の一例を示す図である。図１２に示すグラフにおいて、縦軸の差分強度は、眼電位の差分の強度を示す。横軸は時間である。図１２に示す差分信号Ｓ３は、差分信号であるため、ベースとなる眼電位信号は０付近で安定している。
　ここで、さらに、差分信号Ｓ３の判定対象信号が、その直前の信号強度に影響を受けないようにするため、差分信号Ｓ３の極値（Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４など）の差分を表す第２極値差信号が用いられるとよい。ここでは、第２極値差信号は、差分信号の所定の極値と、その直前の極値との差分を表す信号とする。
　図１３は、第２極値差信号の一例を示す図である。図１３に示す第２極値差信号Ｓ４は、所定の極値と、直前の極値との差分を求めることにより得られた信号である。例えば、差分値Ｄ２３は、差分信号Ｓ３の極値Ｐ２３から極値Ｐ２２を減算した値である。第２極値差信号Ｓ４は、各差分値（Ｄ２２、Ｄ２３、Ｄ２４など）をつなぐことで信号化してもよいし、差分値だけの集合でもよい。
　第２極値差信号Ｓ４が用いられることにより、眼の動きをより適切に反映させることができる。よって、瞬目又は視線移動の判定を適切に行うことができる。
　図１４は、ピーク比を用いた判定処理を説明するための図である。図１４に示す例では、第２極値差信号Ｓ５を用いて第５閾値ＴＨ１、第６閾値ＴＨ２が算出されている。
　このとき、極大値が第５閾値以上、次の極小値が第６閾値以下の場合に、基本的に瞬目と検出されてもよいが、ガムを噛むなどの場合にも瞬目として検出されてしまう場合がある。
　そこで、実施例では、極大値と、その極大値の次の極小値とのピーク比に着目し、このピーク比が所定範囲に入っていれば瞬目の検出処理が行われるようにする。図１４に示す例では、符号Ｐにおける極大値のところは、ピーク比が所定範囲に含まれ、さらに、極大値が閾値を超えているため、瞬目として検出される。他方、符号Ｅにおける極大値のところは、極大値が閾値を超えているが、ピーク比が所定範囲に含まれないために、瞬目として検出されない。なお、瞬目の検出処理における判定は、判定部３６０によるピーク比判定と、瞬目検出部３７２による閾値判定とがあるが、これらは順不同であり、閾値判定を先に行って、次にピーク比判定をしてもよく、また両判定が並行して判定されてもよい。
　図１５は、時間差を用いた判定処理を説明するための図である。図１５（Ａ）は眼電位関連信号の一例であり、図１５（Ｂ）は、図１５（Ａ）に示す眼電位関連信号における極値差信号の一例とするが、差分の正確性は問わない。図１５に示す例では、視線移動の場合の眼電位関連信号であるが、視線移動の場合、瞬目と異なり、眼電位関連信号は極大値から緩やかに下がってくる。実施例では、この緩やかさに着目し、極値差信号の極大値に対応する眼電位関連信号の第１値Ｑ１から、Ｑ１に相当する値の第２値Ｑ２になるまでの時間ｔが所定条件に用いられる。第１値Ｑ１は、例えば、極値差信号が、時刻ｔ１の眼電位信号から時刻ｔ２の眼電位信号の場合、時刻ｔ１の眼電位信号とするが、時刻ｔ２の眼電位信号でもよい。第２値Ｑ２は、第１値Ｑ１と同じ値でもよいし、第１値にオフセットを加算した値でもよい。
　例えば、判定部３６０は、第１値Ｑ１から第２値Ｑ２になるまでの時間ｔを算出し、この時間ｔが所定時間以内であるか否かを判定し、時間ｔが所定時間以内であれば瞬目の検出処理を行うと判定し、時間ｔが所定時間以内でなければ視線移動の検出処理を行うと判定する。所定時間は、例えば５００ｍｓｅｃなどであり、事前の実験などにより適切な値が設定されればよい。なお、時間ｔは、眼電位信号の勾配が緩やかでるか、又は急であるかを判定できればよいので、眼電位信号の極大値から極小値までの時間などでもよい。
　次に、瞬目検出のアルゴリズムを具体的な眼電位信号を用いて説明する。図１６は、眼の垂直方向の動きを示す眼電位信号の一例を示す図である。図１６に示す眼電位信号Ｓ６は、片側の眼の垂直方向の動きを示す眼電位信号である。以下に説明する瞬目検出アルゴリズムは、所定期間の極大値及び極小値を用いて閾値を算出する場合のアルゴリズムである。
　（１）所定期間ごとの最大値、最小値を求める
　制御部３３０は、眼電位信号Ｓ６の所定期間Ｔ１（例えば５００ｍｓｅｃ）ごとの最大値、最小値を求める。
　（２）最大値が極大値である場合、第１ＦＩＦＯバッファに保存する
　制御部３３０は、（１）で求めた最大値が極大値である場合、第１ＦＩＦＯバッファ（記憶部３２０）に保存する。
　（３）最小値が極小値である場合、第２ＦＩＦＯバッファに保存する
　制御部３３０は、（１）で求めた最小値が極小値である場合、第１ＦＩＦＯバッファとは別領域の第２ＦＩＦＯバッファに保存（記憶部３２０）する。なお、（２）及び（３）について、順序は問わない。以降、第１ＦＩＦＯバッファ及び第２ＦＩＦＯバッファをまとめる場合は、単にバッファと称する。図１６において、眼電位信号Ｓ６上にある黒点は、各期間において極大値又は極小値として検出された値を表す。なお、極大値及び極小値は、微分を用いて、例えば眼電位信号Ｓ６の差分信号を用いて求めることができる。
　（４）バッファの容量分データが保存されたら、平均値及び標準偏差を算出する
　第１算出部５１２は、第１ＦＩＦＯバッファに保存されている極大値の平均値（ａ１）及び標準偏差（ｂ１）を算出する。また、第１算出部５１２は、第２ＦＩＦＯバッファに保存されている極小値の平均値（ａ２）及び標準偏差（ｂ２）を算出する。
　（５）閾値を算出する
　第２算出部５１４は、（４）で算出された平均値及び標準偏差を用いて第５閾値及び第６閾値を算出する。第５閾値（ＴＨ１）及び第６閾値（ＴＨ２）は、以下の式で算出される。
ＴＨ１＝ａ１＋Ｅ×ｂ１・・・式（１）
ＴＨ２＝ａ２－Ｅ×ｂ２・・・式（２）
ここで、係数Ｅは、例えば２とする。
なお、第５閾値（ＴＨ１）、第６閾値（ＴＨ２）の絶対値に下限値を設定しておいてもよい。これにより、眼のわずかな上下運動を瞬きであると誤検出することを防止することができる。また、係数Ｅは、信号強度に応じて可変に設定できるようにされてもよい。
　図１６に示すとおり、眼電位信号の時間経過に伴って、それぞれの閾値が変動し、さらに、眼電位信号の強さ（振幅の大きさ）に追従して閾値が適切に変更される。図１６に示す第５閾値ＴＨ１と第６閾値ＴＨ２は、閾値の変動を概念的に示したものに過ぎない。
　（６）第５閾値以上の極大値、及び第６閾値以下の極小値を特定する
　検出部３７０は、（５）で算出された第５閾値以上の極大値を特定する。ここで、閾値判定の対象となる極大値は、第１ＦＩＦＯバッファに記憶されており、閾値判定がまだされていない極大値である。
　また、判定部３６０は、（５）で算出された第６閾値以下の最小値を特定する。ここで、閾値判定の対象となる極小値は、第２ＦＩＦＯバッファに記憶されており、閾値判定がまだされていない極小値である。図１５において、特定された極大値及び極小値は、四角で囲われた黒点により表される。
　（７）瞬目を検出する
　検出部３７０は、特定された極大値毎に、この極大値の第１時刻と、特定された極小値の第２時刻であり、この第１時刻以降の直近の第２時刻との差が、所定時間以内であれば、その眼の上下の動きを瞬目とみなして検出する。
　図１６において、例えば、特定された極大値の時刻ｔ１１と、ｔ１１以降で直近に特定された極小値の時刻ｔ２１との差が所定時間以内であれば、その眼の動きを瞬目として検出する。所定時間は、例えば５００ｍｓｅｃとする。
　以上、瞬目検出アルゴリズムを説明したが、このアルゴリズムは、あくまでも一例であり、この例に限らない。
　＜動作＞
　次に、実施例における外部装置３００の動作について説明する。図１７は、実施例における瞬目、視線移動の検出処理に関する処理の一例を示すフローチャートである。図１７に示すフローチャートは、使用者がメガネ１００を装着して、第１電極１５２、第２電極１５４、第３電極１５６が使用者の皮膚に接触した状態であって、外部装置３００が瞬目又は視線移動の検出を実行するモードである動作モード（通常モード）に設定された場合に開始する。
　図１７に示すステップＳ１０２で、取得部３４０は、メガネ１００から、眼電位信号を取得する。
　ステップＳ１０４で、差分算出部３５２は、取得された所定の眼電位信号と、この眼電位信号の所定時間前の眼電位信号との差分信号を算出する。
　ステップＳ１０６で、極値算出部３５４は、差分信号の極大値及び極小値を算出する。また、極値算出部３５４は、眼電位信号の極大値及び極小値を算出してもよい。
　ステップＳ１０８で、差分算出部３５２は、差分信号の極大値及び極小値を用いて、極値差信号を算出する。例えば、差分算出部３５２は、所定の極値から、その極値の直前の極値を減算することで、極値差信号を算出し、生成する。
　ステップＳ１１０で、極値算出部３５４は、極値差信号の極大値及び極小値を算出する。
　ステップＳ１１２で、判定部３６０は、算出された極大値及び／又は極小値に関する所定条件が満たされるか否かに基づいて、瞬目の検出処理及び視線移動の検出処理のいずれの検出処理を行うかを判定する。所定条件の違いについては図１８及び図１９を用いて後述する。
　ステップＳ１１４で、瞬目検出部３７２は、瞬目の検出処理を行う。
　ステップＳ１１６で、視線移動検出部３７４は、視線移動の検出処理を行う。
　ステップＳ１１４及びステップＳ１１６の後は、制御部３３０が、動作モードの終了指示を受けるまで、図１７に示す処理が繰り返される。
　次に、図１８は、実施例におけるピーク比を用いた判定処理の一例を示すフローチャートである。図１８に示すステップＳ２０２で、判定部３６０は、極大値と極小値とのピーク比を算出する。
　ステップＳ２０４で、判定部３６０は、ピーク比が、第１閾値以上第２閾値以下の所定範囲に含まれるか否かを判定する。ピーク比が所定範囲に含まれる場合（ステップＳ２０４－ＹＥＳ）処理はステップＳ１１４へ進み、ピーク比が所定範囲に含まれない場合（ステップＳ２０４－ＮＯ）処理はステップＳ２０６へ進む。
　ステップＳ２０６で、判定部３６０は、ピーク比が第３閾値以下か否かを判定する。ピーク比が第３閾値以下である場合（ステップＳ２０６－ＹＥＳ）、処理はステップＳ１１６に進み、ピーク比が第３閾値以下ではない場合（ステップＳ２０６－ＮＯ）、処理はステップＳ１０２に進む。なお、ステップＳ２０６において、ピーク比が第４閾値以上である場合を判定条件に追加してもよい。また、ステップＳ２０６が削除され、処理は、ステップＳ２０４のＮＯの後にステップＳ１１６に進んでもよい。
　次に、図１９は、実施例における時間差を用いた判定処理の一例を示すフローチャートである。図１９に示すステップＳ３０２で、判定部３６０は、極大値に対応する眼電位信号の第１値Ｑ１を取得する。
　ステップＳ３０４で、判定部３６０は、次に取得される極値差信号が第２値Ｑ２であるか否かを判定する。次に取得される極値差信号が第２値Ｑ２である場合（ステップＳ３０４－ＹＥＳ）処理はステップＳ３０６に進み、次に取得される極値差信号が第２値Ｑ２でない場合（ステップＳ３０４－ＮＯ）処理はステップＳ３０４に戻る。
　ステップＳ３０６で、判定部３６０は、第２値Ｑ２の時刻ｔ＿Ｑ２から、第１値Ｑ１の時刻ｔ＿Ｑ１を減算して時間ｔを算出する。
　ステップＳ３０８で、判定部３６０は、時間ｔが所定時間（時間閾値）以内であるか否かを判定する。時間ｔが所定時間以内である場合（ステップＳ３０８－ＹＥＳ）処理はステップＳ１１４に進み、時間ｔが所定時間以内でない場合（ステップＳ３０８－ＮＯ）処理はステップＳ１１６に進む。
　以上、実施例によれば、瞬目及び視線移動の検出処理を適切に切り替えることができる。また、瞬目検出や視線検出の精度を上げるため、眼電位関連信号の極値差信号を用いて、検出処理の切り替えを行う。これにより、捉えたい眼の動きに起因する信号が発生する前の信号の状態や強度の影響を受けて誤判定されることを防ぐことができる。
　また、本実施例によれば、判定部３６０において、閾値判定、ピーク比判定、時間判定を行ったが、これらの判定のうち２つ又は３つを適宜判定し、それらの判定結果に基づいて、瞬目の検出及び視線移動の検出のいずれを行うかが決定されてもよい。例えば、検出部３７０は、１つ目の判定結果及び／又は２つ目の判定結果を用いて、瞬目の検出又は視線移動の検出を行うようにすればよい。
　なお、本実施例において、アイウエアがメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。
　本実施例において、メガネ１００が第３電極１５６を備える例を挙げて説明した。しかし、メガネ１００はこれに限定されない。メガネ１００が、第３電極１５６を備えなくてもよい。この場合、基準電極を基準とした第１電極１５２の電位が示す眼電図及び基準電極を基準とした第２電極１５４の電位が示す眼電図が、外部装置３００に送信されればよい。ここで、接地電極を第３電極１５６の位置に設けて、基準電極としてもよい。また、左モダンに設けられた接地電極を基準電極として用いてもよいし、第１電極１５２及び第２電極１５４から離間した位置に、別途設けられた電極を基準電極として用いてもよい。
　本実施例において、メガネ１００が、リム１２２と一体になっているノーズパッド１４０を備える例を挙げて説明した。しかし、メガネ１００はこれに限定されない。メガネ１００が、リム１２２に備え付けられたクリングスと、クリングスに取り付けられたノーズパッド１４０とを備えてもよい。この場合、ノーズパッド１４０の表面に設けられた電極は、クリングスを介して、フレームに埋設された電線と電気的に接続される。
　本実施例において、第１電極１５２及び第２電極１５４をノーズパッド１４０の中心よりも下側に設ける例を挙げて説明した。しかし、これに限定されない。ノーズパッド１４０が下側に延伸する延伸部を備え、第１電極１５２及び第２電極１５４を延伸部に設けてもよい。これにより、眼及び鼻の位置の個人差によってノーズパッドが眼の真横に位置してしまう使用者であっても、第１電極１５２及び第２電極１５４を眼の位置よりも下に接触させることができる。
　本実施例において、第３電極１５６を眉間部１２４の表面に設ける例を挙げて説明した。しかし、これに限定されない。眉間部１２４が、上側に延伸する延伸部を備え、延伸部に第３電極１５６を設けてもよい。またさらに、延伸部と眉間部１２４との間に延伸部を上下に可動させる可動部を備え、第３電極１５６の位置を上下に調整可能としてもよい。これにより、眼の位置の個人差によって、第３電極１５６の接触位置が眼の近傍になってしまう使用者であっても、調整により第３電極１５６の接触位置を眼から離間させることができる。また、本実施例において、各電極の位置は前述した位置に限られず、眼の垂直方向及び水平方向の動きを示す眼電位信号が取得できる位置に配置されていればよい。
　本実施例では、外部装置３００の例として、処理装置２００と別体の、携帯電話及びスマートフォン等の携帯通信端末を挙げて説明した。しかし、これに限定されない。外部装置３００を、処理装置２００と一体のユニットとしてもよい。この場合、外部装置３００は、アイウエアに一体として設けられる。この場合、処理装置２００の検出部による検出結果の送信は、リアルタイムに検出する度に外部装置３００に送信する場合と、所定時間（例えば、一分間）ごとに検出結果を集計して、集計結果を外部装置３００に送信する場合とがある。
　リアルタイムに検出結果が送信されることにより、早期に詳細な分析を行うことができる。
　所定時間ごとに集計結果が送信されることにより、まとめてデータを送信するため消費電力を低減させることができる。
　また、本実施例では、電線としてシールドケーブルを用いることで、ノイズの混入を防ぐようにしてもよい。
　また、本実施例では、図１において３つの電極を用いる構成を例示したが、４つ以上の電極を用いる構成であってもよい。この場合、メガネは、上部電極と、下部電極と、左部電極と、右部電極とを有する。例えば、上部電極及び下部電極は、図１に示すリム１２２に設けられ、左部電極は、左テンプル１３０に設けられ、右部電極は、右テンプル１３０に設けられるが、必ずしもこの位置にある必要はない。なお、これらの電極は、顔の一部に接触しているとする。
　４つの電極の例では、上部電極及び下部電極の電圧差により、眼の上下方向を検知することができ、左部電極及び右部電極の電圧差により、眼の左右方向を検知することができる。
　以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
１００　メガネ
１２０　フレーム
１２４　眉間部
１４０　ノーズパッド
１５２　第１電極
１５４　第２電極
１５６　第３電極
２００　処理装置
３００　外部装置
３２０　記憶部
３３０　制御部
３４０　取得部
３５０　算出部
３５２　差分算出部
３５４　極値算出部
３６０　判定部
３７０　検出部

Claims (9)

  1. 　コンピュータが、
    　対象者の眼周辺に接触する各電極により検出される眼電位に関する眼電位関連信号を取得する取得ステップと、
    　前記眼電位関連信号の極値と、該極値以前の極値との極値差信号を算出する第１算出ステップと、
    　前記極値差信号に基づいて、視線移動又は瞬目を検出する検出ステップと、
    　を実行する信号処理方法。
  2. 　前記極値差信号の値が第１所定範囲内の場合に、前記視線移動の検出処理を行うと判定し、前記極値差信号の値が前記第１所定範囲の上限値を超えた場合に、前記瞬目の検出処理を行うと判定する第１判定ステップを、前記コンピュータがさらに実行する、請求項１に記載の信号処理方法。
  3. 　前記極値差信号の極大値及び極小値を算出する第２算出ステップと、
    　前記極大値及び／又は前記極小値に関する所定条件が満たされるか否かに基づいて、瞬目の検出処理及び視線移動の検出処理のいずれの検出処理を行うかを判定する第２判定ステップと、を前記コンピュータがさらに実行し、
    　前記検出ステップは、
    　前記検出処理の判定結果に基づく検出処理を行う、請求項１又は２に記載の信号処理方法。
  4. 　前記所定条件は、前記極大値と前記極小値との比が、第２所定範囲に含まれることであり、
    　前記第２判定ステップは、
    　前記比が前記第２所定範囲に含まれる場合、前記瞬目の検出処理を行うと判定し、前記比が前記第２所定範囲に含まれない場合、前記視線移動の検出処理を行うと判定する、請求項３に記載の信号処理方法。
  5. 　前記所定条件は、前記極大値又は前記極小値に関する前記極値差信号の値から前記極値差信号の所定値までに要する時間が、所定時間以内であることであり、
    　前記第２判定ステップは、
    　前記時間が前記所定時間以内である場合、前記瞬目の検出処理を行うと判定し、前記時間が前記所定時間以内ではない場合、前記視線移動の検出処理を行うと判定する、請求項３又は４に記載の信号処理方法。
  6. 　前記検出ステップは、
    　前記極値差信号の１つ又は複数の閾値及び／又は前記極値差信号の極大値及び極小値に関する所定条件に基づいて、視線移動又は瞬目を検出する、請求項１に記載の信号処理方法。
  7. 　コンピュータに、
    　対象者の眼周辺に接触する各電極により検出される眼電位に関する眼電位関連信号を取得する取得ステップと、
    　前記眼電位関連信号の極値と、該極値以前の極値との極値差信号を算出する第１算出ステップと、
    　前記極値差信号に基づいて、視線移動又は瞬目を検出する検出ステップと、
    　を実行させるプログラム。
  8. 　対象者の眼周辺に接触する各電極により検出される眼電位に関する眼電位関連信号を取得する取得部と、
    　前記眼電位関連信号の極値と、該極値以前の極値との極値差信号を算出する第１算出部と、
    　前記極値差信号に基づいて、視線移動又は瞬目を検出する検出部と、
    　を備える情報処理装置。
  9. 　フレームと、
    　前記フレームに設けられ、対象者の眼周辺に接触する少なくとも３つの電極と、
    　対象者の眼周辺に接触する各電極により検出される眼電位に関する眼電位関連信号を取得する取得部と、
    　前記眼電位関連信号の極値と、該極値以前の極値との極値差信号を算出する第１算出部と、
    　前記極値差信号に基づいて、視線移動又は瞬目を検出する検出部と、
    　を備えるアイウエア。
     
PCT/JP2016/058972 2015-03-26 2016-03-22 信号処理方法、プログラム、情報処理装置及びアイウエア WO2016152849A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015064583A JP2018082727A (ja) 2015-03-26 2015-03-26 信号処理方法、プログラム、情報処理装置及びアイウエア
JP2015-064583 2015-03-26

Publications (1)

Publication Number Publication Date
WO2016152849A1 true WO2016152849A1 (ja) 2016-09-29

Family

ID=56978589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058972 WO2016152849A1 (ja) 2015-03-26 2016-03-22 信号処理方法、プログラム、情報処理装置及びアイウエア

Country Status (2)

Country Link
JP (1) JP2018082727A (ja)
WO (1) WO2016152849A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142008A1 (ja) * 2008-05-20 2009-11-26 パナソニック株式会社 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路
JP2010205099A (ja) * 2009-03-05 2010-09-16 Univ Of Miyazaki 眼電位を用いたマウスカーソル制御システム
JP2013244370A (ja) * 2012-05-29 2013-12-09 Jin Co Ltd アイウエア
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142008A1 (ja) * 2008-05-20 2009-11-26 パナソニック株式会社 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路
JP2010205099A (ja) * 2009-03-05 2010-09-16 Univ Of Miyazaki 眼電位を用いたマウスカーソル制御システム
JP2013244370A (ja) * 2012-05-29 2013-12-09 Jin Co Ltd アイウエア
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー

Also Published As

Publication number Publication date
JP2018082727A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
US9706941B2 (en) Eyewear
US20160070122A1 (en) Computerized replacement temple for standard eyewear
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
TWI466655B (zh) 可偵測眼動訊號之影像控制系統
US20180064371A1 (en) Posture detection apparatus, glasses-type electronic device, posture detection method, and program
CN110366388B (zh) 信息处理方法、信息处理装置以及计算机可读存储介质
WO2016093096A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6687639B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2015159861A1 (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
WO2015159851A1 (ja) 検出ユニット、アイウエア、及び眼電位検出システム
JP6594953B2 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
JP6699308B2 (ja) ウェアラブル生体計測装置
WO2016152849A1 (ja) 信号処理方法、プログラム、情報処理装置及びアイウエア
WO2017064800A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6556860B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
WO2017064799A1 (ja) アイウエア
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
WO2017150148A1 (ja) 瞬目検出装置、眼鏡型電子機器、瞬目検出方法およびプログラム
JP5689206B1 (ja) アイウエア
JP2017192548A (ja) アイウエア、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16768752

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16768752

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP