JP2021089544A - Information processing system and program - Google Patents
Information processing system and program Download PDFInfo
- Publication number
- JP2021089544A JP2021089544A JP2019219153A JP2019219153A JP2021089544A JP 2021089544 A JP2021089544 A JP 2021089544A JP 2019219153 A JP2019219153 A JP 2019219153A JP 2019219153 A JP2019219153 A JP 2019219153A JP 2021089544 A JP2021089544 A JP 2021089544A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- content
- brain wave
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 40
- 210000004556 brain Anatomy 0.000 claims abstract description 167
- 230000008921 facial expression Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 description 59
- 210000001508 eye Anatomy 0.000 description 55
- 238000010801 machine learning Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 32
- 210000003205 muscle Anatomy 0.000 description 28
- 230000006870 function Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 26
- 230000003595 spectral effect Effects 0.000 description 26
- 230000004397 blinking Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 16
- 210000003296 saliva Anatomy 0.000 description 16
- 210000000613 ear canal Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 12
- 210000003128 head Anatomy 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 230000009747 swallowing Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 210000001061 forehead Anatomy 0.000 description 6
- 241000167880 Hirundinidae Species 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 210000000624 ear auricle Anatomy 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000012212 insulator Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 210000001097 facial muscle Anatomy 0.000 description 3
- 229940028444 muse Drugs 0.000 description 3
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 210000003784 masticatory muscle Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000018984 mastication Effects 0.000 description 1
- 238000010077 mastication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0006—ECG or EEG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
- A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Neurosurgery (AREA)
- Dermatology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Otolaryngology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理システム及びプログラムに関する。 The present invention relates to information processing systems and programs.
次世代のユーザインタフェースとして脳波の活用が期待されている。 The use of brain waves is expected as a next-generation user interface.
脳波をユーザインタフェースとして使用するには、意図的に特定の脳波を作り分ける必要があるが、再現性を高めるには特別な訓練が必要とされる。また、医療分野で規定されている測定点以外の位置で脳波を測定することも研究されているが、ユーザの意図との対応付けの精度は低い。このため、初期のユーザインタフェースでは、測定される脳波を補完して操作の精度を向上させる仕組みが必要になると考えられる。 In order to use brain waves as a user interface, it is necessary to intentionally create specific brain waves, but special training is required to improve reproducibility. In addition, measurement of brain waves at positions other than the measurement points specified in the medical field has also been studied, but the accuracy of association with the user's intention is low. Therefore, in the initial user interface, it is considered that a mechanism for complementing the measured electroencephalogram to improve the operation accuracy is required.
本発明は、脳波だけを用いる場合に比して、機器の操作の精度を向上させることを目的とする。 An object of the present invention is to improve the accuracy of operation of a device as compared with the case where only brain waves are used.
請求項１に記載の発明は、ユーザの脳波の特徴と、当該脳波を検出しているときに検出される、当該脳波とは異なる生体情報の特徴との組み合わせに応じて機器を操作する指示を決定するプロセッサを有する、情報処理システムである。
請求項２に記載の発明は、前記生体情報は、ユーザの頭部に接触する電極で測定される、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記生体情報は耳部に接触する電極で測定される、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記プロセッサは、前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値より低い間、前記生体情報の特徴に応じて特定される操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システムである。
請求項５に記載の発明は、前記プロセッサは、前記生体情報の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第２の閾値より低い場合、前記プロセッサは、ユーザの音声による指示を前記機器の操作に使用する、請求項４に記載の情報処理システムである。
請求項６に記載の発明は、前記プロセッサは、前記脳波の特徴と、前記生体情報の特徴と、ユーザが実際に行った操作の結果とを教師データとして学習された学習済みモデルを使用し、前記機器を操作する指示を決定する、請求項１に記載の情報処理システムである。
請求項７に記載の発明は、前記学習済みモデルは、ユーザ別に生成される、請求項６に記載の情報処理システムである。
請求項８に記載の発明は、ユーザが実際に行った前記操作の結果には、ユーザの音声による指示が使用される、請求項６に記載の情報処理システムである。
請求項９に記載の発明は、前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値より低い場合、又は、前記生体情報の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第２の閾値より低い場合、前記プロセッサは、ユーザの音声による指示を前記機器の操作に使用する、請求項６に記載の情報処理システムである。
請求項１０に記載の発明は、前記生体情報の特徴は、ユーザによる意図的な身体の動きに由来する、請求項１〜９のうちいずれか１項に記載の情報処理システムである。
請求項１１に記載の発明は、前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値を超えた場合、前記プロセッサは、当該脳波の特徴に応じて定まる操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システムである。
請求項１２に記載の発明は、前記脳波の特徴と前記生体情報の特徴が共起する確率が予め定めた第３の閾値を超えた状態で、当該生体情報に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第４の閾値を超えた場合、前記プロセッサは、当該脳波の特徴に応じて定まる操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システムである。
請求項１３に記載の発明は、前記脳波の特徴は、非接触に測定される、請求項１に記載の情報処理システムである。
請求項１４に記載の発明は、前記生体情報の特徴は、ユーザの表情に関する情報である、請求項１３に記載の情報処理システムである。
請求項１５に記載の発明は、前記生体情報の特徴は、ユーザの視線の方向に関する情報である、請求項１３に記載の情報処理システムである。
請求項１６に記載の発明は、請求項１に記載の情報処理システムは、ユーザが装着して使用するデバイスである。
請求項１７に記載の発明は、請求項１に記載の情報処理システムは、ユーザが装着するデバイスと通信可能に接続されたコンピュータである。
請求項１８に記載の発明は、コンピュータに、ユーザの脳波の特徴と、当該脳波を検出しているときに検出される、当該脳波とは異なる生体情報の特徴を検出する機能と、前記脳波の特徴と前記生体情報の特徴の組み合わせに応じて操作を決定する機能とを実行させるプログラムである。
The invention according to
The invention according to claim 2 is the information processing system according to
The invention according to claim 3 is the information processing system according to claim 2, wherein the biological information is measured by an electrode in contact with the ear portion.
According to the fourth aspect of the present invention, the processor uses the biometric information while the concordance rate between the content of the operation determined according to the characteristics of the brain wave and the result of the actually executed operation is lower than the first threshold value. The information processing system according to
According to the fifth aspect of the present invention, when the processor has a concordance rate between the content of the operation determined according to the characteristics of the biometric information and the result of the actually executed operation lower than the second threshold value, the processor is used. The information processing system according to claim 4, wherein a user's voice instruction is used for operating the device.
In the invention according to claim 6, the processor uses a trained model in which the characteristics of the brain wave, the characteristics of the biometric information, and the result of the operation actually performed by the user are learned as teacher data. The information processing system according to
The invention according to
The invention according to claim 8 is the information processing system according to claim 6, wherein a voice instruction of the user is used as a result of the operation actually performed by the user.
The invention according to claim 9 is based on the case where the concordance rate between the content of the operation determined according to the characteristics of the brain wave and the result of the actually executed operation is lower than the first threshold value, or the characteristics of the biometric information. According to claim 6, when the concordance rate between the content of the operation determined accordingly and the result of the actually executed operation is lower than the second threshold value, the processor uses the user's voice instruction to operate the device. The information processing system described.
The invention according to
According to the eleventh aspect of the present invention, when the concordance rate between the content of the operation determined according to the characteristics of the brain wave and the result of the actually executed operation exceeds the first threshold value, the processor causes the brain wave. The information processing system according to
The invention according to claim 12 is the content and practice of an operation determined according to the biological information in a state where the probability that the characteristics of the brain wave and the characteristics of the biological information coexist exceeds a predetermined third threshold value. The first aspect of the present invention, wherein when the concordance rate with the result of the operation executed in 1 exceeds the fourth threshold value, the processor uses the content of the operation determined according to the characteristics of the brain wave for the operation of the device. Information processing system.
The invention according to claim 13 is the information processing system according to
The information processing system according to claim 13, wherein the feature of the biometric information is information regarding a user's facial expression.
The information processing system according to
The invention according to claim 16 is a device that the user wears and uses the information processing system according to
The invention according to claim 17 is a computer in which the information processing system according to
The invention according to
請求項１記載の発明によれば、脳波だけを用いる場合に比して、機器の操作の精度を向上できる。
請求項２記載の発明によれば、電気信号として測定可能な生体情報を用いて操作の精度を高めることができる。
請求項３記載の発明によれば、測定に用いる機器の装着についてユーザの抵抗感を低減できる。
請求項４記載の発明によれば、脳波だけを用いる場合に比して、機器の操作の精度を向上できる。
請求項５記載の発明によれば、生体情報の特徴の精度が低い場合にも、機器の操作の精度を向上できる。
請求項６記載の発明によれば、学習を繰り返すことで、機器の操作の精度を向上できる。
請求項７記載の発明によれば、汎用的な学習済みモデルを用いる場合に比して、機器の操作の精度を向上できる。
請求項８記載の発明によれば、操作の対象である機器から操作の結果を収集できない場合にも、機器の操作の精度を向上できる。
請求項９記載の発明によれば、一致率が低い間は、ユーザの音声の指示を優先し、操作信号の精度の低下を回避できる。
請求項１０記載の発明によれば、意図的に身体の動きを組み合わせることで機器の操作の精度を向上できる。
請求項１１記載の発明によれば、一致率が高くなった後は脳波だけで操作できる。
請求項１２記載の発明によれば、一致率が高くなった後は脳波だけで操作できる。
請求項１３記載の発明によれば、非接触に脳波が測定される場合にも、機器の操作の精度を向上できる。
請求項１４記載の発明によれば、音声を用いなくても、機器の操作の精度を向上できる。
請求項１５記載の発明によれば、音声を用いなくても、機器の操作の精度を向上できる。
請求項１６記載の発明によれば、通信状況が悪い場所でも使用できる。
請求項１７記載の発明によれば、装置構成の制約を少なくできる。
請求項１８記載の発明によれば、脳波だけを用いる場合に比して、機器の操作の精度を向上できる。
According to the invention of
According to the invention of claim 2, the accuracy of operation can be improved by using biometric information that can be measured as an electric signal.
According to the invention of claim 3, it is possible to reduce the user's feeling of resistance when mounting the device used for measurement.
According to the invention of claim 4, the accuracy of operation of the device can be improved as compared with the case where only brain waves are used.
According to the invention of
According to the invention of claim 6, the accuracy of operation of the device can be improved by repeating the learning.
According to the invention of
According to the invention of claim 8, the accuracy of the operation of the device can be improved even when the result of the operation cannot be collected from the device to be operated.
According to the invention of claim 9, while the matching rate is low, the user's voice instruction can be prioritized and the deterioration of the accuracy of the operation signal can be avoided.
According to the invention of
According to the invention of claim 11, after the concordance rate is high, the operation can be performed only by the brain wave.
According to the invention of claim 12, after the concordance rate becomes high, it can be operated only by brain waves.
According to the thirteenth aspect of the present invention, the accuracy of operation of the device can be improved even when the brain wave is measured in a non-contact manner.
According to the invention of
According to the invention of
According to the invention of claim 16, it can be used even in a place where the communication condition is bad.
According to the invention of claim 17, restrictions on the device configuration can be reduced.
According to the invention of
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する脳波操作システム１の概略構成を示す図である。
図１に示す脳波操作システム１は、外耳孔を塞ぐように装着されるイヤホン１０と、イヤホン１０と無線で接続される情報端末２０と、ユーザが操作の対象とする機器（以下「操作対象機器」という）３０とで構成されている。
本実施の形態におけるイヤホン１０と情報端末２０は、情報処理システムの一例である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<
<System configuration>
FIG. 1 is a diagram showing a schematic configuration of an
The
The
本実施の形態におけるイヤホン１０は、情報端末２０から受信される音を再生する回路に加え、脳の活動に起因する電気的な信号（以下「脳波」という）を測定する回路を内蔵する。
本実施の形態で使用するイヤホン１０は、ワイヤレス型のデバイスである。このため、イヤホン１０は、無線通信により、情報端末２０と接続される。
本実施の形態では、イヤホン１０と情報端末２０との無線接続にブルートゥース（登録商標）を使用する。なお、無線接続には、ＷｉＦｉ（登録商標）その他の通信規格を用いることも可能である。もっとも、イヤホン１０と情報端末２０をケーブルで接続することも可能である。
The
The
In this embodiment, Bluetooth (registered trademark) is used for wireless connection between the
情報端末２０は、イヤホン１０から受信されるデジタル信号を処理してユーザが望む操作の内容を推定し、推定された操作を指示する信号（以下「操作信号」という）を操作対象機器３０に送信する。図１の例では、情報端末２０としてスマートフォンを想定している。もっとも、情報端末２０は、タブレット端末やノート型のコンピュータでもよく、ウェアラブルコンピュータ等でもよい。
図１の場合、ユーザが念じた「電源オン」に対応する操作信号を操作対象機器３０に送信している。操作対象機器３０への操作信号の送信には、赤外線の使用の他、ＬＰＷＡ（＝Low Power Wide Area）等の既存の通信方式の使用も可能である。ＬＰＷＡは、ＩｏＴ通信に使用される通信方式の一例である。
The
In the case of FIG. 1, the operation signal corresponding to the "power on" that the user has in mind is transmitted to the
本実施の形態における操作対象機器３０は、外部からの信号を受信して内部の動作を制御する機能を備える機器であればよい。操作対象機器３０は、例えば赤外線の受光部を有する機器、ＩｏＴ（＝Internet of Things）通信に対応する機器をいう。
図１の場合、操作対象機器３０は、ユーザの念じた「電源オン」に対応する操作信号を情報端末２０から受信する。
The
In the case of FIG. 1, the
まず、脳波の測定にイヤホン１０を用いる理由について説明する。
脳波を用いるインタフェースの普及を考える場合、脳波を計測していることが明らかなデバイスの装着は、ユーザの支持を受けられない可能性がある。例えばヘルメット型のデバイスは、デザイン性の観点からも、身体への負担の観点からもユーザの支持を得られない可能性がある。
以上の理由に鑑み、本実施の形態では、脳波を測定するデバイスとしてイヤホン１０を使用する。イヤホン１０は、いわゆるオーディオ機器として普及しているため、その装着に対する心理的な抵抗は少ないと考えられる。
First, the reason why the
When considering the widespread use of interfaces that use brain waves, wearing a device that is clearly measuring brain waves may not be supported by the user. For example, a helmet-type device may not be supported by the user from the viewpoint of design and the burden on the body.
In view of the above reasons, in the present embodiment, the
また、イヤホン１０が装着される外耳孔は、脳に近いため、脳波の測定にも好都合である。イヤホン１０で脳波の測定が可能なことは、後述する実験結果の項で説明する。なお、外耳孔は、耳部の一例である。本実施の形態の場合、耳部は、耳介と外耳孔を含む。
この他、イヤホン１０には、不図示のスピーカが内蔵されるため、ユーザに対する情報の伝達にも都合がよい。
加えて、イヤホン１０が装着される耳部は、ユーザの口にも近く、ユーザの発する声の検出にも好都合である。
Further, since the external ear canal to which the
In addition, since the
In addition, the ear portion on which the
＜イヤホン１０の構成＞
図２は、実施の形態１で使用するイヤホン１０の外観構成の一例を説明する図である。
イヤホン１０は、外耳孔に挿入されるイヤホンチップ１１Ｒ及び１１Ｌと、イヤホンチップ１１Ｒ及び１１Ｌが取り付けられるイヤホン本体１２Ｒ及び１２Ｌと、耳介と側頭との隙間に装着されるイヤーフック１３Ｒ及び１３Ｌと、イヤホン本体１２Ｒ及び１２Ｌを接続するケーブル１４と、電源ボタンやボリュームボタンが配置されたコントローラ１５とで構成されている。
図中のＲはユーザの右耳側に位置することを示し、Ｌはユーザの左耳側に位置することを示す。
<Configuration of
FIG. 2 is a diagram illustrating an example of the appearance configuration of the
The
In the figure, R indicates that it is located on the right ear side of the user, and L indicates that it is located on the left ear side of the user.
本実施の形態におけるイヤホンチップ１１Ｒは、外耳孔に挿入され、外耳孔の内壁に接触されるドーム状の電極１１Ｒ１と、耳甲介腔に接触されるリング状の電極１１Ｒ２とで構成される。
本実施の形態における電極１１Ｒ１と電極１１Ｒ２は、いずれも導電性ゴムで構成される。皮膚に現れる電気信号を測定するためである。なお、電極１１Ｒ１と電極１１Ｒ２とは、絶縁体により電気的に分離されている。
The
Both the electrode 11R1 and the electrode 11R2 in the present embodiment are made of conductive rubber. This is to measure the electrical signal that appears on the skin. The electrode 11R1 and the electrode 11R2 are electrically separated by an insulator.
本実施の形態の場合、電極１１Ｒ１は、脳波（ＥＥＧ：ElectroEncephaloGram）と脳波以外の生体情報を含む電位変動の測定に用いられる端子（以下「ＥＥＧ測定用端子」という）である。本実施の形態では、脳波以外の生体情報として、目、鼻、口、眉等の表情に関係する筋肉（以下「表情筋」という）、咀嚼運動に使用する筋肉（以下「咀嚼筋」という）、飲み込むときに使用する筋肉（以下「舌骨筋」という）等の動きに伴う電気信号の成分を活用する。
なお、電極１１Ｒ２は、接地電極（以下「ＧＮＤ端子」ともいう）である。
In the case of the present embodiment, the electrode 11R1 is a terminal used for measuring an electroencephalogram (EEG: ElectroEncephaloGram) and a potential fluctuation including biological information other than the electroencephalogram (hereinafter referred to as “EEG measurement terminal”). In the present embodiment, as biological information other than brain waves, muscles related to facial expressions such as eyes, nose, mouth, and eyebrows (hereinafter referred to as "facial muscles") and muscles used for masticatory movement (hereinafter referred to as "masticatory muscles"). , Utilize the components of electrical signals that accompany the movement of muscles used when swallowing (hereinafter referred to as "tongue bone muscles").
The electrode 11R2 is a ground electrode (hereinafter, also referred to as a “GND terminal”).
一方、イヤホンチップ１１Ｌは、外耳孔に挿入され、外耳孔の内壁に接触されるドーム状の電極１１Ｌ１で構成される。本実施の形態の場合、電極１１Ｌ１は、基準電位（ＲＥＦ：REFerence）の測定に用いられる端子（以下「ＲＥＦ端子」という）である。もっとも、本実施の形態の場合、電極１１Ｒ２と電極１１Ｌ１は電気的に短絡されている。
後述するように、本実施の形態の場合、脳波と脳波以外の生体情報を含む電位変動は、電極１１Ｒ１と電極１１Ｌ１で測定された電気信号の差分信号として測定される。
以下では、脳波と脳波以外の生体情報を含む電位変動を総称する場合、「脳波等の生体情報」という。
On the other hand, the
As will be described later, in the case of the present embodiment, the potential fluctuation including the electroencephalogram and biological information other than the electroencephalogram is measured as a difference signal between the electric signals measured by the electrodes 11R1 and 11L1.
Hereinafter, when the potential fluctuation including the electroencephalogram and the biological information other than the electroencephalogram is generically referred to, it is referred to as "electroencephalogram and other biological information".
なお、脳科学の分野において、脳波以外に由来する全ての電位変動は、アーチファクトと呼ばれる。脳科学の分野では、脳波を測定した電気信号には、アーチファクトが必ず含まれると考えられている。
アーチファクトに含まれる成分は、生体に由来する成分、電極等の測定系に由来する成分、外部の機会や環境に由来する成分に分類される。これら３つの成分のうち生体に由来する成分以外は、イヤホン１０で測定される雑音として測定することが可能である。雑音は、電極１１Ｒ１と電極１１Ｌ１を電気的に短絡した状態における電気信号として測定することが可能である。
In the field of brain science, all potential fluctuations derived from other than brain waves are called artifacts. In the field of brain science, it is believed that electrical signals that measure brain waves always contain artifacts.
The components contained in the artifact are classified into components derived from a living body, components derived from a measurement system such as an electrode, and components derived from an external opportunity or environment. Of these three components, components other than those derived from the living body can be measured as noise measured by the
本実施の形態におけるイヤホン本体１２Ｒには、脳波等の生体信号に対応するデジタル信号を生成する回路、不図示のマイクから出力される電気信号からオーディオデータを生成する回路、情報端末２０（図１参照）から受信されたオーディオデータを復号して不図示のスピーカに出力する処理を実行する回路等が内蔵されている。
一方、イヤホン本体１２Ｌには、バッテリが内蔵されている。
The
On the other hand, the
図３は、実施の形態１で使用するイヤホン１０の内部構成の一例を説明する図である。
図３には、イヤホン１０のうちイヤホン本体１２Ｒ及び１２Ｌの内部構成が表されている。
本実施の形態の場合、イヤホン本体１２Ｒは、デジタル脳波計１２１と、マイク１２２と、スピーカ１２３と、６軸センサ１２４と、ブルートゥースモジュール１２５と、半導体メモリ１２６と、ＭＰＵ（＝Micro Processing Unit）１２７を有している。
FIG. 3 is a diagram illustrating an example of the internal configuration of the
FIG. 3 shows the internal configurations of the
In the case of the present embodiment, the
デジタル脳波計１２１は、電極１１Ｒ１と電極１１Ｌ１に現れる電位変動を差動増幅する差動アンプと、差動アンプの出力をサンプリング処理するサンプリング回路と、サンプリング後のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路とを含んでいる。本実施の形態の場合、サンプリングレートは６００Ｈｚである。また、アナログ／デジタル変換回路の分解能は１６ビットである。
マイク１２２は、ユーザが発する音声で振動する振動板と、振動板の振動を電気信号に変換するボイスコイルと、電気信号を増幅するアンプとを含んでいる。なお、アンプから出力される電気信号のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路が別途用意される。
The digital
The
スピーカ１２３は、振動板と、オーディオデータに応じた電流が流れることで振動板を振動させるボイスコイルとを含んでいる。なお、ＭＰＵ１２７から入力されるオーディオデータは、デジタル／アナログ変換回路によりアナログ信号に変換される。
６軸センサ１２４は、３軸の加速度センサと３軸のジャイロセンサで構成される。６軸センサ１２４は、ユーザの姿勢の検知に用いられる。
ブルートゥースモジュール１２５は、情報端末２０（図１参照）との間でデータを送受信するために用いられる。本実施の形態の場合、ブルートゥースモジュール１２５は、デジタル脳波計１２１が出力するデジタル信号やマイク１２２で取得されたオーディオデータの情報端末２０への送信に用いられる他、情報端末２０からのオーディオデータの受信にも用いられる。
The
The 6-
The
半導体メモリ１２６は、例えばＢＩＯＳ（＝Basic Input Output System）が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、書き換えが可能な不揮発性のメモリ（以下「フラッシュメモリ」という）で構成される。
本実施の形態の場合、フラッシュメモリは、デジタル脳波計１２１の出力であるデジタル信号の記憶、マイク１２２で取得されたオーディオデータの記憶、情報端末２０から受信されたオーディオデータの記憶等に用いられる。
The
In the case of the present embodiment, the flash memory is used for storing a digital signal which is an output of a digital
ＭＰＵ１２７は、情報端末２０との間におけるデジタル信号の送受信の制御、情報端末２０に送信するデジタル信号の処理、情報端末２０から受信したデジタル信号の処理等を実行する。本実施の形態の場合、ＭＰＵ１２７は、デジタル脳波計１２１が出力するデジタル信号に対するフーリエ変換等の処理を実行する。なお、ＭＰＵ１２７と半導体メモリ１２６はコンピュータとして動作する。
一方、イヤホン本体１２Ｌには、リチウムバッテリ１２８が内蔵されている。
The
On the other hand, the
＜情報端末２０の構成＞
図４は、実施の形態１で使用する情報端末２０の内部構成の一例を示す図である。
なお、図４では、情報端末２０を構成するデバイスのうち、脳波等の生体情報から操作対象機器３０（図１参照）を操作する操作信号の生成に関連するデバイスを抜き出して表している。
図４に示す情報端末２０は、ブルートゥースモジュール２０１と、ＭＰＵ２０２と、半導体メモリ２０３と、ワイヤレスＩｏＴモジュール２０４とを有している。
<Configuration of
FIG. 4 is a diagram showing an example of the internal configuration of the
Note that, in FIG. 4, among the devices constituting the
The
ブルートゥースモジュール２０１は、イヤホン１０に設けられているブルートゥースモジュール１２５との通信に用いられる。
ＭＰＵ２０２は、イヤホン１０（図１参照）より受信されたデジタル信号から脳波の情報（以下「脳波情報」という）と脳波以外の生体情報とを取得し、操作対象機器３０（図１参照）に対する操作の内容を推定する機能を実行する。ここでの機能はアプリケーションプログラムの実行を通じて実現される。
図４に示すＭＰＵ２０２は、イヤホン１０より受信されたデジタル信号から脳波情報の特徴を取得する脳波情報取得部２２１と、イヤホン１０より受信されたデジタル信号から脳波以外の生体情報の特徴を取得する生体情報取得部２２２と、脳波情報の特徴と脳波以外の生体情報の特徴との組み合わせに応じて操作対象機器３０に対する指示の内容を推定する操作内容推定部２２３として機能する。
The
The
The
脳波情報取得部２２１は、イヤホン１０より受信されたデジタル信号に出現する脳波に特有の波形成分を分離し、分離された波形成分に含まれる脳波情報の特徴を取得する。脳波情報の特徴の取得には、独立成分分析法（Independent Component Analysis：ICA）その他の既知の技術を活用する。脳波情報の特徴には、例えばデジタル信号に出現する脳波に特有の波形成分、波形成分を構成する周波数成分別のスペクトル強度やその分布、波形成分を構成する特定の周波数成分のスペクトル強度、α波の増加率等がある。
The electroencephalogram
生体情報取得部２２２は、ユーザがある操作を念じながら、意図的に動かした頭部の筋肉の動きに起因する電位変動を、脳波以外の生体情報の特徴として取得する。脳波以外の生体情報の特徴には、例えばデジタル信号に出現する脳波以外の生体情報に特有の波形成分、波形成分を構成する周波数成分別のスペクトル強度やその分布、波形成分を構成する特定の周波数成分のスペクトル強度等がある。
本実施の形態において、ユーザがある操作を念じながら、意図的に動かした頭部の筋肉の動きに起因する電位変動を取得するのは、以下の理由による。
The biological
In the present embodiment, the reason why the user acquires the potential fluctuation caused by the movement of the head muscle that is intentionally moved while paying attention to a certain operation is as follows.
前述したように、脳波以外の生体情報は、脳波に起因する電気信号に必ず混在する。このため、脳波以外の生体情報は、脳波情報の測定を妨げる情報と考えられてきた。
また、特定の操作を念じること自体は容易でも、操作の内容に応じた特定の脳波を意図的に発生させることは必ずしも容易ではない。しかも、その脳波を高い再現性で出力できるようになるには、訓練が必要とされる。さらに、任意のユーザが共通の脳波を再現することの困難性も指摘されている。
一方で、ユーザが特定の筋肉を意図的に動かすことは、特定の脳波を出力することに比して格段に容易である。すなわち、特定の生体情報の特徴を出現させることは、ユーザにとってハードルが低いと考えられる。
そこで、本実施の形態では、ユーザが意図的に動かすことが可能な頭部の筋肉の動きに起因して出現する電気信号を生体情報の特徴として取得し、取得された特徴により脳波情報の特徴を補完することを考える。
As described above, biological information other than brain waves is always mixed with electrical signals caused by brain waves. Therefore, biological information other than brain waves has been considered to be information that hinders the measurement of brain wave information.
Further, although it is easy to think about a specific operation, it is not always easy to intentionally generate a specific brain wave according to the content of the operation. Moreover, training is required to be able to output the brain waves with high reproducibility. Furthermore, it has been pointed out that it is difficult for any user to reproduce a common brain wave.
On the other hand, it is much easier for the user to intentionally move a specific muscle than to output a specific brain wave. That is, it is considered that the appearance of a specific feature of biometric information is a low hurdle for the user.
Therefore, in the present embodiment, an electric signal appearing due to the movement of the muscles of the head that can be intentionally moved by the user is acquired as a feature of biological information, and the feature of the brain wave information is based on the acquired feature. Consider complementing.
図５は、ユーザが特定の操作を念じながら行う意図的な筋肉の動きの一例を説明する図である。図５においては、唾液の飲み込みを伴う顎の動作を例示している。前述したように、特定の脳波の出力には訓練や慣れが必要とされるが、多くのユーザは、意図的に唾液を飲み込むことが可能である。また、筋肉の動きに伴う電気信号は、後述するように、脳波の波形に比して振幅が大きく脳波情報との区別が容易である。さらに、筋肉の動きに伴う電気信号は断続的であり、筋肉が動いていない間は脳波情報の測定を妨げない。
このため、ユーザが特定の操作を念じている間に出現する脳波情報の特徴と並行に、脳波以外の生体情報の特徴を取得することも可能である。
FIG. 5 is a diagram illustrating an example of intentional muscle movement performed by the user while paying attention to a specific operation. FIG. 5 illustrates the movement of the jaw accompanied by swallowing saliva. As mentioned above, the output of specific brain waves requires training and familiarity, but many users can intentionally swallow saliva. Further, as will be described later, the electric signal accompanying the movement of the muscle has a larger amplitude than the waveform of the electroencephalogram and can be easily distinguished from the electroencephalogram information. Furthermore, the electrical signals associated with muscle movement are intermittent and do not interfere with the measurement of EEG information while the muscles are not moving.
Therefore, it is possible to acquire the characteristics of biometric information other than the electroencephalogram in parallel with the characteristics of the electroencephalogram information that appears while the user is thinking about a specific operation.
図４の説明に戻る。
本実施の形態における操作内容推定部２２３は、脳波情報の特徴と脳波以外の生体情報の特徴のそれぞれについて用意されている対応関係テーブルの参照により各特徴に対応する操作の内容を推定し、予め定めた規則に基づいて特定した操作の内容を操作信号としてワイヤレスＩｏＴモジュール２０４に出力する。
予め定めた規則に基づいて操作の内容を特定する方法には、幾つかの方法がある。
例えば脳波情報の特徴から操作の内容を推定できた場合、推定された操作の内容を脳波以外の生体情報の特徴から推定される操作の内容に優先する方法がある。
また、操作信号を操作対象機器３０（図１参照）に出力する前に、脳波情報の特徴から推定された操作の内容の正誤をユーザに確認する方法もある。
Returning to the description of FIG.
The operation
There are several methods for specifying the content of an operation based on a predetermined rule.
For example, when the content of the operation can be estimated from the characteristics of the electroencephalogram information, there is a method in which the content of the estimated operation is prioritized over the content of the operation estimated from the characteristics of the biological information other than the electroencephalogram.
There is also a method of confirming with the user the correctness of the operation content estimated from the characteristics of the electroencephalogram information before outputting the operation signal to the operation target device 30 (see FIG. 1).
本実施の形態における半導体メモリ２０３には、操作内容推定部２２３が操作の内容の決定に使用する対応関係テーブル２３１及び２３２が記憶されている。
図６は、実施の形態１で使用する対応関係テーブル２３１及び２３２の例を説明する図である。（Ａ）は脳波情報の特徴用の対応関係テーブル２３１を示し、（Ｂ）は脳波以外の生体情報の特徴用の対応関係テーブル２３２を示す。
対応関係テーブル２３１には、管理番号と、脳波情報の特徴と、対応する操作の内容とが記憶されている。
図６の場合、特徴ＡＡには電源オンが対応付けられ、特徴ＡＢには電源オフが対応付けられている。なお、操作の内容には、操作の対象である操作対象機器３０を特定する情報も含まれる。
In the
FIG. 6 is a diagram illustrating an example of the correspondence tables 231 and 232 used in the first embodiment. (A) shows the correspondence table 231 for the features of the electroencephalogram information, and (B) shows the correspondence table 232 for the features of the biological information other than the electroencephalogram.
The correspondence table 231 stores the management number, the characteristics of the electroencephalogram information, and the contents of the corresponding operation.
In the case of FIG. 6, the feature AA is associated with the power on, and the feature AB is associated with the power off. The content of the operation also includes information that identifies the
対応関係テーブル２３２には、管理番号と、脳波以外の生体情報の特徴と、対応する操作の内容とが記憶されている。
図６の場合、特徴＃１０２には電源オンが対応付けられ、特徴＃１０３には電源オフが対応付けられている。例えば唾液を１回飲み込む場合に出現する特徴を電源オンに対応付け、唾液を２回飲み込む場合に出現する特徴を電源オフに対応付ける。ここでの操作の内容にも、操作の対象である操作対象機器３０を特定する情報が含まれる。
本実施の形態の場合、対応関係テーブル２３２に記憶される対応関係は予め与えられているが、ユーザが新たな対応関係を登録することも可能である。
なお、半導体メモリ２０３は、対応関係テーブル２３１及び２３２以外にも、ＢＩＯＳが記憶されたＲＯＭと、ワークエリアとして用いられるＲＡＭと、フラッシュメモリも含む。
図４の説明に戻る。
本実施の形態の場合、ワイヤレスＩｏＴモジュール２０４は、ＬＰＷＡ等の通信規格に基づいて操作信号を送信する。
The correspondence table 232 stores the control number, the characteristics of biological information other than the electroencephalogram, and the content of the corresponding operation.
In the case of FIG. 6,
In the case of the present embodiment, the correspondence relationship stored in the correspondence relationship table 232 is given in advance, but the user can also register a new correspondence relationship.
In addition to the correspondence tables 231 and 232, the
Returning to the description of FIG.
In the case of this embodiment, the
＜情報端末２０の処理動作＞
以下では、情報端末２０（図１参照）が、ＭＰＵ２０２（図４参照）によるプログラムの実行を通じて実現する処理動作の一例を説明する。
<Processing operation of
Hereinafter, an example of the processing operation realized by the information terminal 20 (see FIG. 1) through the execution of the program by the MPU 202 (see FIG. 4) will be described.
＜処理動作１＞
処理動作１では、脳波情報の特徴に基づく操作の実行前にユーザに操作の内容を確認しない場合について説明する。
図７は、脳波情報を含むデジタル信号を受信した情報端末２０が実行する処理動作の一例を説明するフローチャートである。なお、図中のＳはステップを意味する。
本実施の形態では、脳波情報を含むデジタル情報はイヤホン１０（図１参照）から情報端末２０に送信されている。また、操作対象機器３０（図１参照）の操作を念じるユーザは、特定の操作を念じるのと並行して、同操作に対応する特定の顎の動きを実行する。
<
The
FIG. 7 is a flowchart illustrating an example of a processing operation executed by the
In the present embodiment, digital information including brain wave information is transmitted from the earphone 10 (see FIG. 1) to the
イヤホン１０（図１参照）から脳波情報を含むデジタル信号を受信したＭＰＵ２０２は、受信したデジタル信号から脳波情報の特徴と脳波以外の生体情報の特徴を取得する（ステップ１）。
続いて、ＭＰＵ２０２は、脳波情報の特徴が対応関係テーブル２３１（図６参照）にあるか否かを判定する（ステップ２）。
ステップ２で肯定結果が得られた場合、ＭＰＵ２０２は、脳波情報の特徴に対応する操作の内容を送信する（ステップ３）。
The
Subsequently, the
If an affirmative result is obtained in step 2, the
これに対し、ステップ２で否定結果が得られた場合、ＭＰＵ２０２は、脳波以外の生体情報の特徴が対応関係テーブル２３２（図６参照）にあるか否かを判定する（ステップ４）。
ステップ４で肯定結果が得られた場合、ＭＰＵ２０２は、生体情報の特徴に対応する操作の内容を送信する（ステップ５）。
一方、ステップ４で否定結果が得られた場合、ＭＰＵ２０２は、そのまま処理を終了する。この場合、ユーザは、操作対象機器３０の動作に変化がないことを通じ、操作に失敗したことに気づく。
なお、ステップ４で否定結果が得られた場合には、操作の内容を特定できなかったことをユーザに通知してもよい。ユーザへの通知には、例えば情報端末２０（図１参照）の表示画面へのメッセージの表示やイヤホン１０に設けられたスピーカ１２３（図３参照）からのメッセージの出力を用いる。
On the other hand, when a negative result is obtained in step 2, the
If an affirmative result is obtained in step 4, the
On the other hand, if a negative result is obtained in step 4, the
If a negative result is obtained in step 4, the user may be notified that the content of the operation could not be specified. For the notification to the user, for example, the display of a message on the display screen of the information terminal 20 (see FIG. 1) and the output of the message from the speaker 123 (see FIG. 3) provided in the
この処理動作の場合、脳波による操作に不慣れな間は、主に、ユーザが意図的に動かすことが可能な顎等の筋肉の動きに起因する特徴に基づいて操作対象機器３０を操作することが可能である。
一方で、脳波による操作への慣れにより、意図的に特定の脳波で再現できるようになると、ユーザは、意図的に顎等の筋肉を動かさなくても、操作対象機器３０を操作することが可能になる。
In the case of this processing operation, while unfamiliar with the operation by the brain wave, the
On the other hand, if it becomes possible to intentionally reproduce a specific brain wave by becoming accustomed to the operation by the brain wave, the user can operate the
このように、本実施の形態における脳波操作システム１を用いれば、脳波で操作対象機器３０を操作するために装着するデバイスへの抵抗感を低減させながら、脳波による操作を始められる。また、脳波による操作に慣れるまでは、顎等の筋肉の意図的な動きによって脳波による操作を補完することが可能になる。そして、脳波による操作に慣れた後は、操作を念じながら顎等の筋肉を意図的に動かさなくても、念じた通りの操作が可能になる。
As described above, by using the
＜処理動作２＞
処理動作１は、脳波情報取得部２２１（図４参照）で取得された脳波情報の特徴が対応関係テーブル２３１（図６参照）で見つかった場合には、見つかった特徴と念じた操作の内容との一致を仮定している。
しかし、脳波による操作に不慣れなユーザの場合、念じた操作の内容と出現する脳波情報の特徴とが一致するとは限らない。このため、操作対象機器３０が意図せぬ動作を実行する可能性がある。
<Processing operation 2>
When the feature of the electroencephalogram information acquired by the electroencephalogram information acquisition unit 221 (see FIG. 4) is found in the correspondence table 231 (see FIG. 6), the
However, in the case of a user who is unfamiliar with the operation by the brain wave, the content of the operation carefully and the feature of the appearing brain wave information do not always match. Therefore, the
そこで、処理動作２においては、脳波情報の特徴から推定された操作の内容が操作対象機器３０に送信される前に、推定された操作の内容をユーザに確認する手順を追加する。
図８は、脳波情報を含むデジタル信号を受信した情報端末２０（図１参照）が実行する処理動作の他の一例を説明するフローチャートである。図８には、図７との対応部分に対応する符号を付して示す。
Therefore, in the processing operation 2, a procedure is added for confirming the estimated operation content to the user before the operation content estimated from the characteristics of the electroencephalogram information is transmitted to the
FIG. 8 is a flowchart illustrating another example of the processing operation executed by the information terminal 20 (see FIG. 1) that has received the digital signal including the electroencephalogram information. FIG. 8 is shown with reference numerals corresponding to the portions corresponding to those in FIG. 7.
この処理動作の場合も、イヤホン１０から脳波情報を含むデジタル信号を受信したＭＰＵ２０２は、受信したデジタル信号から脳波情報の特徴と脳波以外の生体情報の特徴を取得する（ステップ１）。
続いて、ＭＰＵ２０２は、脳波情報の特徴が対応関係テーブル２３１にあるか否かを判定する（ステップ２）。
ステップ２で肯定結果が得られた場合、ＭＰＵ２０２は、脳波情報の特徴に対応する操作の内容の正誤をユーザに問い合わせる（ステップ１１）。ここでの問い合わせには、情報端末２０の不図示の表示画面へのメッセージの表示やイヤホン１０に設けられたスピーカ１２３（図３参照）からのメッセージの出力を用いる。例えば「電源オンでいいですか？」等をユーザに問い合わせる。
Also in this processing operation, the
Subsequently, the
If an affirmative result is obtained in step 2, the
ステップ１１の実行後、ＭＰＵ２０２は、正しいとの応答があったか否かを判定する（ステップ１２）。本実施の形態の場合、正誤の応答に、顎等の筋肉の動きを使用する。問い合わせに対する応答の場合、唾液を１回飲み込む動きは「正しい」を意味し、唾液を２回飲み込む動きは「誤り」を意味する。回数の違いは、予め定めた期間内における動きの回数で区別する。
もっとも、いわゆるスマートスピーカのように音声による回答も可能である。ユーザによる「はい」又は「いいえ」の回答は、イヤホン１０に設けられたマイク１２２（図３参照）で取得された後、オーディオデータとして情報端末２０に送信される。ＭＰＵ２０２は、受信された音声による回答を解析し、脳波情報の特徴に対応付けられている操作の内容を使用するか否かを判定する。
After executing step 11, the
However, it is also possible to answer by voice like a so-called smart speaker. The answer of "yes" or "no" by the user is acquired by the microphone 122 (see FIG. 3) provided in the
ステップ１２で肯定結果が得られた場合、ＭＰＵ２０２は、脳波情報の特徴に対応する操作の内容を送信する（ステップ３）。
ステップ１２で否定結果が得られた場合、又は、前述したステップ２で否定結果が得られた場合、ＭＰＵ２０２は、脳波以外の生体情報の特徴が対応関係テーブル２３２にあるか否かを判定する（ステップ４）。ここでの生体情報の特徴は、ステップ１で取得された特徴である。
ステップ４で肯定結果が得られた場合、ＭＰＵ２０２は、生体情報の特徴に対応する操作の内容を送信する（ステップ５）。
一方、ステップ４で否定結果が得られた場合、ＭＰＵ２０２は、そのまま処理を終了する。
If an affirmative result is obtained in step 12, the
If a negative result is obtained in step 12, or if a negative result is obtained in step 2 described above, the
If an affirmative result is obtained in step 4, the
On the other hand, if a negative result is obtained in step 4, the
この処理動作２のように、対応関係テーブル２３１に対応する特徴が見つかった場合でも、操作対象機器３０に操作信号を送信する前に、操作の内容をユーザに確認することにより誤操作が未然に回避される。
この処理動作２は、ユーザによる脳波情報の特徴の再現性が低い期間でも操作の精度の向上が期待される。
なお、本実施の形態では、対応関係テーブル２３１を用いているが、後述する実施の形態で説明するように、入力された特徴に対応する操作の内容を出力する関係を記憶した学習済みモデルを使用することも可能である。
Even if a feature corresponding to the correspondence table 231 is found as in this processing operation 2, erroneous operation can be avoided by confirming the operation content with the user before transmitting the operation signal to the
This processing operation 2 is expected to improve the accuracy of operation even during a period in which the reproducibility of the characteristics of the electroencephalogram information by the user is low.
In this embodiment, the correspondence table 231 is used, but as described in the embodiment described later, a trained model that stores the relation that outputs the contents of the operation corresponding to the input feature is stored. It is also possible to use it.
＜実験結果等＞
以下では、イヤホン１０（図２参照）により、ユーザの脳波情報の取得が可能であることを、第三者による実験の結果や出願人による実験の結果を通じて説明する。
<Experimental results, etc.>
Hereinafter, the fact that the user's electroencephalogram information can be acquired by the earphone 10 (see FIG. 2) will be described through the results of an experiment by a third party and the results of an experiment by the applicant.
＜イヤホン１０との対比に使用するMindWave（NeuroSky社）の信頼性＞
図９は、イヤホン１０を装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセット４０の測定点を説明する図である。
今回の実験では、脳波センサ付きヘッドセット４０として、市場で入手が可能なNeuroSky社のMindWaveを使用した。
前述したように、イヤホン１０は外耳孔を脳波の測定点として使用するのに対し、NeuroSky社のMindWaveは、額４０Ａを脳波の測定点とする。
図９に示す額４０Ａは、脳波の測定に使用する電極配置の国際標準として推奨されている１０−２０法で定める２１個の配置のうちのＦｐ１に相当する。
<Reliability of MindWave (NeuroSky) used for comparison with
FIG. 9 is a diagram illustrating measurement points of a
In this experiment, NeuroSky's MindWave, which is available on the market, was used as the
As described above, the
The forehead 40A shown in FIG. 9 corresponds to Fp1 out of 21 arrangements defined by the 10-20 method recommended as an international standard for electrode arrangements used for measuring brain waves.
MindWaveによって測定される脳波は、医療認定されているＥＥＧシステムと同等であることが、Elena Ratti等の論文「Comparison of Medical and Consumer Wireless EEG Systems for Use in Clinical Trials」（https://www．frontiersin．org/articles/10．3389/fnhum．2017．00398/full）で検証されている。
なお、この論文は、ＵＳデューク大学のPh．DシニアサイエンティストDimiter Dimitrovと、イタリアミラノ工科大学Ph．Dイタリア国立研究評議会（CNR）のMarta Parazziniにより査読掲載されている。
図１０は、論文に掲載されている脳波の計測点を示す図である。
図１０に示すB-AlertとEnobioは、ヨーロッパと米国で医療認定を得ているＥＥＧシステムの名称である。また、MuseとMindWaveは、消費者向けのＥＥＧシステムの名称である。
The brain waves measured by MindWave are equivalent to medically certified EEG systems, according to a paper by Elena Ratti et al., "Comparison of Medical and Consumer Wireless EEG Systems for Use in Clinical Trials" (https://www.frontiersin). .Org / articles / 10.3389 / fnhum. 2017.00398 / full).
This paper is based on Ph.D. of Duke University, USA. D Senior Scientist Dimiter Dimitrov and Polytechnic University of Milan Ph. D Peer-reviewed by Marta Parazzini of the Italian National Research Council (CNR).
FIG. 10 is a diagram showing measurement points of EEG published in a paper.
B-Alert and Enobio shown in FIG. 10 are the names of EEG systems that have been medically certified in Europe and the United States. Muse and MindWave are the names of EEG systems for consumers.
図１０の場合、白丸で示す位置は、医療認定されているＥＥＧシステムでのみ使用する測定点である。これに対し、ＡＦ７、Ａｐ１、ＡＦ８、Ａ１、Ａ２で示す位置は、消費者向けのＥＥＧシステムであるＭｕｓｅでのみ使用する測定点である。そして、Ｆｐ１は、４つのＥＥＧシステムに共通する測定点である。すなわち、Ｆｐ１は、MindWaveの測定点である。なお、測定点のＡ１とＡ２は、耳介と側頭部とで挟まれた部分に当たり、外耳孔ではない。 In the case of FIG. 10, the positions indicated by white circles are measurement points used only in the medically certified EEG system. On the other hand, the positions indicated by AF7, Ap1, AF8, A1 and A2 are measurement points used only in Muse, which is an EEG system for consumers. And Fp1 is a measurement point common to the four EEG systems. That is, Fp1 is a measurement point of Mind Wave. The measurement points A1 and A2 correspond to the portion sandwiched between the auricle and the temporal region, and are not the external ear canal.
論文の詳細については省略するが、安静時の脳波の測定を、５人の健康な被験者を対象として、日を改めて２回行っている。また、同実験では、額部のＦｐ１を共通の測定点とし、目を閉じた状態と目を開いた状態における脳波パターンとパワースペクトル密度が比較されている。この論文における評価は、閉眼時の脳波におけるα波の出力評価に当たる。
また、論文の結論の項には、MindWaveのＦｐ１で測定されるパワースペクトルは、医療認定されているＥＥＧシステムであるB-Alert及びEnobioと再現テストの結果も含めてほぼ同じであり、α波のピークも捉えられたことが記載されている。なお、MindWaveで測定される脳波には、瞬きと開眼中の動きがノイズとして乗ることも記載されている。ちなみに、Museの信頼性が低い理由として、アーチファクトの影響の可能性が指摘されている。
Although the details of the paper will be omitted, the EEG measurement at rest is performed twice a day for five healthy subjects. In the same experiment, the Fp1 of the forehead was used as a common measurement point, and the electroencephalogram pattern and the power spectral density in the state where the eyes were closed and the state where the eyes were opened were compared. The evaluation in this paper corresponds to the evaluation of the output of α waves in the electroencephalogram when the eyes are closed.
Also, in the conclusion section of the treatise, the power spectrum measured by Mind Wave's Fp1 is almost the same as the medically certified EEG systems B-Alert and Enobio, including the results of the reproduction test, and the α wave. It is stated that the peak of was also captured. It is also stated that the brain waves measured by Mind Wave include blinking and movement during eye opening as noise. By the way, it has been pointed out that the influence of artifacts may be the reason why Muse is unreliable.
＜イヤホン１０による測定結果とMindWaveによる測定結果の比較＞
以下では、被験者に、イヤホン１０（図９参照）とMindWaveの両方を装着し、脳波を測定する実験を行った結果について説明する。
図９に示したように、イヤホン１０は外耳孔を測定点とし、MindWaveは額４０Ａを測定点とする。
<Comparison of measurement result by
In the following, the results of an experiment in which both the earphone 10 (see FIG. 9) and the Mind Wave are attached to the subject and the brain wave is measured will be described.
As shown in FIG. 9, the
出願人の実験では、５８名を被験者とした。一人につき、同日中に、３回のアテンションの上昇テストとメディテーションの上昇テストを設計し、閉眼時におけるα波の出現を捉える実験を行った。
なお、実際の被験者は８３名であったが、２５名の測定の結果には開眼時のアーチファクトの影響が過大であったため除外した。
In the applicant's experiment, 58 subjects were used. For each person, we designed three attention elevation tests and meditation elevation tests during the same day, and conducted an experiment to capture the appearance of alpha waves when the eyes were closed.
The actual number of subjects was 83, but the measurement results of 25 subjects were excluded because the effect of the artifact at the time of opening the eyes was excessive.
アテンションの上昇テストでは、被験者に対し、開眼状態で１５０ｍｍ先のペン先を３０秒間見つめ続けてもらった。このテストは、集中状態を作ってα波の出現を抑止し、β波を増加させることを目的とする。
メディテーション上昇テストでは、被験者に対し、閉眼状態で３０秒間の瞑想をお願いした。このテストは、閉眼時のα波の出力評価に相当する。換言すると、リラックス状態におけるα波の増加比率を捉えることを目的とする。
In the attention elevation test, the subjects were asked to keep staring at the pen tip 150 mm ahead for 30 seconds with their eyes open. The purpose of this test is to create a concentrated state to suppress the appearance of alpha waves and increase β waves.
In the meditation elevation test, subjects were asked to meditate for 30 seconds with their eyes closed. This test corresponds to the evaluation of the alpha wave output when the eyes are closed. In other words, the purpose is to capture the rate of increase of alpha waves in a relaxed state.
実験時には、アテンションの上昇テストの後にメディテーションの上昇テストに移行し、α波の出力を評価した。
α波の出力の評価は、３０秒間の開眼状態の後に３０秒間の閉眼状態を２セット繰り返し、閉眼状態におけるα波の上昇を確認するのが一般的である。
ただし、今回の実験では、一度に多くのデータを収集するためにセットの回数を増やして行った。
At the time of the experiment, the attention rise test was followed by the meditation rise test, and the α wave output was evaluated.
In the evaluation of the output of the α wave, it is common to repeat two sets of the eye closed state for 30 seconds after the eye open state for 30 seconds and confirm the rise of the α wave in the eye closed state.
However, in this experiment, the number of sets was increased in order to collect a large amount of data at one time.
まず、メディテーションの上昇テストを行った理由と、閉眼時におけるα波の出力の評価に用いた方法について説明する。
図１１は、α波の出力評価を説明する図である。図１１に示すように、脳波の生データは、主にδ波、θ波、α波、β波、γ波に分類が可能である。
脳波は、人の動作による再現性が小さく、臨床データによる取得性能の再現性の評価が難しいとされるが、その中でも、α波は、開眼と閉眼の差で出現され易いとされている。
いずれの波も、開眼状態においては一様に出現し易い一方、α波以外の波は閉眼状態において一様に減衰するといわれる。すなわち、α波は、閉眼状態においても比較的影響を受けることなく出現するといわれる。
First, the reason for the meditation elevation test and the method used to evaluate the alpha wave output when the eyes are closed will be described.
FIG. 11 is a diagram for explaining the output evaluation of the α wave. As shown in FIG. 11, the raw data of EEG can be mainly classified into δ wave, θ wave, α wave, β wave, and γ wave.
It is said that brain waves have low reproducibility due to human movements, and it is difficult to evaluate the reproducibility of acquisition performance based on clinical data. Among them, α waves are said to be more likely to appear due to the difference between eyes open and eyes closed.
It is said that all waves tend to appear uniformly in the open eye state, while waves other than the α wave are uniformly attenuated in the closed eye state. That is, it is said that the α wave appears relatively unaffected even in the closed eye state.
この特徴を活かし、実験では、脳波の生データをフーリエ変換し、各波に対応する周波数帯のスペクトル強度Ｓｎを特性値とした。
実験では、α波強度比Ｔαを、全周波数帯のスペクトル強度の和（すなわちΣＳｎ）に対するα波帯のスペクトル強度Ｓαの比（＝Ｓα／ΣＳｎ）として定義し、開眼状態から閉眼状態への変化でα波強度比Ｔαが増加したか否かを確認した。
α波強度比Ｔαの増加が確認されれば、脳波の測定の証拠になる。
Taking advantage of this feature, in the experiment, the raw data of the brain wave was Fourier transformed, and the spectral intensity Sn of the frequency band corresponding to each wave was used as the characteristic value.
In the experiment, the α wave intensity ratio Tα is defined as the ratio of the spectral intensity Sα of the α wave band to the sum of the spectral intensities of all frequency bands (that is, ΣSn) (= Sα / ΣSn), and the change from the open eye state to the closed eye state. It was confirmed whether or not the α wave intensity ratio Tα increased.
If an increase in the α wave intensity ratio Tα is confirmed, it is evidence of EEG measurement.
図１２及び図１３を用いて、イヤホン１０による測定結果とMindWaveによる測定結果の異同を説明する。
図１２は、MindWaveによる測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
図１３は、実施の形態で使用するイヤホン１０（図２参照）による測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
The difference between the measurement result by the
FIG. 12 is a diagram illustrating a measurement result by Mind Wave. (A) is a measurement result when two sets of switching between the open eye state and the closed eye state are performed without blinking, and (B) is a measurement result when two sets of switching between the open eye state and the closed eye state are performed with blinking. is there.
FIG. 13 is a diagram illustrating a measurement result by the earphone 10 (see FIG. 2) used in the embodiment. (A) is a measurement result when two sets of switching between the open eye state and the closed eye state are performed without blinking, and (B) is two sets of switching between the open eye state and the closed eye state by further adding jaw movement with blinking. It is a measurement result when it is performed.
瞬きが無い場合、イヤホン１０による測定結果とMindWaveによる測定結果との間には、高い類似性が認められた。
一方、瞬きがある場合、MindWaveによる測定結果には、瞬きの影響を受けたアーチファクトが顕著に出現した。その理由は、MindWaveが測定に用いる額が目に近く、開眼時における瞬きが大きなアーチファクトとして検出され易いためと考えられる。このことは、前述したElena Ratti等の論文でも指摘されている。
In the absence of blinking, a high degree of similarity was observed between the measurement result by the
On the other hand, when there was blinking, the artifacts affected by blinking appeared prominently in the measurement results by Mind Wave. The reason is thought to be that the forehead used by Mind Wave for measurement is close to the eyes, and blinking when the eyes are opened is easily detected as a large artifact. This is also pointed out in the above-mentioned papers such as Elena Ratti.
ところで、瞬きの影響によるアーチファクトは、主にδ波帯に出現した。ただし、図１２に示すように大きなアーチファクトがあると、α波の増加が誤検出される可能性が高くなる。その理由は、開眼状態における全周波数帯のスペクトル強度の和が大きくなる結果、開眼状態におけるα波強度比Ｔαが小さくなり、閉眼状態におけるα波強度比Ｔαが相対的に大きく見えてしまうためである。前述した被験者の削減もこの理由による。
なお、瞬きに伴い検出されるアーチファクトには、瞼の動きに伴い発生する生体由来の電位の変動だけでなく、瞼を動かそうとする脳波由来の電位の変動が含まれている。
By the way, artifacts due to the influence of blinking appeared mainly in the delta wave band. However, if there are large artifacts as shown in FIG. 12, there is a high possibility that an increase in α waves will be erroneously detected. The reason is that as a result of increasing the sum of the spectral intensities of all frequency bands in the open eye state, the α wave intensity ratio Tα in the open eye state becomes small, and the α wave intensity ratio Tα in the closed eye state appears to be relatively large. is there. The reduction of subjects mentioned above is also due to this reason.
The artifacts detected by blinking include not only the fluctuation of the electric potential derived from the living body generated by the movement of the eyelid but also the fluctuation of the electric potential derived from the brain wave that tries to move the eyelid.
一方、本実施の形態で使用するイヤホン１０（図２参照）による測定結果には、０秒から３０秒の期間に、瞬きに起因するアーチファクトは検知されなかった。
ただし、唾液を飲み込む顎の動きに起因するアーチファクトは、開眼状態か閉眼状態かを問わず、検出されることが確認された。唾液を飲み込む顎の動きに起因するアーチファクトは、主に、θ波帯に出現した。
一方で、唾液の飲み込みに伴い出現するアーチファクトのスペクトル強度は、MindWaveで検知された瞬きに対応するアーチファクトのスペクトル強度に比して格段に小さい。このため、MindWaveの場合のように、α波の増加への影響は認められなかった。
On the other hand, in the measurement result by the earphone 10 (see FIG. 2) used in the present embodiment, no artifact caused by blinking was detected in the period of 0 to 30 seconds.
However, it was confirmed that artifacts caused by the movement of the jaw that swallows saliva are detected regardless of whether the eyes are open or closed. The artifacts caused by the movement of the jaw that swallows saliva appeared mainly in theta wave band.
On the other hand, the spectral intensity of the artifact that appears when saliva is swallowed is much smaller than the spectral intensity of the artifact corresponding to the blink detected by Mind Wave. For this reason, as in the case of Mind Wave, no effect on the increase in alpha waves was observed.
因みに、唾液の飲み込みに伴い出現するアーチファクトにも、顎の筋肉の動きに伴い発生する生体由来の電位の変動だけでなく、顎の筋肉を動かそうとする脳波由来の電位の変動が含まれている。
前述の説明において、ユーザが特定の操作を念じながら行う意図的な筋肉の動きとして、唾液を飲み込む顎の動作を例示したのは、図１３に示すアーチファクトの出現が理由となっている。
By the way, the artifacts that appear when saliva is swallowed include not only the fluctuation of the electric potential derived from the living body that occurs with the movement of the jaw muscle, but also the fluctuation of the electric potential derived from the brain wave that tries to move the jaw muscle. There is.
In the above description, the appearance of the artifact shown in FIG. 13 is the reason why the movement of the jaw that swallows saliva is illustrated as the intentional movement of the muscle that the user performs while paying attention to a specific operation.
続いて、図１４及び図１５を用いて、イヤホン１０による測定結果に現れるα波の増加とMindWaveによる測定結果に現れるα波の増加を説明する。
図１４は、MindWaveによる測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
図１５は、実施の形態で使用するイヤホン１０（図２参照）による測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
Subsequently, with reference to FIGS. 14 and 15, the increase in the α wave appearing in the measurement result by the
FIG. 14 is a diagram illustrating a measurement result by Mind Wave. (A) shows the change in the ratio of the spectral intensity by frequency band when the eye is changed from the state with blinking to the state where the eye is closed, and (B) is the change by frequency band when the state is changed from no blinking to the state where the eye is closed. The change in the ratio of the spectral intensity of (C) is shown, and (C) is the case where the increase of the α wave does not appear.
FIG. 15 is a diagram illustrating a measurement result by the earphone 10 (see FIG. 2) used in the embodiment. (A) shows the change in the ratio of the spectral intensity by frequency band when the eye is changed from the state with blinking to the state where the eye is closed, and (B) is the change by frequency band when the state is changed from no blinking to the state where the eye is closed. The change in the ratio of the spectral intensity of (C) is shown, and (C) is the case where the increase of the α wave does not appear.
図１４及び図１５の縦軸はスペクトル強度の割合であり、横軸は周波数帯域である。また、図１４の（Ａ）に対応する被験者と図１５の（Ａ）に対応する被験者は同じである。同様に、図１４の（Ｂ）に対応する被験者と図１５の（Ｂ）に対応する被験者は同じである。図１４の（Ｃ）に対応する被験者と図１５の（Ｃ）に対応する被験者も同じである。
MindWaveのスペクトル強度の分布（図１４参照）とイヤホン１０のスペクトル強度の分布（図１５参照）は、δ波〜θ波の低周波帯で異なっているが、α波以上ではほぼ同じであった。
The vertical axis of FIGS. 14 and 15 is the ratio of spectral intensity, and the horizontal axis is the frequency band. Further, the subject corresponding to (A) in FIG. 14 and the subject corresponding to (A) in FIG. 15 are the same. Similarly, the subject corresponding to FIG. 14 (B) and the subject corresponding to FIG. 15 (B) are the same. The same applies to the subject corresponding to FIG. 14 (C) and the subject corresponding to FIG. 15 (C).
The distribution of the spectral intensity of MindWave (see FIG. 14) and the distribution of the spectral intensity of the earphone 10 (see FIG. 15) differed in the low frequency band of the delta wave to theta wave, but were almost the same in the α wave and above. ..
実験の結果、MindWaveとイヤホン１０の両方でα波の増加が確認された被験者は４６名であった。この割合は、５８名のうちの約８割弱に相当する。
因みに、イヤホン１０だけでα波の増加が確認された被験者は７名であった。換言すると、イヤホン１０では、α波の増加が計５３名で確認された。すなわち、イヤホン１０では、約９割強の被験者でα波の増加が確認された。
なお、MindWaveとイヤホン１０の両方でα波の増加が確認されなかった被験者は５名であった。図１４及び図１５の（Ｃ）に示す波形は、この５名の被験者の測定結果を表している。
As a result of the experiment, 46 subjects were confirmed to have an increase in α wave with both MindWave and
Incidentally, there were 7 subjects in which an increase in α wave was confirmed only with the
In addition, 5 subjects did not confirm the increase of α wave in both MindWave and
図１６は、スペクトル強度の増加部の提示例を示す図である。（Ａ）はMindWaveの測定結果であり、（Ｂ）は実施の形態で使用するイヤホン１０（図２参照）の測定結果である。縦軸はスペクトル強度の割合であり、横軸は周波数である。
図１６では、図１４及び図１５の場合とは異なり、横軸に実周波数を用いている。前述したElena Ratti等の論文では、横軸に実周波数を用いてα波の増加を説明している。図中の○印で示す部分が増加部分である。
図１６に示すように、いずれの測定方法でも、周波数が高くなるのに従ってスペクトル強度の割合が低下する傾向が表れている。この傾向は、Elena Ratti等の論文と同様である。
このように、本実施の形態で使用する外耳孔で脳波を測定するイヤホン１０は、MindWaveと同等の測定能力を有していることが確かめられた。
FIG. 16 is a diagram showing a presentation example of an increased portion of spectral intensity. (A) is the measurement result of Mind Wave, and (B) is the measurement result of the earphone 10 (see FIG. 2) used in the embodiment. The vertical axis is the ratio of spectral intensity, and the horizontal axis is the frequency.
In FIG. 16, unlike the cases of FIGS. 14 and 15, the actual frequency is used on the horizontal axis. In the above-mentioned papers such as Elena Ratti, the increase of α wave is explained by using the real frequency on the horizontal axis. The part indicated by a circle in the figure is the increasing part.
As shown in FIG. 16, in any of the measuring methods, the ratio of the spectral intensity tends to decrease as the frequency increases. This tendency is similar to that of the papers by Elena Ratti et al.
As described above, it was confirmed that the
＜実施の形態２＞
前述の実施の形態１の場合、対応関係テーブル２３１及び２３２（図６参照）に記憶されている特徴と操作の内容との対応関係が事前に定められている。
このため、イヤホン１０を装着したユーザが、脳波情報の特徴を正しく発生できない限り、操作対象機器３０（図１参照）を意図した通りに操作することは無理である。また、標準化された対応関係が全てのユーザに該当するとは限らない。
そこで、本実施の形態では、機械学習によって対応関係を更新する仕組みの一例を説明する。
<Embodiment 2>
In the case of the above-described first embodiment, the correspondence relationship between the features stored in the correspondence relationship tables 231 and 232 (see FIG. 6) and the content of the operation is determined in advance.
Therefore, it is impossible for the user wearing the
Therefore, in the present embodiment, an example of a mechanism for updating the correspondence by machine learning will be described.
図１７は、実施の形態２で使用する脳波操作システム１Ａの概略構成を示す図である。図１７には、図１との対応部分に対応する符号を付して示している。
図１７に示す脳波操作システム１Ａは、耳部に装着されるイヤホン１０と、イヤホン１０と無線で接続される情報端末２０Ａと、ユーザが操作の対象とする操作対象機器３０Ａと、機械学習装置５０とで構成されている。
なお、操作対象機器３０Ａと機械学習装置５０とは、ＩｏＴネットワーク経由で接続されている。機械学習装置５０は、情報端末２０Ａや操作対象機器３０Ａと同じ空間内に存在する必要はない。機械学習装置５０は、例えばインターネット上に存在してもよい。
FIG. 17 is a diagram showing a schematic configuration of the electroencephalogram manipulation system 1A used in the second embodiment. In FIG. 17, a reference numeral corresponding to a portion corresponding to that in FIG. 1 is added.
The electroencephalogram operation system 1A shown in FIG. 17 includes an
The
本実施の形態における情報端末２０Ａには、操作信号の決定に使用した脳波情報の特徴を機械学習装置５０に送信する機能が設けられている。なお、情報端末２０Ａには、脳波以外の生体情報の特徴も機械学習装置５０に送信する機能が設けられていてもよい。
また、本実施の形態における操作対象機器３０Ａには、受け付けた操作信号のログ（以下「受付ログ」という）を機械学習装置５０に送信する機能が設けられている。操作対象機器３０Ａは、操作信号を受け付ける度に受付ログを送信してもよいし、機械学習装置５０が要求した場合に限り受付ログを送信してもよい。
本実施の形態における機械学習装置５０は、脳波情報の特徴と受付ログとを照合し、脳波情報と操作の内容との関係を機械的に学習する。機械学習装置５０は、情報端末２０から操作信号が送信された時刻に関連する受付ログを抽出し、脳波情報の特徴とユーザが意図した操作の結果との関係を学習する。
The
Further, the
The
ここでの学習には、例えば正解となる操作の内容を用いる方法がある。
まず、正解となる操作の内容を特定する必要がある。例えば操作信号が送信された時刻の直後に操作対象機器３０Ａが受け付けた操作の動作が予め定めた時間以上継続する場合、操作対象機器３０Ａで実行された動作はユーザが意図した動作であるとみなす。もっとも、電源オフの状態の操作対象機器３０Ａに対し、情報端末２０Ａから電源オフの操作信号が送信された場合には、誤った操作の可能性が高い。その場合には、電源オフの操作信号の受け付けに続いて電源オンの操作信号を操作対象機器３０Ａが受け付けるはずである。従って、例えば操作信号が送信された時刻の直後に操作対象機器３０Ａが正反対の操作信号を受け付けた場合には、直後に受け付けた操作信号の動作をユーザの意図した動作の真値とみなす。
In the learning here, for example, there is a method of using the content of the operation that is the correct answer.
First, it is necessary to specify the content of the operation that is the correct answer. For example, if the operation received by the
このように予め定めた規則に従って、ユーザが意図した操作の内容を特定する手法を用いることも可能であるが、受付ログを機械学習したモデルを用いて、ユーザが脳波を用いて操作対象機器３０Ａを操作した場合におけるユーザが意図した操作の内容を決定してもよい。なお、情報端末２０Ａを通じて、ユーザが正解の操作の内容を機械学習装置５０に送信してもよい。
いずれにしても、機械学習装置５０は、特定された操作の内容と対応する脳波情報の特徴との組を教師データに用い、いわゆる教師データ有り学習を実行する。ここでの学習には、ディープラーニングの手法を使用する。なお、中間層にはＬＳＴＮ（＝Long Short-Term Memory）ブロックを導入してもよい。また、中間層に畳込み層やプーリング層を追加してもよい。
機械学習装置５０は、脳波情報の特徴と操作の内容との対応関係を機械学習し、機械学習の成果を対応関係テーブル又は学習済みモデルとして情報端末２０Ａに送信する。
Although it is possible to use a method of specifying the content of the operation intended by the user according to the predetermined rule in this way, the user can use the brain wave to operate the
In any case, the
The
図１８は、実施の形態２で使用する情報端末２０Ａの内部構成の一例を示す図である。図１８には、図４との対応部分に対応する符号を付して示している。
図１８の場合も、情報端末２０Ａを構成するデバイスのうち、脳波等の生体情報から操作対象機器３０Ａ（図１７参照）を操作する操作信号を生成する機能に関連するデバイスを抜き出して表している。
図１８に示す情報端末２０Ａの場合、操作内容推定部２２３Ａには、操作信号の推定に使用した脳波情報の特徴を機械学習装置５０（図１７参照）に送信する機能が追加されている。
FIG. 18 is a diagram showing an example of the internal configuration of the
Also in the case of FIG. 18, among the devices constituting the
In the case of the
この他、情報端末２０Ａには、機械学習装置５０との通信用にＷｉＦｉ（登録商標）モジュール２０５が設けられている。ＷｉＦｉモジュール２０５は、機械学習装置５０に対する脳波情報の特徴の送信と、機械学習装置５０からの対応関係テーブル又は学習済みモデルの受信に使用される。ここでの学習済みモデルは、脳波情報の特徴が入力されると操作の内容を出力する関係が記憶されている。
図１８では、機械学習装置５０から受信された脳波情報の特徴用の対応関係テーブル２３１Ａが半導体メモリ２０３に記憶されている。勿論、対応関係テーブル２３１Ａに代えて学習済みモデルが半導体メモリ２０３に記憶されてもよい。
In addition, the
In FIG. 18, the correspondence table 231A for the features of the electroencephalogram information received from the
本実施の形態における脳波操作システム１Ａの場合、イヤホン１０（図１７参照）を装着するユーザの脳波による操作に関連して発生した脳波情報の特徴と操作の内容との関係を機械学習することで、対応関係テーブル２３１Ａに記憶される脳波情報の特徴と操作の内容との対応関係の精度が向上される。
その結果、例えばユーザを特定せずに機械学習を行う場合には、脳波の測定が可能なイヤホン１０を装着した不特定多数のユーザによる脳波での操作の精度が向上される。
また特定のユーザに特定して機械学習を行う場合には、特定のユーザに特化した対応関係テーブル２３１Ａや学習済みモデルにより、脳波での操作の精度の向上が実現される。
In the case of the electroencephalogram operation system 1A in the present embodiment, the relationship between the characteristics of the electroencephalogram information generated in connection with the operation by the electroencephalogram of the user wearing the earphone 10 (see FIG. 17) and the content of the operation is machine-learned. , The accuracy of the correspondence between the features of the electroencephalogram information stored in the correspondence table 231A and the contents of the operation is improved.
As a result, for example, when machine learning is performed without specifying the user, the accuracy of the operation with the brain wave by an unspecified number of users wearing the
Further, when machine learning is performed by specifying a specific user, the accuracy of the operation by the brain wave is improved by the correspondence table 231A specialized for the specific user and the learned model.
＜実施の形態３＞
前述の実施の形態２においては、操作対象機器３０Ａ（図１７参照）がＩｏＴネットワーク経由で機械学習装置５０（図１７参照）と接続されていたが、本実施の形態では、操作対象機器３０ＡがＩｏＴネットワーク等を経由して機械学習装置５０（図１７参照）に接続されていない場合について説明する。
図１９は、実施の形態３で使用する脳波操作システム１Ｂの概略構成を示す図である。図１９には、図１７との対応部分に対応する符号を付して示している。
図１９に示す脳波操作システム１Ｂは、耳部に装着されるイヤホン１０と、イヤホン１０と無線で接続される情報端末２０Ｂと、ユーザが操作の対象とする操作対象機器３０と、機械学習装置５０Ａとで構成されている。
<Embodiment 3>
In the above-described second embodiment, the
FIG. 19 is a diagram showing a schematic configuration of the electroencephalogram manipulation system 1B used in the third embodiment. In FIG. 19, a reference numeral corresponding to a portion corresponding to that in FIG. 17 is added.
The electroencephalogram operation system 1B shown in FIG. 19 includes an
本実施の形態の場合、機械学習装置５０Ａは、正解となる操作の内容の情報をユーザ本人の音声の内容を通じて取得する。このため、情報端末２０Ｂには、マイク１２２（図３参照）で取得された音声の内容を解析して機械学習装置５０Ａに送信する機能が設けられている。
もっとも、音声の内容の解析は、機械学習装置５０Ａに設けてもよい。また、音声の内容の解析には、インターネット上のサーバ等を通じて提供される音声認識サービスを活用してもよい。
図１９では、ユーザが頭の中で念じている「電源オン」を、ユーザが声にも出している。ユーザが声に出した操作の内容で操作対象機器３０が操作される点は、一見すると、スマートスピーカによる操作と同じに見えるが、本実施の形態の場合、ユーザの音声は、脳波情報の特徴に応じて推定される操作の内容に対する正解として与えられる。
In the case of the present embodiment, the
However, the analysis of the content of the voice may be provided in the
In FIG. 19, the user also speaks out the "power on" that the user has in mind. At first glance, the point that the
図２０は、実施の形態３で使用する情報端末２０Ｂの内部構成の一例を示す図である。図２０には、図１８との対応部分に対応する符号を付して示している。
図２０の場合も、情報端末２０Ｂを構成するデバイスのうち、脳波等の生体情報から操作対象機器３０を操作する操作信号を生成する機能に関連するデバイスを抜き出して表している。
図２０に示す情報端末２０Ｂには、ブルートゥースモジュール２０１を通じて受信されるオーディオデータから操作の内容を取得する音声情報取得部２２４が追加されている。
FIG. 20 is a diagram showing an example of the internal configuration of the
Also in the case of FIG. 20, among the devices constituting the
The
本実施の形態で使用する音声情報取得部２２４は、音声を解析して操作の内容を出力する処理を実行する。
もっとも、機械学習装置５０Ａや外部の音声認識サービスを活用する場合、音声情報取得部２２４は、取得されたオーディオデータを機械学習装置５０Ａや外部の音声認識サービスに送信する。
本実施の形態における脳波操作システム１Ｂの場合、ユーザの音声による指示の内容を脳波による操作の正解として活用できるので、受付ログを用いて操作の内容の正解を推定する場合に比して計算負荷が少なく済む。
また、本実施の形態の場合、操作の内容の正解が音声を通じて与えられるので、教師データの精度が向上し、その分、機械学習の精度の向上が期待される。
The voice
However, when utilizing the
In the case of the electroencephalogram operation system 1B in the present embodiment, since the content of the instruction by the user's voice can be utilized as the correct answer of the operation by the brain wave, the calculation load is compared with the case of estimating the correct answer of the operation content using the reception log. Is less.
Further, in the case of the present embodiment, since the correct answer of the operation content is given through voice, the accuracy of the teacher data is improved, and the accuracy of machine learning is expected to be improved accordingly.
＜実施の形態４＞
図２１は、実施の形態４で使用する脳波操作システム１Ｃの概略構成を示す図である。図２１には、図１９との対応部分に対応する符号を付して示している。
本実施の形態の場合、情報端末２０Ｃの内部で機械学習の処理を実行する。
図２２は、実施の形態４で使用する情報端末２０Ｃの内部構成の一例を示す図である。図２２には、図２０との対応部分に対応する符号を付して示している。
<Embodiment 4>
FIG. 21 is a diagram showing a schematic configuration of the electroencephalogram manipulation system 1C used in the fourth embodiment. In FIG. 21, a reference numeral corresponding to a portion corresponding to that in FIG. 19 is added.
In the case of this embodiment, the machine learning process is executed inside the
FIG. 22 is a diagram showing an example of the internal configuration of the
図２２に示す情報端末２０Ｃの場合、ＭＰＵ２０２Ｃの機能として、機械学習部２２５が追加される。機械学習部２２５も、ＭＰＵ２０２Ｃによるプログラムの実行を通じて提供される。
また、本実施の形態の場合、脳波に基づく操作の履歴や正誤等を記録するテーブル２３３及び２３４が半導体メモリ２０３に追加される。テーブル２３３は、脳波情報の特徴用であり、テーブル２３４は、脳波以外の生体情報用である。
本実施の形態における機械学習部２２５は、テーブル２３３に記録されている情報を教師データに用いて機械学習を実行し、脳波情報の特徴用の対応関係テーブル２３１Ａを更新する。同じく、機械学習部２２５は、テーブル２３４に記録されている情報を教師データに用いて機械学習を実行し、脳波以外の生体情報の特徴用の対応関係テーブル２３２Ａを更新する。
In the case of the
Further, in the case of the present embodiment, tables 233 and 234 for recording the history of operations based on brain waves, correctness, and the like are added to the
The
本実施の形態における音声情報取得部２２４も、音声を解析して操作の内容を出力する処理を実行する。もっとも、外部の音声認識サービスを利用する場合、音声情報取得部２２４は、取得されたオーディオデータを外部の音声認識サービスに与え、解析の結果として操作の内容を取得する。いずれの場合も、操作の内容は、半導体メモリのテーブル２３３に格納される。
なお、本実施の形態における操作内容推定部２２３Ｃは、脳波情報の特徴や脳波以外の生体情報の特徴によって推定された操作の内容の精度が低い場合、音声により指示された操作の内容を操作対象機器３０に送信する。
The voice
In addition, when the accuracy of the operation content estimated by the feature of the electroencephalogram information or the feature of the biological information other than the electroencephalogram is low, the operation
図２３は、操作の履歴や正誤等を記録するテーブル２３３と２３４の例を説明する図である。（Ａ）は脳波情報の特徴により推定された操作の履歴や正誤を記録するテーブル２３３を示し、（Ｂ）は脳波以外の生体情報の特徴により推定された操作の履歴や正誤を記録するテーブル２３４を示す。
テーブル２３３には、脳波による操作が行われた日時と、脳波情報の特徴と、推定された操作の内容と、ユーザの意図として与えられた音声の内容と、特徴に対応付けられている操作の内容の正誤とが記憶されている。
図２３の場合、「20XX/10/15 12:45:52」に脳波情報の特徴から推定された操作の内容は、音声の内容と同じであることが記録されている。このため、正誤の欄には「正」が記録されている。
一方、「20XX/10/15 12:46:10」に脳波情報の特徴から推定された操作の内容は、音声の内容と異なることが記録されている。このため、正誤の欄には「誤」が記録されている。
FIG. 23 is a diagram illustrating an example of tables 233 and 234 that record an operation history, correctness, and the like. (A) shows a table 233 that records the operation history and errata estimated by the characteristics of the electroencephalogram information, and (B) shows a table 234 that records the operation history and the errata estimated by the characteristics of the biological information other than the electroencephalogram. Is shown.
Table 233 shows the date and time when the operation by the brain wave was performed, the feature of the brain wave information, the content of the estimated operation, the content of the voice given as the user's intention, and the operation associated with the feature. The correctness of the content is remembered.
In the case of FIG. 23, it is recorded in "20XX / 10/15 12:45:52" that the content of the operation estimated from the characteristics of the electroencephalogram information is the same as the content of the voice. Therefore, "correct" is recorded in the correct / incorrect column.
On the other hand, it is recorded in "20XX / 10/15 12:46:10" that the content of the operation estimated from the characteristics of the EEG information is different from the content of the voice. Therefore, "wrong" is recorded in the correct / incorrect column.
テーブル２３４には、脳波による操作が行われた日時と、脳波以外の生体情報の特徴と、推定された操作の内容と、ユーザの意図として与えられた音声の内容と、特徴に対応付けられている操作の内容の正誤とが記憶されている。
脳波以外の生体情報の特徴により推定された操作の内容は、「20XX/10/15 12:45:52」と「20XX/10/15 12:46:10」のいずれの場合も、音声の内容と同じである。このため、正誤の欄には「正」が記録されている。
本実施の形態における機械学習部２２５（図２２参照）は、テーブル２３３の履歴を教師データに使用して機械学習を継続し、脳波情報の特徴用の対応関係テーブル２３１Ａを更新する。また、機械学習部２２５は、テーブル２３４の履歴を教師データに使用して機械学習を継続し、脳波以外の生体情報の特徴用の対応関係テーブル２３２Ａを更新する。
なお、対応関係テーブル２３１Ａの代わりに学習済みモデルが記憶される場合には、機械学習による更新後の学習済みモデルで半導体メモリ２０３内の学習済みモデルが更新される。
Table 234 is associated with the date and time when the operation by the brain wave was performed, the feature of the biological information other than the brain wave, the content of the estimated operation, the content of the voice given as the user's intention, and the feature. The correctness of the content of the operation being performed is memorized.
The content of the operation estimated from the characteristics of biological information other than brain waves is the content of voice in both cases of "20XX / 10/15 12:45:52" and "20XX / 10/15 12:46:10". Is the same as. Therefore, "correct" is recorded in the correct / incorrect column.
The machine learning unit 225 (see FIG. 22) in the present embodiment continues machine learning by using the history of the table 233 as the teacher data, and updates the correspondence table 231A for the features of the electroencephalogram information. Further, the
When the trained model is stored instead of the correspondence table 231A, the trained model in the
続いて、情報端末２０Ｃ（図２１参照）が、ＭＰＵ２０２Ｃ（図２２参照）によるプログラムの実行を通じて実現する処理動作の一例を説明する。
図２４は、脳波情報を含むデジタル信号を受信した情報端末２０Ｃが実行する処理動作の一例を説明するフローチャートである。図中のＳはステップを意味する。
イヤホン１０（図２１参照）から脳波情報を含むデジタル信号を受信したＭＰＵ２０２Ｃは、受信したデジタル信号から脳波情報の特徴と、脳波以外の生体情報の特徴と、音声による操作の内容を取得する（ステップ２１）。
Subsequently, an example of the processing operation realized by the
FIG. 24 is a flowchart illustrating an example of a processing operation executed by the
The MPU202C, which has received a digital signal including brain wave information from the earphone 10 (see FIG. 21), acquires the characteristics of brain wave information, the characteristics of biological information other than brain waves, and the content of voice operation from the received digital signal (step). 21).
次に、ＭＰＵ２０２Ｃは、テーブル２３３（図２３参照）を参照し、脳波情報の特徴から推定される操作の内容と実際の操作の内容との一致率を計算する（ステップ２２）。ここでの一致率は、ステップ２１で取得された脳波情報の特徴に類似する特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
なお、一致率の計算は、期間を定めて計算してもよい。例えば一致率が低かった過去のサンプルが多く含まれる場合には、直近の一致率が高くても、脳波による操作に切り替えられない可能性があるためである。従って、一致率の計算については、計算に使用するサンプルが出現した期間に制限を加えてもよい。
Next, the
The matching rate may be calculated for a fixed period. For example, when many past samples with a low concordance rate are included, even if the latest concordance rate is high, it may not be possible to switch to the operation using brain waves. Therefore, regarding the calculation of the match rate, a limit may be applied to the period during which the sample used in the calculation appears.
続いて、ＭＰＵ２０２Ｃは、計算された一致率と閾値１を比較する（ステップ２３）。ここでの閾値１は、例えば９０％に設定する。もっとも、この数値は一例である。また、閾値１は、ユーザが変更することも可能である。なお、閾値１は、第１の閾値の一例である。
なお、サンプル数が少ない場合には、過去の一致率の高さが、今回の脳波情報の特徴から推定される操作の内容の精度を保証する根拠にはならない。そこで、サンプル数が予め定めた値に満たない場合には、強制的に否定結果を出力する設定にしてもよい。
ステップ２３で肯定結果が得られた場合、ＭＰＵ２０２Ｃは、脳波情報の特徴に対応する操作の内容を送信する（ステップ２４）。この状態は、脳波による操作対象機器３０（図２１参照）が高い精度で行える状態を意味する。
Subsequently, the MPU202C compares the calculated match rate with the threshold value 1 (step 23). The
When the number of samples is small, the high concordance rate in the past does not serve as a basis for guaranteeing the accuracy of the operation content estimated from the characteristics of the electroencephalogram information this time. Therefore, if the number of samples is less than a predetermined value, a negative result may be forcibly output.
If an affirmative result is obtained in step 23, the
これに対し、ステップ２３で否定結果が得られた場合、本実施の形態におけるＭＰＵ２０２Ｃは、脳波以外の生体情報の特徴から推定される操作の内容と実際の操作の内容との一致率を計算する（ステップ２５）。
前述の実施の形態１の場合、脳波以外の生体情報の特徴から推定される操作の内容に誤りはないものとして扱ったが、本実施の形態では、取得された生体情報の特徴から推定される操作の内容に誤りが含まれる場合も想定している。例えば唾液を飲み込む顎の動きが弱い場合や特徴の取得が難しい筋肉の動きが操作に用いられる場合も想定している。
On the other hand, when a negative result is obtained in step 23, the MPU202C in the present embodiment calculates the concordance rate between the content of the operation estimated from the characteristics of biological information other than the brain wave and the content of the actual operation. (Step 25).
In the case of the above-described first embodiment, it is treated as if there is no error in the content of the operation estimated from the characteristics of the biological information other than the brain wave, but in the present embodiment, it is estimated from the characteristics of the acquired biological information. It is also assumed that the content of the operation contains an error. For example, it is assumed that the movement of the jaw that swallows saliva is weak, or the movement of muscles whose characteristics are difficult to acquire is used for operation.
ここでの一致率の計算も、ステップ２１で取得された脳波以外の生体情報の特徴に類似する特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
一致率の計算に用いる期間についても、脳波情報の特徴の場合と同様、サンプルが属する期間を定めてもよい。
続いて、ＭＰＵ２０２Ｃは、計算された一致率と閾値２を比較する（ステップ２６）。ここでの閾値２には、例えば９５％を使用する。もっとも、脳波以外の生体情報の特徴は、ユーザが意図的に動かすことが可能な筋肉の動きに起因しているので、閾値２をステップ２３で用いる閾値１より高く設定することが可能である。勿論、ここでの数値は一例であり、ユーザが変更することも可能である。なお、閾値２は、第２の閾値の一例である。
The calculation of the match rate here may be limited to features similar to the features of biological information other than the electroencephalogram acquired in step 21, or may be calculated for all past samples.
As for the period used for calculating the concordance rate, the period to which the sample belongs may be determined as in the case of the feature of the electroencephalogram information.
Subsequently, the MPU202C compares the calculated match rate with the threshold value 2 (step 26). For the threshold value 2 here, for example, 95% is used. However, since the characteristics of biological information other than brain waves are caused by the movement of muscles that the user can intentionally move, the threshold value 2 can be set higher than the
ステップ２６で肯定結果が得られた場合、ＭＰＵ２０２Ｃは、脳波以外の生体情報の特徴に対応する操作の内容を送信する（ステップ２７）。
一方、ステップ２６で否定結果が得られた場合、ＭＰＵ２０２Ｃは、音声による操作の内容を送信する（ステップ２８）。
本実施の形態における脳波操作システム１Ｃの場合も、ユーザの音声による指示の内容を脳波による操作の正解として活用できるので、教師データの精度が向上し、機械学習の精度の向上が期待される。
また、本実施の形態の場合には、イヤホン１０（図２１参照）を装着しているユーザのアカウントに紐づけて脳波情報の特徴と操作の内容との対応関係を学習できるので、対応関係テーブル２３１Ａ及び２３２Ａの内容がユーザに合わせた内容に変更される。結果的に、ユーザの脳波による操作の精度が向上する。
If an affirmative result is obtained in step 26, the MPU202C transmits the content of the operation corresponding to the characteristics of the biological information other than the electroencephalogram (step 27).
On the other hand, if a negative result is obtained in step 26, the
Also in the case of the electroencephalogram operation system 1C in the present embodiment, since the content of the instruction by the user's voice can be utilized as the correct answer of the operation by the electroencephalogram, the accuracy of the teacher data is improved, and the accuracy of machine learning is expected to be improved.
Further, in the case of the present embodiment, the correspondence relationship between the characteristics of the electroencephalogram information and the operation contents can be learned by associating with the account of the user wearing the earphone 10 (see FIG. 21). The contents of 231A and 232A are changed to the contents suitable for the user. As a result, the accuracy of the operation by the user's brain wave is improved.
＜実施の形態５＞
図２５は、実施の形態５で使用する脳波操作システム１Ｄの概略構成を示す図である。図２５には、図２１との対応部分に対応する符号を付して示している。
本実施の形態の場合も、情報端末２０Ｄの内部で機械学習の処理を実行する点で実施の形態４と同じである。
ただし、本実施の形態が操作の内容の推定に用いる処理の内容が、実施の形態４と異なる。
<
FIG. 25 is a diagram showing a schematic configuration of the
The present embodiment is also the same as the fourth embodiment in that the machine learning process is executed inside the
However, the content of the process used by this embodiment for estimating the content of the operation is different from that of the fourth embodiment.
図２６は、実施の形態５で使用する情報端末２０Ｄの内部構成の一例を示す図である。図２６には、図２２との対応部分に対応する符号を付して示している。
図２６に示す情報端末２０Ｄの場合、半導体メモリ２０３にテーブル２３５を記憶する点と、操作内容推定部２２３Ｄで実行される処理の内容が異なる。
図２７は、脳波による操作の履歴や正誤等を記録するテーブル２３５の例を説明する図である。
テーブル２３５では、脳波情報の特徴と脳波以外の生体情報の特徴とが１つの時刻に対応付けて管理される点で実施の形態４と相違する。
FIG. 26 is a diagram showing an example of the internal configuration of the
In the case of the
FIG. 27 is a diagram illustrating an example of a table 235 that records a history of operations by brain waves, correctness, and the like.
Table 235 differs from the fourth embodiment in that the features of the electroencephalogram information and the features of the biometric information other than the electroencephalogram are managed in association with one time.
テーブル２３５には、脳波による操作が行われた日時と、ユーザの意図として与えられた音声の内容と、脳波情報の特徴と、脳波以外の生体情報の特徴と、脳波情報の特徴から推定された操作の内容と正誤、脳波以外の生体情報の特徴から推定された操作の内容と正誤、操作対象機器３０に送信された操作信号の内容が記憶されている。
図２７には、「20XX/10/15 12:45:52」と「20XX/10/15 12:46:10」の履歴が表されている。
本実施の形態における操作内容推定部２２３Ｄは、このテーブル２３５を活用し、操作対象機器３０に送信する操作の内容を決定する。
Table 235 was estimated from the date and time when the operation by the electroencephalogram was performed, the content of the voice given as the user's intention, the characteristics of the electroencephalogram information, the characteristics of the biological information other than the electroencephalogram, and the characteristics of the electroencephalogram information. The content and correctness of the operation, the content and correctness of the operation estimated from the characteristics of the biological information other than the brain wave, and the content of the operation signal transmitted to the
FIG. 27 shows the history of “20XX / 10/15 12:45:52” and “20XX / 10/15 12:46:10”.
The operation
続いて、情報端末２０Ｄ（図２５参照）が、ＭＰＵ２０２Ｄ（図２６参照）によるプログラムの実行を通じて実現する処理動作の一例を説明する。
図２８は、脳波情報を含むデジタル信号を受信した情報端末２０Ｄが実行する処理動作の一例を説明するフローチャートである。図中のＳはステップを意味する。
本実施の形態の場合、ＭＰＵ２０２Ｄは、脳波情報の特徴と脳波以外の生体情報の特徴が共起する確率を計算する（ステップ３１）。本実施の形態の場合、脳波情報のある特徴が出現した場合に、脳波以外の生体情報の特定の特徴が同時に出現する確率を計算する。
Subsequently, an example of the processing operation realized by the
FIG. 28 is a flowchart illustrating an example of a processing operation executed by the
In the case of the present embodiment, the MPU 202D calculates the probability that the features of the electroencephalogram information and the features of the biological information other than the electroencephalogram co-occur (step 31). In the case of the present embodiment, when a feature with electroencephalogram information appears, the probability that a specific feature of biometric information other than electroencephalogram appears at the same time is calculated.
ここでの一致率は、新たに取得された脳波情報の特定の特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
なお、確率の計算は、期間を定めて計算してもよい。脳波による操作に不慣れな期間のサンプルが多く含まれる場合には、直近の一致率が高くても、脳波による操作に切り替えられない可能性があるためである。従って、確率の計算については、計算に使用するサンプルが出現した期間に制限を加えてもよい。
次に、ＭＰＵ２０２Ｄは、計算された確率が閾値３より大きいか否かを判定する（ステップ３２）。ここでの閾値３は、例えば９５％に設定する。もっとも、この数値は一例である。また、閾値３は、ユーザが変更することも可能である。なお、閾値３は、第３の閾値の一例である。
The concordance rate here may be calculated only for a specific feature of newly acquired electroencephalogram information, or may be calculated for all past samples.
The probability may be calculated for a fixed period. This is because when many samples are included during a period unfamiliar with the operation by EEG, even if the latest agreement rate is high, it may not be possible to switch to the operation by EEG. Therefore, regarding the calculation of the probability, a limit may be applied to the period during which the sample used for the calculation appears.
Next, the MPU202D determines whether the calculated probability is greater than the threshold 3 (step 32). The threshold value 3 here is set to, for example, 95%. However, this number is just an example. The threshold value 3 can also be changed by the user. The threshold value 3 is an example of a third threshold value.
ステップ３２で否定結果が得られた場合、ＭＰＵ２０２Ｄは、操作対象機器３０に対して音声の内容を送信する（ステップ３３）。ステップ３２で否定結果が得られる場合とは、有意な共起関係が未だ検知されていない場合である。
一方、ステップ３２で肯定結果が得られた場合、ＭＰＵ２０２Ｄは、脳波以外の生体情報の特徴から特定される操作と実際に実行された操作との一致率を計算する（ステップ３４）。
ステップ３２で肯定結果が得られる場合とは、脳波情報の特徴と脳波以外の生体情報の特徴との間にほぼ一対一の関係が成立している状態をいう。換言すると、ある特定の操作を念じながら、特定の筋肉を動かす度に、同じ特徴を有する脳波情報が出現する状態をいう。
If a negative result is obtained in step 32, the MPU 202D transmits the audio content to the operation target device 30 (step 33). The case where a negative result is obtained in step 32 is a case where a significant co-occurrence relationship has not yet been detected.
On the other hand, when an affirmative result is obtained in step 32, the MPU202D calculates the concordance rate between the operation specified from the characteristics of biological information other than brain waves and the actually executed operation (step 34).
The case where an affirmative result is obtained in step 32 means a state in which a substantially one-to-one relationship is established between the characteristics of the electroencephalogram information and the characteristics of the biometric information other than the electroencephalogram. In other words, it refers to a state in which brain wave information having the same characteristics appears each time a specific muscle is moved while keeping in mind a specific operation.
例えば唾液を飲み込む動作は、図１３で説明したように、検出の精度も高い。このため、操作を念じる行為と一緒に唾液を飲み込む顎の動きを組み合わせていた場合には、ステップ３２で肯定結果が得られた段階で、かなりの精度で脳波だけによる操作が可能と考えてよい。
ただし、本実施の形態では、意図的な筋肉の動きとして、他の筋肉の動きを用いる操作も想定して以下の処理を実行する。
For example, the action of swallowing saliva has high detection accuracy as described with reference to FIG. For this reason, when the movement of the jaw that swallows saliva is combined with the act of thinking about the operation, it may be considered that the operation using only the brain wave is possible with considerable accuracy when a positive result is obtained in step 32. ..
However, in the present embodiment, the following processing is executed assuming an operation using the movement of another muscle as the intentional movement of the muscle.
まず、ＭＰＵ２０２Ｄは、脳波以外の生体情報の特徴から特定される操作と実際に実行された操作との一致率を計算する（ステップ３４）。脳波情報の特徴との間で共起関係が認められても、脳波以外の生体情報の特徴がユーザの意図に反していたのでは、共起関係にある脳波情報の特徴を用いた操作も間違いになるためである。
ここでの一致率も、新たに取得された脳波情報の特定の特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
なお、確率の計算は、期間を定めて計算してもよい。脳波による操作に不慣れな期間のサンプルが多く含まれる場合には、直近の一致率が高くても、脳波による操作に切り替えられない可能性があるためである。従って、確率の計算については、計算に使用するサンプルが出現した期間に制限を加えてもよい。
First, the MPU202D calculates the concordance rate between the operation specified from the characteristics of biological information other than brain waves and the actually executed operation (step 34). Even if a co-occurrence relationship is recognized with the features of the brain wave information, if the features of the biological information other than the brain waves are contrary to the user's intention, the operation using the features of the brain wave information in the co-occurrence relationship is also incorrect. Because it becomes.
The concordance rate here may also be calculated only for a specific feature of newly acquired electroencephalogram information, or may be calculated for all past samples.
The probability may be calculated for a fixed period. This is because when many samples are included during a period unfamiliar with the operation by EEG, even if the latest agreement rate is high, it may not be possible to switch to the operation by EEG. Therefore, regarding the calculation of the probability, a limit may be applied to the period during which the sample used for the calculation appears.
続いて、ＭＰＵ２０２Ｄは、計算された一致率が閾値４より大きいか否かを判定する（ステップ３５）。ここでの閾値４は、例えば９５％に設定する。もっとも、この数値は一例である。また、閾値４は、ユーザが変更することも可能である。なお、閾値４は、第４の閾値の一例である。
ステップ３５で否定結果が得られた場合、ＭＰＵ２０２Ｄは、操作対象機器３０に対して音声の内容を送信する（ステップ３３）。
一方、ステップ３５で肯定結果が得られた場合、ＭＰＵ２０２Ｄは、操作対象機器３０（図２５参照）に対し、脳波情報の特徴に対応付けられている内容を送信する（ステップ３６）。ステップ３５で肯定結果が得られる場合は、脳波情報の特徴がユーザの意図を正確に反映している信憑性が高いためである。
本実施の形態の場合、ステップ３６の後、ＭＰＵ２０２Ｄは、脳波情報の特徴のみを用いる操作モードに設定を変更する（ステップ３７）。これにより、次回以降は、脳波だけによる操作が実行される状態になる。
Subsequently, the MPU202D determines whether or not the calculated match rate is greater than the threshold value 4 (step 35). The threshold value 4 here is set to, for example, 95%. However, this number is just an example. The threshold value 4 can also be changed by the user. The threshold value 4 is an example of the fourth threshold value.
If a negative result is obtained in
On the other hand, when an affirmative result is obtained in
In the case of the present embodiment, after step 36, the MPU 202D changes the setting to the operation mode using only the features of the electroencephalogram information (step 37). As a result, from the next time onward, the operation using only the brain waves will be executed.
このように、本実施の形態では、ユーザの意図を反映した特徴が安定的に出現されるようになった状態を、脳波に比して再現性が高い生体情報の特徴との共起関係を活用して確認することにより、音声による操作から脳波による操作への切り替えが実現される。
さらに、本実施の形態では、機械学習部２２５（図２６参照）を使用して脳波情報に出現する特徴と操作の内容との対応関係の精度も向上させている。
このため、本実施の形態の脳波操作システム１Ｄの場合にも、ユーザによる脳波による操作の精度の向上が実現される。
As described above, in the present embodiment, the state in which the feature reflecting the user's intention appears stably is co-occurred with the feature of biological information having higher reproducibility than the brain wave. By utilizing and confirming, switching from voice operation to brain wave operation is realized.
Further, in the present embodiment, the machine learning unit 225 (see FIG. 26) is used to improve the accuracy of the correspondence between the features appearing in the electroencephalogram information and the contents of the operation.
Therefore, even in the case of the
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
<Other embodiments>
Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the scope described in the above-described embodiments. It is clear from the description of the claims that the above-described embodiments with various modifications or improvements are also included in the technical scope of the present invention.
例えば前述の実施の形態では、脳波以外の生体情報の特徴を発生させるユーザの意図的な動きとして唾液を飲み込む動きを例示したが、前述したように、表情筋や咀嚼筋等を用いてもよい。因みに、唾液を飲み込む動きや咀嚼筋を動かす動きは、顎の動きの一例である。また、表情筋の動きには、眼球を動かす筋肉の動きも含まれる。
また、前述の実施の形態では、イヤホン１０（図１参照）で測定が可能な電位変動の一例として脳波について説明したが、筋電、心拍、心電、脈拍、脈波等も含まれる。
For example, in the above-described embodiment, the movement of swallowing saliva is exemplified as the intentional movement of the user to generate features of biological information other than brain waves, but as described above, facial muscles, masticatory muscles, and the like may be used. .. By the way, the movement of swallowing saliva and the movement of moving the muscles of mastication are examples of the movement of the jaw. The movement of the facial muscles also includes the movement of the muscles that move the eyeball.
Further, in the above-described embodiment, the brain wave has been described as an example of the potential fluctuation that can be measured by the earphone 10 (see FIG. 1), but myoelectricity, heartbeat, electrocardiogram, pulse, pulse wave and the like are also included.
前述の実施の形態では、両耳の外耳孔にイヤホン１０を装着して脳波を想定しているが、イヤホン１０は、片耳の外耳孔に装着するタイプでもよい。
図２９は、片耳に装着するタイプのイヤホン１０Ａの外観例を説明する図である。図２９には、図２との対応部分に対応する符号を付して示している。図２９に示すイヤホン１０Ａの場合、イヤホンチップ１１Ｒが絶縁リングにより先端側と本体側とに電気的に分離され、先端側に電極１１Ｒ１が配置され、本体側に電極１１Ｌ１が配置されている。なお、ＧＮＤ端子としての電極１１Ｒ２は不図示の絶縁体により電極１１Ｌ１と電気的に分離されている。
この構成の場合、イヤホン本体１２Ｒ内にリチウムバッテリ１２８（図３参照）も格納される。
In the above-described embodiment, the
FIG. 29 is a diagram illustrating an external example of the
In this configuration, the lithium battery 128 (see FIG. 3) is also stored in the
前述の実施の形態では、イヤホン１０（図１参照）内に電位変動をセンシングする機能のみを設け、情報端末２０（図１参照）等に脳波情報等の特徴に応じて操作の内容を推定する機能を設けているが、脳波情報等の特徴に応じて操作の内容を推定する機能についてもイヤホン１０に含めてもよい。この場合、イヤホン１０は、単独で情報処理システムの一例となる。
また、前述の実施の形態では、情報端末２０（図１参照）等に脳波情報等の特徴に応じて操作の内容を推定する機能を設けているが、脳波情報等の特徴に応じて操作の内容を推定する機能の一部又は全てをインターネット上のサーバで実行してもよい。この場合、サーバが、情報処理システムの一例となる。
In the above-described embodiment, only the function of sensing the potential fluctuation is provided in the earphone 10 (see FIG. 1), and the content of the operation is estimated in the information terminal 20 (see FIG. 1) or the like according to the characteristics such as brain wave information. Although the function is provided, the
Further, in the above-described embodiment, the information terminal 20 (see FIG. 1) or the like is provided with a function of estimating the content of the operation according to the characteristics of the electroencephalogram information or the like, but the operation is performed according to the characteristics of the electroencephalogram information or the like. Some or all of the function of estimating the content may be executed by a server on the Internet. In this case, the server is an example of an information processing system.
前述の実施の形態では、脳波等に起因する電位変動を測定する電極をイヤホン１０に配置する例を説明したが、他の物品に装着してもよい。以下、具体例を幾つか例示する。
例えば脳波等に起因する電位変動を測定する電極は耳介を覆うヘッドホンに配置してもよい。ヘッドホンの場合、電極は、イヤパッドのうち頭部と接触する部分に設けられる。この際、電極は、頭髪が少なく、皮膚と直に接触が可能な位置に配置される。
また、耳介に接触する物品には、イヤリング等のアクセサリや眼鏡型のデバイスでもよい。これらは、ウェアラブルデバイスの一例である。
図３０は、脳波の測定に使用する電極を配置したイヤリング６０の一例を説明する図である。図３０に示すイヤリング６０は、装飾が取り付けられる耳の表面側で耳朶に接触する電極１１Ｒ１と、耳の裏面側で耳朶に接触する電極１１Ｌ１と、Ｕ字部分のいずれかの位置で耳朶に接触する電極１１Ｒ２を有している。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、装飾の内部、Ｕ字部分、電極１１Ｌ１が配置される皿形状の部材を軸方向に移動させるネジの軸内等に内蔵される。
In the above-described embodiment, the example in which the electrode for measuring the potential fluctuation caused by the brain wave or the like is arranged on the
For example, an electrode for measuring a potential fluctuation caused by an electroencephalogram or the like may be arranged in headphones covering the auricle. In the case of headphones, the electrodes are provided on the ear pads that come into contact with the head. At this time, the electrodes are arranged at positions where there is little hair and direct contact with the skin is possible.
Further, the article that comes into contact with the auricle may be an accessory such as an earring or a spectacle-shaped device. These are examples of wearable devices.
FIG. 30 is a diagram illustrating an example of an
図３１は、脳波の測定に使用する電極を配置した眼鏡７０の一例を説明する図である。図３１に示す眼鏡７０は、右側のツルの先端部（以下「モダン」という）に電極１１Ｒ１と電極１１Ｌ１が配置され、左側のツルのモダンに電極１１Ｒ２が配置されている。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、ツルやモダンに内蔵される。
この他、脳波の測定に使用する電極は、スマートグラスやヘッドマウントディスプレイと呼ばれる情報を表示するヘッドセットへの組み合わせも可能である。また、ユーザの周囲の環境を理解し、環境に同化させた画像を表示する機能を備えるヘッドセットへの搭載も可能である。
FIG. 31 is a diagram illustrating an example of
In addition, the electrodes used for measuring brain waves can also be combined with headsets that display information called smart glasses and head-mounted displays. It can also be mounted on a headset that has the function of understanding the user's surrounding environment and displaying an image assimilated into the environment.
図３２は、ユーザの周囲の環境に同化させた画像を表示させる機能を備えるヘッドセット８０に脳波の測定に使用する場合の電極の配置例を説明する図である。図３２に示すヘッドセット８０は、マイクロソフト（登録商標）社のhololens（登録商標）に、脳波を測定する電極を配置した構成をイメージしている。ヘッドセット８０を装着したユーザが体験する仮想の環境は、拡張現実や複合現実と呼ばれる。
図３２に示すヘッドセット８０では、頭部に装着されるリング状の部材のうち耳部に接触する部位に、電極１１Ｒ１、電極１１Ｒ２、電極１１Ｌ１が配置されている。図３２に示すヘッドセット８０の場合、電極１１Ｒ１と電極１１Ｒ２は右耳側に配置され、電極１１Ｌ１は左耳側に配置される。
FIG. 32 is a diagram illustrating an example of electrode arrangement when used for measuring brain waves on a
In the
なお、ヘッドセット８０に設けられている視線を追跡する機能を使用し、脳波以外の生体情報の特徴としてユーザの視線の向きを用いることも可能である。
図３３は、視線を追跡する機能を生体情報の特徴とする例を説明する図である。（Ａ）は視線の方向が左方向の場合を示し、（Ｂ）は視線の方向が右方向の場合を示し、（Ｃ）は視線の方向が上方向の場合を示し、（Ｄ）は視線の方向が下方向の場合を示す。これらの視線の方向に、異なる操作の内容を割り当てる。
It is also possible to use the function of tracking the line of sight provided in the
FIG. 33 is a diagram illustrating an example in which the function of tracking the line of sight is a feature of biological information. (A) shows the case where the direction of the line of sight is to the left, (B) shows the case where the direction of the line of sight is to the right, (C) shows the case where the direction of the line of sight is upward, and (D) shows the case where the direction of the line of sight is upward. Indicates a case where the direction of is downward. The contents of different operations are assigned to the directions of these lines of sight.
前述の実施の形態においては、ユーザの耳部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳波を含む生体情報を取得する位置は耳部に限らない。電極は、例えば額その他の頭部の位置に設けてもよい。
例えばヘッドセット８０（図３２参照）の場合、頭部に装着されるリング型の部材のいずれかの位置に電極を設けてもよい。
In the above-described embodiment, the case where the biological information including the brain wave is acquired by using the electrode in contact with the user's ear is described, but the position where the biological information including the brain wave is acquired is not limited to the ear. The electrodes may be provided, for example, at the position of the forehead or other head.
For example, in the case of the headset 80 (see FIG. 32), the electrodes may be provided at any position of the ring-shaped member mounted on the head.
前述の実施の形態においては、ユーザの耳部を含む頭部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳の活動を血流量の変化によって計測してもよい。
図３４は、近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセット９０の一例を示す図である。ヘッドセット９０は、頭部に装着されるリング状の本体を有している。この本体の内側には、頭皮に近赤外光を照射するプローブ９１と、反射光を受光する検出プローブ９２で構成される測定部が１又は複数配置されている。なお、ＭＰＵ９３は、プローブ９１による近赤外光の照射を制御し、検出プローブ９２から出力される信号を処理して、ユーザの脳波の特徴を検出する。
In the above-described embodiment, the case of acquiring biological information including brain waves using electrodes that contact the head including the user's ear has been described, but even if the activity of the brain is measured by the change in blood flow rate, it may be measured. Good.
FIG. 34 is a diagram showing an example of a
この他、脳波を含む生体情報の取得には脳磁計を用いても良い。脳の神経細胞が生じる電気的活動によって生じる磁場の測定には、例えばＴＭＲ（＝Tunnel Magneto Resistance）センサを用いる。
図３５は、脳磁計１００の一例を説明する図である。図３５に示す脳磁計１００は、頭部に装着されるキャップ１０１に複数のＴＭＲセンサ１０２を配列した構造を有している。なお、ＴＭＲセンサ１０２の出力は、不図示のＭＰＵに入力され、脳磁図が生成される。この場合、脳磁図における磁場の分布がユーザの脳波の特徴として用いられる。
In addition, a magnetoencephalograph may be used to acquire biological information including electroencephalograms. For example, a TMR (= Tunnel Magneto Resistance) sensor is used to measure the magnetic field generated by the electrical activity generated by nerve cells in the brain.
FIG. 35 is a diagram illustrating an example of the
また、前述の実施の形態では、脳波以外の生体情報として、脳波と一緒に測定されるアーチファクトや視線の向きを用いる場合について説明したが、ユーザの表情から取得される特徴を用いても良い。例えば笑顔、瞼を閉じた顔、舌を出した顔等を特徴として取得してもよい。
図３６は、ユーザの表情を脳波以外の生体情報の特徴の取得に使用する脳波操作システム１Ｅの例を示す図である。図３６には、図１との対応部分に対応する符号を付して示している。
図３６に示す脳波操作システム１Ｅには、ユーザの顔を撮像するカメラ１１１が設けられており、カメラ１１１で撮像された画像が情報端末２０Ｅに送信される。このシステム構成における情報端末２０Ｅは、生体情報取得部２２２（図４参照）において、ユーザの画像から表情の特徴を取得する。
Further, in the above-described embodiment, the case where the artifact or the direction of the line of sight measured together with the brain wave is used as the biological information other than the brain wave has been described, but the feature acquired from the facial expression of the user may be used. For example, a smile, a face with closed eyelids, a face with a tongue sticking out, etc. may be acquired as features.
FIG. 36 is a diagram showing an example of an
The
なお、前述した各実施の形態におけるＭＰＵは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（＝Central Processing Unit）等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
The MPU in each of the above-described embodiments refers to a processor in a broad sense, and is a general-purpose processor (for example, CPU (= Central Processing Unit)) or a dedicated processor (for example, GPU (= Graphical)). Processing Unit), ASIC (= Application Specific Integrated Circuit), FPGA (= Field Programmable Gate Array), program logic device, etc.) are included.
Further, the operation of the processor in each of the above-described embodiments may be executed by one processor alone, or may be executed by a plurality of processors existing at physically separated positions in cooperation with each other. Further, the order of execution of each operation in the processor is not limited to the order described in each of the above-described embodiments, and may be changed individually.
１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ…脳波操作システム、１０、１０Ａ…イヤホン、２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ…情報端末、３０、３０Ａ…操作対象機器、４０、８０、９０…ヘッドセット、５０、５０Ａ…機械学習装置、６０…イヤリング、７０…眼鏡、１００…脳磁計、２２１…脳波情報取得部、２２２…生体情報取得部、２２３、２２３Ａ、２２３Ｃ、２２３Ｄ…操作内容推定部、２２４…音声情報取得部、２２５…機械学習部 1, 1A, 1B, 1C, 1D, 1E ... Brain wave operation system, 10, 10A ... Earphones, 20, 20A, 20B, 20C, 20D, 20E ... Information terminals, 30, 30A ... Operation target devices, 40, 80, 90 ... Headset, 50, 50A ... Machine learning device, 60 ... Earrings, 70 ... Glasses, 100 ... Electroencephalogram, 221 ... EEG information acquisition unit, 222 ... Biological information acquisition unit, 223, 223A, 223C, 223D ... Operation content estimation Department, 224 ... Voice information acquisition department, 225 ... Machine learning department
Claims (18)
ユーザの脳波の特徴と、当該脳波を検出しているときに検出される、当該脳波とは異なる生体情報の特徴を検出する機能と、
前記脳波の特徴と前記生体情報の特徴の組み合わせに応じて操作を決定する機能と
を実行させるプログラム。 On the computer
The characteristics of the user's brain wave, the function to detect the characteristics of biological information different from the brain wave, which is detected when the brain wave is detected, and
A program that executes a function of determining an operation according to a combination of the characteristics of an electroencephalogram and the characteristics of biological information.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019219153A JP7320261B2 (en) | 2019-12-03 | 2019-12-03 | Information processing system, method, and program |
| US16/891,596 US11402907B2 (en) | 2019-12-03 | 2020-06-03 | Information processing system and non-transitory computer readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019219153A JP7320261B2 (en) | 2019-12-03 | 2019-12-03 | Information processing system, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021089544A true JP2021089544A (en) | 2021-06-10 |
| JP7320261B2 JP7320261B2 (en) | 2023-08-03 |
Family
ID=76091006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019219153A Active JP7320261B2 (en) | 2019-12-03 | 2019-12-03 | Information processing system, method, and program |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11402907B2 (en) |
| JP (1) | JP7320261B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005018167A (en) * | 2003-06-23 | 2005-01-20 | Softopia Japan Foundation | Vital reaction use appliance controller and control method for appliance |
| JP2005202653A (en) * | 2004-01-15 | 2005-07-28 | Canon Inc | Behavior recognition device and method, animal object recognition device and method, equipment control device and method, and program |
| JP2011136158A (en) * | 2009-12-01 | 2011-07-14 | Panasonic Corp | Field detection type electroencephalograph |
| JP2017021737A (en) * | 2015-07-15 | 2017-01-26 | Kddi株式会社 | Program, terminal and system for giving emotional identifier to application by using myoelectrical signal |
| US20180107274A1 (en) * | 2016-01-21 | 2018-04-19 | Boe Technology Group Co., Ltd. | Display control device, control method thereof, and display control system |
| WO2018179346A1 (en) * | 2017-03-31 | 2018-10-04 | 本田技研工業株式会社 | Manipulation system, server, control method in manipulation system, and program |
| JP2019082776A (en) * | 2017-10-30 | 2019-05-30 | 富士通株式会社 | Operation support method, operation support program, and head-mounted display device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101314570B1 (en) | 2011-10-12 | 2013-10-07 | 서울대학교산학협력단 | Brain-Machine Interface(BMI) Devices and Methods For Precise Control |
| US9477993B2 (en) * | 2012-10-14 | 2016-10-25 | Ari M Frank | Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention |
| WO2015122846A1 (en) * | 2014-02-14 | 2015-08-20 | National University Of Singapore | System, device and methods for brainwave-based technologies |
| WO2016196784A1 (en) * | 2015-06-02 | 2016-12-08 | Battelle Memorial Institute | Non-invasive motor impairment rehabilitation system |
| US11717686B2 (en) * | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
-
2019
- 2019-12-03 JP JP2019219153A patent/JP7320261B2/en active Active
-
2020
- 2020-06-03 US US16/891,596 patent/US11402907B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005018167A (en) * | 2003-06-23 | 2005-01-20 | Softopia Japan Foundation | Vital reaction use appliance controller and control method for appliance |
| JP2005202653A (en) * | 2004-01-15 | 2005-07-28 | Canon Inc | Behavior recognition device and method, animal object recognition device and method, equipment control device and method, and program |
| JP2011136158A (en) * | 2009-12-01 | 2011-07-14 | Panasonic Corp | Field detection type electroencephalograph |
| JP2017021737A (en) * | 2015-07-15 | 2017-01-26 | Kddi株式会社 | Program, terminal and system for giving emotional identifier to application by using myoelectrical signal |
| US20180107274A1 (en) * | 2016-01-21 | 2018-04-19 | Boe Technology Group Co., Ltd. | Display control device, control method thereof, and display control system |
| WO2018179346A1 (en) * | 2017-03-31 | 2018-10-04 | 本田技研工業株式会社 | Manipulation system, server, control method in manipulation system, and program |
| JP2019082776A (en) * | 2017-10-30 | 2019-05-30 | 富士通株式会社 | Operation support method, operation support program, and head-mounted display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7320261B2 (en) | 2023-08-03 |
| US20210165489A1 (en) | 2021-06-03 |
| US11402907B2 (en) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2743026C2 (en) | Cardiacity monitoring system using electric potential sensors | |
| US11856355B2 (en) | Information processing system and non-transitory computer readable medium storing program | |
| KR20180055743A (en) | Electronic apparatus and control method thereof | |
| US11297448B2 (en) | Portable system for gathering and processing data from EEG, EOG, and/or imaging sensors | |
| US20210240433A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
| US20220361787A1 (en) | Ear-worn device based measurement of reaction or reflex speed | |
| KR20210065536A (en) | Depression self-diagnosis system using brainwave signal | |
| KR20160108967A (en) | Device and method for bio-signal measurement | |
| US20220394396A1 (en) | Control of parameters of hearing instrument based on ear canal deformation and concha emg signals | |
| Yu et al. | An inflatable and wearable wireless system for making 32-channel electroencephalogram measurements | |
| JP2022059140A (en) | Information processing device and program | |
| KR101791038B1 (en) | Apparatus and method for measuring electroencephalograms using ear-wearable electroencephalography equipment | |
| CN115334969A (en) | Heart monitoring system with wireless earplugs | |
| JP2022059147A (en) | Biological information measurement system | |
| JP7320261B2 (en) | Information processing system, method, and program | |
| WO2019225244A1 (en) | Biological signal acquisition electrode, biological signal acquisition electrode pair, and biological signal measurement system | |
| US20230390608A1 (en) | Systems and methods including ear-worn devices for vestibular rehabilitation exercises | |
| Chiu et al. | Mobile switch control using auditory and haptic steady state response in Ear-EEG | |
| Ramesh et al. | Brain computer interface based assistive device | |
| TWM530129U (en) | Wearable electrocardiograph | |
| Ramesh et al. | Brain Computer Interface device for speech impediments | |
| JP2021124922A (en) | Information processing device and program | |
| US20240000315A1 (en) | Passive safety monitoring with ear-wearable devices | |
| US20220157434A1 (en) | Ear-wearable device systems and methods for monitoring emotional state | |
| Fu et al. | Eye-gaze Estimation with HEOG and Neck EMG using Deep Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210318 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210416 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210318 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230714 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7320261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |