JP7410557B2 - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP7410557B2 JP7410557B2 JP2020017479A JP2020017479A JP7410557B2 JP 7410557 B2 JP7410557 B2 JP 7410557B2 JP 2020017479 A JP2020017479 A JP 2020017479A JP 2020017479 A JP2020017479 A JP 2020017479A JP 7410557 B2 JP7410557 B2 JP 7410557B2
- Authority
- JP
- Japan
- Prior art keywords
- condition
- subject
- type terminal
- satisfies
- earphone type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 17
- 230000008859 change Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 230000008451 emotion Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 5
- 230000006996 mental state Effects 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 description 65
- 238000005259 measurement Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 39
- 210000000845 cartilage Anatomy 0.000 description 24
- 230000003595 spectral effect Effects 0.000 description 22
- 230000004397 blinking Effects 0.000 description 19
- 238000000034 method Methods 0.000 description 17
- 238000002474 experimental method Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 210000000613 ear canal Anatomy 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000001061 forehead Anatomy 0.000 description 6
- 239000012212 insulator Substances 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000007177 brain activity Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 210000000624 ear auricle Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000003296 saliva Anatomy 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 229940028444 muse Drugs 0.000 description 3
- 230000037361 pathway Effects 0.000 description 3
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000009747 swallowing Effects 0.000 description 2
- 206010029216 Nervousness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000003984 auditory pathway Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
- A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
- A61F11/045—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense using mechanical stimulation of nerves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
- A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/251—Means for maintaining electrode contact with the body
- A61B5/256—Wearable electrodes, e.g. having straps or bands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
- A61B5/6817—Ear canal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
- G10L21/043—Time compression or expansion by changing speed
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
- H04M1/6041—Portable telephones adapted for handsfree use
- H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Psychiatry (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
Description
請求項2に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第1の条件を満たさないことを示す予め定めた第2の条件を満たす場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力する機能を実現させるプログラムである。
請求項3に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記第1の条件を満たさないことを示す予め定めた第2の条件を満たす場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力させる、処理を実行させる情報処理方法である。
請求項4に記載の発明は、プロセッサを有し、前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力する、
情報処理装置である。
請求項5に記載の発明は、前記環境の変化は、電話における終話の検知である、請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記環境の変化は、対象者が参加している会議の終了の検知である、請求項4に記載の情報処理装置である。
請求項7に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力する機能を実現させるプログラムである。
請求項8に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記対象者の置かれた環境の変化を検知した場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力させる、処理を実行させる情報処理方法である。
請求項1-4記載の発明によれば、予め定めた別の条件を満たすことを条件に集音された音の確認を開始できる。
請求項1-3記載の発明によれば、対象者の心理状態又は感情に関する情報の変化をきっかけに周囲の音を確認する機会を設けることができる。
請求項11記載の発明によれば、対象者の希望により周囲の音を確認する機会を設けることができる。
請求項12記載の発明によれば、周囲の音を確認する機会を対象者毎に設定できる。
請求項4、7-8記載の発明によれば、対象者の環境の変化をきっかけに周囲の音を確認する機会を設けることができる。
請求項5記載の発明によれば、電話による会話の終了後に会話中の周囲の音を確認する機会を設けることができる。
請求項6記載の発明によれば、参加している会議の終了後に会議中の周囲の音を確認する機会を設けることができる。
<実施の形態1>
<システム構成>
図1は、イヤホン型端末1の装着例を説明する図である。(A)はイヤホン型端末1を装着している人(以下「装着者」という)を斜め前方から見たイヤホン型端末1の装着の様子であり、(B)は装着者を正面から見たイヤホン型端末1の装着の様子を示す。
本実施の形態におけるイヤホン型端末1は、情報処理装置の一例であり、右耳に装着されるモジュール1Rと、左耳に装着されるモジュール1Lとを有している。
本実施の形態における装着者は、対象者の一例である。
本実施の形態で使用するイヤホン型端末1は、ワイヤレス型のデバイスである。このため、イヤホン型端末1は、無線通信により、外部装置と接続される。ここでの外部装置には、オーディオプレーヤ、スマートフォン、タブレット端末、ノート型のコンピュータ、ウェアラブルコンピュータ等を想定する。外部装置との通信には、例えばブルートゥース(登録商標)が使用される。もっとも、無線通信には、WiFi(登録商標)その他の通信規格を用いることも可能である。また、ケーブルを通じてイヤホン型端末1を外部装置と接続してもよい。
脳波を用いるインタフェースの普及を考える場合、脳波を計測していることが明らかなデバイスの装着は、ユーザの支持を受けられない可能性がある。例えばヘルメット型のデバイスは、デザイン性の観点からも、身体への負担の観点からもユーザの支持を得られない可能性がある。
そこで、本実施の形態では、脳波を測定するデバイスとしてイヤホン型端末1に着目する。イヤホン自体は、いわゆるオーディオ機器として普及しているため、外観的にも、イヤホン型端末1を装着する心理的な抵抗は少ないと考えられる。
この他、イヤホン型端末1には、不図示の軟骨伝導振動子が内蔵される。軟骨伝導振動子を用いた音の伝導は、軟骨伝導と呼ばれる。軟骨伝導では、外耳道を塞ぐ必要がない。このため、軟骨伝導による音と外界の音は同時に聞くことが可能である。
なお、軟骨伝導の経路は、気導経路や骨導経路とは異なる第3の聴覚経路と呼ばれる。
本実施の形態におけるイヤホン型端末1は、装着者の脳波を測定するための回路と、軟骨伝導により装着者に音を伝える回路の両方を含んでいる。
図2は、実施の形態1で使用するイヤホン型端末1の外観構成の一例を説明する図である。(A)は端末全体の外観を示し、(B)は左右のモジュール1L及び1Rの外観を示す。
本実施の形態におけるイヤホン型端末1は、左耳に装着されるモジュール1Lと、右耳に装着されるモジュール1Rと、モジュール1L及び1Rを接続する連結部1Cとを有している。連結部1Cは樹脂製であり、その内部には電力線や信号線が収容されている。
左耳に装着されるモジュール1Lは、バッテリ等が収容されるモジュール本体2Lと、耳部に装着される電極付き振動部3Lと、耳介と側頭との隙間に装着されるイヤーフック4Lとで構成される。
同じく、右耳に装着されるモジュール1Rは、電子回路等が収容されるモジュール本体2Rと、耳部に装着される電極付き振動部3Rと、耳介と側頭との隙間に装着されるイヤーフック4Rとで構成される。
左側のモジュール1Lの電極部は、中央に反対側まで貫通する開口を有するドーム状の電極3L1を有している。右側のモジュール1Rの電極部は、中央に反対側まで貫通する開口を有するドーム状の電極3R1と、耳甲介腔に接触するリング状の電極3R2を有している。
軟骨伝導振動子3L3及び3R3は、軟骨伝導に必要な振動を発生する素子である。本実施の形態における軟骨伝導振動子3L3及び3R3は、保護部材で覆われている。すなわち、軟骨伝導振動子3L3及び3R3は密閉型の振動子である。
本実施の形態の場合、電極付き振動部3L及び3Rには、耳の奥側から耳の外までつながる孔が設けられている。このため、電極付き振動部3L及び3Rを装着した状態の装着者は、外部の音を、気導経路を通じて聞き取ることが可能である。
本実施の形態の場合、電極3R1は、脳波(EEG:ElectroEncephaloGram)の測定に用いられる端子(以下「EEG測定用端子」という)である。なお、電極3R1で測定される電位の変動には、脳波だけでなく、他の生体情報に起因する電位の変動も含まれる。電極3R2は、接地電極(以下「GND端子」ともいう)である。
一方の電極3L1は、基準電位(REF:REFerence)の測定に用いられる端子(以下「REF端子」という)である。もっとも、本実施の形態の場合、電極3R2と電極3L1は絶縁体により電気的に分離されている。
本実施の形態の場合、脳波に起因する電位の変動は、電極3R1と電極3L1で測定された電気信号の差分信号として測定される。他の生体情報に起因する電位の変動についても同様である。
脳波と脳波以外の生体情報を含む電位変動を総称する場合、「脳波等の生体情報」ということがある。
アーチファクトに含まれる成分は、生体に由来する成分、電極等の測定系に由来する成分、外部の機会や環境に由来する成分に分類される。これら3つの成分のうち生体に由来する成分以外は、イヤホン型端末1で測定される雑音として測定することが可能である。雑音は、電極3R1と電極3L1を電気的に短絡した状態における電気信号として測定することが可能である。
本実施の形態の場合、心理状態等に関する情報とは、言語上の分類に限らず、符号、記号、数値等で表現された情報も含む。
モジュール本体2Rは、マイク11Rと、デジタル脳波計12と、6軸センサ13と、ブルートゥースモジュール14と、半導体メモリ15と、MPU(=Micro Processing Unit)16を有している。
デジタル脳波計12は、電極3R1と電極3L1に現れる電位変動を差動増幅する差動アンプと、差動アンプの出力をサンプリング処理するサンプリング回路と、サンプリング後のアナログ電位をデジタル値に変換するアナログ/デジタル変換回路とを含んでいる。本実施の形態の場合、サンプリングレートは600Hzである。また、アナログ/デジタル変換回路の分解能は16ビットである。
ブルートゥースモジュール14は、不図示の外部装置との間でデータを送受信するために用いられる。ブルートゥースモジュール14は、例えば外部装置からのオーディオデータの受信に用いられる。
半導体メモリ15は、例えばBIOS(=Basic Input Output System)が記録されたROM(=Read Only Memory)と、ワークエリアとして用いられるRAM(=Random Access Memory)と、書き換えが可能な不揮発性のメモリ(以下「フラッシュメモリ」という)で構成される。
本実施の形態の場合、フラッシュメモリは、マイク11Rで集音された音の記録、デジタル脳波計12の出力であるデジタル信号の記録、脳波の分析により特定された心理状態等に関する情報の記録、外部装置から受信されたオーディオデータの記録等に用いられる。この他、フラッシュメモリには、ファームウェアやアプリケーションプログラムも記録される。
一方、モジュール本体2Lには、マイク11Lと、リチウムイオンバッテリ17が内蔵されている。
図4は、イヤホン型端末1の機能構成の一例を示す図である。図4に示す機能は、MPU16(図3参照)と各部の連携により実現される。
本実施の形態におけるイヤホン型端末1は、生体電位の情報から脳波情報を含む生体情報を取得する生体情報取得部161と、取得された生体情報を分析して装着者の心理状態等を推定する生体情報分析部162と、マイク11L及び11Rが出力する装着者の周囲の音のデータ(以下「音データ」という)を取得する音取得部163と、取得された音データの記録を生体情報等に関する情報に応じて制御する音記録制御部164と、記録された音データを音の要素に分解する音要素分解部165と、予め定めた優先順位に従って音の要素を抽出する優先音抽出部166と、音データの再生を予め定めた条件に基づいて制御する再生制御部167として機能する。
本実施の形態における生体情報取得部161は、生体電位の情報から脳波の特徴を取得する。本実施の形態における生体情報分析部162は、脳波の特徴の取得に、独立成分分析法(Independent Component Analysis:ICA)その他の既知の技術を活用する。脳波情報の特徴には、例えば脳波に特有の波形成分、波形成分を構成する周波数成分別のスペクトル強度やその分布、波形成分を構成する特定の周波数成分のスペクトル強度、α波の増加率等がある。
本実施の形態における生体情報分析部162は、生体情報を複数の心理状態等に分類する。本実施の形態の場合、複数の心理状態等は、例えば好き、嫌い、楽しい、悲しい、危険、興味、眠気、集中、リラックス、頭が冴える、ストレス、怒り、興奮、幸福に分類される。勿論、これらは一例であり、分類の数はより少なくても、より多くてもよい。これらは、言語上の分類の一例である。
本実施の形態における音記録制御部164は、生体情報等に関する情報が予め定めた条件を満たす期間に取得された音データを半導体メモリ15(図3参照)に記録し、条件を満たさない期間に取得された音データを記録しない。もっとも、生体情報等に関する情報の内容とは関係なく全ての音データを半導体メモリ15に記録する設定とすることも可能である。ここでの予め定めた条件は、第1の条件の一例である。
本実施の形態における音記録制御部164は、装着者の集中力が低下しているとみなされる状態の場合、取得された音データを半導体メモリ15に記録する。
なお、装着者の集中力が低下しているとみなされる状態は、例えば装着者から測定されたθ波のレベルが予め定めた閾値より高い場合やδ波のレベルが予め定めた閾値より高い場合に出現する可能性がある。θ波は、周波数が約4Hz~約8Hzの周波数成分であり、δ波は、周波数が約4Hz以下の周波数成分である。
このため、装着者の集中力が低下しているとみなされる状態を、θ波のレベルが予め定めた閾値より高い場合、又は、δ波のレベルが予め定めた閾値より高い場合として検出する機能を音記録制御部164に設けてもよい。装着者の集中力が低下しているとみなされる状態は、第1の条件の一例である。
装着者が昂ぶっているとみなされる状態には、イライラしていると分析された場合、興奮している又は興奮しすぎていると分析される場合等がある。これらの場合も、装着者が会話の内容を把握しきれない可能性がある。
なお、装着者が昂ぶっている状態は、例えば装着者から測定されたγ波のレベルが予め定めた閾値より高い場合やβ波のレベルが予め定めた閾値より高い場合に出現する可能性がある。γ波は、周波数が約40Hz~約70Hzの周波数成分であり、β波は、周波数が約13Hz~約40Hzの周波数成分である。
このため、装着者が昂ぶっているとみなされる状態を、γ波のレベルが予め定めた閾値より高い場合、又は、β波のレベルが予め定めた閾値より高い場として検出する機能を音記録制御部164に設けてもよい。装着者が昂ぶっているとみなされる状態は、第1の条件の一例である。なお、第1の条件は、アカウント毎に設定が可能である。
音の種類を基準とする場合、音データは、例えば人の声とそれ以外の音に分解される。勿論、音データを別の種類に分解することも可能である。また、種類の数は3つ以上でもよい。
音源又は話者の違いを基準とする場合、音データは、例えば話者別に分解される。例えばAさんの声、Bさんの声という具合に分解される。なお、音データから話者を認識する技術は既に実用化されている。例えばMicrosoft社のSpeaker Recognition APIがある。
言葉の単位を基準とする場合、音データは、例えば文節や単語を単位に分解される。文節や単語の単位で分解されていると、出現頻度の高い文節や単語の抽出が可能になる。
要約を基準とする場合、既存技術を用いて音データから要約が生成される。例えば音データをテキストデータに変換し、テキストデータの要約を生成する技術が存在する。要約が生成されていると、会話の要約を抽出することも可能である。
優先順位が上位の例には、例えば特定の話者がある。特定の話者の代表例は、上司やリーダである。具体的には、特定の話者の優先順位を高く設定しておく。
優先順位が上位の例には、発言数が多い特定の話者がある。上司やリーダとも重複する可能性があるが、発言回数が多い話者は重要な発言をしている可能性も高い。
優先順位が上位の例には、出現する頻度が高い文節や単語がある。繰り返し出現する文節や単語の内容を優先することで、短時間のうちに会話の要点の把握が可能になる。
優先順位が上位の例には、会話の要約がある。要約の再生により、短時間のうちに会話の要点の把握が可能になる。
なお、優先順位を設定しないことも可能である。この場合、記録された音声データの全てが再生の対象となる。ここでの優先順位は第3の条件の一例である。因みに、優先順位は装着者毎に設定が可能である。換言すると、優先順位は、アカウント毎に設定が可能である。
予め定めた条件には、例えば装着者の心理状態等に関する状態が、会話の内容を把握可能な状態に該当することがある。換言すると、装着者の集中力が低下しているとみなされなくなった場合や装着者が昂ぶっているとみなされなくなった場合である。すなわち、装着者の集中力が回復した場合や冷静さを取り戻した場合である。ここでの予め定めた条件は、第1の条件を満たさない場合と定義することも可能である。
この他、予め定めた条件には、装着者が明示の指示を与えた場合も含まれる。明示の指示は、不図示の操作子や操作ボタンに対する操作を通じて入力される。この場合、装着者が再生を開始するタイミングを自由に選択することが可能になる。換言すると、装着者に都合のよいタイミングで記録された音データの再生が可能になる。
また、予め定めた条件には、リアルタイムが含まれてもよい。この場合は、会話の内容の把握が困難な状態でも強制的に集音された音が再生される。多くの場合、軟骨伝導による音の伝達は、直接耳に入る音よりも大きく聞こえることが知られている。このため、心理状態等が周囲の音を把握しきれない状態でも、注意を音に向けることが可能になる。本実施の形態におけるイヤホン型端末1は補聴器ではないので、リアルタイムでの音データ等の再生は、装着者の心理状態等が会話の内容の把握が困難な場合に限られる。
再生制御部167が用いる予め定めた条件は、第2の条件の一例である。第2の条件も装着者毎に設定される。換言すると、第2の条件は、アカウント毎に設定が可能である。
図5は、実施の形態1で使用するイヤホン型端末1が実行する処理動作例を説明するフローチャートである。図5においては、処理動作の各ステップを記号のSで示している。
まず、イヤホン型端末1は、生体電位の情報を取得すると(ステップ1)、生体電位の情報を分析して心理状態等を特定する(ステップ2)。本実施の形態の場合、生体電位の情報は脳波を含む情報であり、予め用意された心理状態等の中から1つ又は複数が特定される。
次に、イヤホン型端末1は、周囲の音を記録する条件を満たすか否かを判定する(ステップ3)。ステップ3で否定結果が得られている間、イヤホン型端末1は、ステップ3の判定を繰り返す。この間、装着者の周囲の音は記録されない。また、周囲の音が軟骨伝導により伝達されることもない。
ステップ3で肯定結果が得られた場合、イヤホン型端末1は、周囲の音を記録する(ステップ4)。
ステップ5で肯定結果が得られた場合、イヤホン型端末1は、記録又は抽出した音を再生する(ステップ10)。ここでは、記録された音がリアルタイムで再生される。再生には、軟骨伝導振動子3L3及び3R3(図3参照)が用いられる。
一方、ステップ5で否定結果が得られた場合、イヤホン型端末1は、音を要素に分解し(ステップ6)、その後、分解後の音の要素を格納する(ステップ7)。前述したように、音の要素は半導体メモリ15(図3参照)に格納される。
次に、イヤホン型端末1は、優先する音の要素を抽出する(ステップ8)。音の要素の抽出は、事前に設定された優先順位に基づいて実行される。
この後、イヤホン型端末1は、再生条件を満たすか否かを判定する(ステップ9)。
再生条件が満たされない間、イヤホン型端末1は、ステップ9で否定結果を得る。再生条件が満たされると、イヤホン型端末1は、ステップ9で肯定結果を得てステップ10に移行し、抽出された音を再生する。
図6は、イライラしている人が冷静さを取り戻すと音声の再生が開始される例を説明する図である。図6では、Aさんが話者であり、イヤホン型端末1を装着しているBさんが聞き手である。図6に示すように、Aさんは「今回のプロジェクトは…」とBさんに話しかけているが、Bさんはイライラしており、Aさんの話す内容を把握しきれない状態である。なお、イヤホン型端末1には気導経路が確保されているので、BさんはAさんが話す声が物理的には聞こえている。しかし、イライラしており、話の内容を把握するには不向きな状態である。
この場合、イヤホン型端末1は、Bさんの心理状態等が冷静になったことを検知すると、イライラしていた期間に記録されていた音声の再生をスタートする。再生される音声は、事前の設定による。例えば音声の全部が1倍速で再生される、又は、早送り再生される。また例えば音声の要約が選択的に再生される。
図7の例では、冷静さを取り戻したDさんの指示により、リーダの声が抽出されて再生がスタートされる。図7の場合、Dさんは、リーダであるAさんの音声の優先順位を高く設定している。このため、BさんやCさんの発言があった場合でも、Aさんの発言が選択的に再生される。この例では、Dさんの指示によりAさんの発言が再生されるため、会議中でも、他の参加者に気づかれることなく、Aさんの発言を確認することが可能になる。
以下では、イヤホン型端末1(図2参照)の使用により、装着者の脳波の取得が可能であることを、第三者による実験の結果や出願人による実験の結果を通じて説明する。
図8は、イヤホン型端末1を装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセット20の測定点を説明する図である。
今回の実験では、脳波センサ付きヘッドセット20として、市場で入手が可能なNeuroSky社のMindWaveを使用した。
前述したように、イヤホン型端末1は外耳道を脳波の測定点として使用するのに対し、NeuroSky社のMindWaveは、額20Aを脳波の測定点とする。
図8に示す額20Aは、脳波の測定に使用する電極配置の国際標準として推奨されている10-20法で定める21個の配置のうちのFp1に相当する。
なお、この論文は、USデューク大学のPh.DシニアサイエンティストDimiter Dimitrovと、イタリアミラノ工科大学Ph.Dイタリア国立研究評議会(CNR)のMarta Parazziniにより査読掲載されている。
図9は、論文に掲載されている脳波の計測点を示す図である。
図9に示すB-AlertとEnobioは、ヨーロッパと米国で医療認定を得ているEEGシステムの名称である。また、MuseとMindWaveは、消費者向けのEEGシステムの名称である。
また、論文の結論の項には、MindWaveのFp1で測定されるパワースペクトルは、医療認定されているEEGシステムであるB-Alert及びEnobioと再現テストの結果も含めてほぼ同じであり、α波のピークも捉えられたことが記載されている。なお、MindWaveで測定される脳波には、瞬きと開眼中の動きがノイズとして乗ることも記載されている。ちなみに、Museの信頼性が低い理由として、アーチファクトの影響の可能性が指摘されている。
以下では、被験者に、イヤホン型端末1(図2参照)とMindWaveの両方を装着し、脳波を測定する実験を行った結果について説明する。
図8に示したように、イヤホン型端末1は外耳道を測定点とし、MindWaveは額20Aを測定点とする。
なお、実際の被験者は83名であったが、25名の測定の結果には開眼時のアーチファクトの影響が過大であったため除外した。
メディテーション上昇テストでは、被験者に対し、閉眼状態で30秒間の瞑想をお願いした。このテストは、閉眼時のα波の出力評価に相当する。換言すると、リラックス状態におけるα波の増加比率を捉えることを目的とする。
α波の出力の評価は、30秒間の開眼状態の後に30秒間の閉眼状態を2セット繰り返し、閉眼状態におけるα波の上昇を確認するのが一般的である。
ただし、今回の実験では、一度に多くのデータを収集するためにセットの回数を増やして行った。
図10は、α波の出力評価を説明する図である。図10に示すように、脳波の生データは、主にδ波、θ波、α波、β波、γ波に分類が可能である。
脳波は、人の動作による再現性が小さく、臨床データによる取得性能の再現性の評価が難しいとされるが、その中でも、α波は、開眼と閉眼の差で出現され易いとされている。
いずれの波も、開眼状態においては一様に出現し易い一方、α波以外の波は閉眼状態において一様に減衰するといわれる。すなわち、α波は、閉眼状態においても比較的影響を受けることなく出現するといわれる。
実験では、α波強度比Tαを、全周波数帯のスペクトル強度の和(すなわちΣSn)に対するα波帯のスペクトル強度Sαの比(=Sα/ΣSn)として定義し、開眼状態から閉眼状態への変化でα波強度比Tαが増加したか否かを確認した。
α波強度比Tαの増加が確認されれば、脳波の測定の証拠になる。
図11は、MindWaveによる測定結果を説明する図である。(A)は瞬きが弱い人で開眼状態と閉眼状態の切り替えを2セット行った場合の測定結果であり、(B)は瞬きが強い人で開眼状態と閉眼状態の切り替えを2セット行った場合の測定結果である。
図12は、実施の形態で使用するイヤホン型端末1(図2参照)による測定結果を説明する図である。(A)は瞬きが弱い人で開眼状態と閉眼状態の切り替えを2セット行った場合の測定結果であり、(B)は瞬きが強い人で更に顎の動きを加えて開眼状態と閉眼状態の切り替えを2セット行った場合の測定結果である。
一方、瞬きが強い人の場合、MindWaveによる測定結果には、瞬きの影響を受けたアーチファクトが顕著に出現した。その理由は、MindWaveが測定に用いる額の位置が目に近く、開眼時における瞬きが大きなアーチファクトとして検出され易いためと考えられる。このことは、前述したElena Ratti等の論文でも指摘されている。
なお、瞬きに伴い検出されるアーチファクトには、瞼の動きに伴い発生する生体由来の電位の変動だけでなく、瞼を動かそうとする脳波由来の電位の変動が含まれている。
ただし、唾液を飲み込む顎の動きに起因するアーチファクトは、開眼状態か閉眼状態かを問わず、検出されることが確認された。唾液を飲み込む顎の動きに起因するアーチファクトは、主に、θ波帯に出現した。
一方で、唾液の飲み込みに伴い出現するアーチファクトのスペクトル強度は、MindWaveで検知された瞬きに対応するアーチファクトのスペクトル強度に比して格段に小さい。このため、MindWaveの場合のように、α波の増加への影響は認められなかった。
因みに、唾液の飲み込みに伴い出現するアーチファクトにも、顎の筋肉の動きに伴い発生する生体由来の電位の変動だけでなく、顎の筋肉を動かそうとする脳波由来の電位の変動が含まれている。
図13は、MindWaveによる測定結果を説明する図である。(A)は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、(B)は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、(C)はα波の増加が出現しない場合である。
図14は、実施の形態で使用するイヤホン型端末1(図2参照)による測定結果を説明する図である。(A)は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、(B)は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、(C)はα波の増加が出現しない場合である。
MindWaveのスペクトル強度の分布(図13参照)とイヤホン型端末1のスペクトル強度の分布(図14参照)は、δ波~θ波の低周波帯で異なっているが、α波以上ではほぼ同じであった。
因みに、イヤホン型端末1だけでα波の増加が確認された被験者は7名であった。換言すると、イヤホン型端末1では、α波の増加が計53名で確認された。すなわち、イヤホン型端末1では、約9割強の被験者でα波の増加が確認された。
なお、MindWaveとイヤホン型端末1の両方でα波の増加が確認されなかった被験者は5名であった。図13及び図14の(C)に示す波形は、この5名の被験者の測定結果を表している。
図15では、図13及び図14の場合とは異なり、横軸に実周波数を用いている。前述したElena Ratti等の論文では、横軸に実周波数を用いてα波の増加を説明している。図中の○印で示す部分が増加部分である。
図15に示すように、いずれの測定方法でも、周波数が高くなるのに従ってスペクトル強度の割合が低下する傾向が表れている。この傾向は、Elena Ratti等の論文と同様である。
このように、本実施の形態で使用する外耳道で脳波を測定するイヤホン型端末1は、MindWaveと同等の測定能力を有していることが確かめられた。
本実施の形態では、対象者の集中力が低下しているとみなされる状態で電話の着信があった場合における処理動作について説明する。
なお、本実施の形態の場合にも、実施の形態1で説明したイヤホン型端末1を使用する。相違する処理の内容は、MPU16(図3参照)が実行するプログラムに起因する。
図16は、実施の形態2で使用するイヤホン型端末1が実行する処理動作例を説明するフローチャートである。図16には、図5との対応部分に対応する符号を付して示している。
本実施の形態の場合も、イヤホン型端末1は、生体電位の情報を取得すると(ステップ1)、生体電位の情報を分析して心理状態等を特定する(ステップ2)。
一方、ステップ3で肯定結果が得られた場合、イヤホン型端末1は、周囲の音を記録する(ステップ4)。
ここまでの処理は、実施の形態1と同じである。
続いて、イヤホン型端末1は、再生条件を満たす前に電話の着信があったか否かを判定する(ステップ11)。本実施の形態の場合、ステップ11で否定結果が得られている間、イヤホン型端末1は、ステップ11の判定を繰り返す。もっとも、否定結果が得られている間も、実施の形態1で説明したステップ5~10の処理が実行される。このため、ステップ11で肯定結果が得られる前に、記録された周囲の音の再生が開始されることも起こり得る。
電話が接続されると、装着者は、電話の相手との会話を開始する。電話の相手との会話が開始されると、多くの場合、装着者の心理状態等は退屈な状態から集中した状態等に変化する。この変化は、前述の実施の形態1の場合であれば、周囲の音の記録を終了するイベントとして検知され、直前までに記録された音データの再生も開始される。
ただし、本実施の形態の場合、装着者は電話の相手と会話を行っているので、周囲の音の再生は好ましくない。そこで、本実施の形態におけるイヤホン型端末1は、心理状態等が変化しても、電話中である限り、周囲の音の記録を継続する。このため、実施の形態1で説明したステップ6~ステップ8の処理が、電話による会話の最中も継続的に実行される。
ステップ13で肯定結果が得られると、イヤホン型端末1は、記録又は抽出した音を再生する(ステップ10)。すなわち、電話中に発生していた周囲の音の再生が開始される。
本実施の形態の場合、ステップ3で肯定結果が得られる場合が実施の形態1と同様であるが、イライラした状態で電話に出るのはよろしくない。このため、ステップ3で肯定結果が得られるのは、退屈している状態と判定された場合等、予め定めた状態の場合に限定してもよい。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
図17は、外部装置がインターネット30上のサーバ31である場合を示す図である。図17の場合、イヤホン型端末1は、装着者から測定された脳波の情報をサーバ31にアップロードし、処理の結果を受信するデバイスとして機能する。
また、前述の実施の形態では、両耳の外耳道にイヤホン型端末1を装着して脳波を測定しているが、イヤホン型端末1は、片耳の外耳道に装着するタイプでもよい。
図18は、片耳に装着するタイプのイヤホン型端末1Aの外観例を説明する図である。図18には、図2との対応部分に対応する符号を付して示している。図18に示すイヤホン型端末1Aは、右耳に装着されるモジュール1Rを基本構成とする。図18の場合、モジュール本体2Rには、リチウムイオンバッテリ17(図3参照)も内蔵されている。
また、図18に示すイヤホン型端末1Aの場合、耳部に装着される電極付き振動部3Rの先端部に、3つの電極3R1、3L1及び3R2が設けられる。ドーム状の電極3R1とリング状の電極3L1の間、リング状の電極3L1及びリング状の電極3R2の間は、それぞれ絶縁体により電気的に分離されている。
例えば脳波等に起因する電位変動を測定する電極は耳介を覆うヘッドホンに配置してもよい。ヘッドホンの場合、電極は、イヤパッドのうち頭部と接触する部分に設けられる。この際、電極は、頭髪が少なく、皮膚と直に接触が可能な位置に配置される。
また、耳介に接触する物品には、イヤリング等のアクセサリや眼鏡型のデバイスでもよい。これらは、ウェアラブルデバイスの一例である。
図19は、脳波の測定に使用する電極を配置したイヤリング40の一例を説明する図である。図19に示すイヤリング40は、装飾が取り付けられる耳の表面側で耳朶に接触する電極3R1と、耳の裏面側で耳朶に接触する電極3L1と、U字部分のいずれかの位置で耳朶に接触する電極3R2を有している。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、装飾の内部、U字部分、電極3L1が配置される皿形状の部材を軸方向に移動させるネジの軸内等に内蔵される。
なお、軟骨伝導振動子3R3は、イヤリング40の本体とケーブル41で接続される。この場合、軟骨伝導振動子3R3は、単独で耳部に装着される。
この他、脳波の測定に使用する電極は、スマートグラスやヘッドマウントディスプレイと呼ばれる情報を表示するヘッドセットへの組み合わせも可能である。また、ユーザの周囲の環境を理解し、環境に同化させた画像を表示する機能を備えるヘッドセットへの搭載も可能である。
図21に示すヘッドセット60では、頭部に装着されるリング状の部材のうち耳部に接触する部位に、電極3R1、電極3R2、電極3L1が配置されている。図21に示すヘッドセット21の場合、電極3R1と電極3R2は右耳側に配置され、電極3L1は左耳側に配置される。なお、ヘッドセット60に設けられている視線を追跡する機能を使用すれば、視線の先の物又は人と装着者の心理状態等との紐付けが容易になる。また、ヘッドセット60には、右側の耳部に装着される軟骨伝導振動子3R3と、左側の耳部に装着される軟骨伝導振動子3L3とが本体に取り付けられている。
前述の実施の形態においては、ユーザの耳部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳波を含む生体情報を取得する位置は耳部に限らない。電極は、例えば額その他の頭部の位置に設けてもよい。
例えばヘッドセット60(図21参照)の場合、頭部に装着されるリング状の部材のいずれかの位置に電極を設けてもよい。
図22は、近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセット70の一例を示す図である。ヘッドセット70は、頭部に装着されるリング状の本体を有している。この本体の内側には、頭皮に近赤外光を照射するプローブ71と、反射光を受光する検出プローブ72で構成される測定部が1又は複数配置されている。なお、MPU73は、プローブ71による近赤外光の照射を制御し、検出プローブ72から出力される信号を処理して、ユーザの脳波の特徴を検出する。
図23は、脳磁計80の一例を説明する図である。図23に示す脳磁計80は、頭部に装着されるキャップ81に複数のTMRセンサ82を配列した構造を有している。なお、TMRセンサ82の出力は、不図示のMPUに入力され、脳磁図が生成される。この場合、脳磁図における磁場の分布がユーザの脳波の特徴として用いられる。なお、図23には、耳部に装着された軟骨伝導振動子3L3も描いている。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
Claims (8)
- プロセッサを有し、
前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第1の条件を満たさないことを示す予め定めた第2の条件を満たす場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力する、
情報処理装置。 - コンピュータに、
対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第1の条件を満たさないことを示す予め定めた第2の条件を満たす場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力する機能
を実現させるプログラム。 - コンピュータに、
対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記第1の条件を満たさないことを示す予め定めた第2の条件を満たす場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力させる、
処理を実行させる情報処理方法。 - プロセッサを有し、
前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力する、
情報処理装置。 - 前記環境の変化は、電話における終話の検知である、請求項4に記載の情報処理装置。
- 前記環境の変化は、対象者が参加している会議の終了の検知である、請求項4に記載の情報処理装置。
- コンピュータに、
対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力する機能
を実現させるプログラム。 - コンピュータに、
対象者の心理状態又は感情に関する情報が予め定めた第1の条件を満たす場合、当該第1の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記対象者の置かれた環境の変化を検知した場合、前記第1の条件を満たす期間中に集音された対象者の周囲の音を出力させる、
処理を実行させる情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020017479A JP7410557B2 (ja) | 2020-02-04 | 2020-02-04 | 情報処理装置及びプログラム |
US16/987,746 US20210240433A1 (en) | 2020-02-04 | 2020-08-07 | Information processing apparatus and non-transitory computer readable medium |
CN202010934511.6A CN113208812A (zh) | 2020-02-04 | 2020-09-08 | 信息处理装置、信息处理方法以及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020017479A JP7410557B2 (ja) | 2020-02-04 | 2020-02-04 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021124923A JP2021124923A (ja) | 2021-08-30 |
JP7410557B2 true JP7410557B2 (ja) | 2024-01-10 |
Family
ID=77085939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020017479A Active JP7410557B2 (ja) | 2020-02-04 | 2020-02-04 | 情報処理装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210240433A1 (ja) |
JP (1) | JP7410557B2 (ja) |
CN (1) | CN113208812A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020209123A1 (de) * | 2020-07-21 | 2022-01-27 | Sivantos Pte. Ltd. | Hörgerät und Hörgeräte-Modul |
WO2023073956A1 (ja) * | 2021-10-29 | 2023-05-04 | Vie Style株式会社 | プログラム、情報処理方法、及び情報処理装置 |
WO2023150218A1 (en) * | 2022-02-02 | 2023-08-10 | Meta Platforms Technologies, Llc | In-ear optical sensors for ar/vr applications and devices |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006349772A (ja) | 2005-06-13 | 2006-12-28 | Shinsuke Kataoka | 音楽データ記録媒体 |
US20170199570A1 (en) | 2014-05-27 | 2017-07-13 | Lg Electronics Inc. | Mobile terminal and control method therefor |
JP2019152861A (ja) | 2018-03-05 | 2019-09-12 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 集中レベルに基づく、知覚される周囲音の制御 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2695142B2 (ja) * | 1995-11-09 | 1997-12-24 | 賢司 小蒲 | リラクセーション誘導装置とこれを利用した学習方法 |
US8649494B2 (en) * | 2008-08-05 | 2014-02-11 | International Business Machines Corporation | Participant alerts during multi-person teleconferences |
US9639231B2 (en) * | 2014-03-17 | 2017-05-02 | Google Inc. | Adjusting information depth based on user's attention |
US20170199934A1 (en) * | 2016-01-11 | 2017-07-13 | Google Inc. | Method and apparatus for audio summarization |
FR3055203A1 (fr) * | 2016-09-01 | 2018-03-02 | Orange | Prediction de l'attention d'un auditoire lors d'une presentation |
WO2018045536A1 (zh) * | 2016-09-08 | 2018-03-15 | 华为技术有限公司 | 声音信号处理的方法、终端和耳机 |
US9652113B1 (en) * | 2016-10-06 | 2017-05-16 | International Business Machines Corporation | Managing multiple overlapped or missed meetings |
US20200228358A1 (en) * | 2019-01-11 | 2020-07-16 | Calendar.com, Inc. | Coordinated intelligent multi-party conferencing |
US11128483B1 (en) * | 2019-08-01 | 2021-09-21 | Fuze, Inc. | System for providing a meeting record for playback to participants in an online meeting |
JP2021090136A (ja) * | 2019-12-03 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
US11645604B2 (en) * | 2020-01-31 | 2023-05-09 | International Business Machines Corporation | Methods and systems for managing concentration in work environments |
US11755277B2 (en) * | 2020-11-05 | 2023-09-12 | Harman International Industries, Incorporated | Daydream-aware information recovery system |
-
2020
- 2020-02-04 JP JP2020017479A patent/JP7410557B2/ja active Active
- 2020-08-07 US US16/987,746 patent/US20210240433A1/en not_active Abandoned
- 2020-09-08 CN CN202010934511.6A patent/CN113208812A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006349772A (ja) | 2005-06-13 | 2006-12-28 | Shinsuke Kataoka | 音楽データ記録媒体 |
US20170199570A1 (en) | 2014-05-27 | 2017-07-13 | Lg Electronics Inc. | Mobile terminal and control method therefor |
JP2019152861A (ja) | 2018-03-05 | 2019-09-12 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 集中レベルに基づく、知覚される周囲音の制御 |
Also Published As
Publication number | Publication date |
---|---|
CN113208812A (zh) | 2021-08-06 |
US20210240433A1 (en) | 2021-08-05 |
JP2021124923A (ja) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7410557B2 (ja) | 情報処理装置及びプログラム | |
US11856355B2 (en) | Information processing system and non-transitory computer readable medium storing program | |
CN109350051B (zh) | 用于精神状态评估与调节的头部可穿戴设备及其工作方法 | |
US20230199413A1 (en) | Multimodal hearing assistance devices and systems | |
JP6580497B2 (ja) | 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法 | |
Crum | Hearables: Here come the: Technology tucked inside your ears will augment your daily life | |
JP2022059140A (ja) | 情報処理装置及びプログラム | |
Bleichner et al. | Building an ear-EEG system by hacking a commercial neck speaker and a commercial EEG amplifier to record brain activity beyond the lab | |
Rogers et al. | Older adults show impaired modulation of attentional alpha oscillations: Evidence from dichotic listening. | |
JP2023511067A (ja) | 眼電図測定とアイトラッキング | |
EP4107971A1 (en) | Control of parameters of hearing instrument based on ear canal deformation and concha emg signals | |
Fu et al. | Congruent audiovisual speech enhances auditory attention decoding with EEG | |
Ala et al. | Alpha oscillations during effortful continuous speech: From scalp EEG to ear-EEG | |
US20240053955A1 (en) | Hearing monitoring method and apparatus | |
Jacquemin et al. | Literature overview on P3 measurement as an objective measure of auditory performance in post-lingually deaf adults with a cochlear implant | |
CN108563322B (zh) | Vr/ar设备的控制方法和装置 | |
JP7320261B2 (ja) | 情報処理システム、方法、及びプログラム | |
Touyama | A collaborative BCI system based on P300 signals as a new tool for life log indexing | |
JP2021124922A (ja) | 情報処理装置及びプログラム | |
Ebisawa et al. | Estimation of direction of attention using EEG and out-of-head sound localization | |
Teixeira et al. | Attention and concentration in normal and deaf gamers | |
WO2024106195A1 (ja) | 情報処理装置および情報処理システム | |
Saab | The Ear: Gateway to the Brain. Exploring the Feasibility of a Novel In-Ear Electroencephalography Device in an Auditory Brain-Computer Interface | |
Noymai et al. | Smart Control of Hearing Aid Using EEG | |
Yazel | Auditory Prostheses: Hearing Loss, Attention, and Fatigue |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210318 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210416 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7410557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |