JPWO2020178961A1 - ヘッドマウント情報処理装置 - Google Patents
ヘッドマウント情報処理装置 Download PDFInfo
- Publication number
- JPWO2020178961A1 JPWO2020178961A1 JP2021503297A JP2021503297A JPWO2020178961A1 JP WO2020178961 A1 JPWO2020178961 A1 JP WO2020178961A1 JP 2021503297 A JP2021503297 A JP 2021503297A JP 2021503297 A JP2021503297 A JP 2021503297A JP WO2020178961 A1 JPWO2020178961 A1 JP WO2020178961A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- sound
- output
- information processing
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 125
- 230000005236 sound signal Effects 0.000 claims abstract description 79
- 230000002093 peripheral effect Effects 0.000 claims abstract description 28
- 210000003128 head Anatomy 0.000 claims description 122
- 238000001514 detection method Methods 0.000 claims description 31
- 230000036772 blood pressure Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 18
- 210000005069 ears Anatomy 0.000 claims description 14
- 230000001755 vocal effect Effects 0.000 claims description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 65
- 238000000034 method Methods 0.000 description 62
- 230000008569 process Effects 0.000 description 39
- 238000004891 communication Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 8
- 230000003935 attention Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000003340 mental effect Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000269400 Sirenidae Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
- G01C17/02—Magnetic compasses
- G01C17/28—Electromagnetic compasses
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/21—Direction finding using differential microphone array [DMA]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Veterinary Medicine (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Physiology (AREA)
- Vascular Medicine (AREA)
- Circuit For Audible Band Transducer (AREA)
- Headphones And Earphones (AREA)
- Stereophonic System (AREA)
Abstract
Description
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
《ヘッドマウント情報処理装置の概略》
図1は、本発明の実施の形態1によるヘッドマウント情報処理装置の外観構成の一例を示す模式図である。図1のヘッドマウント情報処理装置は、ユーザーの頭部に装着されたヘッドマウント情報処理装置本体(ヘッドマウントディスプレイ)100と、ユーザーの胸部に装着された胸部装着型ウエアラブル端末200やユーザーの腕部に装着されたリストバンド型ウエアラブル端末300と、入力コントローラ400とを備える。
図3は、図2の制御部における詳細な処理内容の一例を示すフロー図である。図4は、図2において、音声入力に関する制御部周りの主要部の構成例を示すブロック図である。図2の制御部125は、図3に示すフローを所定の制御周期で繰り返し実行する。図3において、制御部125は、音声入力部(第2および第3の外周音マイク132,133)を用いて周囲音を検知する(ステップS101)。次いで、制御部125は、音声出力部(ヘッドフォン122等)が出力用音声を放音中か否かを判別する(ステップS102)。ステップS102で出力用音声を放音中の場合、制御部125は、ステップS101で検知した周囲音の音量レベルに基づき、音量レベルの点で周囲音が出力用音声の聴取を妨げる状態か否かを判別する(ステップS103)。明細書では、この音量レベルの点で周囲音が出力用音声の聴取を妨げている状態を、音量妨害状態とも呼ぶ。
図5は、図3における放音動作の制御処理の詳細な処理内容の一例を示すフロー図である。図6は、図2において、音声出力に関する制御部周りの主要部の構成例を示すブロック図である。図5には、図3において放音の中断中に行われる放音動作の制御処理(ステップS110)の処理内容が示され、その一例である制御処理[1]の処理内容が示される。
図8は、図3における放音動作の制御処理の図5とは異なる詳細な処理内容の一例を示すフロー図である。図8には、図3において放音の中断中に行われる放音動作の制御処理(ステップS110)の図5とは異なる処理内容が示され、その一例である制御処理[2]の処理内容が示される。図5では、制御部125がユーザーに各種対応を行わせることで、周囲音に対する対策を行ったが、図8では、制御部125が放音方法を変更する(具体的には周波数特性を変更する)ことで、ユーザーの対応を経ずに周囲音に対する対策を行う。
図9は、図3における放音動作の制御処理の図8とは異なる詳細な処理内容の一例を示すフロー図である。図9には、図8の制御処理[2]を変形した制御処理[3]の処理内容が示される。図9では、図8の場合と同様に、制御部125が放音方法を変更することで、ユーザーの対応を経ずに周囲音に対する対策を行うが、図8の場合と異なり、放音される出力用音声の音像を変更することで対策を行う。
その他の動作例として、制御部125は、周囲音が出力用音声の聴取を妨げる状態の場合には、音声出力部に、生成した出力音声信号の最初に、ユーザーの意識を引く言葉を表す固定の出力音声信号を挿入して放音するよう指示してもよい。具体的には、制御部125は、このような指示を、例えば、図3のステップS105において音声でユーザーに通知を行う場合や、図8や図9で放音方法を変更したのち放音を再開する場合等で発行する。このように、ユーザーの意識を引く言葉を出力音声信号の最初に入れることにより、周囲音が増加し、放音される出力用音声を聴き取り難くなることをユーザーに明確に意識させ注意喚起することができ、また、カクテルパーティ効果の選択的注意により、放音された音声が聞こえやすくなる効果もある。ユーザーの意識を引く言葉として、例えば、予め装置に登録されたユーザーの名前等が挙げられる。
以上、実施の形態1のヘッドマウント情報処理装置を用いることで、代表的には、ユーザーにとって不必要な周囲音が存在しても、ユーザーに、所望の音声を確実に聴き取らせることが可能になる。また、ユーザーにとって不必要な周囲音が存在しても、ユーザーに、所望の音声を使い勝手よく聴き取らせることが可能になる。
《制御部の詳細》
実施の形態2において、制御部125は、実施の形態1で述べた周囲音の状態とは異なり、ユーザーの状態(例えば心身状態等)またはユーザーの周辺の状態(例えば危険な状況の発生等)を反映して放音動作を制御する。概略的には、図2において、ヘッドマウント情報処理装置本体100内のセンサデバイス151や、各ウエアラブル端末200,300内のセンサデバイスは、ユーザーの状態またはユーザーの周辺の状態を検知する。
図11は、図10において、ユーザー不適状態の一例を説明する図である。図11には、図10のステップS503,S507においてユーザー不適状態が生じていると判別される状況の具体例が示され、ここでは、7通りの状況(1)〜(7)が示される。状況(1)は、ユーザーが表示部119における仮想現実(VR)空間情報または拡張現実(AR)空間情報に注視しているとみなされる状況である。
以上、実施の形態2のヘッドマウント情報処理装置を用いることで、代表的には、ユーザーの状態やユーザーの周辺の状態を反映して、ユーザーに、所望の音声を確実に聴き取らせることが可能になる。また、ユーザーの状態やユーザーの周辺の状態を反映して、ユーザーに、所望の音声を使い勝手よく聴き取らせることが可能になる。
《ヘッドマウント情報処理装置の概略》
図12は、本発明の実施の形態3によるヘッドマウント情報処理装置の概略構成例を示すブロック図である。図12に示すヘッドマウント情報処理装置は、図2に示した構成例と比較して、図2のヘッドマウント情報処理装置本体100内の仮想空間情報生成処理部141をヘッドマウント情報処理装置本体100の外部に分離し、別装置とした構成例である。
Claims (20)
- 画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、
ユーザーの耳部近傍に装着され、前記ヘッドマウント情報処理装置の外部で発生し耳に入る周囲音を集音して入力音声信号に変換する音声入力部と、
出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音する音声出力部と、
前記ヘッドマウント情報処理装置の動作を制御する制御部と、
を具備し、
前記制御部は、前記音声入力部からの前記入力音声信号の音量レベルと、前記音声出力部からの前記出力音声信号の音量レベルとに基づいて、前記周囲音が前記出力用音声の聴取を妨げる状態か否かを判別し、判別した結果に基づいて前記音声出力部の放音動作を制御する、
ヘッドマウント情報処理装置。 - 請求項1記載のヘッドマウント情報処理装置において、
前記制御部は、前記周囲音が前記出力用音声の聴取を妨げない状態の場合には、前記音声出力部に放音を行わせ、前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に放音の中断を指示する、
ヘッドマウント情報処理装置。 - 請求項2記載のヘッドマウント情報処理装置において、
前記制御部は、
前記出力音声信号の音量レベルに応じた閾値レベルを生成する閾値生成部と、
前記入力音声信号の音量レベルと前記閾値レベルとを比較することで前記音声出力部に放音の中断を指示するか否かを判別する比較器と、
を有する、
ヘッドマウント情報処理装置。 - 請求項2記載のヘッドマウント情報処理装置において、
前記制御部は、前記音声出力部に放音の中断を指示したのち、前記周囲音が前記出力用音声の聴取を妨げない状態になった場合に、前記音声出力部に放音の再開を指示し、
前記音声出力部は、前記再開の指示に応じて、放音を、中断する前の箇所に遡って再開する、
ヘッドマウント情報処理装置。 - 請求項4記載のヘッドマウント情報処理装置において、
前記音声出力部は、途中で中断された文の先頭に遡って放音を再開する、
ヘッドマウント情報処理装置。 - 請求項4または5記載のヘッドマウント情報処理装置において、
前記制御部は、前記音声出力部に放音の中断を指示したのち、前記周囲音が前記出力用音声の聴取を妨げない状態になった場合に、当該妨げない状態になる直前の前記入力音声信号の音量レベルに応じた所定の期間を経過後に前記音声出力部に放音の再開を指示する、
ヘッドマウント情報処理装置。 - 請求項2または4記載のヘッドマウント情報処理装置において、
さらに、所定の情報を前記ユーザーに表示する表示部を有し、
前記制御部は、前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記表示部を用いて前記ユーザーに耳を塞ぐ旨の指示を発行する、
ヘッドマウント情報処理装置。 - 請求項2または4記載のヘッドマウント情報処理装置において、
さらに、所定の情報を前記ユーザーに表示する表示部を有し、
前記音声入力部は、前記ユーザーの左右の耳部近傍にそれぞれ装着され、左右の耳に入る左右の前記周囲音を集音して左右の前記入力音声信号にそれぞれ変換し、
前記制御部は、前記音声出力部に放音の中断を指示したのち、前記左右の入力音声信号の音量レベルに予め定めた基準値以上の偏りが有るか否かを判別し、偏りが有る場合には、前記表示部を用いて前記ユーザーに頭部の向きを変えるように指示する、
ヘッドマウント情報処理装置。 - 請求項1記載のヘッドマウント情報処理装置において、
前記音声出力部は、前記出力音声信号に適用可能な複数の周波数特性を備え、
前記制御部は、前記周囲音が前記出力用音声の聴取を妨げる状態の場合、前記入力音声信号の周波数特性を解析し、前記出力音声信号に適用可能な前記複数の周波数特性の中から、前記入力音声信号の周波数特性との類似度が予め定めた基準値よりも低くなる周波数特性を選択するように前記音声出力部に指示を発行する、
ヘッドマウント情報処理装置。 - 請求項1記載のヘッドマウント情報処理装置において、
前記制御部は、前記周囲音が前記出力用音声の聴取を妨げる状態の場合には、前記音声出力部に、生成した前記出力音声信号の最初に、前記ユーザーの意識を引く言葉を表す固定の出力音声信号を挿入して放音するよう指示する、
ヘッドマウント情報処理装置。 - 請求項2または4記載のヘッドマウント情報処理装置において、
前記音声入力部は、前記ユーザーの左右の耳部近傍にそれぞれ装着され、左右の耳に入る左右の前記周囲音を集音して左右の前記入力音声信号にそれぞれ変換し、
前記音声出力部は、前記ユーザーの左右の耳部にそれぞれ装着され、生成した左右の前記出力音声信号を左右の前記出力用音声にそれぞれ変換して前記ユーザーに向けて放音し、
前記制御部は、前記音声出力部に放音の中断を指示したのち、前記左右の入力音声信号に基づき前記周囲音の音源の位置を判別し、前記音声出力部に、前記出力音声信号の音像の位置が前記周囲音の音源の位置から予め定めた基準値以上離れるように前記左右の出力音声信号を生成するよう指示する、
ヘッドマウント情報処理装置。 - 画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、
仮想空間情報または現実空間情報を含む所定の情報をユーザーに表示する表示部と
出力音声信号を生成し、生成した前記出力音声信号を出力用音声に変換して前記ユーザーに向けて放音する音声出力部と、
前記ユーザーの状態または前記ユーザーの周辺の状態を検知するセンサデバイスと、
前記センサデバイスの検知結果に基づき、前記ユーザーの状態または前記ユーザーの周辺の状態が、前記出力用音声を聴取するのに適した状態か否かを判別するユーザー状態判別部と、
前記ヘッドマウント情報処理装置の動作を制御する制御部と、
を具備し、
前記制御部は、前記ユーザー状態判別部の判別結果に基づき、前記出力用音声を聴取するのに適した状態の場合には、前記音声出力部に放音を行わせ、前記出力用音声を聴取するのに適していない状態の場合には、前記音声出力部に放音の中断を指示する、
ヘッドマウント情報処理装置。 - 請求項12記載のヘッドマウント情報処理装置において、
前記制御部は、前記音声出力部に放音の中断を指示したのち、前記出力用音声を聴取するのに適した状態になった場合に、前記音声出力部に放音の再開を指示し、
前記音声出力部は、前記再開の指示に応じて、放音を中断する前の箇所に遡って放音を再開する、
ヘッドマウント情報処理装置。 - 請求項13記載のヘッドマウント情報処理装置において、
前記音声出力部は、途中で中断された文の先頭に遡って放音を再開する、
ヘッドマウント情報処理装置。 - 請求項12〜14のいずれか1項に記載のヘッドマウント情報処理装置において、
前記センサデバイスは、前記ユーザーの視線を検知する視線センサであり、
前記ユーザー状態判別部は、前記視線センサの検知結果に基づき、前記ユーザーが前記表示部における前記仮想空間情報または前記現実空間情報に注視しているとみなされる場合、または、前記ユーザーが急速な眼球運動を行っているとみなされる場合、あるいは、前記ユーザが漫然としているとみなされる場合には、前記出力用音声を聴取するのに適していない状態と判別する、
ヘッドマウント情報処理装置。 - 請求項12〜14のいずれか1項に記載のヘッドマウント情報処理装置において、
前記センサデバイスは、前記ユーザーの頭部の動きを検知する角速度センサまたは地磁気センサであり、
前記ユーザー状態判別部は、前記角速度センサまたは前記地磁気センサの検知結果に基づき、前記ユーザーの頭部が大きく変動している場合には、前記出力用音声を聴取するのに適していない状態と判別する、
ヘッドマウント情報処理装置。 - 請求項12〜14のいずれか1項に記載のヘッドマウント情報処理装置において、
前記センサデバイスは、前記ユーザーの心拍数を検知する心拍センサまたは血圧を検知する血圧センサであり、
前記ユーザー状態判別部は、前記心拍センサまたは前記血圧センサの検知結果に基づき、前記ユーザーの心拍数または血圧の時間的変化率が予め定めた基準値以上の場合には、前記出力用音声を聴取するのに適していない状態と判別する、
ヘッドマウント情報処理装置。 - 請求項12〜14のいずれか1項に記載のヘッドマウント情報処理装置において、
前記センサデバイスは、前記ユーザーからの発声音声を集音して音声信号に変換する発声音マイクであり、
前記ユーザー状態判別部は、前記発声音マイクからの前記音声信号に基づき、前記ユーザーが他者と会話しているか否かを判別し、他者と会話している場合には、前記出力用音声を聴取するのに適していない状態と判別する、
ヘッドマウント情報処理装置。 - 請求項12〜14のいずれか1項に記載のヘッドマウント情報処理装置において、
前記センサデバイスは、前記ユーザーの周辺に存在する物体を検知する周辺物体検知センサであり、
前記ユーザー状態判別部は、前記周辺物体検知センサの検知結果に基づき、接近している物体が前記ユーザーの周りの一定範囲内に存在する場合には、前記出力用音声を聴取するのに適していない状態と判別し、
前記制御部は、前記ユーザー状態判別部が前記周辺物体検知センサの検知結果に基づき前記出力用音声を聴取するのに適していない状態と判別した場合には、前記ユーザーに向けて危険を表す警告音を放音するよう前記音声出力部に指示する、
ヘッドマウント情報処理装置。 - 請求項1〜19のいずれか1項に記載のヘッドマウント情報処理装置において、
前記制御部は、音声による前記ユーザーとの対話を通じて前記ユーザーの要求に応える音声アシスタントからの前記出力音声信号を対象に放音動作を制御する、
ヘッドマウント情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023046346A JP2023076531A (ja) | 2019-03-04 | 2023-03-23 | ヘッドマウント情報処理装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/008457 WO2020178961A1 (ja) | 2019-03-04 | 2019-03-04 | ヘッドマウント情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023046346A Division JP2023076531A (ja) | 2019-03-04 | 2023-03-23 | ヘッドマウント情報処理装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020178961A1 true JPWO2020178961A1 (ja) | 2021-12-23 |
JP7252313B2 JP7252313B2 (ja) | 2023-04-04 |
Family
ID=72337241
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021503297A Active JP7252313B2 (ja) | 2019-03-04 | 2019-03-04 | ヘッドマウント情報処理装置 |
JP2023046346A Pending JP2023076531A (ja) | 2019-03-04 | 2023-03-23 | ヘッドマウント情報処理装置の制御方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023046346A Pending JP2023076531A (ja) | 2019-03-04 | 2023-03-23 | ヘッドマウント情報処理装置の制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12039223B2 (ja) |
EP (1) | EP3937506A4 (ja) |
JP (2) | JP7252313B2 (ja) |
CN (1) | CN113519167A (ja) |
WO (1) | WO2020178961A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295669A (ja) * | 2005-04-13 | 2006-10-26 | Matsushita Electric Ind Co Ltd | 音声再生装置 |
JP2017069687A (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置及び情報処理方法並びにプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11217237B2 (en) * | 2008-04-14 | 2022-01-04 | Staton Techiya, Llc | Method and device for voice operated control |
JP2015041969A (ja) * | 2013-08-23 | 2015-03-02 | ソニー株式会社 | 画像取得装置及び画像取得方法、並びに情報配信システム。 |
JP2015092646A (ja) * | 2013-11-08 | 2015-05-14 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
JP6268033B2 (ja) | 2014-04-24 | 2018-01-24 | 京セラ株式会社 | 携帯端末 |
US9507420B2 (en) * | 2014-05-13 | 2016-11-29 | Qualcomm Incorporated | System and method for providing haptic feedback to assist in capturing images |
US9947215B2 (en) | 2014-09-26 | 2018-04-17 | Harman International Industries, Incorporated | Pedestrian information system |
US10575117B2 (en) * | 2014-12-08 | 2020-02-25 | Harman International Industries, Incorporated | Directional sound modification |
JP6370737B2 (ja) | 2015-04-13 | 2018-08-08 | 日本電信電話株式会社 | 内耳特性評価装置、内耳特性評価方法 |
JP6509712B2 (ja) | 2015-11-11 | 2019-05-08 | 日本電信電話株式会社 | 印象推定装置およびプログラム |
JP6445418B2 (ja) | 2015-11-11 | 2018-12-26 | 日本電信電話株式会社 | 印象推定装置、印象推定方法、およびプログラム |
US20170195811A1 (en) | 2015-12-30 | 2017-07-06 | Knowles Electronics Llc | Audio Monitoring and Adaptation Using Headset Microphones Inside User's Ear Canal |
US10013999B1 (en) | 2016-01-11 | 2018-07-03 | Google Llc | Voice-based realtime audio attenuation |
JP6479708B2 (ja) | 2016-05-10 | 2019-03-06 | 日本電信電話株式会社 | 特徴量抽出装置、推定装置、それらの方法、およびプログラム |
JP6163589B2 (ja) | 2016-05-30 | 2017-07-12 | 日本電信電話株式会社 | 知覚感度評価装置、知覚感度評価装置の作動方法及びプログラム |
JP6435302B2 (ja) | 2016-10-17 | 2018-12-05 | 日本電信電話株式会社 | 運動状態と心理状態判定方法、装置、及びプログラム |
US10154360B2 (en) * | 2017-05-08 | 2018-12-11 | Microsoft Technology Licensing, Llc | Method and system of improving detection of environmental sounds in an immersive environment |
-
2019
- 2019-03-04 US US17/436,395 patent/US12039223B2/en active Active
- 2019-03-04 EP EP19917870.8A patent/EP3937506A4/en active Pending
- 2019-03-04 JP JP2021503297A patent/JP7252313B2/ja active Active
- 2019-03-04 WO PCT/JP2019/008457 patent/WO2020178961A1/ja unknown
- 2019-03-04 CN CN201980093276.XA patent/CN113519167A/zh active Pending
-
2023
- 2023-03-23 JP JP2023046346A patent/JP2023076531A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295669A (ja) * | 2005-04-13 | 2006-10-26 | Matsushita Electric Ind Co Ltd | 音声再生装置 |
JP2017069687A (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置及び情報処理方法並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220066733A1 (en) | 2022-03-03 |
JP2023076531A (ja) | 2023-06-01 |
JP7252313B2 (ja) | 2023-04-04 |
US12039223B2 (en) | 2024-07-16 |
EP3937506A4 (en) | 2023-03-08 |
WO2020178961A1 (ja) | 2020-09-10 |
EP3937506A1 (en) | 2022-01-12 |
CN113519167A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10891953B2 (en) | Multi-mode guard for voice commands | |
US10452152B2 (en) | Wearable glasses and method of providing content using the same | |
KR101668165B1 (ko) | 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이 | |
US9135915B1 (en) | Augmenting speech segmentation and recognition using head-mounted vibration and/or motion sensors | |
US10325614B2 (en) | Voice-based realtime audio attenuation | |
CN105009202B (zh) | 分为两部分的语音识别 | |
US12032155B2 (en) | Method and head-mounted unit for assisting a hearing-impaired user | |
US11087775B2 (en) | Device and method of noise suppression based on noise source positions | |
US20180254038A1 (en) | Information processing device, information processing method, and program | |
WO2019244670A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7455167B2 (ja) | ヘッドマウント情報処理装置 | |
EP3996385A1 (en) | Daydream-aware information recovery system | |
JP7252313B2 (ja) | ヘッドマウント情報処理装置 | |
TW202347096A (zh) | 用於受損使用者或具備殘疾的使用者之智慧眼鏡介面 | |
WO2024134736A1 (ja) | ヘッドマウントディスプレイ装置および立体音響の制御方法 | |
WO2023058451A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230132041A1 (en) | Response to sounds in an environment based on correlated audio and user events | |
WO2023194827A1 (en) | Local voice recognition and processing within a head worn device | |
WO2023121987A1 (en) | Software-based user interface element analogues for physical device elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210831 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7252313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |