JP2023001106A - 音声キャンセルシステムおよび方法 - Google Patents
音声キャンセルシステムおよび方法 Download PDFInfo
- Publication number
- JP2023001106A JP2023001106A JP2022098521A JP2022098521A JP2023001106A JP 2023001106 A JP2023001106 A JP 2023001106A JP 2022098521 A JP2022098521 A JP 2022098521A JP 2022098521 A JP2022098521 A JP 2022098521A JP 2023001106 A JP2023001106 A JP 2023001106A
- Authority
- JP
- Japan
- Prior art keywords
- input
- response
- input device
- microphone
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004044 response Effects 0.000 claims abstract description 143
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 239000000463 material Substances 0.000 claims description 10
- 230000000704 physical effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 86
- 238000012546 transfer Methods 0.000 description 78
- 230000000694 effects Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17857—Geometric disposition, e.g. placement of microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1787—General system configurations
- G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
- A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/10—Applications
- G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
- G10K2210/1082—Microphones, e.g. systems using "virtual" microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/10—Applications
- G10K2210/129—Vibration, e.g. instead of, or in addition to, acoustic noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
Description
本開示は、音声キャンセルシステムおよび方法に関する。
本開示の一般的なコンテクストを与えるために「背景技術」を述べる。この背景技術のセクションでは、出願時点での先行技術であると特に明記しない限り、本発明者による成果は、明示的にも暗示的にも本発明に対する先行技術とは認められない。
高速インターネット接続が増えるとともに、オンライン音声コミュニケーションの利用が広がっている。この数年、社会的要因(例えばCovid-19パンデミックにより、人間同士が直接会う機会は減っている)と技術的要因の両方に起因して、オンライン音声コミュニケーションの利用が加速度的に増加している。近年増加するデバイスには、音声を取得するのに役立つ高品質マイクロホンが与えられている。こうしたデバイスの例に、ラップトップ、携帯電話、ゲーム端末(および/またはそれに関連するコントローラ)などがある。
オンライン音声コミュニケーションは、様々な目的(例えば、社交、仕事の会議など)で使われるが、特にゲームコミュニティとの関連が強い。これは、マルチプレーヤーゲームコンテクスト(競争相手および/またはチームメートとのコミュニケーション)と、ビデオゲームストリーミングコンテキスト(単独のプレーヤーが、ゲームをプレーしていない多くの人に対し、自分のゲームプレーを提供する。選択的には、オーディオコメンタリーを含む)の両方を含んでもよい。
しかしながら、こうした音声コミュニケーション用のマイクロホンの利用が増加するとともに、様々な課題が指摘されている。課題の1つは、マイクロホンが拾う周囲の音である。こうした周囲音はリスナーを悩ませ、および/または、いらいらさせるだけでなく、話者の声を聞くのを困難とする原因にもなる。既存の技術は、プッシュ・トゥ・トークの機能により、この問題を解決している。これにより、マイクロホンが動作する時間が短縮される。さらに、ソフトウェアベースのノイズリダクション技術が使われることもある。これは、拾われた音からユーザの声を分離する。
このような技術は、音声品質を制御する必要のあるユーザにとっては便利でなく、ノイズ抑制を実行することでシステムに過大な処理負荷を課す可能性もある。これにより、音声そのものの品質を維持しようとすると、音声コンテンツの品質が劣化する可能性がある(これにより、例えば、ユーザをいらいらさせたり、大きな時間遅延が生じたりする)。
本開示はこうした課題を解決することを目的とする。
本開示は、請求項1で定義される。
本開示のさらなる個別の態様は、添付の請求項で定義される。
前述の本発明の一般的な説明も、以下の詳細な説明も、説明を目的とし、本発明を限定することを目的としない。
添付図面を参照して以下の詳細な説明を読むことにより、本開示およびその多くの利点に関するより完全な理解が得られるだろう。
手持ちコントローラの模式図である。
処理システムの模式図である。
音声軽減方法の模式図である。
ユーザによる検出入力に対する応答の生成方法の模式図である。
処理デバイスによる検出入力に対する応答の生成方法の模式図である。
本開示の1つ以上の実施の形態を実現するシステムの模式図である。
本開示の1つ以上の実施の形態を実現するシステムの模式図である。
本開示の1つ以上の実施の形態を実現するシステムの模式図である。
伝達関数を生成する方法の模式図である。
伝達関数を生成するシステムの模式図である。
以下、図面を参照して本開示の実施の形態を説明する。複数の図面を通して、類似する符号は同一または対応するパーツを示す。
図1に、本開示の複数の実施の形態を実現するのに適したゲームコントローラ100の例を示す。
ゲームコントローラ100は、ユーザにより与えられた1つ以上の入力を処理デバイス(例えば、ゲームコンソール)に送信するように構成される。これらの入力は、ボタン110、トリガー120またはジョイスティック130のうちの1つ以上の操作を示す信号を含んでもよい。ゲームコントローラ100はまた、ゲームコントローラ100の動きを検知することのできる1つ以上のハードウェアモーション検知器(例えば、加速度計またはジャイロスコープ)を含んでもよい。ゲームコントローラ100は、処理デバイス(および/または、例えばコンピュータゲームなど、当該デバイス上で動作する1つ以上のアプリケーション)の操作を制御するために、当該処理デバイスへの1つ以上の入力を生成してもよい。ゲームコントローラ100は、マイクロホン140およびスピーカ150のいずれかまたは両方をさらに備えてもよい。これらにより、ユーザからの音声入力およびユーザへの音声出力がそれぞれ可能となる。
ゲームコントローラ100はさらに、ユーザからの入力だけでなく、関連する処理デバイスからの入力を受信するように構成されてもよい。このような入力の例には、音声入力(ゲームコントローラに関連するスピーカからの出力に関する)または触覚入力(ランブル特性などの1つ以上の触覚フィードバック要素を制御するのに使われる)がある。
いくつかの実施の形態では、ゲームコントローラ100は、ゲームコントローラ100の機能を実現するために動作可能な1つ以上の処理ユニットを備えてもよい。これは、関連する処理デバイスに処理負荷が掛からず、信号を処理デバイスに送信するための遅延がないため、処理(例えば、入力検出)をより迅速に実行できる点で有利である。
もちろん、本開示の実施の形態の使用に適するように、コントローラは任意の構成を取ってもよい。デバイスがユーザからの入力を受信でき、コントローラの操作により音を生成できさえすればよい。
図2に、このようなコントローラが使われるシステムの例を模式的に示す。このシステムは、1つ以上のコントローラ100と、処理デバイス200と、ディスプレイ210と、を備える。図2に係るシステムの一例は、ユーザが入力を行うための複数のコントローラと、ユーザにゲームプレーを表示するディスプレイと、を備えたゲームコンソールである。同様に、処理デバイス200として、ゲームコンソールの代わりにパーソナルコンピュータが与えられてもよい。この場合、1つ以上のコントローラ100は、キーボードおよび/またはマウスその他の好適な入力デバイスを含んでもよい。
図2はシステムの各要素が別々のものを示すが、いくつかの実施の形態では、各要素の数より少数のデバイスの中に与えられてもよい。そのようなものの第1の例はラップトップである。ここでは、キーボード、処理ユニットおよびディスプレイが1つの物理的ユニットに内蔵されている。従ってこの場合、図2の各要素は、1つのデバイスに内蔵されている。同様に、手持ちゲームコンソールまたは形態もそのようなものの例である。携帯電話またはタブレットは、しばしば別体のゲームコントローラとともに使われる(有線または無線接続を介して)。このような構成は、別体のコントローラ100とともに使われる、統合型処理デバイス200およびディスプレイ210の例である。このような例に加えて、一体化されたコントローラ100および処理デバイス200に、別体のディスプレイが与えられる場合もある。そのようなものの例に、共有または割り当て機能を持つスクリーン(これにより、ディスプレイ装置を自由に選択できる)を与えるデバイスがある。例えば過去には、ユーザにゲーム機能を提供するために、テレビに直接接続可能な手持ちゲームコントローラ(処理要素を備える)があった。
上記の説明から明らかなように、図1に示されるゲームコントローラはゲームコンソールの傍らで使われるものだが、こうしたコンセプトはより広い分野のデバイスにも適用が可能である。
図3に、本開示の1つ以上の実施の形態に係る方法の例を模式的に示す。このような方法は、入力に関する音(ボタンの押下や触覚フィードバック)の、コントローラの環境内で取得された(例えば、コントローラ上もしくは処理デバイス上に設けられたマイクロホン、または別個のマイクロホン(コントローラのユーザが装着するヘッドセットなど)を用いて)音声の効果を緩和するために使われる。すなわちこうした方法は、取得された音声(ゲームプレーヤーのコメンタリー、処理デバイスを制御するための音声入力、友達の間の会話等)に対する、ボタン押下等の影響を緩和するために使うことができる。
ステップ300で、コントローラに与えられる1つ以上の入力が検出される。これは、ユーザによって与えられる入力(例えば、1つ以上ボタンの操作(同時であっても、連続的であってもよい)、あるいは音声入力や触覚フィードバック生成入力などの関連する処理デバイスによって与えられる入力)を含んでもよい。この検出は、コントローラのボタン(等)の操作を検出すること基づいて行われる。一方、触覚フィードバック信号の生成は、処理デバイスまたはコントローラで検出される。こうした検出のさらなる例は、以下で議論される。
ステップ310で、検出された信号に関連する音声の効果が決定される。これは入力に関する任意の好適な方法で実行されてもよい。いくつかの実施の形態では、これは、ボタン押下を検出し、対応する音を特定するためのルックアップテーブル等を用いることにより実行されてもよい。代替的または追加的に、与えられる入力音はマイクロホンを用いて検出されてもよい。さらに代替的または追加的な例として、コントローラに与えられた信号に関係する音を決定するというものがある。これは例えば、触覚フィードバック生成信号と関連する触覚フィードバックに起因する音を決定するものであってもよい。
音声の影響の決定は、音源とコントローラおよび/またはユーザに関連するマイクロホンとの間の音の伝搬に関する情報を使うことを含んでもよい。例えば、音源とマイクロホンとの距離が、発信音と受信音との音声レベルの違いを表してもよい。同様に、伝播経路が異なると、音のピッチまたは大きさが変わってもよい。これは、コントローラ自体の構造に起因する場合もある。例えば、プラスティック部品を通して伝わる音の場合、発信音と受信音との違いは非常に大きい。従って、入力に関連する音声の影響を決定するのに、コントローラに関する情報(入力/出力素子の構造、材料、位置など)や事前試験に関する情報を使うと有用だろう。
ステップ320で、コントローラの環境でマイクロホンによって取得された音に対する音声の影響を低減する応答が生成される。いくつかの実施の形態では、これは、ノイズキャンセル機能を実行するための音声の影響の決定に合わせて、取得された音声信号に処理を適用することを含んでもよい。代替的または追加的に、コントローラに関連するスピーカは、マイクロホンが受信した信号を発するように制御されてもよい。このとき信号は、入力に関連する音声の影響に関するノイズキャンセル機能を実現するように決定されてもよい。
図3の方法では、コントローラの操作で生成された音声に関し、ノイズキャンセル・スタイル・プロセスの実行を可能とする構成が与えられてもよい。このような構成は、既存の知識(入力で発生した音など)を強化し、取得されたオーデイオストリーム内の望ましくない音の影響の低減処理をより効果的なものとすることができる点で有用である。このような構成はまた、(従来のノイズキャンセルのような音声再生プロセスでなく)音声取得プロセスとともに実行される点で有効である。すなわちこれにより、音声再生がより効率的となり、取得された音声がより高品質となる。なぜなら、音声取得プロセス中に、望ましくない音の量を低減できるからである。
前述のように、コントローラまたは入力自体の特性を事前に特定しておくことは、本開示に係る方法を効果的に実現するための助けになる。このような特性は、デバイスの造形(例えば、ボタン、マイクロホン、材料および/またはコントローラの形状)から導かれてもよい。あるいは入力が与えられ、これらの入力に関連する音声出力が記録される試験から導かれてもよい。このような特性は、取得された音声内で予測される(望まれない)音がどのようになるかを事前に決定できる点で有利である。
多くの場合、各要素に関して発せられる音は事前に決定することができる。これにより造形プロセスが可能となる。例えば、触覚フィードバックの異なるオペレーションモードは既知であってもよく、異なるボタン上の材料および力が決定されてもよい。音声の影響がコントローラまたは周辺要因を使うユーザに依存する場合、造形プロセスを使用することは有用である。例えば、握力が強かったり手が大きかったりするとコントローラを通じた音の伝達が悪くなるか、キーボードを使ったとき、当該キーボードが乗る面に応じて異なる音が発生するか(例えば、デスクのような硬い面では、ユーザの脚のような柔らかい面に比べてノイズが発生しやすい、等)、といった具合である。
このような特定は、要素ごとに与えられる場合もある。例えば、特定のボタンまたはトリガーの操作、あるいは特定の触覚フィードバック要素に関する情報が生成されてもよい。これは、特定の要素の位置がコントローラ内に固定されているとき(すなわち、識別のための空間的成分が一定のとき)に適するだろう。多くの別個の入力が存在するとき、特にこのようなアプローチが適用されてもよい。これにより、多くの可能なアクションが可能となる。なぜなら、これにより、より簡単に識別情報を示すことができるからである。
代替的または追加的に、特定はアクション(例えば、特定の入力操作)ごとに与えられてもよい。この例は、触覚フィードバック要素(例えば、特定の周波数および振幅で定義される特定のランブルパターン)またはボタン(例えば、複数の入力オプションを持つトリガーが、半押し動作および全押し動作に関して、異なる音を生成してもよい)の特定の操作であってもよい。このようなアプローチは、入力規則がこれらの入力のために(入力によって)生成された信号で決まる実施の形態を考えたときに、特に好適だろう。なぜなら、この場合アクションが簡単に決まるからである。
特定された特性を生成し記憶するためのさらなる代替的な(または追加的な)方法も適切だろう。従って上記の例は、本開示において限定と解釈されるべきではない。例えば、取得された音声に対する予測効果を修正するために使われるマイクロホンの位置に関する音声の影響の空間依存性の特定が実行されてもよい。
図4および5を用いて、本開示に係る実施の形態を実行するための2つの典型的な方法を説明する。前者は、ユーザ入力(ボタンの押下など)の提供に関する。後者は、コントローラへの入力(触覚フィードバックや音声入力など)に関する。それぞれの方法には違いがあるが、各々が他方に対し有用なバックグラウンドを与える。なぜなら、それぞれの方法には極めて類似する点があるからである。
図4に、検出されたユーザ入力に対する応答を生成するための方法を模式的に示す。この応答は、取得された音声を修正するのに使われる。検出された入力は、物理的要素(例えば、ボタン、キー、トリガー、タッチスクリーンおよび/またはトラックパッドなど)の操作を含んでもよい。
ステップ400で、コントローラに関連するマイクロホンを用いて、1つ以上の音声入力が取得される。これらの音声入力は、例えばコントローラのユーザの発話を含んでもよい。しかしこれに限られず、任意の好適な音声が考慮されてもよい。
ステップ410で、ユーザからコントローラへの1つ以上の入力が検出される。この検出は、任意の好適な方法で実行されてもよい。第1の例では、これは音声検出により実行されてもよい。この場合、入力を与えるためにユーザによって操作される要素の音が検出される。第2の例では、ユーザの入力に応答してコントローラから出力される信号の解析がされる。これにより、特定のタイミングでどの入力が与えられたかを判定することができる。
ステップ420は、検出された入力に対する応答(これは、入力および少なくとも当該入力に関連する要素とマイクロホンとの距離に依存する)の生成を含む。例えば、特定の入力の検出を基に、当該入力に起因してマイクロホンの位置で予測される音が特定されてもよい。前述のように、入力を与えたことによる音声の影響もまた、少なくとも入力に関連する要素とマイクロホンとの距離に依存する。なぜなら、コントローラを通したときの減衰または透過が適切な要因となるからである。生成される応答は、音声データを修正するための所望の方法に依存する。
ステップ430は、ステップ420で生成された応答を出力するステップを含む。いくつかの実施の形態では、これは、出力スピーカに音声信号を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音声の影響を軽減することができる。このような場合、応答は、検出された入力に関連する音の逆の音声信号を含んでもよい。これは、入力、マイクロホン、および/または応答を出力するスピーカに関連する要素の相対的な位置に関する1つ以上のさらなる修正を伴ってもよい。
代替的または追加的に、応答を出力するステップは、取得された音声を直接修正するための情報を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音声の影響を低減するために、取得された音声を修正することができる。例えば、検出された入力に関連する音の逆の信号が生成されてもよい。あるいは、取得された音声から望ましくない音声(これは、ユーザ入力に相当する)をより有効に除去することのできる、時間、強度および/または周波数に関する情報が生成されてもよい。
図5に、検出された処理デバイスによる入力に対する応答を生成する方法を模式的に示す。この応答は、取得された音声を修正するために使われる。
ステップ500で、コントローラに関連するマイクロホンによって、1つ以上の音声入力が検出される。これらの音声入力は、コントローラのユーザの発話を含んでもよい。しかしこれに限られず、任意の好適な音声が考慮されてもよい。
ステップ410で、処理デバイスからコントローラへの1つ以上の入力が検出される。これらの入力は、コントローラに関連してスピーカから出力される音声(例えば、ゲーム中のイベントに対応する音声の影響)または信号(例えば、触覚フィードバック信号)を含んでもよい。これらは、ステップ410で議論した検出と同様に、マイクロホンまたは処理デバイスから受信したデータの解析を用いて検出することができる。
ステップ520は、検出された入力に対する応答(これは、入力および少なくとも対応する出力(すなわち、検出された入力に基づいて生成される出力)に関連する要素(例えば、スピーカや触覚フィードバック要素)とマイクロホンとの距離に依存する)の生成を含む。例えば、特定の入力の検出を基に、当該入力に起因してマイクロホンの位置で予測される音が特定されてもよい。前述のように、入力を与えたことによる音声の影響もまた、少なくとも入力に関連する要素とマイクロホンとの距離に依存する。なぜなら、コントローラを通したときの減衰または透過が適切な要因となるからである。生成される応答は、音声データを修正するための所望の方法に依存する。
ステップ530は、ステップ520で生成された応答を出力するステップを含む。いくつかの実施の形態では、これは、出力スピーカに音声信号を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音声の影響を軽減することができる。このような場合、応答は、検出された入力に関連する音の逆の信号を含んでもよい。これは、入力、マイクロホン、および/または応答を出力するスピーカに関連する要素の相対的な位置に関する1つ以上のさらなる修正を伴ってもよい。
代替的または追加的に、応答を出力するステップは、取得された音声を直接修正するための情報を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音の音声の影響を低減するために、取得された音声を修正することができる。例えば、検出された入力に関連する音の逆の信号が生成されてもよい。あるいは、取得された音声から望ましくない音声(これは、処理デバイスによる入力に相当する)をより有効に除去することのできる、時間、強度および/または周波数に関する情報が生成されてもよい。
いくつかの実施の形態では、これらの処理デバイスによる入力は、事前に(例えば、ゲーム内のスクリプト化されたシーン中に)処理デバイスにより決定されてもよい。この場合応答は、入力自体と同時に出力されるように生成されてもよい。同様に処理デバイスは、入力を生成するときに、応答を自動的に生成するように構成されてもよい(例えば、使われるコントローラの特定に依存して)。例えば処理デバイスは、触覚フィードバック信号の音声の影響を軽減するために、触覚フィードバック信号をおよび応答を同時に(あるいは、同じプロセスの一部として)生成するように構成されてもよい。これは、応答生成プロセスの遅延を軽減する場合、特に処理デバイスが応答を実現する場合、有用となり得る。
上記の議論は主に、ユーザのコメンタリを録音するためのマイクロホンと一体化したコントローラ等に関するものだった。しかしマイクロホンは、ヘッドセットのような別個のデバイスに配置されてもよい。このような場合、コントローラ(すなわち、入力から音を生成するハードウェア)とマイクロホンとの距離は固定化されてもよい。このような場合、各デバイスの位置が追跡され、その後音声の影響に変化が決定されてもよい。例えば、デバイス間の距離の増加とともに音声の影響の強さが軽減されてもよい。任意の好適な追跡法が実行されてもよい。例えば、コントローラとヘッドセット(あるいは、ヘッドマウントマイクロホンの位置を定めるユーザの頭部)の両方が、カメラベースで追跡されてもよい。
図6に、本開示の1つ以上の実施の形態を実現するシステムを模式的に示す。このシステムは、入力デバイス600と、マイクロホン610と、入力検出ユニット620と、応答生成ユニット630と、を備える。入力検出ユニット620および応答生成ユニット630は、1つ以上のデバイス(例えば、入力デバイス600、関連する処理デバイスおよび/またはサーバ)に配置された中央処理ユニット等を用いて実現されてもよい。さらなる機能ユニットが与えられてもよいが、簡潔のため図示しない。例えば、入力デバイス600のパラメータを保存するためのストレージ手段(ハードドライブ等)が与えられてもよく、マイクロホン610が取得した音の音声処理を実行するための処理ユニットが与えられてもよい。
入力デバイス600は、処理デバイスへの入力を生成するためにユーザが操作可能な1つ以上の要素を備える。この処理デバイスは、ゲームコンソール等またはクラウドベースのサーバに関するものであってもよい。この要素は、1つ以上のボタン、キー、アナログスティック、タッチ入力および/またはトリガー等を備えてもよい。いくつかの実施の形態では、入力デバイス600は、ゲームコントローラ、キーボードまたはタッチスクリーンデバイスとして形成されてもよい。従って、本明細書の他の部分でのコントローラに関する議論は、入力デバイス600に適用することができる。代替的または追加的に、入力デバイス600は、1つ以上の他のデバイスと一体に与えられてもよい。例えば、入力デバイス600と、処理デバイスの出力を表示するための表示デバイスと、を備えたデバイスが与えられてもよい。この例として、ラップトップ、ポータブルゲームコンソール、携帯電話などがある。
マイクロホン610は、1つ以上の音声入力を取得するように動作することができる。いくつかの実施の形態では、マイクロホンは、入力デバイス600の一部として与えられる。代替的または追加的に、マイクロホン610は、別個のハードウェア(例えば、ユーザが装着する処理デバイスと一体化されたヘッドセット、またはスタンドアロンユニット)として与えられてもよい。
入力検出ユニット620は、ユーザによる入力デバイス600への1つ以上の入力を検出するように動作することができる。いくつかの実施の形態では、入力検出ユニット620は、図4のステップ410を参照して議論したように、取得された音声を用いて入力を検出するように動作することができる。この取得された音声はマイクロホン610を用いて取得されたものであってもよいし、他の代替的なマイクロホンを用いて取得されたものであってもよい。代替的または追加的に、入力検出ユニット620は、ユーザの入力に応答して入力デバイス600が生成した制御信号に応じて、入力を検出するように動作可能であってもよい。
応答生成ユニット630は、入力および入力に関連する要素とマイクロホンとの距離に応じて、検出された入力に対する応答を生成するように動作することができる。応答生成ユニット630は、入力デバイス600および関連する処理デバイス等のいずれか(または両方)に配置された、処理ユニットにより実現されてもよい。この応答は、検出された入力に関連する音の逆であって、追加的な音声の影響に対応するために修正が加えられた信号であってもよい。
いくつかの実施の形態では、応答生成ユニット630は、入力デバイス600に関連するスピーカの出力のための音声応答を生成するように動作することができる。代替的または追加的に、応答生成ユニット630は、マイクロホン610が取得した音声入力を修正する音声処理ユニットへの出力のための応答を生成するように動作可能であってもよい。このような応答生成の例は、図4のステップ420および430を参照して議論した。
応答生成ユニット630は、入力に関連する要素とマイクロホン610(および/または他の要因)との距離だけではなく、入力デバイス600の1つ以上の物理的特性に応じて、応答を生成するように動作可能であってもよい。こうした物理的特性の例は、入力デバイス600のサイズ、形状、構造、材質および/または音声伝達性などを含む。これらの特性は、入力プロセス中に要素から発せられた音とマイクロホン610により検出された音との間の差異を推定または計算するのに使われてもよい。なぜなら、これらの特性は、入力デバイス600を通した音声伝搬に影響を与えるからである。このような特性は、マイクロホン610が入力デバイス600と一体化されていなくても重要となり得る。なぜなら、こうした場合にも、ユーザ入力により生成された音は、これらの特性の影響を受け得るからである。これは特に、コントローラのリアトリガーに当てはまる。例えばユーザが、ヘッドマウントマイクロホンを装着したときである。この場合もトリガーからの音は、コントローラを通して伝搬し、マイクロホンに到達する。
代替的または追加的なオプションとして、応答生成ユニット630は、入力デバイス600の1つ以上の動作パラメータに応じて、応答を生成するように動作可能であってもよい。こうしたパラメータは、ユーザが入力デバイス600をどのように持つかを含む。例えば、入力デバイス600を握る力またはユーザの手のサイズを推定するために、入力デバイス600の圧力センサが使われてもよい。別の動作パラメータは、使用中に入力デバイス600が置かれる表面に関する情報を含んでもよい。動作パラメータは、配置の画像またはオーディオキュー(例えば、こうしたパラメータに起因する、予測される音と入力デバイス600の操作において検出された音との間の差異を決定するもの)を用いて決定されてもよい。さらに動作パラメータは、マイクロホン610が取得した音への予測される音声の影響を修正するのに使われてもよい。
いくつかの実施の形態では、応答生成ユニット630は、入力デバイスおよび/または入力デバイスの1つ以上の要素(例えば、それぞれのボタン)に関して定義される1つ以上の伝達関数を用いて応答を生成するように構成されてもよい。これらは、例えば要素の構造およびコントローラ内における配置に関する情報に基づいて生成されてもよいし、コントローラを通した音の伝搬の分析に基づいて生成されてもよい。後者は例えば、標準化された音を与えておき、マイクロホンで測定された応答を当該音に関する情報と比較することにより実行されてもよい。標準化された音は、例えば予め録音された音であってもよいし、ボタンの操作に関する情報に基づいて推定されてもよい(例えば、いくつかのボタンがどの程度押しにくいかを検出することができ、これによりボタンを押すことによる音を予測することができる)。この比較に基づいて、時間遅延、減衰および/または周波数や周波数プロファイルの変化に関する情報を得ることができる。
いくつかのケースでは、これらの伝達関数は、ユーザのコントローラの握りに関する情報または入力デバイスの位置(例えばコントローラが固い表面上に位置するか、柔らかい表面上に位置するか)に関する情報に依存して定義されてもよい。これらの情報は、入力デバイスを通した音の伝搬に影響を与え得る。これは、握力の測定に基づいて決定することができる(例えば、入力デバイスの圧力センサを用いることにより、または推定することにより)。そしてこれを用いて、例えば音の伝搬の変化を予測または評価することができる。同様に、入力デバイスが環境の特定の表面上に置かれいるかを判断するのに、入力デバイスの空間的追跡を使ってもよい(固さその他の特性に関する情報を与える表面の特定とともに)。
上記の議論では、どのような音を拾うかに焦点を当てた。しかしこれに代えて(または追加的に)、入力デバイスを操作したときユーザに聞こえる音を表す伝達関数の決定を考察するのが有用な場合もある。このような伝達関数は、入力デバイスとユーザの頭部(より具体的には、耳)との相対位置に応じて予測されてもよい。さらに、ヘッドホン等を装着するユーザに起因する減衰等について考察してもよい。これらの伝達関数は、各入力要素(または、少なくとも選択された入力要素)や入力要素の群(例えば、コントローラのショルダーボタン)に関して決定されてもよいし、入力デバイスそのもの(いくつかの実施の形態では、これは入力デバイスに関する伝達関数とともに使われてもよい)に関する伝達関数を決定するのに足る考察がされてもよい。
このような実施の形態では、入力デバイスの少なくとも1つの特性および入力に関連する要素とマイクロホンとの距離に応じて、伝達関数を特定することのできる選択的な伝達関数特定ユニットが与えられてもよい。代替的に、入力デバイスから処理デバイスに与えられて特定された入力に応じて、既存の伝達関数が選ばれてもよい。例えば、ユーザが操作した特定のボタンまたは入力キーに関連する伝達関数が選ばれてもよい。この場合、応答生成ユニットは、入力に関連する要素とマイクロホンとの距離を明示的に利用せずに、入力および特定された伝達関数に応じて、検出された入力に対する応答を生成するように動作可能であってもよい。
応答出力ユニット640は、応答生成ユニット630により生成された応答を出力するように動作することができる。応答出力ユニット640は、特定の実施の形態に応じて適切に構成されてもよい。例えば、応答出力ユニット640が応答に応じて音を生成する処理ユニットおよびスピーカとして実現される場合もある。代替的に、応答出力ユニット640は、マイクロホン610によって取得された音を修正する音声処理ユニットに信号を与えるプロセッサとして実現されてもよい。いくつかの実施の形態では、応答出力ユニット640は、これらの特徴の各々を備えてもよい。これにより、適切なタイプの応答を出力することができる。例えばいくつかの実施の形態では、音声出力はある入力に最適なものであるが、音声処理は別の入力に最適なものであってもよい。これは、例えば特定の入力デバイス600に最適となるように、入力ごとに決定されてもよい。
図6の構成は、処理デバイスへの入力を生成するためにユーザによって操作可能な1つ以上の要素および1つ以上の音声入力を取得可能なマイクロホンを備えた入力デバイスを備えたシステムとともに使われるプロセッサ(例えば、ゲームコンソールその他の任意のコンピューティングデバイスに配置されたGPUおよび/またはCPU)の例である。プロセッサは、以下のように動作可能である。すなわち、
・1つ以上のユーザによる入力デバイスへの入力を検出可能とする。
・入力および入力に関連する要素とマイクロホンとの距離に応じて、検出した入力への応答を生成する。
・1つ以上のユーザによる入力デバイスへの入力を検出可能とする。
・入力および入力に関連する要素とマイクロホンとの距離に応じて、検出した入力への応答を生成する。
図7に、本開示の1つ以上の実施の形態を実現するシステムを模式的に示す。このシステムは、フィードバックデバイス700と、マイクロホン710と、入力検出ユニット720と、応答生成ユニット730と、を備える。入力検出ユニット720および応答生成ユニット730は、1つ以上のデバイス(例えば、フィードバックデバイス700、関連する処理デバイスおよび/またはサーバ等)配置された中央処理ユニット等を用いて実現されてもよい。さらなる機能ユニットが与えられてもよいが、簡潔のため図示しない。例えば、フィードバックデバイス700のパラメータを保存するためのストレージ手段(ハードドライブ等)が与えられてもよく、マイクロホン710が取得した音の音声処理を実行するための処理ユニットが与えられてもよい。
フィードバックデバイス700は、処理デバイスからの入力に応答して出力を生成するように動作することができる1つ以上の要素を備える。これらの例は、音声出力(フィードバックデバイス700に関連するスピーカを介した)および触覚フィードバックユニット(例えば、ランブル発生器)を介した触覚フィードバックを含む。上記の議論に従い、フィードバックデバイス700は、ゲームコントローラ等の一部として実現されてもよい。しかしフィードバックデバイス700がユーザ入力を可能とすることは必須ではない。言い換えれば、フィードバックデバイス700は、処理デバイスからの入力に反応して出力を生成するように動作できることだけが要求される。好適なフィードバックデバイスの例は、ランブルモータ等を介して触覚フィードバックを与えるものを含む。従ってフィードバックデバイス700は、触覚フィードバックを与えるヘッドマウントディスプレイとして実現されてもよい。あるいは、限られたユーザ入力機能で出力を与える他のウェアラブルデバイス(例えば、衝撃を模擬できるベスト、トルク生成を使って重さを模擬できるリストバンド等)であってもよい。
マイクロホン710は、1つ以上の音声入力を取得するように動作することができる。いくつかの実施の形態では、マイクロホンは、フィードバックデバイス700の一部として与えられるが、別個のハードウェア(例えば、ユーザが装着する処理デバイスと一体化されたヘッドセット、またはスタンドアロンユニット)として与えられてもよい。
入力検出ユニット720は、ユーザによるフィードバックデバイス700への1つ以上の入力を検出するように動作することができる。いくつかの実施の形態では、入力検出ユニット720は、取得された対応する出力を表す音声を用いて入力を検出するように動作することができる。すなわち入力は、取得された音声(これは、入力に応答して生成された出力の音を含む)から検出することができる。例えば、音声がランブル音を含む場合、触覚フィードバック信号がフィードバックデバイス700に与えられることが推定される。
代替的または追加的に、入力検出ユニット720は、処理デバイスによってフィードバックデバイス700に与えられた入力内の制御信号に応じて入力を検出するように動作可能であってもよい。このような検出は、どの出力命令されたかを判断するために、フィードバックデバイス700への入力信号の分析を含んでもよい。あるいはさらに、これは、生成プロセスの一部として、制御信号の分析を含んでもよい。
応答生成ユニット730は、入力および入力に関連する要素とマイクロホンとの距離に応じて、検出された入力に対する応答を生成するように動作することができる。応答生成ユニット730は、フィードバックデバイス700および関連する処理デバイス等のいずれか(または両方)に配置された、処理ユニットにより実現されてもよい。この応答は、検出された入力に関連して予測される出力の逆であって、追加的な音声の影響に対応するために修正が加えられた信号であってもよい。
いくつかの実施の形態では、応答生成ユニット730は、フィードバックデバイス700に関連するスピーカの出力のための音声応答を生成するように動作することができる。代替的または追加的に、応答生成ユニット730は、マイクロホン710が取得した音声入力を修正する音声処理ユニットへの出力のための応答を生成するように動作可能であってもよい。このような応答生成の例は、図5のステップ520および530を参照して議論した。
応答生成ユニット730は、入力に関連する要素とマイクロホン710(および/または他の要因)との距離だけではなく、フィードバックデバイス700の1つ以上の物理的特性に応じて、応答を生成するように動作可能であってもよい。こうした物理的特性の例は、フィードバックデバイス700のサイズ、形状、構造、材質および/または音声伝達性などを含む。これらの特性は、入力プロセス中に要素から発せられた音とマイクロホン710により検出された音との間の差異を推定または計算するのに使われてもよい。なぜなら、これらの特性は、フィードバックデバイス700を通した音声伝搬に影響を与えるからである。このような特性は、マイクロホン710がフィードバックデバイス700と一体化されていなくても重要となり得る。なぜなら、こうした場合にも、ユーザ入力により生成された音は、これらの特性の影響を受け得るからである。これは特に、コントローラのリアトリガーに当てはまる。例えばユーザが、ヘッドマウントマイクロホンを装着したときである。この場合もトリガーからの音は、コントローラを通して伝搬し、マイクロホンに到達する。
代替的または追加的なオプションとして、応答生成ユニット730は、フィードバックデバイス700の1つ以上の動作パラメータに応じて、応答を生成するように動作可能であってもよい。こうしたパラメータは、フィードバックデバイス700をどのように持つかを含む。例えば、フィードバックデバイス700を握る力またはユーザの手のサイズを推定するために、フィードバックデバイス700の圧力センサが使われてもよい。別の動作パラメータは、使用中にフィードバックデバイス700が置かれる表面に関する情報を含んでもよい。動作パラメータは、配置の画像またはオーディオキュー(例えば、こうしたパラメータに起因する、予測される音とフィードバックデバイス700の操作において検出された音との間の差異を決定するもの)を用いて決定されてもよい。さらに動作パラメータは、マイクロホン710が取得した音への予測される音声の影響を修正するのに使われてもよい。
いくつかの実施の形態では、応答生成ユニット730は、フィードバックデバイス700および/またはフィードバックデバイス700の1つ以上の要素(例えば、特定の触覚フィードバック要素)に関して定義される1つ以上の伝達関数を用いて応答を生成するように構成されてもよい。これらは、例えば要素の構造およびコントローラ内における配置に関する情報に基づいて生成されてもよいし、コントローラを通した音の伝搬の分析に基づいて生成されてもよい。後者は例えば、標準化された音を与えておき、マイクロホンで測定された応答を当該音に関する情報と比較することにより実行されてもよい。標準化された音は、例えば所定の持続時間、周波数、強度、および/またはタイミングを持つ触覚フィードバックであってもよい。この比較に基づいて、時間遅延、減衰および/または周波数や周波数プロファイルの変化に関する情報を得ることができる。
いくつかのケースでは、これらの伝達関数は、ユーザのコントローラの握りに関する情報またはフィードバックデバイスの位置(例えばコントローラが固い表面上に位置するか、柔らかい表面上に位置するか)に関する情報に依存して定義されてもよい。これらの情報は、フィードバックデバイスを通した音の伝搬に影響を与え得る。これは、握力の測定に基づいて決定することができる(例えば、フィードバックデバイスの圧力センサを用いることにより、または推定することにより)。そしてこれを用いて、例えば音の伝搬の変化を予測または評価することができる。同様に、フィードバックデバイスの空間的追跡を、フィードバックデバイスが環境の特定の表面上に置かれいるかを判断するのに使うことができる(固さその他の特性に関する情報を与える表面の特定とともに)。
上記の議論では、どのような音を拾うかに焦点を当てた。しかしこれに代えて(または追加的に)、フィードバックデバイスを操作したときユーザに聞こえる音を表す伝達関数を決定することを検討するのが有用な場合もある。このような伝達関数は、フィードバックデバイスとユーザの頭部(より具体的には、耳)との相対位置に応じて予測してもよい。さらに、ヘッドホン等を装着するユーザに起因する減衰等について考察してもよい。これらの伝達関数は、各出力要素(または、少なくとも選択された出力要素)や出力要素の群(例えば、コントローラの振動要素)に関して決定されてもよいし、フィードバックデバイスそのもの(いくつかの実施の形態では、これはフィードバックデバイスに関する伝達関数とともに使われてもよい)に関する伝達関数を決定するのに足る考察がされてもよい。マイクロホンまたはユーザに対する全体的な音声の効果を決定するために、伝達関数および/または他の出力に関する情報を使える場合もある。例えば、フィードバックデバイスの各出力要素により生成された出力(例えば、コントローラのモータにより生成された複数の振動の各々など)が互いに干渉することを考慮する場合もある。
この干渉は、建設的だったり(これにより、音声の効果全体が増加する)、破壊的だったり(これにより、音声の効果全体が減少または完全に消滅する)、その組み合わせだったりする。これにより、出力の一部(例えば、特定の振動周波数)は増加するが、別の一部は減少する。従って、特定の出力に関して評価された出力要素の音声の効果全体が閾値を下回ったとしても、応答を生成しなくてよい場合もある。このような実施の形態では、フィードバックデバイスの少なくとも1つの特性および出力に関連する要素とマイクロホンとの距離に応じて、伝達関数を特定することのできる選択的な伝達関数特定ユニットが与えられてもよい。代替的に、処理デバイスからフィードバックデバイスに与えられて特定された入力に応じて、既存の伝達関数が選ばれてもよい。例えば、特定の振動要素に関連する伝達関数が選ばれてもよい。この場合、応答生成ユニットは、出力に関連する要素とマイクロホンとの距離を明示的に利用せずに、入力および特定された伝達関数に応じて、検出された入力に対する応答を生成するように動作可能であってもよい。
いくつかの実施の形態では、入力検出ユニット720は、処理デバイスに与えられ、入力がフィードバックデバイス700に与えられる前にこの入力を検出するように動作することができる。このような場合、検出された入力への応答(応答生成ユニット730によって生成されたもの)は、検出された入力とともに、フィードバックデバイス700に与えられてもよい。
応答出力ユニット740は、応答生成ユニット730により生成された応答を出力するように動作することができる。応答出力ユニット740は、特定の実施の形態に応じて適切に構成されてもよい。例えば、応答出力ユニット740が応答に応じて音を生成する処理ユニットおよびスピーカとして実現される場合もある。代替的に、応答出力ユニット740は、マイクロホン710によって取得された音を修正する音声処理ユニットに信号を与えるプロセッサとして実現されてもよい。いくつかの実施の形態では、応答出力ユニット740は、これらの特徴の各々を備えてもよい。これにより、適切なタイプの応答を出力することができる。例えばいくつかの実施の形態では、音声出力はある入力に最適なものであるが、音声処理は別の入力に最適なものであってもよい。これは、例えば特定のフィードバックデバイス700に最適となるように、入力ごとに決定されてもよい。
図7の構成は、処理デバイスからの入力に応答して出力を生成するように動作可能な1つ以上の要素および1つ以上の音声入力を取得可能なマイクロホンを備えたフィードバックデバイスを備えたシステムとともに使われるプロセッサ(例えば、ゲームコンソールその他の任意のコンピューティングデバイスに配置されたGPUおよび/またはCPU)の例である。プロセッサは、以下のように動作可能である。すなわち、
・1つ以上のユーザによる入力デバイスへの入力を検出可能とする。
・入力および出力に関連する要素とマイクロホンとの距離に応じて、検出した入力への応答を生成する。
・1つ以上のユーザによる入力デバイスへの入力を検出可能とする。
・入力および出力に関連する要素とマイクロホンとの距離に応じて、検出した入力への応答を生成する。
図8に、本開示の1つ以上の実施の形態を実現するシステムを模式的に示す。図8の入力デバイスは、例えば図2のコントローラ100として機能する。図8の例に従って、図6および図7の入力デバイス600およびフィードバックデバイス700が実装されてもよい。この場合、適切であれば、1つ以上の要素は選択的であってもよい。例えば、触覚フィードバックまたは音声入力が望まれる場合は、出力要素810は割愛されてもよい。および/または、処理機能が関連する処理デバイス(例えば、ゲームコンソール)により実行される場合は、処理ユニット840は割愛されてもよい。同様に、ユーザ入力が存在しない実施の形態(すなわち、フィードバック専用デバイスの場合)では、入力要素800は割愛されてもよい。
入力要素800は、コンピュータプログラムやゲームのようなプロセスに入力を与えるための、ユーザによる操作が可能な特性を備える。好適な入力要素の例は、ボタン、キー、スイッチ、アナログスティック、タッチ入力および/またはトリガーを含む。追加的な機能を与えるために、代替的(または追加的)な入力要素が与えられてもよい。例えば、モーション入力を与えるために、トラッカブル・インジケータ(色付きライトなど)、インサイドアウト・トラッキングカメラおよび/または加速度計やジャイロスコープのようなハードウェアモーション検知器が与えられてもよい。同様に、ユーザによる音声命令を可能とするために、入力要素としてマイクロホンが与えられてもよい。
出力要素810は、処理デバイスにより生成された信号に応じてユーザにフィードバックを与えるための任意の好適な要素を備える。
好適な要素の例は、振動またはランブルユニットや、ユーザに音声フィードバックを与えるスピーカなどの触覚フィードバック要素を含む。
マイクロホン820は、入力デバイスに関連する1つ以上のマイクロホンを含んでもよい。出力のための音声(例えば、ユーザによる音声コミュニケーション)を取得する単一のマイクロホンが与えられてもよい。図4および図5を参照して議論したように、これと同じマイクロホンが入力/出力の検出に使われてもよい。いくつかの実施の形態では、複数のマイクロホンが与えられてもよい。例えば、出力された音声を取得するために複数のマイクロホンを与えることができる。これにより、音源の局在化の精度を上げることができる。代替的または追加的に、入力/出力を検出するだけの目的で、さらなるマイクロホンを与えることができる。これらのマイクロホンは、出力音声(狭められた周波数帯域で動作するもの、あるいはより雑音の多い信号を生成するもの)を取得するものより低品質であってもよい。
入力デバイスと外部の処理デバイスとの間のコミュニケーションを容易にするために、送信器830(あるいは代替的に、別個の送信器および受信器)を与えることもできる。入力デバイスが処理デバイスと一体化されている場合は(例えば、ラップトップまたは手持ちゲームコンソール)、このような特性は割愛されてもよい。このユニット830は、入力デバイスと関連する処理デバイスとの間で入力および出力を伝達するために、有線または無線通信プロトコルを介した通信を送信および受信するように動作することができる。
処理ユニット840は、入力デバイスで任意の好適な処理が実行できるように与えられる。いくつかの実施の形態では、この処理ユニット840は、入力検出および/または応答生成プロセスを実行する(例えば、生成された音声に応答を適用する)のに使われてもよい。いくつかの実施の形態では、代替的にこのような処理ユニット840(または、少なくともその機能から選択したもの)は、関連する処理デバイスにより実現されてもよい。
スピーカ850は、音声出力を与えることができる1つ以上のスピーカを備えてもよい。いくつかの実施の形態では、ユーザに音声(例えば、ゲーム音声または音声コミュニケーションの音)を与えるための単一のスピーカが与えられてもよい。このスピーカは、ユーザまたは処理デバイスによる入力の音声の効果を軽減するための音声信号を生成するために再利用されてもよい。代替的に、周辺音および/または軽減された音声出力を生成するための専用スピーカの提供のために、複数のスピーカが与えられてもよい。上記のマイクロホン820での議論と同様に、適切な場合は、低品質のスピーカ(例えば、より周波数帯域の狭いものまたは音声出力を軽減するためにより低品質の音を出力するもの)が与えられてもよい。
上記ではシステム内の単一の入力デバイスの使用についてのみ述べたが、このような処理に適した複数のデバイスが与えられてもよい。入力デバイスの各々は、さらなる処理を行ってもよい。これにより、システム内の他の入力デバイスにより生成された音の音声の効果を軽減することができる。これにより本開示の利点を、マルチプレーヤーの構成、あるいは複数の入力デバイスが与えられた単一プレーヤーの構成に、効果的に拡大することができる。
このような構成では、各入力デバイスに関する操作情報(例えば、ユーザによる入力および/または処理デバイスから各入力デバイスへの出力に関する情報)を個別に生成することができる。また音声の効果の軽減処理が各入力デバイスで行われる場合は、これらの操作情報を入力デバイス間で共有することができる。代替的または追加的に、処理は、共通のデバイス(例えば、各入力デバイスが関連するゲームコンソール等)を用いて行われてもよい。この場合、送信が必要な情報量を低減することができる。さらなる有用な情報は、各入力デバイス間の距離である。これは、カメラベースのトラッキング手段または近接度検出等を用いて取得することができる。このような処理は、閾値ベースで実行されてもよい。例えば、互いに閾値を超える距離にある入力デバイスは、他の入力デバイスに対して無視できる程度の影響しか与えない(あるいは全く与えない)と判断することができる。閾値距離は、各入力/出力について決定されてもよい。なぜなら、各閾値距離は、異なる音量や音声効果によるからである。
本開示の教示は、ユーザに利点を与えるために、音を取得するマイクロホンが必須でない点に注意されたい。このようなノイズキャンセル(またはノイズ軽減)は、ユーザ自身の利益にとって望ましい。言い換えれば音声は、音声デバイスにより出力されてもよい。この場合、適切であれば、入力/出力の音声の影響を軽減することができる。例えば、触覚フィードバックに関連する音は、前述の技術を用いて軽減されてもよい。これによりユーザは、関連する音による深刻な断絶を受けることなく、フィードバックの利点の利益を得ることができる。
前述のように、マイクロホンで録音された音声に関する特定の入力または出力の操作による音声の影響をより正確に特定するために、音声キャンセルプロセスは伝達関数を用いてもよい。伝達関数は、最初の音(例えば、ボタンの押下やランブル)と特定のマイクロホンで取得された音との差を表すのに使ってもよい。例えば、特定の周波数の振動が原因で、入力デバイス内で異なる周波数の二次振動が発生することがある。これは、入力デバイスのシェルの共鳴に起因する。あるいは、入力/出力要素(ボタンや触覚フィードバック要素など)の距離に起因して、音量が変化することもある。
従って、このような考察を表す伝達関数の利用により、取得された音声の処理を改良し、これにより音声の影響を除去または軽減することが可能となり得る。例えば1つ以上の逆触覚信号をより効果的に生成することにより、触覚フィードバック要素の音声の影響を軽減することができる。従ってこのような伝達関数を考慮すことは、必須ではないが、本開示のいくつかの実施の形態では望ましいことである。
図9に、このような伝達関数を生成する方法を模式的に示す。これは、一般的な入力デバイスの文脈で議論される。前述のように、こうした入力デバイスは、ゲームコンソールで使うためのコントローラ、キーボード、統合入力デバイス(ポータブルゲームコンソール、ラップトップ入力デバイスなど)その他の処理デバイスの操作を制御するための入力を与えるデバイスであってもよい。この入力デバイスは、前述の入力デバイスおよびフィードバックデバイスいずれかに対応してもよく、入力および出力要素の両方を備えてもよい(この場合、これら両方の機能が実現される)。以下の方法は典型的なものであり、限定的ではない。従って、本開示の実施の形態に応じて、伝達関数を生成するために、任意の好適な方法が実行されてもよい。
例えば、伝達関数を生成するための1つの代替的な方法は、(前述のように)標準化された刺激(例えば、所与の触覚フィードバック、既知の圧力/持続時間のボタン押下など)を与えておき、刺激のマイクロホンでの音声の影響と刺激源における予測された(既知の)音声の影響との差異を決定することである。これは、出力(生成された)音声と取得された音声との効果的な比較となる。これは効果的ではあるが、不十分かもしれない。なぜなら、十分広い範囲の動作および構造パラメータを表すことのできる伝達関数の十分な組(または単一の伝達関数)を与えるために、大量の測定を実行することが必要な場合があるからである。
図9の方法を再び参照すると、ステップ900は、1つ以上の入力デバイスのパラメータを決定するステップを含む。このパラメータは、入力デバイスに関連するマイクロホンの位置および入力デバイスに関連する1つ以上の入力/出力要素の位置を含む。これらのパラメータは、入力デバイスおよびその構成要素の特性と考えることができ、さらに入力デバイスがどの程度使われているかに関する情報とも考えることができる。なぜなら、これらは、入力デバイスを通した音声および振動の伝達を修正することのできる要因だからである。
他のパラメータの例は、環境での入力デバイスの位置、入力デバイスの動き、入力デバイスが置かれる表面の特定、ユーザが入力デバイスを持つか(持つ場合、どちらの手が使われ、どの程度の力で入力デバイスを握るか)、入力デバイスの形状および/または構造、デバイスの質量、入力/出力の操作パラメータ(特定のボタンが動作するか等)およびスイッチのタイプ(言い換えれば、ボタンがどのように実装されるか)を含む。コントローラへの任意の修正(機能的または装飾的修正、例えば、デバイスの外観を変更するためのボタンの代替的または追加的要素への置換)、周辺機器(プラグインキーボードまたはヘッドセット)の取り付け(これにより、入力デバイスを通した音声/振動の伝達度合いを変えることができる)が考慮されてもよい。
パラメータは、任意の好適な方法で決定されてもよい。例えば、あるパラメータはユーザにより入力されるが、他のパラメータは特定の入力デバイスに関する情報のデータベースから取られてもよい。代替的または追加的に、いくつかのパラメータは、取得された入力デバイスの画像(例えば、各ボタンの位置、入力デバイスの位置等)に基づいて特定されてよい。任意の好適な技術(例えば、画像、音声特性、入力デバイスの密度の決定など)を基に、入力デバイスを構成するのに使われる材料の特定が考慮される場合もある。パラメータを決定するのに、任意の好適なセンサ(例えば、カメラ、マイクロホン、慣性センサなど)からのデータが使われてもよい。
直接検出でなく、入力デバイスおよび/またはその利用のパラメータを推定した方がよい場合もある。例えば、入力デバイスが置かれる表面を明示的に決定するのではなく、入力デバイスが動かずに、特定の静止方向(例えば、水平の状態である、あるいは一端の上に立っている)を向くことを決定すれば十分であることもある。この決定では、入力デバイスが固い表面上に位置するかが考慮されてもよい。なぜなら、入力デバイスは、固定されていれば動かないだろうし、より柔らかい表面上にあれば異なる方向を向き(例えば傾斜し)、不規則な仕方表面上に沈み込むだろう。同様に、検出された入力デバイスの動きのパターンに基づいて、ユーザは入力デバイスを操作するときどちらの手を(あるいは両手を)使うかを決定することもできる。入力デバイス上のユーザの手を特定するためには、画像を分析することも、入力デバイスをどのように持つかをユーザに答えてもらうことも必須ではない。
ステップ910は、各入力/出力要素とマイクロホンとの間の音声伝達の1つ以上の特性を決定するステップを含む。この特性は、減衰、応答および/または各入力/出力要素に関連する音声の周波数プロファイルの変化のいずれかを含む。ここで音声伝達は、任意の入力および/または出力要素からの音声または振動(例えば、ボタンなどの操作音、振動要素を通した触覚フィードバック等)を指すと考えてよい。この決定は、入力デバイスを通した音声/振動の伝搬をモデル化することによって行われてもよい。例えば、ステップ900で決定された特定のパラメータに基づいてモデルが生成されてもよいし、ステップ900で決定されたパラメータに従って既存のモデルが適用されてもよい。
いくつかの実施の形態では、このステップは、音声伝達特性を完全に計算することに代えて、1つ以上のパラメータの音声伝達に対する影響を決定するステップを含んでもよい。例えば、特定の入力または出力要素に関連する音に関する減衰因子が計算されてもよい。あるいは、出力に共鳴する周波数が決定されてもよい。このような情報は、既存の伝達関数を適用することに使われてもよく、新たな伝達関数の生成に関する入力として使われてもよい。
ステップ920は、決定された音声特性に応じて、伝達関数(または、複数の伝達関数)を生成するステップを含む。前述のように、これは新たな伝達関数の全体的な生成を含んでもよいし、既存の伝達関数の修正を含んでもよい。例えば、入力デバイスがどのように持たれるかに関する情報(パラメータの例)およびその音響伝達に対する影響(特性の例)に応じて、入力デバイスの製造者によって定義される入力デバイスに関する「基本」伝達関数が修正されてもよい。一旦生成された伝達関数は、将来の使用のために保存されてもよい。代替的に、規則性(各プレイセッション、所定の時間後、1つ以上のパラメータにおける上記の閾値変化後)とともに、新たな伝達関数が生成されてもよい。
伝達関数は、所与の入力デバイスに関する任意の好適な組み合わせで定義されてもよい。いくつかの実施の形態では、入力デバイスに関して単一の伝達関数が定義されてもよい。これは、全体的な音声伝達の特性を示す。これは特に、簡単な構造の入力デバイスおよび使用中に生成された音声の影響にほとんど変化がないような配置に適する。代替的に、伝達関数は、入力デバイスおよび/または入力デバイスに関連する各入力/出力要素に関連する各マイクロホンに関し、定義されてもよい。この場合、各マイクロホン/入力または入力デバイスで特定された出力のペアに関し、個別に伝達関数を特定することができる。
選択的なステップ930は、生成された伝達関数に応じて、入力デバイスの1つ以上の入力/出力に対応する音声に関するノイズキャンセルプロセスを実行するステップを含む。このようなステップは選択的である。なぜなら、ステップ920における伝達関数の生成は、伝達関数が必用となる前に、使用する伝達関数の組を作るための校正プロセス等の一部として実行されてもよいからある。このノイズキャンセルプロセスは、図4および5を参照して説明した方法のいずれかに従って実行されてもよい。例えば、ステップ920で生成された伝達関数に応じて、応答が生成されてもよい。言い換えれば、ノイズキャンセルプロセスは、出力音声の生成および/または取得された音声(これは、入力デバイスの1つ以上の入力および/または出力に対応する音声を含む)の修正を含む。
複数の伝達関数が入力デバイスに関連する場合は、特定の音に対応するとして特定された入力または出力に応じて、適切な伝達関数を選ぶことが考慮されてもよい。例えば、入力デバイスの特定のボタンの操作が特定され、このボタンに対応する伝達関数が選ばれてもよい。
図10に、処理デバイスに関連する入力デバイスの音声伝達特性を表す伝達関数を生成するシステムを模式的に示す。入力デバイスは、複数の入力および/または出力要素を含んでもよい。入力要素は、入力デバイスのユーザが操作可能な、1つ以上のボタン、キー、トリガー、ジョイスティックおよび/またはタッチパッドを含んでもよい。出力要素は、入力デバイスのユーザに出力を与える、1つ以上の触覚フィードバックユニットおよび/またはスピーカを含んでもよい。
このシステムは、パラメータ決定ユニット1000と、音声特性決定ユニット1010と、伝達関数生成ユニット1020と、ノイズキャンセルユニット1030と、を含む。この構成は、任意の好適なデバイス(例えば、入力デバイスが関連するゲームコンソールに配置されたプロセッサ等)に関連する任意の好適な処理ユニット(例えば、CPUおよび/またはGPU)を用いて実現することができ、下記の機能を実現するのに使うことができる。図10のシステムは、図9を参照して議論した方法を実行するように構成される。
パラメータ決定ユニット1000は、入力デバイスの1つ以上のパラメータを決定するように構成される。これらのパラメータは、入力デバイスに関連するマイクロホンの位置および入力デバイスに関連する1つ以上の入力/出力要素の位置を含む。パラメータ決定ユニット1000は、位置が決定された入力/出力要素の各々に関連する音声のパラメータを決定するように構成されてもよい。例えばこれは、特定の入力操作に関連する音もしくは音の範囲(例えば、ボタンを押すときの音)または特定の出力の周波数もしくは周波数範囲/プロファイル(例えば、触覚フィードバック要素に関連する周波数)の特性を決定することを含んでもよい。
いくつかの実施の形態では、パラメータ決定ユニット1000は、入力デバイスのモデル、取得された入力デバイスの画像および/またはユーザが入力デバイスを操作している間に取得された情報に基づいて、パラメータを決定するように構成される。入力デバイスのモデルは、デバイスに関する任意の好適な情報を含んでもよい。例えば、形状、サイズ、要素の配置、材料情報、重さ、およびデバイスまたはその操作によって生成された音声に関係すると考えられる任意の他の情報、あるいは音声が入力デバイスを通してどの程度伝搬するか、などである。画像は、このような情報を導出するために使われてもよい(例えば、入力デバイスに使われるサイズおよび材料を決定するための画像を用いて)。
ユーザが入力デバイスを操作している間に取得された情報は、入力デバイスに関連するマイクロホン(または他のマイクロホン)により取得された音声を含んでもよい。これは、予測された音声と比較することができる。これにより、音声伝搬に関連する1つ以上のさらなるパラメータを導出することができる。さらなる情報は、握りの強さ、ユーザがどのように入力デバイスを持つか(手の数、および手が入力デバイスの上にどのように置かれるか)、入力デバイスの動き、入力デバイスを通した音声の伝搬に影響を与え得る任意の他の要因に関する情報、などを含んでもよい。
音声特性決定ユニット1010は、各入力/出力要素とマイクロホンとの間の音声伝達に関する、1つ以上のさらなる特性を決定するように構成される。この特性は、減衰、共鳴および/または各入力/出力要素に関連する音声の周波数プロファイルの変化を含む。音声特性決定ユニット1010は、入力デバイスおよび/またはユーザが入力デバイスを操作している間に取得された情報のモデルに基づいてパラメータを決定するように構成されてもよい。このモデルは、パラメータ決定ユニット1000で説明したものと同じモデルおよび/または取得された情報であってもよい。
パラメータ決定ユニット1000が、入力デバイスの位置および/または動きをパラメータとして決定するように構成される実施の形態では、音声特性決定ユニット1010は、入力デバイスの位置および動きに応じて、1つ以上の音声伝達特性を決定するように構成されてもよい。同様に、パラメータ決定ユニット1000が、ユーザがどのように入力デバイスを持つかをパラメータとして決定するように構成される実施の形態では、音声特性決定ユニット1010は、ユーザがどのように入力デバイスを持つかに応じて、1つ以上の音声伝達特性を決定するように構成されてもよい。
伝達関数生成ユニット1020は、決定された音声特性に応じて、伝達関数を生成するように構成される。いくつかの実施の形態では、伝達関数生成ユニット1020は、入力デバイスに関連するマイクロホンに関し、それぞれの伝達関数を生成するように構成される。代替的または追加的に、伝達関数生成ユニット1020は、入力デバイスに関連する複数の入力および/または出力要素に関し、それぞれの伝達関数を生成するように構成されてもよい。
ノイズキャンセルユニット1030は、生成された伝達関数に応じて、入力デバイスの1つ以上の入力および/または出力に対応する音声に関するノイズキャンセル処理を実行するように構成される。このノイズキャンセルは、上記の任意の技術(例えば、図4および5を参照して説明した技術)を用いて実行されてもよい。ノイズキャンセル処理は、出力音声(または振動)を生成すること、および/または取得した音声(これは、入力デバイスの1つ以上の入力および/または出力に対応する音声を含む)を修正することを含んでもよい。これらはそれぞれ、音声の影響を軽減するための逆信号を出力すること、および取得された音声を処理することを表す。
いくつかの実施の形態では、入力デバイスの外的要因(例えば、入力デバイスに置かれる表面や入力デバイスの持ち方等)に起因して発生する音声伝搬内の振動を表す追加的な伝達関数を持つ入力デバイスに関する伝達関数を生成するために、伝達関数生成プロセスが使われてもよい。いくつかの実施の形態では、ノイズキャンセルユニット1030は、特定の音に関連する音声の影響をより正確に表現するために、2つ以上の伝達関数を選び、これらを組み合わせる(または、これらを連続的に適用する)ように構成されてもよい。
ノイズキャンセルプロセスは、入力デバイスそのもので生成された音声をキャンセルするとは限らない。例えば、入力デバイスの外部の音の音声伝搬を表すために、入力デバイスに関する伝達関数が生成されてもよい。これは、入力デバイスの外部のマイクロホン(例えば、第2入力デバイス、具体的には、他のプレーヤーのコントローラや同じプレーヤーが使う第2デバイスなど)に対する音声の影響を評価することに使うことができる。この情報は、デバイス間のノイズのキャンセルに使うことができる。これにより、外部の音源(例えば、他の入力デバイス)に関するより正確なノイズキャンセルを実現することができる。
図10の構成は、処理デバイスに関連する入力デバイスの音声伝搬特性を表す伝達関数を生成し、ノイズキャンセルプロセスを実行するように動作可能なプロセッサ(例えば、ゲームコンソールその他のコンピュータデバイス内に配置されたGPUおよび/またはCPU)の例である。このプロセッサは、特に以下のように動作可能である。
・入力デバイスの1つ以上のパラメータを決定する。このパラメータは、入力デバイスに関連するマイクロホンの位置および入力デバイスに関連する1つ以上の入力/出力要素のそれぞれの位置を含む。
・各入力/出力要素とマイクロホンとの間の音声伝達の1つ以上の特性を決定する。この特性は、各入力および/または出力要素に関連する音声の減衰、共鳴および/または周波数プロファイルの変化を含む。
・決定された音声特性に応じて、伝達関数を生成する。
・生成された伝達関数に応じて、入力デバイスの1つ以上の入力および/または出力に対応する音声のノイズキャンセルプロセスを実行する。
・入力デバイスの1つ以上のパラメータを決定する。このパラメータは、入力デバイスに関連するマイクロホンの位置および入力デバイスに関連する1つ以上の入力/出力要素のそれぞれの位置を含む。
・各入力/出力要素とマイクロホンとの間の音声伝達の1つ以上の特性を決定する。この特性は、各入力および/または出力要素に関連する音声の減衰、共鳴および/または周波数プロファイルの変化を含む。
・決定された音声特性に応じて、伝達関数を生成する。
・生成された伝達関数に応じて、入力デバイスの1つ以上の入力および/または出力に対応する音声のノイズキャンセルプロセスを実行する。
上記の技術は、ハードウェア、ソフトウェアまたはそれらの組み合わせにより実現されてもよい。ソフトウェアで制御されたデータ処理装置は、本実施の形態の1つ以上の態様を実現する。このようなソフトウェアおよびこうしたソフトウェアを保存した非一時的記録媒体もまた、本開示の実施の形態に含まれる。
従って上記で議論された開示および説明は、本発明の典型的な実施の形態である。当業者には理解されるように、本発明は、その思想または必須の特徴から外れることなく、別の実施の形態で実現することもできる。従って本発明の開示は説明を意図したものであり、発明または請求項の範囲の限定を意図したものではない。本開示は、容易に認識可能な変形を含み、部分的には請求項の文言を定義し、発明的主題を公衆に献呈するものではない。
本開示の実施の形態は、以下の条項に従って実現される。
条項1
処理デバイスへの入力を生成するようにユーザが操作可能な1つ以上の要素を備えた入力デバイスと、
1つ以上の音声入力を取得するマイクロホンと、
前記ユーザによる前記入力デバイスへの1つ以上の入力を検出する入力検出ユニットと、
前記入力および前記入力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成する応答生成ユニットと、
を備えることを特徴とするシステム。
条項2
前記マイクロホンは、前記入力デバイスの一部であることを特徴とする条項1に記載のシステム。
条項3
前記要素は、1つ以上のボタン、キー、スイッチ、アナログスティック、タッチ入力、トリガーのいずれかを備えることを特徴とする条項1または2に記載のシステム。
条項4
前記入力検出ユニットは、取得された音声を用いて入力を検出することを特徴とする条項1から3のいずれかに記載のシステム。
条項5
前記入力検出ユニットは、前記ユーザの入力に応答して前記入力デバイスにより生成された制御信号に応じて、入力を検出することを特徴とする条項1から4のいずれかに記載のシステム。
条項1
処理デバイスへの入力を生成するようにユーザが操作可能な1つ以上の要素を備えた入力デバイスと、
1つ以上の音声入力を取得するマイクロホンと、
前記ユーザによる前記入力デバイスへの1つ以上の入力を検出する入力検出ユニットと、
前記入力および前記入力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成する応答生成ユニットと、
を備えることを特徴とするシステム。
条項2
前記マイクロホンは、前記入力デバイスの一部であることを特徴とする条項1に記載のシステム。
条項3
前記要素は、1つ以上のボタン、キー、スイッチ、アナログスティック、タッチ入力、トリガーのいずれかを備えることを特徴とする条項1または2に記載のシステム。
条項4
前記入力検出ユニットは、取得された音声を用いて入力を検出することを特徴とする条項1から3のいずれかに記載のシステム。
条項5
前記入力検出ユニットは、前記ユーザの入力に応答して前記入力デバイスにより生成された制御信号に応じて、入力を検出することを特徴とする条項1から4のいずれかに記載のシステム。
条項6
前記応答生成ユニットは、前記入力デバイスに関連するスピーカを用いて、出力に関する音声応答を生成することを特徴とする条項1から5のいずれかに記載のシステム。
条項7
前記応答生成ユニットは、前記マイクロホンによって取得された音声入力を修正する音声処理ユニットへの出力に関する音声応答を生成することを特徴とする条項1から6のいずれかに記載のシステム。
条項8
前記応答生成ユニットは、前記入力デバイスの1つ以上の物理的特性に応じて、音声応答を生成することを特徴とする条項1から7のいずれかに記載のシステム。
条項9
前記物理的特性は、サイズ、形状、構造、材料、音響伝導性のいずれかを含むことを特徴とする条項8に記載のシステム。
条項10
前記応答生成ユニットは、前記入力デバイスの1つ以上の操作パラメータに応じて応答を生成し、
前記操作パラメータは、ユーザがどのように前記入力デバイスを持つかを表すことを特徴とする条項1から9のいずれかに記載のシステム。
前記応答生成ユニットは、前記入力デバイスに関連するスピーカを用いて、出力に関する音声応答を生成することを特徴とする条項1から5のいずれかに記載のシステム。
条項7
前記応答生成ユニットは、前記マイクロホンによって取得された音声入力を修正する音声処理ユニットへの出力に関する音声応答を生成することを特徴とする条項1から6のいずれかに記載のシステム。
条項8
前記応答生成ユニットは、前記入力デバイスの1つ以上の物理的特性に応じて、音声応答を生成することを特徴とする条項1から7のいずれかに記載のシステム。
条項9
前記物理的特性は、サイズ、形状、構造、材料、音響伝導性のいずれかを含むことを特徴とする条項8に記載のシステム。
条項10
前記応答生成ユニットは、前記入力デバイスの1つ以上の操作パラメータに応じて応答を生成し、
前記操作パラメータは、ユーザがどのように前記入力デバイスを持つかを表すことを特徴とする条項1から9のいずれかに記載のシステム。
条項11
前記入力デバイスは、ゲームコントローラ、キーボードまたはタッチスクリーンとして形成されることを特徴とする条項1から10のいずれかに記載のシステム。
条項12
前記入力デバイスと、前記処理デバイスと、前記処理デバイスの出力を表示するディスプレイデバイスと、を備えたデバイスを備えることを特徴とする条項1から11のいずれかに記載のシステム。
条項13
処理デバイスへの入力を生成するようにユーザが操作可能な1つ以上の要素を備えた入力デバイスと、1つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法であって、
前記ユーザによる前記入力デバイスへの1つ以上の入力を検出するステップと、
前記入力および前記入力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成するステップと、
を含むことを特徴とする方法。
条項14
コンピュータによって実行されたとき、条項13の方法を前記コンピュータに実行させるコンピュータソフトウェア。
条項15
条項14に記載のコンピュータソフトウェアを記録した非一時的記録媒体。
前記入力デバイスは、ゲームコントローラ、キーボードまたはタッチスクリーンとして形成されることを特徴とする条項1から10のいずれかに記載のシステム。
条項12
前記入力デバイスと、前記処理デバイスと、前記処理デバイスの出力を表示するディスプレイデバイスと、を備えたデバイスを備えることを特徴とする条項1から11のいずれかに記載のシステム。
条項13
処理デバイスへの入力を生成するようにユーザが操作可能な1つ以上の要素を備えた入力デバイスと、1つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法であって、
前記ユーザによる前記入力デバイスへの1つ以上の入力を検出するステップと、
前記入力および前記入力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成するステップと、
を含むことを特徴とする方法。
条項14
コンピュータによって実行されたとき、条項13の方法を前記コンピュータに実行させるコンピュータソフトウェア。
条項15
条項14に記載のコンピュータソフトウェアを記録した非一時的記録媒体。
Claims (14)
- 処理デバイスへの入力を生成するようにユーザが操作可能な1つ以上の要素を備えた入力デバイスと、
1つ以上の音声入力を取得するマイクロホンと、
前記ユーザによる前記入力デバイスへの1つ以上の入力を検出する入力検出ユニットと、
前記入力および前記入力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成する応答生成ユニットと、
を備えることを特徴とするシステム。 - 前記マイクロホンは、前記入力デバイスの一部であることを特徴とする請求項1に記載のシステム。
- 前記要素は、1つ以上のボタン、キー、スイッチ、アナログスティック、タッチ入力、トリガーのいずれかを備えることを特徴とする請求項1に記載のシステム。
- 前記入力検出ユニットは、取得された音声を用いて入力を検出することを特徴とする請求項1に記載のシステム。
- 前記入力検出ユニットは、前記ユーザの入力に応答して前記入力デバイスにより生成された制御信号に応じて、入力を検出することを特徴とする請求項1に記載のシステム。
- 前記応答生成ユニットは、前記入力デバイスに関連するスピーカを用いて、出力に関する音声応答を生成することを特徴とする請求項1に記載のシステム。
- 前記応答生成ユニットは、前記マイクロホンによって取得された音声入力を修正する音声処理ユニットへの出力に関する音声応答を生成することを特徴とする請求項1に記載のシステム。
- 前記応答生成ユニットは、前記入力デバイスの1つ以上の物理的特性に応じて、音声応答を生成することを特徴とする請求項1に記載のシステム。
- 前記物理的特性は、サイズ、形状、構造、材料、音響伝導性のいずれかを含むことを特徴とする請求項8に記載のシステム。
- 前記応答生成ユニットは、前記入力デバイスの1つ以上の操作パラメータに応じて応答を生成し、
前記操作パラメータは、ユーザがどのように前記入力デバイスを持つかを表すことを特徴とする請求項1に記載のシステム。 - 前記入力デバイスは、ゲームコントローラ、キーボードまたはタッチスクリーンとして形成されることを特徴とする請求項1に記載のシステム。
- 前記入力デバイスと、前記処理デバイスと、前記処理デバイスの出力を表示するディスプレイデバイスと、を備えたデバイスを備えることを特徴とする請求項1に記載のシステム。
- 処理デバイスへの入力を生成するようにユーザが操作可能な1つ以上の要素を備えた入力デバイスと、1つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法であって、
前記ユーザによる前記入力デバイスへの1つ以上の入力を検出するステップと、
前記入力および前記入力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成するステップと、
を含むことを特徴とする方法。 - コンピュータソフトウェアを記録した非一時的記録媒体であって、
前記コンピュータソフトウェアは、コンピュータによって実行されたとき、前記コンピュータに、処理デバイスへの入力を生成するようにユーザが操作可能な1つ以上の要素を備えた入力デバイスと、1つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法を実行させ、
前記方法は、
前記ユーザによる前記入力デバイスへの1つ以上の入力を検出するステップと、
前記入力および前記入力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成するステップと、
を含むことを特徴とする非一時的記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2108740.8 | 2021-06-18 | ||
GB2108740.8A GB2607947A (en) | 2021-06-18 | 2021-06-18 | Audio cancellation system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023001106A true JP2023001106A (ja) | 2023-01-04 |
Family
ID=77050673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022098521A Pending JP2023001106A (ja) | 2021-06-18 | 2022-06-20 | 音声キャンセルシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220405047A1 (ja) |
EP (1) | EP4105929A1 (ja) |
JP (1) | JP2023001106A (ja) |
CN (1) | CN115487491A (ja) |
GB (1) | GB2607947A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2623542A (en) * | 2022-10-19 | 2024-04-24 | Sony Interactive Entertainment Inc | Audio cancellation system and method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7970147B2 (en) * | 2004-04-07 | 2011-06-28 | Sony Computer Entertainment Inc. | Video game controller with noise canceling logic |
US7519186B2 (en) * | 2003-04-25 | 2009-04-14 | Microsoft Corporation | Noise reduction systems and methods for voice applications |
US8529356B2 (en) * | 2010-08-26 | 2013-09-10 | Steelseries Aps | Apparatus and method for adapting audio signals |
US20130343555A1 (en) * | 2011-12-22 | 2013-12-26 | Uri Yehuday | System and Apparatuses that remove clicks for Game controllers and keyboards |
US9319150B2 (en) * | 2012-10-29 | 2016-04-19 | Dell Products, Lp | Reduction of haptic noise feedback in system |
US9736578B2 (en) * | 2015-06-07 | 2017-08-15 | Apple Inc. | Microphone-based orientation sensors and related techniques |
US11749293B2 (en) * | 2018-07-20 | 2023-09-05 | Sony Interactive Entertainment Inc. | Audio signal processing device |
US11776555B2 (en) * | 2020-09-22 | 2023-10-03 | Apple Inc. | Audio modification using interconnected electronic devices |
-
2021
- 2021-06-18 GB GB2108740.8A patent/GB2607947A/en active Pending
-
2022
- 2022-06-15 US US17/840,993 patent/US20220405047A1/en active Pending
- 2022-06-16 EP EP22179393.8A patent/EP4105929A1/en active Pending
- 2022-06-20 CN CN202210696405.8A patent/CN115487491A/zh active Pending
- 2022-06-20 JP JP2022098521A patent/JP2023001106A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
GB202108740D0 (en) | 2021-08-04 |
US20220405047A1 (en) | 2022-12-22 |
EP4105929A1 (en) | 2022-12-21 |
GB2607947A (en) | 2022-12-21 |
CN115487491A (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8723984B2 (en) | Selective sound source listening in conjunction with computer interactive processing | |
JP5339900B2 (ja) | コンピューターインタラクティブ処理による選択的音源聴取 | |
JP2016015131A (ja) | フォーリー式触覚コンテンツ作成のためのシステム及び方法 | |
WO2006070044A1 (en) | A method and a device for localizing a sound source and performing a related action | |
JP2022545924A (ja) | 人工知能(ai)を用いたノイズキャンセレーション | |
JP2013137540A (ja) | 機械的ノイズ低減システム | |
JP2023001106A (ja) | 音声キャンセルシステムおよび方法 | |
JP2023001105A (ja) | 音声キャンセルシステムおよび方法 | |
CN113856199A (zh) | 游戏数据处理方法、装置及游戏控制*** | |
US20240221714A1 (en) | Transfer function generation system and method | |
Yun et al. | Generating real-time, selective, and multimodal haptic effects from sound for gaming experience enhancement | |
Zayer et al. | PAWdio: Hand input for mobile VR using acoustic sensing | |
JP5860629B2 (ja) | 音源定位制御プログラムおよび音源定位制御装置 | |
EP4358084A1 (en) | Audio cancellation system and method | |
JP7495187B2 (ja) | ゲームシステム及びプログラム | |
Tung et al. | ForcePhone: Software lets smartphones sense touch force | |
US9089766B2 (en) | Game system, game apparatus, non-transitory computer-readable storage medium having game program stored thereon, and game processing control method | |
CN105827829A (zh) | 收音方法及电子设备 | |
WO2020008856A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
WO2024079910A1 (ja) | コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置 | |
JP2022125666A (ja) | ゲームプログラムおよびゲーム装置 | |
JP2022125665A (ja) | 音声再生プログラムおよび音声再生装置 | |
TW201907995A (zh) | 遊戲控制器以及遊戲控制系統 |