JP7150033B2 - ダイナミックサウンドイコライゼーションに関する方法 - Google Patents

ダイナミックサウンドイコライゼーションに関する方法 Download PDF

Info

Publication number
JP7150033B2
JP7150033B2 JP2020542405A JP2020542405A JP7150033B2 JP 7150033 B2 JP7150033 B2 JP 7150033B2 JP 2020542405 A JP2020542405 A JP 2020542405A JP 2020542405 A JP2020542405 A JP 2020542405A JP 7150033 B2 JP7150033 B2 JP 7150033B2
Authority
JP
Japan
Prior art keywords
sound
room
microphones
speakers
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020542405A
Other languages
English (en)
Other versions
JP2021513263A (ja
Inventor
ウォードル、スコット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2021513263A publication Critical patent/JP2021513263A/ja
Application granted granted Critical
Publication of JP7150033B2 publication Critical patent/JP7150033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/16Automatic control
    • H03G5/165Equalizers; Volume or gain control in limited frequency bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H7/00Measuring reverberation time ; room acoustic measurements
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/02Manually-operated control
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/3005Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本開示は、音声信号処理及び音源定位に関する。具体的には、本開示の態様は、マルチスピーカシステムにおける音のイコライゼーション及び最適化に関する。
人間は、頭及び耳の形状に関連する様々な聴覚的手掛かりと、音が脳内で処理される方法とによって、耳を通して聞こえる音の音源の場所(すなわち、音の距離及び方向)を認識することが可能である。サラウンドサウンドシステムは、リスナーを囲む様々な場所から音を出力することによって、リスナーの音声体験を豊かにしようとする。
一般的なサラウンドサウンドシステムは、様々な既知の形式で配置され得る複数のスピーカにルーティングされる複数の別々のチャンネルを有する音声信号を利用する。例えば、5.1サラウンドサウンドは、5つのフルレンジチャンネル及び1つの低周波効果(LFE)チャンネル(各々、小数点の前後の数字によって示される)を利用する。5.1サラウンドサウンドに関して、次に、5つのフルレンジチャンネルに対応するスピーカは、一般的に、部屋内に配置され、3つのフルレンジチャンネルがリスナーの前方(左、中央、及び右の位置)に配置され、残りの2つのフルレンジチャンネル(左右の位置)がリスナーの後ろに配置されるであろう。LFEチャンネルは、一般的に、1つ以上のサブウーファーに出力される(または、時々、専用のサブウーファーの代わりに、低周波数信号を扱うことが可能である他の1つ以上のラウドスピーカにルーティングされる)。6.1、7.1、10.2等の様々な他のサラウンドサウンド形式が存在し、それらの全ては、概して、広がる構成で配置された複数のスピーカへの複数の別々の音声チャンネルの出力に依存する。複数の別々の音声チャンネルは、出力チャンネル(スピーカ等)への1対1のマッピングで音源信号にコード化され得る、または、チャンネルは、再生される信号のチャンネルを抽出するためにマトリックス復号化等の他の手法を使用して、2つの別々のチャンネルを伴うステレオ信号等の少ないチャンネル数を有する音源信号から抽出され得る。
サラウンドサウンドシステムは、映画館、ホームシアター、及びその他のシステムセットアップで長年にわたって人気が高まっており、この理由として、多くの映画、テレビ番組、ビデオゲーム、音楽、及びその他の形式のエンターテインメントがサラウンドサウンドシステムによって作られた音場を利用して、音声体験の改良を提供するためである。しかしながら、従来のサラウンドサウンドシステム、具体的には、ホームシアターアプリケーションにはいくつかの欠点がある。例えば、理想的なサラウンド音場を作ることは、一般的に、サラウンドサウンドシステムのスピーカの物理的なセットアップを最適化することに依存するが、物理的制約及びその他の制限は、スピーカの最適なセットアップを防止し得る。加えて、ビデオゲーム等の双方向メディアに関して、サウンドの場所のシミュレーションは、スピーカが各チャンネルの場所に基づいて情報を伝えるためだけに使用されることと同じくらい正確ではない。
スピーカシステムに理想的なサウンドを作ることは、多くの場合、時間がかかり、多大な労力を必要とするプロセスである。スピーカシステムでは、所与の部屋のサウンドの最適化は、主観的で、時間のかかるプロセスである。コンサート等の大規模なイベントに関して、オーディオエンジニアは、一般的に、会場の中央にまたは会場の後方に向かってブースを有し、そこで再生される音楽のボリュームを操作する。オーディオエンジニアは、再生中の音楽を聴き、ブースの一連の制御によって音量を操作する。最新のサウンドボードは、オーディオエンジニアが、周波数に基づいて音量を操作することを可能にする。しかし、この音声最適化のプロセスはかなり主観的であり、各音声エンジニアは異なる音の趣向を有し得る。その結果、数人のミュージシャンは1人のエンジニアを使用して、他のエンジニアを排除することを選択する。したがって、人間の音声エンジニアの主観性を取り除き、均一の部屋の音を作る部屋の音を制御する方法を開発することが望ましいであろう。
ホームオーディオシステムでは、音の最適化は、一般的に、それが全て行われる場合、ユーザによって行われる。いくつかの小規模なホームシステムは、ユーザが、少数の一般的な部屋のタイプを補償し得るまたは室内効果を加え得るいくつかのオプションから選択することを可能にする音声プリセットを有する。所与の部屋の最適な音反応についての実際のガイドがないため、部屋の真の音の最適化は、ホームユーザにとって難しいプロセスになる可能性がある。ユーザは、スピーカシステムの各チャンネルから来る音楽を聴き、ボリュームレベルを調整して所望の音を作るのに、長時間費やし得る。したがって、ほとんどの最新の家庭用サラウンドサウンドシステムは、明確に定義された方法がない時間がかかるプロセスであるため、その部屋に十分に最適化されていない。加えて、ホームユーザのコンサート設定とは異なり、音の継続的な最適化は、現在、ほとんどのユーザが音声レベルの変化を重視することよりもむしろ、スピーカによって再生するメディアを単に聴くであろうために不可能である。したがって、ホームオーディオシステムの状況では、高速で、簡単で、及び連続的な音声最適化を可能にするシステムであることが望ましいであろう。
この状況において、本開示の態様が生じる。
本開示の態様は、部屋のサウンドレベルを調整するための方法を含む。本方法は、既知の波形でスピーカを駆動することと、少なくとも2つのマイクロホンを伴うスピーカから音波を検出することとを含む。マイクロホンは、既知の配向で構成される。既知の波形及びマイクロホンによって検出された音波ならびにマイクロホンの既知の配向は、室内サウンドダイナミックを生成するために使用される。スピーカ駆動信号をフィルタリングして、室内サウンドダイナミックを考慮してスピーカのサウンドレベルを調整し得る。
これらの実施態様の一部では、マイクロホンはゲームコントローラに結合され得る。他の実施態様では、少なくとも2つのマイクロホンは、既知の構成で配置される別個のコントローラ上にある。
いくつかの実施態様では、室内サウンドダイナミックは、スピーカの場所を含む。さらに、これらの実施態様の一部では、室内サウンドダイナミックは、また、マイクロホンに対するスピーカの距離及び/または角度を含む。これらの実施態様の一部では、独立成分分析を使用して、スピーカの場所を判定するために使用され得る。
いくつかの実施態様では、室内サウンドダイナミックは、室内インパルス応答を含む。これらの実施態様の一部では、室内インパルス応答の不要な周波数を補償するために、既知の波形にフィルタを適用する。
いくつかの実施態様では、室内サウンドダイナミックは、ある間隔で定期的に判定され得る。他の実施態様では、室内サウンドダイナミックは1回判定され得る。
いくつかの実施態様では、スピーカのサウンドレベルを調整して、スピーカの前方にいる人の移動を補償し得る。いくつかの実施態様では、スピーカのサウンドレベルを調整して、部屋内の家具のレイアウト及び/またはスピーカの場所を補償し得る。
本開示のさらなる実施態様は、非一時的コンピュータ可読媒体上に具体化された命令を伴う非一時的コンピュータ可読媒体を含み得、この命令は、プロセッサに、以下の方法を実行させ、本方法は、既知の波形でスピーカを駆動することと、少なくとも2つのマイクロホンを用いて、スピーカから音波を検出することであって、少なくとも2つのマイクロホンは既知の配向で構成される、検出することと、既知の波形と、少なくとも2つのマイクロホンによって検出された音波と、少なくとも2つのマイクロホンの既知の配向とを利用して、室内サウンドダイナミックを生成することと、スピーカ駆動信号をフィルタリングして、室内サウンドダイナミックを考慮してスピーカのサウンドレベルを調節することと、を含む。
本開示の教示は、添付の図面と併せて、以下の詳細な説明を考慮することによって、容易に理解されることができる。
本開示の様々な態様による、マイクロホンアレイを有するコントローラを伴う、サラウンドサウンドシステムの図である。
本開示の様々な態様による、マイクロホンアレイを作るように配置される2つのコントローラを伴う、サラウンドサウンドシステムの図である。
本開示の様々な態様による、部屋の後方中間に後方左スピーカが整理されたスピーカがある部屋内にマイクロホンアレイを有するコントローラを示す概略図である。
本開示の様々な態様による、切り替えられた左右のスピーカが整理されたスピーカがある部屋内にマイクロホンアレイを有するコントローラを示す概略図である。
本開示の様々な態様による、デュアルマイクロホンアレイの右側に検出された点音源波の概略図である。
本開示の様々な態様による、デュアルマイクロホンアレイの前方右側に検出されている点音源波を示す概略図である。
本開示の様々な態様による、室内インパルス応答を伴う、右側に点音源がある部屋内のデュアルマイクロホンアレイを示す概略図である。
本開示の様々な態様による、スピーカからのマイクロホンの距離を判定するための方法のフロー図である。
本開示の様々な態様による、スピーカの場所を判定するための方法のフロー図である。
本開示の様々な態様による、室内インパルス応答を判定するための方法を示すフロー図である。
本開示の様々な態様による、記録された波形から室内インパルス応答を抽出するための技術を示す概略図である。
本開示の様々な態様による、記録された波形から室内インパルス応答を抽出し、室内インパルス応答の不要なアスペクトをフィルタリングするための技術を示す概略図である。
本開示の様々な態様による、マルチチャンネルサウンドシステムにおいて室内インパルス応答をフィルタリングするための技法を示す概略図である。
本開示の様々な態様による、室内サウンドダイナミックイコライゼーションに関する方法を示すブロック図である。
本開示の様々な態様による、室内サウンドダイナミックイコライゼーションに関するシステムを示すブロック図である。
以下の詳細な説明が例証の目的のために多くの具体的な詳細を含有するが、当業者は、以下の詳細に対する多くの変形形態及び改変が本発明の範囲内にあることを認識するであろう。したがって、以下に説明される本発明の例示的な実施形態は、いずれかの一般性を損失することなく、請求される発明に制限を課すことなく説明されている。
[序文]
本開示の態様は、スピーカシステムにおける音の最適化及びイコライゼーションに関する。具体的には、本開示は、ユーザによって着用されない2つ以上のスピーカを伴うサラウンドサウンドタイプのスピーカシステムの音の最適化に関する。一般的に、サラウンドサウンドタイプのスピーカシステムでは、各スピーカはメインコントローラ(時々、アンプと称される)に接続されるが、また、コンピュータまたはゲームコンソールの形態を取り得る。サラウンドサウンドシステムの各スピーカユニットは、チャンネルと呼ばれる個々のユニットを識別するために使用される定義済みのデータパスを有する。ほとんどの最近のスピーカシステムでは、各チャンネルの振幅またはボリュームの全体は、メインコントローラによって制御可能である。加えて、各スピーカユニットは、また、異なる周波数応答特性を有するいくつかの個々のスピーカを備え得る。例えば、一般的なスピーカユニットは、高音域スピーカ(時々、ツイーターと称される)及び中音域スピーカの両方を備える。これらの個々のスピーカは、一般的に、ボリュームを個々に制御されることができず、したがって、説明を簡単にするために、以後、スピーカユニットは、そのボリュームを制御させることができるスピーカの最小量を意味するスピーカユニットを指す。
そのために、スピーカの場所と、スピーカから知覚される音に対する室内効果(室内サウンドダイナミックとも呼ばれる)とを検出できる自動音声最適化システムが開発されている。室内サウンドダイナミックは、部屋のスピーカレイアウト、室内インパルス応答、部屋の中心からの各スピーカの距離もしくは角度、またはサウンドシステムから音のユーザの知覚に影響を与え得る他の物理的制約を含み得る。次に、音声最適化は、スピーカの場所及び室内効果を使用して、スピーカから来る音を最適化できる。
本開示のこれらの態様及びさらなる態様は、様々な実施態様の詳細の以下の詳細な説明及びそれらの添付の図面を考慮して明らかになる。
[実施態様の詳細]
コントローラに結合されたマイクロホンアレイ102を伴う実際のサラウンドサウンドシステム100の説明図は、図1に示されている。
図1の例示的な実際のサラウンドサウンドシステム100は、リスナーを囲む音を出力するために部屋106の周りに広がる配向で構成され得る複数のスピーカ103、104、105を含む。スピーカ103、104、105が発生源となる音は、スピーカ116の異なる場所からリスナーの各耳に直接到達する直接音107と、例えば、部屋の壁及び他の物体(図1に示されない)に反射することによって、スピーカから出力された音が音響環境の周りに反射されるときに、早期反射及び残響音を含み得る間接音との両方を含み得る。
リスナーに豊かな音響体験を作り出すために、実際のサラウンドサウンドシステム100は、複数のチャンネルを有する音響信号を出力し得、各チャンネルはスピーカ103、104、105の対応するものに出力され、スピーカの異なる場所から発する異なる音を作り出す。いくつかのチャンネルは、場所または周波数応答に基づいて区別され得、サラウンドチャンネル103、センターチャンネル105、低周波数チャンネル(サブウーファーまたはサブチャンネルとしても既知である)104等が存在し得る。例として及び限定としてではなく、各出力音声チャンネルは、特定のサラウンドサウンド形式に対して1対1のマッピングで音源信号にエンコードされ得る、または、それは、より小さい範囲に、例えば、2チャンネルのステレオ信号としてエンコードされ得る。エンコードされた音源信号は、例えば、既知の行列復号化技術(例えば、図1に示される5つのスピーカのそれぞれに出力するために、2つの別々のチャンネルを有するステレオ信号を5つのチャンネル信号にデコードするための2:5のデコード)を使用して、所望の数のチャンネルにデコードされ得る。
実際のサラウンドサウンドシステム100によって生成された結果として生じる音場は、映画、ビデオゲーム等の多くのアプリケーションで望ましいリスナーのための豊かな音声体験を作り得る。しかしながら、係るサラウンドサウンドシステムは、上述のようないくつかの欠点に悩まされている。したがって、部屋の周りのスピーカの最適ではない設置及び部屋自体の効果を考慮して、スピーカから来る音を最適化することが望ましいであろう。
描かれたサラウンドサウンドシステムでは、1対のマイクロホン102は、既知の配向でサラウンドシステム内に設置されたコントローラ101に結合される。マイクロホン102は、受信された音を、分析できる対応する電気信号に変換するトランスデューサを含む。電気信号は、アナログコンピュータによって増幅及び分析されることができるアナログ電気信号であり得る。代替として、トランスデューサによって生成されたアナログ信号は、いくつかの短い時間ウィンドウにわたってサンプリングされ得、サンプリングされた信号は、デジタルコンピュータ上のデジタル信号処理によって記憶及び分析されることができるデジタル値に変換される。例として及び限定としてではなく、デジタルサウンドファイルは、ある間隔で音の取得された複数のサンプルから構築され得る。例として及び限定ではなく、MP3規格の一般的なサンプリング間隔は44100サンプル/秒であり、他の規格は異なり得る。
マイクロホンアレイ102と称される以下のマイクロホン対は、同じ水平面に整列され、既知の距離だけ分離される、少なくとも2つのマイクロホンを含む。いくつかの実施形態に従って、第3のマイクロホンはコントローラ101に結合され得、第3のマイクロホンは第1のマイクロホン及び第2のマイクロホン102によって画定される線から外れて配置され、例えば、音がコントローラの前方または後方に位置するかどうかを判定するために使用されることができる追加情報を提供し得る。さらに他の実施形態は、さらに、音源定位のために使用され得る追加情報を提供するために、3つの第1のマイクロホンによって画定される平面の外側に位置する第4のマイクロホンを含み得る。マイクロホンアレイは、音源の場所についての追加情報をシステムに提供するために、既知の分離距離で異なる軸に配置される任意の数の追加マイクロホンを含み得る。分離距離及び軸の場所の重要性は、後のセクションでさらに説明される。
図2に示されるように、マイクロホンアレイ203は、それぞれが単一のマイクロホンを有する2つのコントローラ201、202から構築され得る。各コントローラは、他方から既知の距離204で配置され、マイクロホンアレイを形成する。追加コントローラ(図2に示されない)は、追加スピーカ整列情報に関する2つのコントローラアレイから既知の距離で設定された異なる軸に追加され得る。本開示の態様に従って、アレイのマイクロホンは任意のタイプであり得るが、そのタイプのマイクロホンが比較的低価格で幅広く利用可能であることによって、無指向性マイクロホンが好ましい。本開示のいくつかの実施形態では、マイクロホンアレイは部屋の中心に設置される。本発明の代替の実施形態では、マイクロホンアレイは、部屋内の既知の場所に設置される。いくつかの実施形態では、部屋の側面に対するマイクロホンアレイのその場所は、ユーザが生成した情報によって判定される。
図3A及び図3Bは、既存のサラウンドシステム内で見られる一般的な問題を示す。図3Aに見られるように、スピーカの場所は、規格によって定義されたレイアウトと異なり得る(例えば、5.1規格は、正方形の部屋の各々の角部に設置される4つのスピーカ、センタースピーカ、及びサブウーファーを必要とする)。示される状況では、後部左スピーカ303は部屋の後方の中央に設置され、後部右スピーカ304は部屋の後方の前部に設置される一方、前方左スピーカ、前方右スピーカ、及び中央サブウーファー302は、全て、規格に従っている。図3Bは、スピーカ配置302が従来の様式であるが、スピーカのチャンネルが誤っている別の一般的な場合を示す。この場合、右スピーカ305及び左スピーカ306を切り替える。ユーザが介入しないで、異常なスピーカレイアウトまたは不適切なチャンネル配置を検出及び補償し得るシステムを作ることが望ましいであろう。係る方法は、後のセクションで説明される。
[音源の場所]
音源の場所が図6に提供される方法に従ってどのように判定され得るかを理解するために、例示的な実施例が図4A及び図4Bに提供される。図6のフロー図に示される方法600は、610において、初期時間tで既知の入力波形でスピーカを駆動することを始める。図4Aは、既知の音波形410を発するスピーカ等の音源401を示す。この実施例を考えると、音波面は球形であると想定され得る。各曲線は、異なる時間(t+1,2,3,4…n)に部屋を伝播する音波面410を示す。2つのマイクロホン403、402は、音源のすぐ右に位置する。図6の602に示されるように、時間t+5において伝播波は最初に右マイクロホン402に到達し、検出される一方、波面は時間t+8まで、左マイクロホン403に到達しない。スピーカ401が2つのマイクロホンと一直線上に並んでいるときにスピーカ406、407からの距離を判定するために、1つのマイクロホンからの情報だけが必要であるが、本システムがスピーカのレイアウトに関する演繹的知識がないため、少なくとも2つのマイクロホンがそれぞれの場合に必要である。図6の603に示されるように、音波が最初に検出された時間(T)と音波が最初に作られた時間(T)との差が、取得される。次に、図6の604に示されるように、この差に音速(c)を掛けて、マイクロホン及び音源(D)からの距離を見つける。
(T-T)*c=D (式1)
左マイクロホン403に関して、左マイクロホンと音源401との間の距離は式1に従って判定され得る。2つのマイクロホン間の距離404(以下でマイクロホン間距離(I)と称される)は、左マイクロホンと音源との間の距離(D)から減算され得る。この減算から、左右のマイクロホン間で比較が行われ、音源が右側に対してマイクロホンと一直線上にあるかどうかを判定し得る(式2)。減算後、左マイクロホンまでの距離(D)が右マイクロホンの距離(D)に等しい場合、音源はマイクロホンアレイのすぐ右にある。同様に、音源が左側にあるかどうかを判定するために、右側の信号に対して演算が行われ得る(式3)。
(D-I)=D (式2)
(D-I)=D (式3)
図4Bは、音源407は、マイクロホンアレイ403、402の前部右側にある別の場合を示す。この場合、マイクロホン408、409のそれぞれの距離は、式1を使用して判定でき、右マイクロホンに対する音源の角度は、単純な三角法で判定できる(式4)。
Figure 0007150033000001
(式4)
左側の音源の場合、マイクロホンに対する音源の角度を判定する式は以下のようになる。
Figure 0007150033000002
(式5)
各マイクロホン間の判定された距離が等しい場合、音源はマイクロホンアレイの前方または後ろにあると判定され得る。すなわち、d=dの場合、音源はマイクロホンアレイのすぐ前方または後ろにある。
概念上、距離及び角度の判定の簡単な説明と同様に、図7に示されるように、スピーカの場所は、また、各マイクロホンで受信された音の位相差を使用して判定され得る。マイクロホンに対する音源の場所は、音源がマイクロホンアレイの側面のすぐそばに位置するとき、最大の位相差を伴う受信波の位相差を判定する。既知の波形は、スピーカ701を駆動するために使用される。スピーカによって発せられた音波は、マイクロホンアレイ702の第1のマイクロホンによって検出される。次に、音波は、マイクロホンアレイ703の第2のマイクロホンによって検出される。特定の時点においてマイクロホンによって受信される2つの波の差は位相シフトである。
上記の方法は単一の音源及び波面に対処しているが、本開示の態様はそのように限定されない。複数の音源の距離及び角度は、最初に、例えば、独立成分分析(ICA)を使用して、個々のスピーカに対応する音を隔離することによって判定され得る。ICAに関する技術は、共同所有されている米国特許第9,099,096B2号及び第8,880,395B2号でより詳細に説明されており、これらの特許は、参照により本明細書に組み込まれる。ICAは、音信号のミキシングプロセスを元の音源信号の線形混合としてモデル化し、ミキシングプロセスを逆転し、元の音源信号に対応する推定信号のセットを作り出そうとするデミキシング操作を適用する。基本的なICAは、非ガウス音源信号の瞬間線形混合を想定しており、混合の数は音源信号の数に等しい。元の音源信号は独立していると想定されるため、ICAは統計的手法を使用することによって、元の音源信号を推定し、混合物から独立した(または少なくとも最大に独立した)信号のセットを抽出する。図6または図7に関して上記に説明したように、いったん個々のスピーカの音が隔離されると、例えば、隔離された音を別々に分析し、対応するスピーカの場所を判定し得る。
[室内インパルス応答]
図5は、部屋内に位置するマイクロホンアレイ505を示し、スピーカ501は室内インパルス応答を生成する。音信号が部屋内のスピーカによって発せられるとき、音波503は部屋全体に伝播し、部屋の壁及び物体に当たって跳ね返り、2次波504が生じる。2次波の生成は、周波数に依存し得る部屋の音響特性に依存する。これらの音響特性は、室内インパルス応答(RIR)に関して一般化され得る。2次波504は、スピーカ501によって発せられた1次波503と混合し、この音波の混合は、マイクロホンアレイ505によって検出される。係る混合物は、室内インパルス応答との発せられた音波503の数学的コンボリューションとしてモデル化され得る。
一般に理解されているように、時間t、f(t)、及びg(t)の連続関数のコンボリューションは、数学的に次のように表され得る。
Figure 0007150033000003
同様に、指数n、f[n]、及びg[m]の離散関数のコンボリューションは、数学的に次のように表され得る。
Figure 0007150033000004
式中、gは、合計が収束する条件に従って、-MからMまでの値の範囲にわたって有限サポートを有する。
室内インパルス応答は、基本1次波503に、望ましい効果及び望ましくない効果の両方を作り出し得る。したがって、所与の室内インパルス応答を発見し、室内インパルス応答を考慮して、スピーカ501によって発せられた音信号を操作する方法があることが理想的であろう。
図8を参照すると、既知の距離505だけ離れた少なくとも2つのマイクロホンと、既知の波形で駆動されたスピーカ501とから成るマイクロホンアレイは、室内インパルス応答を発見することを可能にする。既知の波形で駆動されたスピーカ(801)は、対応する音503を発し、音503は、第1のマイクロホンによって検出され(802)、次に、アレイの第2のマイクロホンによって検出される(803)。発せられた音は、また、部屋に、及び部屋504の内部の物体、人等に反射及び偏向する。これらの反射及び偏向は、マイクロホンアレイによって検出される音によって検出された波形に含まれる。
上記に留意したように、マイクロホンによって生成された信号は、スピーカ501から発せられた音503の波形及び室内インパルス応答(RIR)のコンボリューションとしてモデル化されることができる。スピーカによって発せられた音503は、例えば、スピーカ501のインパルス応答との駆動波形のコンボリューションによって、既知のスピーカ駆動波形から判定されることができる(801)。スピーカ及びマイクロホンの波形が既知である場合、室内インパルス応答は、デコンボリューションのプロセスによって判定されることができる。
デコンボリューション算出を容易にするために、マイクロホンによって検出された波形は、時間領域から時間不変周波数領域に変換され得る(804)。係る変換は、高速フーリエ変換(FFT)、離散コサイン変換(DCT)等の既知の手法を使用して行われ得る。図9Aに見られるように、いったん検出された波形が変換されると、信号に演算を行い、1次波からRIRをデコンボリューションし得る(805)。検出された波形(X)901の周波数領域表現は、検出された波形の周波数領域表現と1次波形の周波数領域表現との複素数除算(805)によって、変換された1次波形(Y)902とデコンボリューションされ得る。結果として生じる信号は、変換された室内インパルス応答または室内伝達関数である。次に、この部屋の伝達関数は、逆離散フーリエ変換(IDFT)、逆離散コサイン変換(IDCT)等の係る既知の手法を使用して、時間領域に戻るように変換し、RIRを生じさせ得る。説明を簡単にするために、室内インパルス応答の発見の説明は、検出された単一の波形に限定されていることに留意されたい。
本開示の重要な洞察は、RIRは、サラウンドサウンドシステムにおいてほとんど不変であるが、部屋の条件、レイアウト、及び占有率が変化するとき、わずかに変化し得る。いったん室内インパルス応答が発見されると、1次信号をフィルタリングして、スピーカ駆動信号(801)の特定の部分(例えば、周波数帯域)の振幅を選択的に増加または減少し、所望の効果を生じさせることができ、時々、RIRだけを更新する必要があり得る。加えて、図9Bに見られるように、フィルタをRIRに適用し得、次に、結果として生じるフィルタリングされたRIRを音源信号とコンボリューションを行い、リスナーにとって所望の音を作り得る。例として及び限定としてではなく、係るフィルタの1つは、RIRを単に逆にする単なる逆フィルタであり得、次に、逆RIRは音源信号によってコンボリューションされる。検出された波形は、いくつかの前のサンプル時間(X)903から検出され、前のサンプル時間(Y)904からの1次波形との、上記に説明したデコンボリューションプロセスを受け得る。次に、結果として生じる波形(変換されたRIR)905は、907に示されるフィルタ関数FFを判定するために使用され得、フィルタ関数FFは、所望の周波数を除去または改良するためにスピーカ駆動信号801に適用されることができる。
例として及び限定ではなく、フィルタ関数FFの特定の周波数は、上記で判定された周波数領域の室内インパルス応答RIRと、理想周波数領域インパルス応答RIR(例えば、制御された状態下のサウンドシステムによる実験によって事前に決定され得る)とから生成され得る。いくつかの実施形態では、RIRを完全に除去することが望ましくあり得、その場合、理想RIRは1に等しく、フィルタ関数は、上記の実施例で説明した単なる逆RIRである。具体的には、時間領域フィルタ関数FFは、式7によって与えられ得る。
Figure 0007150033000005
(式7)
RIRが逆になるときに不安定極を生じさせるであろう単位円の外側にゼロを含有する場合、RIRを逆にすることが不可能であり得る。したがって、RIRの逆転が安定フィルタを生じさせることを確実にすることが重要である。
例として及び限定としてではなく、フィルタ関数FFは、ハードウェアまたはソフトウェアに実装され得る1つ以上の帯域通過フィルタ及び/または帯域消去フィルタを通してスピーカ駆動信号801に適用され得る。いくつかの実施態様では、例えば、窓もしくはドアを開けるまたは閉じるときに、または人々が部屋に入るもしくは出るときに、部屋の音響の変化に適応するために、定期的な間隔でRIR905を更新し得る。一連のサンプルでは、RIRの更新は次回に限定されないことを理解されたい。いくつかの実施態様では、RIR905は、任意のまたはユーザが判定した間隔で定期的に更新され得る。他の実施態様では、RIRは1回判定され、次に、スピーカを駆動するために使用されるすべての後続の波形に適用され得る。
[マルチスピーカシステムにおける音の最適化]
上記の教示は、単一のスピーカまたは単一の1次波形に限定されないが、図10及び図11に示されるマルチチャンネル、マルチスピーカサウンドシステムに適用され得る。説明を簡単にするために、図10は検出された単一の波形1001を伴うシステムを説明しているが、本開示は、後で一緒に混合され得る任意の数の検出された波形と一緒に説明された方法を使用して、部屋内の最適な音の表現を提供し得るので、そのように限定されると考えるべきではない。スピーカシステムにおけるスピーカは、最初に、既知の波形で駆動される(1101)。既知の波形により駆動されたスピーカによって発せられた音は、マイクロホンアレイによって検出される(1102)。次に、検出された波形は、上記に説明したように、時間領域から時間不変周波数領域に変換され得る(1103)。次に、変換された検出波形は、上記に説明したICAを使用して個々のソースに分離され得る。いったん個々のソースが判定されると、信号が時間領域に戻すように変換され(信号がICAプロセス中に変換される場合)、波形間の位相シフトと、説明したマイクロホンアレイからの各ソースの角度及び距離とを判定し得る。次に、この情報は、各音源信号をマルチチャンネルスピーカシステムの対応するチャンネルと一致させるために、本システムによって使用され得る(1104)。
例として及び限定としてではなく、本システムは、標準のスピーカのレイアウトを判定されたソースの距離、角度、及び周波数範囲と比較して、どのソースが規格の定義されたチャンネルのどれに対応するかを判定し得る。例えば、5.1サラウンドサウンドは、3つのフォワードチャンネル(2つのサイドチャンネル及び1つのセンターチャンネル)、2つのサラウンドチャンネル、及び1つのサブウーファーチャンネルを有する。定義により、センターチャンネルは部屋の前方中央にあり、したがって、本システムは、マイクロホンアレイのマイクロホンから大体等距離に見られるソースを中央ソースとして定義し得る。同様に、定義により、サブウーファーによって作り出された可聴周波数は他のスピーカよりも低いため、本システムは、低周波数源をサブウーファーチャンネルソースになるように定義する。距離情報を使用して、どのソースがスピーカの左右のチャンネルに対応するかを発見し得る。マイクロホンアレイの少なくとも2つのマイクロホンの前部または後方に位置する第3のマイクロホンを使用して、前方及び後方のサラウンド信号の判定を補助し得る。
代替の実施形態では、ソースのどれが各側の前方または後方のサラウンドチャンネルに対応するかの判定は、プロセスの開始時に各チャンネルに対して個々に行われ得る。各チャンネルの周波数範囲特性と応答をテストするテストトーンを再生し得る。いったん各チャンネルの周波数応答が判定されると、各ソースの周波数応答特性をICAの後に分析させ、その特性を区別し、どのチャンネルがどのソースに対応するかを判定し得る。代替として、スピーカの製造業者は、ICA中にソースを区別するために使用され得る前方及び後方のチャンネルスピーカの異なる周波数応答特性を有し得る。
ソースがその対応するチャンネルに一致した後、各チャンネルのRIRを判定し得る。ICAプロセスは変換された音源信号をもたらし得る、または、信号は時間不変周波数領域信号を生成するために変換される必要があり得る。いったん波形が変換されると、各チャンネルの1次波形(Y1,2,3…n )1002を用いて、検出されたチャンネル一致音源信号の複素数除算を行うことによって、各チャンネルをデコンボリューションして(1105)、チャンネル(RIR1,2,3…n )のそれぞれのRIRを生成し得る。
室内インパルス応答を使用して、フィルタを音源信号に適用し得る(1106、1003)。音源信号に適用されるフィルタは、例えば、図9A及び図9Bに関して上記に説明したように、各スピーカに対する所望の室内インパルス応答を生じさせるように構成され得る。本開示の態様に従って、RIRは各スピーカに対して所定の間隔で判定され得、例として及び限定としてではなく、RIRは各サンプルで生成され、次のサンプルをフィルタリングするために使用され得、代替として、RIRは1回判定され、各チャンネルの後続の各1次波形のフィルタリングに使用され得る。
いくつかの実施態様では、スピーカ駆動信号のフィルタリングは、周波数領域内でデジタル的に行われ得る。係る実施態様では、いったんスピーカ駆動波形がフィルタリングされると、信号は時間領域信号に戻るように変換され得る(1107)。他の実施態様では、例えば、アナログフィルタがアナログスピーカ駆動信号に適用されるとき、フィルタリングは、時間領域スピーカ駆動信号に直接適用され得る。時間不変周波数領域から時間領域への変換は、IDFT、IDCT等の既知の変換技術を使用して実行され得る。
変換後、生成された時間領域信号を使用して、対応するチャンネルでスピーカを駆動し得る。
本開示の追加態様に従って、検出された音源信号を使用して、ユーザのサウンド体験を最適化し得る。例として及び限定としてではなく、サウンド体験は、他の音声源よりもマイクロホンアレイにより近いと判定される音声源の音声レベルを減少することによって最適化され得る。正しく配置されていないスピーカ間のスピーカ駆動信号の分布を自動的に再配置することによって、サウンド体験をさらに最適化し得る。本システムは、最初に、個々の各チャンネルをテストし、上記に説明したチャンネルに接続された各音源の場所を検出し得る。この情報から、本システムは、各チャンネルが標準的場所または本来ではない場所にあるかどうかを判定できる。本来ではない場所の信号が検出される場合、本システムは、本来ではない場所のスピーカを駆動する信号をユーザによる入力なしで正しいチャンネルに切り替え得る。同様に、スピーカの初期テストに基づいて、本システムは、追加フィルタをチャンネルの波形に適用し得る。例として及び限定としてではなく、再度、図3Aを参照すると、本システムは、遅延フィルタ及び/または追加周波数フィルタを後部右のサラウンドスピーカの波形に適用して、スピーカが部屋の中央右側の代わりに、部屋の後部右の角に位置することをシミュレートし得る。同様に、遅延フィルタを後部左のサラウンドスピーカに適用して、加えて、後部左スピーカのボリュームを減少し、ユーザからのスピーカの正しい距離及び場所を良好にシミュレートし得る。
ここで説明されているシステムは、また、スピーカ出力の追加のリアルタイム監視及び調整を可能にする。例として及び限定としてではなく、本システムは、ソースがいつ妨害されるか、またはそうでなければいつ閉塞されるかを検出し得る。上記に説明したICAを使用することは、本システムは、サラウンドサウンドシステムの音声チャンネルに基づいて受信した音源を区別することが可能であり得る。さらに、本システムは、音声チャンネルに対応するソースの音声レベルが他のソースよりも低いことを検出し得、それに応答して、本システムは当該チャンネルのボリュームを増加し得る。逆に、本システムは、音声チャンネルに対応する特定のソースのボリュームが他のチャンネルよりも大きいことを検出し、それに応答して、特定の音声源に対応するその特定のチャンネルのボリュームが下がり得る。このように、本システムは部屋のサウンドレベルを動的に調整して、スピーカのチャンネルの音量を増加することによって、スピーカの閉塞またはそうでなければ妨害を考慮し得、人または障害物がスピーカから離れて移動するとき、本システムはチャンネルのボリュームを減らし得る。
いくつかの実施形態では、音声閾値を使用して、部屋の知覚音量を設定し得る。本システムは、各音源を検出し、上記に説明した音源に対応するチャンネルを判定するように構成され得る。この情報を用いて、本システムは各チャンネルの音量の全体を調整して、部屋の音声閾値に一致させ得る。音声閾値は、部屋の平均ボリュームであり得る、または周波数に基づいて定義され得る。閾値が周波数に基づいて定義される場合、各チャンネルは、閾値と一致するように所望の周波数ボリュームレベルに合わせて調整され得る。上記に説明したシステムのさらなる利点は、部屋の応答及びその他の成分がない音声の理想的なバージョンの代わりに、実際に知覚された部屋のボリューム及び周波数応答の調整を可能にすることである。この改良された情報は、スピーカの不一致をチャンネル毎に補償できるため、音声のイコライゼーションを良好にし、音の調整を容易にすることを可能にする。
[システム]
図12を参照すると、本開示の態様に従って、音を定位するように構成される例示的なシステム1200のブロック図である。
例示的なシステム1200は、本開示の態様に従って、音声信号を処理及び/または出力するために、サウンドシステム1240に結合されるコンピューティングコンポーネントを含み得る。例として及び限定としてではなく、いくつかの実施態様では、本開示の態様に従って、サウンドシステム1240はステレオスピーカまたはサラウンドスピーカのセットであり得、コンピューティングコンポーネントの一部もしくは全ては標準化されたサラウンドサウンドシステム1240の一部であり得、マイクロホンアレイはコントローラ1230に結合され得、もしくはそれぞれが1つ以上のマイクロホン1236、1234に結合されるいくつかのコントローラ1230から成り得、または、それは、受信された音声信号を処理して、音の場所を判定し、これらの音の場所をチャンネルと相関付けるために、いくつかのマイクロホン1223のスタンドアロンアレイであり得る。例として、サウンドシステム1240は、ステレオスピーカ、5.1サラウンドサウンド、7.1サラウンドサウンド、10.2サラウンドサウンド等のいずれかの既知の構成で構成され得る。さらに、いくつかの実施態様では、システム1200は、埋め込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、ポータブルゲームデバイス、ワークステーション、ゲームコンソール、セットトップボックス、スタンドアロンアンプユニット等の一部であり得る。
例示的なシステムは、加えて、ゲームコントローラ1230に結合され得る。ゲームコントローラは、その場所の追跡を補助し、音の最適化を補助するために使用され得る多数の機能を有し得る。説明したように、第1のマイクロホン1236は、コントローラに結合され得、第2のマイクロホン1234は、また、マイクロホンアレイを形成するためにコントローラに結合され得る。場所検出を改良するために、第1及び第2のマイクロホンと一直線上にない第3のマイクロホンは、また、ゲームコントローラに結合され得る。ゲームコントローラは、また、画像キャプチャユニットによって検出され得る多数の光源を有し得、部屋内のコントローラの場所は、光源の場所から検出され得る。他の場所検出システムを加速度計変位センサ及び/またはジャイロスコープ変位センサを含むゲームコントローラ1230に結合し、部屋内のコントローラの移動を検出し得る。本開示の態様に従って、ゲームコントローラ1230は、また、方向パッド及びボタン1233、ジョイスティック1231、及び/またはタッチパッド1232等のユーザ入力制御部を有し得る。ゲームコントローラは、また、ユーザの身体に取り付け可能であり得る。
本開示の態様に従って、システム1200は、インパルス応答をデコンボリューション及びコンボリューションするために音声信号を処理するように構成され得る。システム1200は、例えば、シングルコア、デュアルコア、クアッドコア、マルチコア、プロセッサコプロセッサ、加速処理ユニット等の周知のアーキテクチャに従って構成され得る1つ以上のプロセッサユニット1201を含み得る。システム1200は、また、1つ以上のメモリユニット1202(例えば、RAM、DRAM、ROM等)を含み得る。
プロセッサユニット1201は、1つ以上のプログラム1204を実行し得、プログラム1204の一部はメモリ1202内に記憶され得、プロセッサ1201は、例えば、データバス1220を介してメモリにアクセスすることによって、メモリ1202に動作可能に結合し得る。プログラムは、例えば、後のユーザのために信号をサラウンドサウンドチャンネル信号に変換するために、または、スピーカ1240に出力するために、ソース音声信号1206を処理するように構成され得る。例として及び限定としてではなく、メモリ1202はプログラム1204を含み得、プログラム1204の実行は、システム1200に、図6の方法600、図7の700、図8の800、及び/または図11の方法1100等の上記の例示的な方法と共通する1つ以上の特徴を有する方法を行わせ得る。例として及び限定としてではなく、プログラム1204は、システム1200に、スピーカの場所を判定させ、室内インパルス応答及び/または音声レベルに対する所望の変化を表す1つ以上のフィルタで、音源信号の1つ以上のチャンネルをフィルタリングさせ、部屋内の音源の知覚品質を最適化させる、プロセッサ実行可能命令を含み得る。
システム1200は、また、入出力(I/O)回路1211、電力供給部(P/S)1212、クロック(CLK)1213、及びキャッシュ1214等の周知のサポート回路1210を含み得、これらは、例えば、バス1220を介して、本システムの他のコンポーネントと通信し得る。システム1200は、また、ディスクドライブ、CD-ROMドライブ、テープドライブ、フラッシュメモリ等の大容量記憶デバイス1215を含み得、大容量記憶デバイス1215はプログラム及び/またはデータを記憶し得る。システム1200は、また、システム1200とユーザとの間の対話を容易にするために、ユーザインターフェース1218及びディスプレイ1216を含み得る。ユーザインターフェース1218は、キーボード、マウス、ライトペン、タッチインターフェース、または他のデバイスを含み得る。システム1200は、また、コンボリューションプログラム1204によって算出されたサラウンドサウンドの態様を組み込み得る、ビデオゲーム等の1つ以上の一般的なコンピュータアプリケーション(図示しない)を実行し得る。
システム1200は、Wi-Fi、イーサネット(登録商標)ポート、または他の通信方法の使用を可能にするように構成されるネットワークインターフェース1208を含み得る。ネットワークインターフェース1208は、電気通信ネットワークを介した通信を容易にするために、適切なハードウェア、ソフトウェア、ファームウェア、またはそれらのいくつかの組み合わせを組み込み得る。ネットワークインターフェース1208は、ローカルエリアネットワーク及びインターネット等のワイドエリアネットワークを通じて、有線通信または無線通信を実施するように構成され得る。システム1200は、ネットワークを通して、1つ以上のデータパケットを介したファイルに関するデータ及び/または要求を送信及び受信し得る。
図12に示されるコンポーネントの多くの変形形態は可能であることと、これらのコンポーネントの様々なものは、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいくつかの組み合わせに実装され得ることとが容易に認識される。例えば、メモリ1202内に含有され、プロセッサ1201によって実行されるコンボリューションプログラムのいくつかの機能または全ての機能は、本明細書に説明される例示的な処理技術の一部または全ての態様を行うように構成される、1つ以上の特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)等の適切に構成されるハードウェアによって実施され得る。
[結論]
上記の説明は本発明の好ましい実施形態の完全な説明であるが、様々な代替、修正、及び同等物を使用することが可能である。したがって、本発明の範囲は、上記の説明を参照して判定されるべきでなく、代わりに、同等物のその全範囲と一緒に、添付の特許請求の範囲を参照して判定されるべきである。好ましいかどうかに関わらずに本明細書に説明されるいずれかの特徴は、好ましいかどうかに関わらずに本明細書に説明されるいずれかの他の特徴と組み合わされ得る。以下の特許請求の範囲では、不定冠詞「a」または「an」は、他に明確に述べられない場合を除き、冠詞に続く1つ以上の項目の量を指す。添付の特許請求の範囲は、手段及び機能の制限が語句「~するための手段(means for)」を使用して所与の請求項に明確に列挙されない限り、係る制限を含むものとして解釈されないことになる。

Claims (24)

  1. 室内サウンドレベルの調節に関する方法であって、
    a)既知の波形でスピーカを駆動することと、
    b)少なくとも2つのゲームコントローラの各々の場所を検出することと、
    )少なくとも2つのマイクロホンを用いて、前記スピーカから音波を検出することであって、前記少なくとも2つのマイクロホンは既知の配向で構成され、前記少なくとも2つのマイクロホンはそれぞれ別々のゲームコントローラに結合される、前記検出することと、
    d)前記少なくとも2つのゲームコントローラの各々の検出された場所に応じて、前記別々のゲームコントローラにそれぞれ結合された前記少なくとも2つのマイクロホンの間の分離距離を決定することとであって、それぞれが前記マイクロホンを有する前記少なくとも2つのゲームコントローラからマイクロホンアレイが構築される、前記決定することと、
    )前記既知の波形と、前記少なくとも2つのマイクロホンによって検出された前記音波と、前記少なくとも2つのマイクロホンの前記既知の配向と、前記少なくとも2つのマイクロホンの間の決定された前記分離距離とを利用して、室内サウンドダイナミックを生成することと、
    )前記スピーカを駆動するために使用される信号をフィルタリングして、前記室内サウンドダイナミックを考慮して前記スピーカのサウンドレベルを調節することと、
    を含む、方法。
  2. 追加ゲームコントローラが前記2つのゲームコントローラのアレイから既知の距離で設定された異なる軸に追加された場合、前記追加ゲームコントローラに結合されたマイクロホンによって提供される追加情報を用いて、音が前記ゲームコントローラの前方または後方に位置するかどうかを判定することをさらに含む、請求項1に記載の方法。
  3. 前記室内サウンドダイナミックは室内インパルス応答を含む、請求項1に記載の方法。
  4. d)フィルタを適用することは、前記室内インパルス応答における不要な可聴周波数をフィルタリングするためにフィルタを適用することを含む、請求項3に記載の方法。
  5. 前記室内サウンドダイナミックは、前記室内のスピーカレイアウトを含む、請求項1に記載の方法。
  6. 前記室内サウンドダイナミックは、さらに、マイクロホンに対するスピーカの距離及び/または角度を含む、請求項5に記載の方法。
  7. c)は、前記2つ以上のマイクロホンから信号の独立成分分析を行い、音を前記2つ以上のスピーカから隔離することによって及び前記2つ以上のスピーカのそれぞれから隔離された音を分析し、スピーカの場所を判定することによって、部屋内の2つ以上のスピーカのスピーカレイアウトを判定することを含む、請求項5に記載の方法。
  8. 前記方法は、さらに、サウンドシステムにおけるスピーカチャンネル毎にステップa)~b)を行うことと、チャンネルの全てが検出された後にステップc)~d)を行うこととを含む、請求項1に記載の方法。
  9. 前記室内サウンドダイナミックは、ある間隔で判定される、請求項1に記載の方法。
  10. d)において前記サウンドレベルを調整することは、前記スピーカの前方にいる人の移動を補償する、請求項1に記載の方法。
  11. d)において前記サウンドレベルを調整することは、前記室内の家具のレイアウトまたは前記部屋内の前記スピーカの場所を補償する、請求項1に記載の方法。
  12. 非一時的コンピュータ可読媒体であって、前記非一時的コンピュータ可読媒体内に具体化された実行可能命令を伴い、前記命令の実行は、プロセッサに、a)~d)の方法を実行させ、前記方法は、
    a)既知の波形でスピーカを駆動することと、
    b)少なくとも2つのゲームコントローラの各々の場所を検出することと、
    )少なくとも2つのマイクロホンを用いて、前記スピーカから音波を検出することであって、前記少なくとも2つのマイクロホンは既知の配向で構成され、前記少なくとも2つのマイクロホンはそれぞれ別々のゲームコントローラに結合される、前記検出することと、
    d)前記少なくとも2つのゲームコントローラの各々の検出された場所に応じて、前記別々のゲームコントローラにそれぞれ結合された前記少なくとも2つのマイクロホンの間の分離距離を決定することとであって、それぞれが前記マイクロホンを有する前記少なくとも2つのゲームコントローラからマイクロホンアレイが構築される、前記決定することと、
    )前記既知の波形と、前記少なくとも2つのマイクロホンによって検出された前記音波と、前記少なくとも2つのマイクロホンの前記既知の配向と、前記少なくとも2つのマイクロホンの間の決定された前記分離距離とを利用して、室内サウンドダイナミックを生成することと、
    )前記スピーカを駆動するために使用される信号をフィルタリングして、前記室内サウンドダイナミックを考慮して前記スピーカのサウンドレベルを調節することと、
    を含む、非一時的コンピュータ可読媒体。
  13. 前記方法は、追加ゲームコントローラが前記2つのゲームコントローラのアレイから既知の距離で設定された異なる軸に追加された場合、前記追加ゲームコントローラに結合されたマイクロホンによって提供される追加情報を用いて、音が前記ゲームコントローラの前方または後方に位置するかどうかを判定することをさらに含む、請求項12に記載の非一時的コンピュータ可読媒体。
  14. 前記室内サウンドダイナミックは、前記室内のスピーカレイアウトを含む、請求項12に記載の非一時的コンピュータ可読媒体。
  15. 前記室内サウンドダイナミックは室内インパルス応答を含む、請求項12に記載の非一時的コンピュータ可読媒体。
  16. d)フィルタを適用することは、前記室内インパルス応答における不要な可聴周波数をフィルタリングするためにフィルタを適用することを含む、請求項15に記載の非一時的コンピュータ可読媒体。
  17. 前記室内サウンドダイナミックは、さらに、部屋のサイズ及び/または前記マイクロホンに対するスピーカ間の距離を含む、請求項12に記載の非一時的コンピュータ可読媒体。
  18. c)は、前記2つ以上のマイクロホンから信号の独立成分分析を行い、音を前記2つ以上のスピーカから隔離することによって及び前記2つ以上のスピーカのそれぞれから隔離された音を分析し、スピーカの場所を判定することによって、部屋内の2つ以上のスピーカのスピーカレイアウトを判定することを含む、請求項12に記載の非一時的コンピュータ可読媒体。
  19. プロセッサと、
    前記プロセッサに結合されるメモリと、を備え、
    前記メモリは、前記メモリ内に具体化された実行可能命令を有し、前記命令は、実行時、前記プロセッサに、a)~d)の方法を実施させるように構成され、前記方法は、
    a)既知の波形でスピーカを駆動することと、
    b)少なくとも2つのゲームコントローラの各々の場所を検出することと、
    )少なくとも2つのマイクロホンを用いて、前記スピーカから音波を検出することであって、前記少なくとも2つのマイクロホンは既知の配向で構成され、前記少なくとも2つのマイクロホンはそれぞれ別々のゲームコントローラに結合される、前記検出することと、
    d)前記少なくとも2つのゲームコントローラの各々の検出された場所に応じて、前記別々のゲームコントローラにそれぞれ結合された前記少なくとも2つのマイクロホンの間の分離距離を決定することとであって、それぞれが前記マイクロホンを有する前記少なくとも2つのゲームコントローラからマイクロホンアレイが構築される、前記決定することと、
    )前記既知の波形と、前記少なくとも2つのマイクロホンによって検出された前記音波と、前記少なくとも2つのマイクロホンの前記既知の配向と、前記少なくとも2つのマイクロホンの間の決定された前記分離距離とを利用して、室内サウンドダイナミックを生成することと、
    )前記スピーカを駆動するために使用される信号をフィルタリングして、前記室内サウンドダイナミックを考慮して前記スピーカのサウンドレベルを調節することと、
    を含む、システム。
  20. 前記プロセッサに動作可能に結合する1つ以上のスピーカをさらに備える、請求項19に記載のシステム。
  21. 前記1つ以上のスピーカは複数のスピーカを含む、請求項20に記載のシステム。
  22. 前記1つ以上のスピーカは、サラウンドサウンドシステムの複数のスピーカを含む、請求項20に記載のシステム。
  23. 前記1つ以上のスピーカは、5.1サラウンドサウンドシステムの複数のスピーカを含む、請求項20に記載のシステム。
  24. 前記1つ以上のスピーカは、7.1サラウンドサウンドシステムの複数のスピーカを含む、請求項20に記載のシステム。
JP2020542405A 2018-02-06 2019-01-31 ダイナミックサウンドイコライゼーションに関する方法 Active JP7150033B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/890,007 US10523171B2 (en) 2018-02-06 2018-02-06 Method for dynamic sound equalization
US15/890,007 2018-02-06
PCT/US2019/016126 WO2019156888A1 (en) 2018-02-06 2019-01-31 Method for dynamic sound equalization

Publications (2)

Publication Number Publication Date
JP2021513263A JP2021513263A (ja) 2021-05-20
JP7150033B2 true JP7150033B2 (ja) 2022-10-07

Family

ID=67475902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020542405A Active JP7150033B2 (ja) 2018-02-06 2019-01-31 ダイナミックサウンドイコライゼーションに関する方法

Country Status (5)

Country Link
US (1) US10523171B2 (ja)
EP (1) EP3750241A4 (ja)
JP (1) JP7150033B2 (ja)
CN (1) CN112005492B (ja)
WO (1) WO2019156888A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7107036B2 (ja) * 2018-07-05 2022-07-27 ヤマハ株式会社 スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム
US11977813B2 (en) * 2021-01-12 2024-05-07 International Business Machines Corporation Dynamically managing sounds in a chatbot environment
US11749287B2 (en) * 2021-04-09 2023-09-05 Qualcomm Incorporated Device finder using voice authentication
CN114827821B (zh) * 2022-04-25 2024-06-11 世邦通信股份有限公司 拾音器拾音控制方法及***、拾音器设备与存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014517596A (ja) 2011-05-09 2014-07-17 ディーティーエス・インコーポレイテッド 多チャンネルオーディオのための室内特徴付け及び補正
US20140270184A1 (en) 2012-05-31 2014-09-18 Dts, Inc. Audio depth dynamic range enhancement
US20150382128A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Audio calibration and adjustment

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158643B2 (en) * 2000-04-21 2007-01-02 Keyhold Engineering, Inc. Auto-calibrating surround system
KR20050026928A (ko) * 2002-06-12 2005-03-16 이큐테크 에이피에스 룸 스피커로부터의 사운드를 디지털 등화하는 방법 및 그용도
KR101434200B1 (ko) * 2007-10-01 2014-08-26 삼성전자주식회사 혼합 사운드로부터의 음원 판별 방법 및 장치
TWI517028B (zh) 2010-12-22 2016-01-11 傑奧笛爾公司 音訊空間定位和環境模擬
JP2012186594A (ja) * 2011-03-04 2012-09-27 Sony Corp 音響装置、音響調整方法およびプログラム
US9197962B2 (en) 2013-03-15 2015-11-24 Mh Acoustics Llc Polyhedral audio system based on at least second-order eigenbeams
US9369818B2 (en) 2013-05-29 2016-06-14 Qualcomm Incorporated Filtering with binaural room impulse responses with content analysis and weighting
WO2015081293A1 (en) 2013-11-27 2015-06-04 Dts, Inc. Multiplet-based matrix mixing for high-channel count multichannel audio
CN106165452B (zh) * 2014-04-02 2018-08-21 韦勒斯标准与技术协会公司 音频信号处理方法和设备
EP3079074A1 (fr) 2015-04-10 2016-10-12 B<>Com Procédé de traitement de données pour l'estimation de paramètres de mixage de signaux audio, procédé de mixage, dispositifs, et programmes d'ordinateurs associés
KR20170072651A (ko) * 2015-12-17 2017-06-27 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
CN108476367B (zh) 2016-01-19 2020-11-06 斯菲瑞欧声音有限公司 用于沉浸式音频回放的信号的合成
KR102483042B1 (ko) 2016-06-17 2022-12-29 디티에스, 인코포레이티드 근거리/원거리 렌더링을 사용한 거리 패닝
WO2018026963A1 (en) 2016-08-03 2018-02-08 Hear360 Llc Head-trackable spatial audio for headphones and system and method for head-trackable spatial audio for headphones
GB2554446A (en) 2016-09-28 2018-04-04 Nokia Technologies Oy Spatial audio signal format generation from a microphone array using adaptive capture
US9980076B1 (en) * 2017-02-21 2018-05-22 At&T Intellectual Property I, L.P. Audio adjustment and profile system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014517596A (ja) 2011-05-09 2014-07-17 ディーティーエス・インコーポレイテッド 多チャンネルオーディオのための室内特徴付け及び補正
US20140270184A1 (en) 2012-05-31 2014-09-18 Dts, Inc. Audio depth dynamic range enhancement
US20150382128A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Audio calibration and adjustment

Also Published As

Publication number Publication date
CN112005492B (zh) 2022-01-14
EP3750241A1 (en) 2020-12-16
EP3750241A4 (en) 2021-11-03
US20190245503A1 (en) 2019-08-08
WO2019156888A1 (en) 2019-08-15
JP2021513263A (ja) 2021-05-20
CN112005492A (zh) 2020-11-27
US10523171B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
JP7150033B2 (ja) ダイナミックサウンドイコライゼーションに関する方法
KR101726324B1 (ko) 상향-발산 드라이버들을 사용하여 반사 음향 렌더링을 위한 가상 하이트 필터
RU2747713C2 (ru) Генерирование бинаурального звукового сигнала в ответ на многоканальный звуковой сигнал с использованием по меньшей мере одной схемы задержки с обратной связью
JP5533248B2 (ja) 音声信号処理装置および音声信号処理方法
JP6620235B2 (ja) サウンドステージ拡張のための機器及び方法
US10652686B2 (en) Method of improving localization of surround sound
US20150358756A1 (en) An audio apparatus and method therefor
US10341799B2 (en) Impedance matching filters and equalization for headphone surround rendering
CN109565633B (zh) 有源监听耳机及其双声道方法
CN109565632B (zh) 有源监听耳机及其校准方法
JP6821699B2 (ja) アクティブモニタリングヘッドホンとそれの反転を正則化する方法
EP3286929A1 (en) Processing audio data to compensate for partial hearing loss or an adverse hearing environment
EP2368375B1 (en) Converter and method for converting an audio signal
US10827264B2 (en) Audio preferences for media content players
WO2016042410A1 (en) Techniques for acoustic reverberance control and related systems and methods
US20190104375A1 (en) Level-Based Audio-Object Interactions
KR20190109019A (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
US10440495B2 (en) Virtual localization of sound
JP2022502872A (ja) 低音マネジメントのための方法及び装置
CN109076302A (zh) 信号处理装置
CN110312198B (zh) 用于数字影院的虚拟音源重定位方法及装置
JP2020039168A (ja) サウンドステージ拡張のための機器及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220802

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220812

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220927

R150 Certificate of patent or registration of utility model

Ref document number: 7150033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150