JP6202003B2 - 信号処理装置、信号処理方法 - Google Patents
信号処理装置、信号処理方法 Download PDFInfo
- Publication number
- JP6202003B2 JP6202003B2 JP2014544375A JP2014544375A JP6202003B2 JP 6202003 B2 JP6202003 B2 JP 6202003B2 JP 2014544375 A JP2014544375 A JP 2014544375A JP 2014544375 A JP2014544375 A JP 2014544375A JP 6202003 B2 JP6202003 B2 JP 6202003B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal processing
- unit
- curved surface
- transfer function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
例えばこのような没入感ディスプレイを使って、先ほどの地図情報とリンクされた実際の写真を表示して(例えば人が等身大になるような処理を施して)臨場感を得ることが考えられている。
すなわち、本技術の信号処理装置は、指定された位置情報から特定される場所に対応する画像を所要の表示部に表示させる表示制御部を備える。
また、ユーザを取り囲むように配された複数のマイクロフォンで上記ユーザの発した音を収音する収音部による収音信号を入力する収音信号入力部を備える。
また、上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面上から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第1の伝達関数に基づき、上記収音信号入力部より入力された信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第1の音響信号処理を施す音響信号処理部を備える。
また、上記音響信号処理部により上記第1の音響信号処理が施された信号に基づく音を、上記ユーザを取り囲むように配された複数のスピーカにより発音させる発音制御部を備えるものである。
すなわち、本技術の信号処理方法は、表示部と、ユーザを取り囲むように配された複数のマイクロフォンにより上記ユーザの発した音を収音する収音部と、上記ユーザを取り囲むように配された複数のスピーカにより発音を行う発音部とを用いた信号処理方法であって、指定された位置情報から特定される場所に対応する画像を上記表示部に表示させる表示制御手順を有する。
また、上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面側から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第1の伝達関数に基づき、上記収音部による収音信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第1の音響信号処理を施す音響信号処理手順を有する。
また、上記音響信号処理手順により上記第1の音響信号処理が施された信号に基づく音を、上記発音部により発音させる発音制御手順を有するものである。
ここで、臨場感や没入感を増すためには、画像以外に空間情報を表現する「音」の存在が重要となる。従って上記本技術によれば、画像情報の提示のみを行う場合よりもユーザの没入感を高めることができる。
<1.実施の形態の信号処理システムで実現する再現手法の概要>
<2.音場再現の手法>
<3.音場再現のための測定手法>
(3-1.測定手法の概要)
(3-2.測定1について)
(3-3.測定2について)
<4.伝達関数に基づく音場再現>
(4-1.第1伝達関数に基づく音場再現)
(4-2.第2伝達関数に基づく音場再現)
<5.信号処理システムの構成>
<6.変形例>
(6-1.閉曲面について)
(6-2.指向性について)
(6-3.測定環境と再現環境とで閉曲面のサイズ・形状が異なる場合の対処)
(6-4.移動体を用いた測定手法)
(6-5.その他の変形例)
先ずは図1により、本実施の形態の信号処理システムで実現する再現手法の概要について説明しておく。
図1において、サイトAとは、ユーザ0を没入させたい場所、つまりはその情景や音の広がり等を再現したい場所(再現対象とする場所)を意味するものである。
また図中のサイトBは、再現対象とする場所の情景や音の広がりの再現を行う場所を意味する。このサイトBは、例えばユーザ0自身の部屋などと考えればよい。
図のようにサイドB内には、ユーザ0を取り囲むように配置された複数のスピーカ2Bと、画像表示を行う表示装置3とが設置されている。
没入したい場所の画像と共にその場所の音場100をユーザ0に提示することで、その場所に対するユーザ0の没入感をより高めることができる。
再現したい場所の指定は、例えばユーザ0により行う。例えば、本システムによるサービスを享受するにあたっては、表示装置3上に表示された地図画像から、任意の位置を指定する。この指定された位置の位置情報から、該位置に対応する場所が特定され、該場所について上記のような画像や音による再現を行う。
後述するように、本実施の形態では、このように複数のスピーカで取り囲んだ空間の他にも、複数のマイクロフォンで取り囲んで形成される空間も存在することになる。
本明細書においては、このように複数個のスピーカ又はマイクロフォンで取り囲んで形成される空間の界面、換言すれば、それら複数個のスピーカ又はマイクロフォン同士を結んで形成される空間の界面を、「音響閉曲面」或いは単に「閉曲面」と称することとする。
図1に示すように、サイトB内の複数のスピーカ2Bによって形成される音響閉曲面は、閉曲面1Bと表記する。
上記のように本実施の形態では、サイトBにおいてサイトAの音場を再現するが、この音場再現の具体的な手法として、本実施の形態では、主に図3に示される2つの手法(手法1及び手法2)を提案する。
先ず、手法1としては、サイトBにおける閉曲面1Bの内側に居るユーザ0が発した音(例えばユーザ0が発した声、物を落とした時の衝突音、食事中であれば食器等が触れ合う時の音など)が、サイトAで反響したように感じられる音場100を複数のスピーカ2Bによって再現するものである。後に詳述するように、この手法1の実現のためには、ユーザ0を取り囲むように配置した複数のマイク5Bによってユーザ0の発した音をリアルタイムに収音し、対応する伝達関数で処理することで、音場再現用の音響信号(スピーカ2Bより出力すべき音響信号)を生成することになる。
ここで、図中に示すように閉曲面1BがサイトA内にあるものと仮定し、該サイトA内における閉曲面1Bの外側の或る位置にて音が発せられたとした場合、該音は、閉曲面1Bに直接到達する成分の他に、サイトA内における構造物や障害物を介した反射音・残響音(各材質・構造ごとに異なる)の成分を伴う場合もある。手法2では、このような反響音も含めて、サイトAにおける環境音を知覚させるものである。
(3-1.測定手法の概要)
図4は、実施の形態の音場再現を実現するための伝達関数の測定手法について説明するための図である。
図4Aは、測定のためにサイトA内に配置する複数のマイク5Aを模式的に表す。
図4Bは、手法1に対応する測定手法(測定1と表記する)、図4Cは手法2に対応する測定手法(測定2)をそれぞれ模式的に表す。なお図4Dは、サイトAの環境音を、該サイトAに配置した複数のマイク5Aによりそのまま収録する手法を模式的に表している。
具体的に該測定1では、サイトAに配置した測定用のスピーカ2Aから外向きに発せられた音(測定用信号)が、サイトAにおける反響の影響を受けて、同じくサイトAに配置した各マイク5Aにどのように到達するかを表す伝達関数(インパルス応答)を測定する。
従ってこの伝達関数を用いて、サイトBのマイク5Bにより収音した信号(ユーザ0が発した音)を加工してスピーカ2Bにより出力することで、該ユーザ0が発した音がサイトAで反響したように感じられる音場100をサイトBにて構築することができる。
しかしながら、このように単に収録した環境音を流すとした場合は、1つのサイトについて2種以上の環境音を再現しようとしたときに、そのサイトにて複数回の収録を行うことが必要とされる等の問題がある。
例えばCD(Compact Disc)やDVD(Digital Versatile Disc)など従来のメディアに収録される音は、制作側の意図の下、チャンネル毎に完成されたパッケージとされており、パッケージに納められた各チャンネルの音響信号は対応するスピーカのチャンネルに対応して鳴らすことで、概ね制作側の意図する音質・音場を実現してきた。
しかしながら近年、制作側の意図として「聞かせたい」音場・音質などを、「各音源の音響ストリーム信号」と「その音源がどう動くか、どういう位置にあるか」の「メタ情報」のセット(暫定的にオブジェクトと呼ぶ)を複数個重ねたものと考え、これをどう再生環境に応じて実現(レンダリング)するかを再生環境側に委ねた「オブジェクトベースのオーディオ(または音場表現)」の考え方が出てきた。
このようなオブジェクトベースの手法により、再生環境の多様化が進みつつある現状においてだけでなく、再生環境が将来的に飛躍的な性能向上を行った場合でも、制作者の意図に応じて再生環境の性質・性能に合わせて、音場・音質の再現が可能となる。
具体的に、該測定2では、複数のマイク5Aが配される閉曲面1Aの外側の任意位置に配置した測定用のスピーカ2Aから発された音(測定用信号)が、サイトAにおける反響
の影響も含めて、各マイク5Aにどのように到達するかを表す伝達関数(インパルス応答)を測定する。
すなわち、閉曲面1Bに対して到達する音が該閉曲面1Bと交差するときの波面を想定したとき、該想定波面を、閉曲面1Bの内側に創造するように複数のスピーカ2Bから再生するというものである。
以下、測定1としての伝達関数の測定手法の具体的な例を図5〜図7を参照して説明する。
先ず、図5に、ユーザ0の居るサイトB(再現環境)に配置された複数のスピーカ2B及び閉曲面1Bと、複数のマイク5B及び閉曲面4Bとを示す。先の説明からも理解されるように、サイトBに配置されるマイク5Bは、ユーザ0が発した音をリアルタイムに収音するために設けられたものである。
このとき、マイク5Bとしては、閉曲面4Bの内側に居るユーザ0が発した音をサイトAにおける反響の影響を与えてスピーカ2Bから出力するというシステムを実現する上では、内向き(閉曲面4Bの内側方向)の指向性を有することを要する。このため本例では、各マイク5Bとして有指向性のマイクロフォンを用い、その指向方向が閉曲面4Bの内側方向に向くように設置するものとしている。
また、スピーカ2Bとしては、その発音方向が閉曲面1Bの内側方向に向くように設置する。すなわち、スピーカ2Bとしては有指向性スピーカを用い、その指向性を内向きに設定する。
なおこのとき、指向性の方向は、閉曲面に対して垂直であることが望ましい。
なお以下では、上記の各位置に配置されたマイク5Bを、その配置位置に対応させてそれぞれマイクV1,V2,V3,・・・,VMと表記することもある。同様に、スピーカ2Bについても、それぞれその配置位置に対応させてスピーカW1,W2,W3,・・・,WNと表記することもある。
これら図6,図7では、サイトA(測定環境)における複数のスピーカ2A及び閉曲面1Aと、複数のマイク5A及び閉曲面4Aとを示している。
またサイトAの閉曲面1A上に配置されるマイク5Aの数はN個であるとし、それらの配置位置は図のようにR1,R2,R3,・・・,RNであるとする。
なおサイトAについても、上記の各位置に配置されたスピーカ2Aをその配置位置に対応させてそれぞれスピーカQ1,Q2,Q3,・・・,QMと表記し、またマイク5Aについてもそれぞれその配置位置に対応させてマイクR1,R2,R3,・・・,RNと表記することがある。
また、サイトAにおける閉曲面1Aは、サイトBにおける閉曲面1Bとそのサイズ・形状が同じで、且つ閉曲面1A上における各マイク5Aの位置関係(R1,R2,R3,・・・,RNの並び順及びそれらの配置間隔)は、閉曲面1B上における各スピーカ2Bの位置関係(W1,W2,W3,・・・,WNの並び順及びそれらの配置間隔)と同じであるとする。
このようにして得られる各マイク5Aの収音信号に基づき、Q1の位置のスピーカ2AからR1〜RNの各マイク5AまでのN個の伝達関数を得ることができる。
このようにして得られる各マイク5Aの収音信号に基づき、Q2の位置のスピーカ2AからR1〜RNの各マイク5Aまでのインパルス応答を測定する。これにより、Q2の位置のスピーカ2AからR1〜RNの各マイク5AまでのN個の伝達関数を得ることができる。
得られる。
但し、測定ごとにスピーカ2Aを移動させるには煩わしさを伴うので、本例では、Q1〜QMの各位置にスピーカ2Aを配置し、それらのスピーカ2Aのうち測定音を出力するスピーカ2Aを順次選択することで、M×N個の伝達関数の測定を行うものとする。
この図8に示されるように、測定1の実現のためには、M個のスピーカ2Aと、N個のマイク5Aと、測定装置10とを設ける。
セレクタ18は、DAC/アンプ部17から入力された測定用信号を、端子部11-1〜11-Mのうち制御部15により指示された端子部11(つまりスピーカ2A)に択一的に出力する。
伝達関数測定部14は、制御部15からの指示に応じて、ADC/アンプ部13から入力された各マイク5Aからの収音信号に基づいてインパルス応答(伝達関数)の測定を行う。
特にこの場合の制御部15は、先に説明した測定1としての測定動作が実現されるように、測定用信号出力部16、セレクタ18、伝達関数測定部14に対する制御を行う。具体的には、Q1,Q2,Q3,・・・,QMの各スピーカ2Aより測定用信号に基づく発音が順次行われるように測定用信号出力部16及びセレクタ18に対する制御を行うと共に、各スピーカ2Aによる発音のタイミングに同期して、各マイク5Aによる収音信号に基づく伝達関数の測定が行われるように、伝達関数測定部14による測定タイミングを制御する。
これにより、前述したM×N個の伝達関数の測定が実現される。
なお確認のため述べておくと、直接音とは、スピーカ2Aから発せられ(サイトAでの反射を介さず)直接的にマイク5Aに到達する音を意味するものである。
図10にそのための構成を示した。
図中のインパルス応答測定データは、マイク5Aによる収音信号に基づき測定したインパルス応答のデータ(時間軸波形データ)を意味している。
このインパルス応答測定データを、図のように信号成分分解処理部19によって時間軸上で直接音、初期反射音、残響音に分解する。
直接音、初期反射音については、それぞれ乗算部20,21でそのバランスを変更(レベル調整)する。このようにバランス調整された直接音、初期反射音の成分と、信号成分分解処理部19で得られた残響音成分とを、加算部22により加算する。
本例で用いる伝達関数は、測定された(生の)インパルス応答データについて上記のような成分分解・バランス調整が行われたものであるとする。
図11は、測定2としての伝達関数の測定の具体的な手法についての説明図である。
前述のように測定2は、閉曲面1Bの外側の任意位置に定位されるべき音源を、該位置に定位させ、且つ該位置より発せられる音がサイトAでの反響を受けたかたちでユーザ0に知覚されるようにするべく、閉曲面1Aの外側の任意位置に配置した測定用のスピーカ2Aから発された音が、サイトAにおける反響の影響も含めて、各マイク5Aにどのように到達するかを表す伝達関数(インパルス応答)を測定するものである。
このように音源を「定位させたい位置」が複数ある場合には、その「定位させたい位置」ごとの伝達関数の測定を行う。
但しこの場合、スピーカ2Aの接続数は、音源を定位させたい位置の数に応じた数となる。具体的に、音源を定位させたい位置の数だけスピーカ2Aを接続した場合には、制御部15としては、測定音を出力すべきスピーカ2Aをセレクタ18に順次選択させ、且つ測定音の出力タイミングに同期して伝達関数の測定処理を実行するように伝達関数測定部14を制御することになる。
(4-1.第1伝達関数に基づく音場再現)
前述のように、第1伝達関数は、Q1のスピーカ2AからR1〜RNの各マイク5AまでのN個の伝達関数(QR11〜QR1N)、Q2のスピーカ2AからR1〜RNの各マイク5AまでのN個の伝達関数(QR21〜QR2N)、・・・,QMのスピーカ2AからR1〜RNの各マイク5AまでのN個の伝達関数(QRM1〜QRMN)の合計M×N個である。
この前提の下で、例えばW1の位置から出力すべき音響信号を考えてみると、このW1位置からは、ユーザ0から閉曲面4B上のV1〜VMの各方向に発せられ、それぞれサイトAによる反響の影響を受けて該W1位置まで戻って来る音が出力されるべきものとなる。
すなわち、W1位置のスピーカ2Bより出力されるべき音響信号を信号W1とすると、該信号W1は、
W1=V1×QR11+V2×QR21+V3×QR31+・・・+VM×QRM1
と表すことができる。但し上式において、V1〜VMはマイクV1〜VMの収音信号を意味するものであるとする。
このようにW1信号としては、V1〜VM(Q1〜QM)の各方向に出た音を、それぞれW1(R1)への伝達関数(QR11,QR21,・・・,QRM1)のうち対応する1の伝 達関数で処理して得られるM個の信号を足し合わせたものとなる。
W2=V1×QR12+V2×QR22+V3×QR32+・・・+VM×QRM2
W3=V1×QR13+V2×QR23+V3×QR33+・・・+VM×QRM3
と表すことができる。すなわち、W2信号としては、V1〜VM(Q1〜QM)の各方向に出た音をそれぞれW2(R2)への伝達関数(QR12,QR22,・・・,QRM2)のうち対応する1の伝達関数で処理して得られるM個の信号を足し合わせたものであり、またW3信号は、V1〜VM(Q1〜QM)の各方向に出た音をそれぞれW3(R3)への伝達関数(QR13,QR23,・・・,QRM3)のうち対応する1の伝達関数で処理して得られるM個の信号を足し合わせたものとなる。
先の説明からも理解されるように、第2伝達関数を用いる手法2は、サイトAにおける環境音を該サイトAでの反響も含めてユーザ0に知覚させるものであって、手法1のように、マイク5Bによる収音信号に対して伝達関数による処理を施すものではない。
手法2では、マイク5Bによる収音信号ではなく、予め収録等された所定の音源に対して第2伝達関数による処理を施すことになる。
例えば最も簡易的な例として、或る1つの音源を或る1つの位置に定位させるとした場合には、該音源に基づく音響信号をそれぞれR1〜RNの各位置の収音信号に基づき測定
した第2伝達関数で処理してN個の信号を得、これを再現環境におけるW1〜WNのスピーカ2Bのうちそれぞれ対応する1のスピーカ2Bより出力すればよい。
或いは、音源Aを位置a、音源Bを位置bにそれぞれ定位させるといったときは、音源A側については、該音源Aに基づく音響信号を位置aについての測定で得たN個の第2伝達関数でそれぞれ処理してN個の信号を得、また音源B側については、該音源Bに基づく音響信号を位置bについての測定で得たN個の第2伝達関数でそれぞれ処理してN個の信号を得る。そして、これら音源A側、音源B側についてそれぞれ得たN個の信号を、スピーカ2Bの各位置(W1〜WN)ごとに加算して、W1〜WNの各位置のスピーカ2Bより出力すべき信号を得る。
図12は、上記により説明した実施の形態としての信号処理手法を実現するための信号処理システムの構成について説明するための図である。
この図12に示すように、本実施の形態の信号処理システムは、M個のマイク5Bと、信号処理装置30と、N個のスピーカ2Bと、表示装置3と、サーバ装置25とを少なくとも有して構成される。
具体的に、サーバ装置25には、地図データ25A、画像データ25B、第1伝達関数情報25C、対応関係情報25D、及びオブジェクトベースデータ25Eが格納されている。
オブジェクト分離音源25E2は、再現対象とする場所に存在する音源であり、これは、例えば再現対象とする場所での収録信号から所要の音源を抽出したものと考えればよい。この音源の抽出の処理としては、上記収録信号に対して、ノイズ除去や残響抑制などを行う。これにより、S/N(ノイズ対雑音比)の良い、残響感も抑制された音源データを得ることができる。すなわち、オブジェクトベースの音場再現に適した音源データを得ることができる。
対応関係情報25Dには、その場所に対応して用いられるべき画像データ、第1伝達関数、第2伝達関数、オブジェクト分離音源についてのIDが記述され、該IDから、画像データ25B、第1伝達関数情報25C、第2伝達関数情報25E1、オブジェクト分離音源25E2として格納される実データのうち実際に用いる実データを特定できるようになっている。
また信号処理装置30には、先の図1にも示した表示装置3を接続するための端子部43も設けられる。
また、信号処理装置30内部には、ADC/アンプ部32、加算部33-1〜33-M、ハウリング制御/エコーキャンセル部34,36、マトリクスコンボリューション部35、加算部37-1〜37-N、DAC/アンプ部38、制御部40、操作部41、表示制御部42、通信部44、メモリ45、リファレンス音再生部46、及びバス48が設けられる。
ここで、マトリクスコンボリューション部35、制御部40、表示制御部42、通信部44、メモリ45、リファレンス音再生部46、レンダリング部47は、それぞれバス48に接続されており、該バス48を介して相互にデータ通信を行うことが可能とされる。
該加算部33-1〜33-Mによっては、V1〜VMの各チャンネルの収音信号に対し、リファレンス音再生部46により再生されたリファレンス音としての音響信号が加算されるが、これについては後に改めて説明する。
このハウリング制御/エコーキャンセル部34は、マトリクスコンボリューション部35の後段に設けられたハウリング制御/エコーキャンセル部36と共に、フィードバックによるハウリングを避けるために設けられる。図のようにこれらハウリング制御/エコーキャンセル部34,36は、両者が連携処理できるように接続されている。
ここで、本システムでは、再現環境下においてマイク5Bとスピーカ2Bとを配置するが、これらマイク5Bとスピーカ2Bとについては比較的近接して配置されることになるため、場合によっては、両者の作用で過剰な発振動作が生じてしまう虞がある。そこで、本例ではハウリング制御/エコーキャンセル部34,36を設けて、このような過剰な発振動作の発生の防止を図るものとしている。
具体的にマトリクスコンボリューション部35は、ハウリング制御/エコーキャンセル部34より入力されたM個の信号(V1〜VM)に対し、制御部40からの指示された第1伝達関数(QR11〜QRMN)に基づく処理を施して、手法1としての音場再現の実現のために各スピーカ2Bより出力されるべきN個の信号を生成する。
なおこの図では、第1伝達関数を時間軸表現(インパルス応答化)したものを係数とするFIR(Finite Impulse Response)デジタルフィルタを使った場合の構成例を示している。
またこの図において、信号V1〜VMは、先の図12からも理解されるようにハウリング制御/エコーキャンセル部34を介してマトリクスコンボリューション部35に入力される信号を表すものであり、また信号W1〜WNはマトリクスコンボリューション部35からハウリング制御/エコーキャンセル部36に入力される信号を表すものとなる。
この場合のマトリクスコンボリューション部35には、信号V1〜VMの各信号ごとに、それぞれN個のフィルタ50(末尾が1〜Nとなる)が設けられる。この図では、信号V1を入力するフィルタ50-11〜50-1Nと、信号V2を入力するフィルタ50-21〜50-2Nと、信号VMを入力するフィルタ50-M1〜50-MNとを代表して示している。
また信号V2を入力するフィルタ50-21〜50-2Nには、V2(Q2)の位置に対応する第1伝達関数QR21〜QR2Nに基づくフィルタ係数が設定され、信号VMを入力するフィルタ50-M1〜50-MNには、VM(QM)の位置に対応する第1伝達関数QRM1〜QRMNに基づくフィルタ係数が設定される。
図示は省略しているが、他の信号(V3〜VM-1)を入力する各N個のフィルタ50にも、その信号が収音されるマイク5B位置に対応するN個の第1伝達関数に基づくフィルタ係数がそれぞれ設定されることになる。
具体的に、加算部51-1には、各フィルタ50のうち、末尾が1のフィルタ50で得られた信号が入力され、また加算部51-2には末尾が2のフィルタ50で得られた信号が入力される。また加算部51-Nには、末尾がNのフィルタ50で得られた信号が入力される。
つまり加算部51-1〜51-Nには、W1〜WN(R1〜RN)の位置のうち、その末尾の数値に応じた位置の第1伝達関数で処理されたM個の信号が入力されるものである。
加算部51-1〜51-Nの各々は、このように入力されたM個の信号をそれぞれ加算(合成)するものである。
マトリクスコンボリューション部35で得られたN個の信号(W1〜WN)は、チャンネルごとにハウリング制御/エコーキャンセル部36による処理を経て、加算部37-1〜37-Nのうち対応するチャンネルの加算部37にそれぞれ入力される。
レンダリング部47は、制御部40による指示に従って、ネットワーク26経由でサーバ装置25より送信されたオブジェクト分離音源に対し、同じくネットワーク26経由でサーバ装置25より送信された第2伝達関数に基づく処理を施すことで、サイトAにおける環境音を該サイトAでの反響も含めてユーザ0に知覚させるために各スピーカ2Bより出力されるべきN系統の音響信号を生成する。
なお先の説明からも理解されるように、複数の音源をそれぞれ別の位置に定位させる場合には、レンダリング部47は、各音源を対応する第2伝達関数(N個)で処理して得たN系統の音響信号を、チャンネルごとに加算することで、各スピーカ2Bより出力されるべきN系統の音響信号を得ることになる。
この制御部40には操作部41が接続されており、制御部40は、該操作部41に対して行われたユーザ0による操作に応じた操作情報の受付を行い、該操作情報に応じた処理を実行することで、ユーザ0による操作に応じた動作を実現する。
なお図15において、信号処理装置と示した処理は、信号処理装置30が備える制御部40によって実行されるものであり、サーバ装置と示した処理はサーバ装置25が備える制御部(不図示)によって実行されるものである。
また、この図に示す処理が開始されるにあたっては、既に、操作部41を介したユーザ0の操作入力に基づき、所要の位置情報の指定が為された状態にあるとする。
具体的には、対応関係情報25Dに基づき、画像データ25B、第1伝達関数情報25C、第2伝達関数情報25E1、オブジェクト分離音源25E2としてそれぞれ格納されている画像データ、第1伝達関数、第2伝達関数、オブジェクト分離音源のうちの、特定された場所と対応する画像データ、第1伝達関数、第2伝達関数、オブジェクト分離音源を信号処理装置30に対して送信する。
このリファレンス音としては、サイトBでのリアルタイムの収録音ではなく、予め準備された音データ(収音した音を元にしたものでも良いし、人工音でも良い)を使用する。
意図としては、手法1と同様にエコーロケーションであり、再現対象とする場所が異なっても、同じ音源素材を引き続き出力することで、その場所がどのような空間になっているか音響情報的に提示することが可能である。この場合、単にリアルタイム収音した音のみを第1伝達関数で処理して出力する場合よりも、高い再現性により音響情報による場所の構造等の把握が可能である。
マトリクスコンボリューション部35は、このようにリファレンス音が加算された各チャンネルの収音信号(V1〜VM)に基づき先の式2による演算を行う。このようなマトリクスコンボリューション部35による処理で得られたN系統の信号(W1〜WN)がハウリング制御/エコーキャンセル部36→加算部37→DAC/アンプ部38→端子部39を介して対応するスピーカ2Bによりそれぞれ出力される。
なおこの図では、レンダリング処理をサーバ装置25にて行う場合の構成例を示しているが、地図データ25Aや第1伝達関数情報25Cなどのデータを格納するサーバ装置とレンダリング処理を実行するサーバ装置とが別体であってもよい。
この場合、信号処理装置30に対しては、該レンダリング部52にて得られたレンダリング処理後の音響信号(N系統)がサーバ装置25より送信されてくる。
(6-1.閉曲面について)
ここで、これまでの説明では特に言及しなかったが、上記により説明した実施の形態としての音場再現手法を考慮すると、再現環境で複数のスピーカ2Bが配される閉曲面1Bと、同じく再現環境で複数のマイク5Bが配される閉曲面4Bとしては、少なくとも、それぞれがユーザ0を取り囲むように設定されていればよく、閉曲面1Bと閉曲面4Bは交差しても良いものである。
図17Aは、閉曲面1Bがユーザ0を取り囲むように設定され且つ閉曲面1Bが閉曲面4Bの内側に設定された例である。図17Bは図17Aに示す例において、閉曲面1Bと閉曲面4Bとがより近接した例である。また図17Cは閉曲面1Bと閉曲面4Bとが共にユーザ0を取り囲むように設定されるが、閉曲面1Bの一部が閉曲面4Aの外側にはみ出している例である。
また図17Dに示す例は、図17Cの例において、閉曲面4Bのみがユーザ0を取り囲むように設定されたものである。また図17Eに示す例は、閉曲面1Bが閉曲面4Bの内側に設定され且つ閉曲面4Bがユーザ0を取り囲むように設定されているが、閉曲面1Bがユーザ0を取り囲むようには設定されていないものである。
このように閉曲面1Bと閉曲面4Bとは、少なくともそれらの一部同士が重なる領域が形成されるように設定されればよく、該重なる領域内にユーザが存在すれば、本技術が適正に成り立つ。
なお図18では複数のスピーカ2Bによる閉曲面1Bの形状を例示したが、複数のマイク5Bによる閉曲面4Bの形状についても同様である。
実際においては、効果を体感してみて、現実的な数を設定することが望ましいものとなる。
このように閉曲面4Bが閉曲面1Bの内側に配置される場合には、測定環境としてのサイトAでは、図20に示すように、スピーカ2Aを配置する閉曲面4Aを、マイク5Aを配置する閉曲面1Aの内側に設定することになる。
これまでの説明では、マイク5A,5Bに関して、有指向性のマイクを用いる場合を例示したが、これらマイク5A,5Bに関しては、必ずしもデバイス単体として有指向性を有するものである必要性はなく、無指向性のマイクを用いることもできる。
その場合は、複数の無指向性マイクを用いていわゆるマイクアレーを形成することで、有指向性マイクと等価な出力を得ることが可能である。
図のようにマイク5A又は5Bが端から順に1番〜5番まで配置されているとする。また、これら1番〜5番のマイク5A又は5Bと共に、この場合は3つ1組とされた遅延回路が2つ設けられているとする(遅延回路54-11〜54-13の組、及び遅延回路54-21〜54-23の組)。図のように遅延回路54-11〜54-13による出力は加算部55-1にて加算され、また遅延回路54-21〜54-23による出力は加算部55-2にて加算されて出力される。
遅延回路54-11には1番のマイク5A又は5Bの出力が、また遅延回路54-12には2番のマイク5A又は5Bの出力が、遅延回路54-13には3番のマイク5A又は5Bの出力がそれぞれ入力される。また遅延回路54-21には2番のマイク5A又は5Bの出力が、また遅延回路54-22には3番のマイク5A又は5Bの出力が、遅延回路54-23には4番のマイク5A又は5Bの出力がそれぞれ入力される。
なお、図21の例では1つの指向方向を実現するために3つのマイクからの収音信号を遅延・加算するものとしたが、少なくとも2以上のマイクからの収音信号を遅延・加算すれば、指向性の表現は可能である。
図22は、無指向性のスピーカ2A又は2Bを用いて有指向性スピーカと等価な出力を得るための構成の例を示している。
この場合も図のようにスピーカ2A又は2Bが端から順に1番〜5番まで配置されているとする。また、これら1番〜5番のスピーカ2A又は2Bと共に、3つ1組とされた遅延回路が2つ設けられる(遅延回路56-11〜56-13の組、及び遅延回路56-21〜56- 23の組)。図のように遅延回路56-11〜56-13に対しては、第1方向に出力すべき音響信号が与えられ、また遅延回路56-21〜56-23に対しては第2方向に出力すべき音響信号が与えられる。
1番のスピーカ2A又は2Bには、遅延回路56-11の出力が与えられる。また、2番のスピーカ2A又は2Bには、遅延回路56-12の出力と遅延回路56-21の出力とが加算部57-1で加算されて与えられる。また3番のスピーカ2A又は2Bには、遅延回路56-13による出力と遅延回路56-22による出力とが加算部57-2で加算されて与えられる。また4番のスピーカ2A又は2Bには、遅延回路56-23の出力が与えられる。
これまでの説明では便宜上、サイトBとサイトAとの関係において、閉曲面1B,1Aの組と閉曲面4B,4Aの組とがそれぞれ同サイズ・同形状とされる場合を例示したが、実際には、再現環境のマイク・スピーカの配置に対して、測定環境でのスピーカ・マイク位置を正確に合わせるのは困難である。
図23に示すサイトBでは、先の図5に示したものと同じ閉曲面1B及び閉曲面4Bが設定されているとする。
この場合、測定環境としてのサイトAでは、理想的には、それぞれ閉曲面1Bと同サイズ・同形状による閉曲面1Aと、閉曲面4Bと同サイズ・同形状による閉曲面4Aとが、閉曲面1Bと閉曲面4Bとの位置関係と同じ位置関係で設定されるべきであるが、実際にはこれは非常に困難である。
この図の例ではサイトAにおいて、図のように閉曲面1Aとサイズ・形状の異なる閉曲面1A’と、閉曲面4Aとサイズ・形状が異なる閉曲面4A’とが設定されたものとする。
この場合、閉曲面4A’と閉曲面4Aとはサイズ・形状が異なるので、配置されるスピーカ2Aの数は同数とは限らない。本来の閉曲面4A上に配置されるスピーカ2Aの数は前述の通りM個であるのに対し、閉曲面4A’上に配置されるスピーカ2Aの数はK個とおく。
同様に、閉曲面1A’と閉曲面1Aとはサイズ・形状が異なるので配置されるマイク5Aの数は同数とは限らず、本来の閉曲面1A上に配置されるマイク5Aの数は前述の通りN個であるのに対し、閉曲面4A’上に配置されるマイク5Aの数はL個とおく。
この前提の下で、手法1としての適正な音場再現を実現するためには、次の式3に示すような伝達関数の変換を伴う演算を行って、各スピーカ2Bより出力すべき音響信号を得るものとすればよい。
これら伝達関数BR11〜BRLNは、図中に示す位置関係による閉曲面1A’と閉曲面1AとをサイトAとしての測定環境に実際に構築せずとも、例えば無響室などの所定の環境下において測定が可能である。具体的には、閉曲面1A’、閉曲面1Aとそれぞれ同サイズ・同形状の閉曲面を閉曲面1a’、閉曲面1aとしたとき、これら閉曲面1a’と閉曲面1aを例えば無響室にて図中に示す閉曲面1A’と閉曲面1Aと同じ位置関係で設定し、閉曲面1a’としてのB系列の各位置(B1〜BL)からスピーカにより順次測定音を出力し、それらを順次、閉曲面1aとしてのR系列の各位置(R1〜RN)に配置したマイクで収音した結果からそれぞれ測定することができる。
これら伝達関数QA11〜QAMKとしても、例えば無響室などで測定可能である。具体的には、閉曲面4A、閉曲面4A’とそれぞれ同サイズ・同形状の閉曲面を閉曲面4a、閉曲面4a’としたとき、これら閉曲面4aと閉曲面4a’を例えば無響室にて図中に示す閉曲面4Aと閉曲面4A’と同じ位置関係で設定し、閉曲面4aとしてのQ系列の各位置(Q1〜QM)からスピーカにより順次測定音を出力し、それらを順次、閉曲面4a’としてのA系列の各位置(A1〜AK)に配置したマイクで収音した結果からそれぞれ測定することができるものである。
具体的な手法については、本発明者らの提案による特許4775487号公報にも開示されているが、確認のため、以下にその手法の概要を説明しておく。説明は、先の図11を参照して行う
例えば、或る音源Sを定位させたい位置が1箇所であるとすると、この場合の測定環境であるサイトAで測定される伝達関数は、該位置からQ1〜QMの各マイク位置までの伝達関数となる。これらの伝達関数をQ1〜QMとおく。測定環境の閉曲面と再現環境の閉曲面とが同サイズ・同形状であれば、上記音源Sを該伝達関数Q1〜QMで処理することで、適正な音場再現が可能である。
異なる場合(測定環境におけるマイクの数と再現環境におけるスピーカの数とが異なる場合)の対処が可能である。
実施の形態としての再現動作の実現のためには、多くの場所で、伝達関数の測定を行うことが望ましい。再現可能な場所をより多くできるためである。
多くの場所で効率良く伝達関数の測定を行うためには、スピーカ又はマイクを搭載した車輌などの移動体を用いることが有効である。
以下では、移動体を用いた測定手法の例について説明しておく。
この測定例1では、図25Aに示されるように、複数のスピーカ2Aと複数のマイク5Aとを搭載した車輌60により、伝達関数の測定を行う。この例では、先の図6に示した配置による複数のスピーカ2Aと複数のマイク5Aとが車輌60に搭載されている。測定例1は、主に、手法1で必要とされる第1伝達関数の測定に好適なものである。
図のようにこのデータベースでは、伝達関数IDと、発音位置と、受音位置と、測定日時と、データ(インパルス応答測定データ)との対応が取られる。この場合、発音位置の情報は、車輌60に搭載されたGPS(Global Positioning System)受信装置による位置情報を用いる。また、この場合の受音位置の情報は、車輌60に搭載されたマイク5Aの識別番号としている。
図26Aに示されるように、この測定例2では、街の中に固定的又は半固定的に複数のマイク5Aが設置される。街中におけるマイク5Aの設置位置としては、例えば地面、電柱、壁、標識などを挙げることができる。また、監視カメラに対して併せて設置するなども考えられる。
この車輌60に設置のマイク5Aにより、第1伝達関数の測定を行うことができる。
この図26Bに示すデータベースについて、先の図25Bに示したデータベースとの違いは、受音位置の情報が絶対位置情報とされる点である。これは、データベースから必要とされる伝達関数を選ぶ際に、発音位置との位置関係の特定を容易とするためである。
測定例3,4は、複数の移動体を用いた測定例となる。
図27Aに示す測定例3では、移動体として、車輌60と、車輌60に対して先行する車輌61と、車輌60に対して後行する車輌62とを用いている。
この場合は、街中のマイク5Aと、車輌61,62上のマイク5Aとを用いて第1伝達関数の測定を行うことになる。
また、この場合も第2伝達関数については、街中のマイク5Aと車輌61,62上のマイク5Aとを用いて、1度に数多くの伝達関数の測定が可能となる。
ここで、本技術については、以下のような変形例も可能である。
これまでの説明では、手法2の音場再現に関して、オブジェクト分離音源を用いる場合を例示したが、手法1の音場再現についても、マイク5Bによる収音信号に対して、ノイズ除去や残響抑制などの処理を施すこともできる。
ここで、手法1では、サイトBに配置されたスピーカ2Bより音場再現のための音が出力される。このとき、サイトBではユーザ0の発した音を収音するマイク5Bがスピーカ2Bに比較的近接して配置されるので、上記音場再現のためにスピーカ2Bよりされた音が、マイク5Bによって収音されることになる。これは、本来はユーザ0が発した音についてのみ第1伝達関数による処理が施されるべきであるのに、音場再現用の音が加わった音について第1伝達関数による処理が施されてしまうことを意味する。
そこで、上記のようにマイク5Bによる収音信号に対しオブジェクト分離音源と同様のノイズ除去や残響抑制の処理を施して、ユーザ0から発せられた音の成分が抽出されるようにする。すなわち、このようにオブジェクト分離した音源に対して第1伝達関数による処理が施されるようにするものである。これにより、手法1の音場再現について、S/Nの向上が図られ、音場再現の品質をさらに向上することができる。
このような時間帯に応じた再現を実現することで、より臨場感を増すことができる。
これは例えば、再現環境に居るユーザ0の通話相手が遠隔地に居て、該通話相手の居る場所の音場を再現するといったシステムに好適なものである。この場合は、例えば通話相手の使用する携帯電話装置などで検出された現在位置情報がサーバ装置25に送信され、該現在位置情報に基づきサーバ装置25が対応する場所を特定することになる。
(1)
指定された位置情報から特定される場所に対応する画像を所要の表示部に表示させる表示制御部と、
ユーザを取り囲むように配された複数のマイクロフォンで上記ユーザの発した音を収音する収音部による収音信号を入力する収音信号入力部と、
上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面上から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第1の伝達関数に基づき、上記収音信号入力部より入力された信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第1の音響信号処理を施す音響信号処理部と、
上記音響信号処理部により上記第1の音響信号処理が施された信号に基づく音を、上記ユーザを取り囲むように配された複数のスピーカにより発音させる発音制御部と
を備える信号処理装置。
(2)
上記指定された位置情報から特定される場所で収録された音源に基づく音響信号を、上記第1の音響信号処理を施した信号に対して加算する加算部をさらに備える
上記(1)に記載の信号処理装置。
(3)
上記音源はオブジェクト分解された音源とされ、
上記加算部は、
上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面の外側から発せられた音が上記閉曲面側にどのように伝達するかを表す第2の伝達関数に基づき、上記音源に基づく音響信号に対し、上記音源に基づく音が上記音場再現の対象とする場所で発せられたように知覚させるための第2の音響信号処理が施されて得られた音響信号を、上記第1の音響信号処理を施した信号に対して加算する
上記(2)に記載の信号処理装置。
(4)
上記音響信号処理部は、
所要の音響信号を上記第1の音響信号処理が施される前の上記収音信号に対して加算する
上記(1)乃至(3)何れかに記載の信号処理装置。
(5)
上記音響信号処理部は、
上記収音信号をオブジェクト分解して得た音源に対して、上記第1の伝達関数に基づく上記第1の音響信号処理を施す
上記(1)乃至(4)何れかに記載の信号処理装置。
(6)
音場再現の対象とする場所ごとに測定された上記第1の伝達関数が外部装置に記憶されており、
上記指定された位置情報に基づき、上記音響信号処理部が上記第1の音響信号処理で用いるべき伝達関数を上記外部装置から取得する取得部をさらに備える
上記(1)乃至(5)何れかに記載の信号処理装置。
(7)
音場再現の対象とする場所ごとの上記オブジェクト分解された音源及び上記第2の伝達関数が外部装置に記憶され、
上記第2の音響信号処理を実行するレンダリング部をさらに備えると共に、
上記指定された位置情報に基づき、上記レンダリング部が上記第2の音響信号処理で用いるべき上記オブジェクト分解された音源に基づく音響信号及び上記第2の伝達関数を上記外部装置から取得する取得部をさらに備え、
上記加算部は、
上記第1の音響信号処理を施した信号に対し、上記レンダリング部が上記取得部により取得した上記音響信号及び上記第2の伝達関数に基づく上記第2の音響信号処理を行って得た上記音響信号を加算する
上記(3)乃至(6)何れかに記載の信号処理装置。
(8)
上記第2の音響信号処理を実行するレンダリング部が外部装置に設けられ、
上記外部装置より上記第2の音響信号処理が施されて得られた上記音響信号を取得する取得部をさらに備えると共に、
上記加算部は、
上記第1の音響信号処理を施した信号に対し、上記取得部により取得した上記音響信号を加算する
上記(3)乃至(6)何れかに記載の信号処理装置。
表示装置、5A,5B マイク、10 測定装置、11-1〜11-M,12-1〜12-N,39-1〜39-N,43 端子部、13,32 ADC/アンプ部、14 伝達関数測定部、15,40 制御部、16 測定用信号出力部、17,38 DAC/アンプ部、18 セレクタ、19 信号成分分解処理部19、20,21 乗算部、22,31-1〜33-M,37-1〜37-N,51-1〜51-N,55-1,55-2,57-1,57-2 加算部、25 サーバ装置、26 ネットワーク、30 信号処理装置、34,36 ハウリング制御/エコーキャンセル部、41 操作部、42 表示制御部、44 通信部、45 メモリ、46 リファレンス音再生部、47,52 レンダリング部、50-11〜50-1N,50-21〜50-2N,50-M1〜50-MN フィルタ、53 出力制御部、54-11〜54-13,54-21〜54-23,56-11〜56-13,56-21〜56-23 遅延回路
Claims (9)
- 指定された位置情報から特定される場所に対応する画像を所要の表示部に表示させる表示制御部と、
ユーザを取り囲むように配された複数のマイクロフォンで上記ユーザの発した音を収音する収音部による収音信号を入力する収音信号入力部と、
上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面上から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第1の伝達関数に基づき、上記収音信号入力部より入力された信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第1の音響信号処理を施す音響信号処理部と、
上記音響信号処理部により上記第1の音響信号処理が施された信号に基づく音を、上記ユーザを取り囲むように配された複数のスピーカにより発音させる発音制御部と、
を備える信号処理装置。 - 上記指定された位置情報から特定される場所で収録された音源に基づく音響信号を、上記第1の音響信号処理を施した信号に対して加算する加算部をさらに備える、
請求項1に記載の信号処理装置。 - 上記音源はオブジェクト分解された音源とされ、
上記加算部は、
上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面の外側から発せられた音が上記閉曲面側にどのように伝達するかを表す第2の伝達関数に基づき、上記音源に基づく音響信号に対し、上記音源に基づく音が上記音場再現の対象とする場所で発せられたように知覚させるための第2の音響信号処理が施されて得られた音響信号を、上記第1の音響信号処理を施した信号に対して加算する、
請求項2に記載の信号処理装置。 - 上記音響信号処理部は、
上記収音信号入力部により入力された信号に所要の音響信号を加算した信号に対して、上記第1の伝達関数に基づく上記第1の音響信号処理を施す、請求項1〜3のいずれか1項に記載の信号処理装置。 - 上記音響信号処理部は、
上記収音信号をオブジェクト分解して得た音源に対して、上記第1の伝達関数に基づく上記第1の音響信号処理を施す、
請求項1〜4のいずれか1項に記載の信号処理装置。 - 音場再現の対象とする場所ごとに測定された上記第1の伝達関数が外部装置に記憶されており、
上記指定された位置情報に基づき、上記音響信号処理部が上記第1の音響信号処理で用いるべき伝達関数を上記外部装置から取得する取得部をさらに備える、
請求項1〜5のいずれか1項に記載の信号処理装置。 - 音場再現の対象とする場所ごとの上記オブジェクト分解された音源及び上記第2の伝達関数が外部装置に記憶され、
上記第2の音響信号処理を実行するレンダリング部をさらに備えると共に、
上記指定された位置情報に基づき、上記レンダリング部が上記第2の音響信号処理で用いるべき上記オブジェクト分解された音源に基づく音響信号及び上記第2の伝達関数を上記外部装置から取得する取得部をさらに備え、
上記加算部は、
上記第1の音響信号処理を施した信号に対し、上記レンダリング部が上記取得部により取得した上記音響信号及び上記第2の伝達関数に基づく上記第2の音響信号処理を行って得た上記音響信号を加算する、
請求項3に記載の信号処理装置。 - 上記第2の音響信号処理を実行するレンダリング部が外部装置に設けられ、
上記外部装置より上記第2の音響信号処理が施されて得られた上記音響信号を取得する取得部をさらに備えると共に、
上記加算部は、
上記第1の音響信号処理を施した信号に対し、上記取得部により取得した上記音響信号を加算する、
請求項3に記載の信号処理装置。 - 表示部と、ユーザを取り囲むように配された複数のマイクロフォンにより上記ユーザの発した音を収音する収音部と、上記ユーザを取り囲むように配された複数のスピーカにより発音を行う発音部とを用いた信号処理方法であって、
指定された位置情報から特定される場所に対応する画像を上記表示部に表示させる表示制御手順と、
上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面側から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第1の伝達関数に基づき、上記収音部による収音信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第1の音響信号処理を施す音響信号処理手順と、
上記音響信号処理手順により上記第1の音響信号処理が施された信号に基づく音を、上記発音部により発音させる発音制御手順と、
を有する信号処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012242874 | 2012-11-02 | ||
JP2012242874 | 2012-11-02 | ||
PCT/JP2013/074744 WO2014069112A1 (ja) | 2012-11-02 | 2013-09-12 | 信号処理装置、信号処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017164356A Division JP6361809B2 (ja) | 2012-11-02 | 2017-08-29 | 信号処理装置、信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014069112A1 JPWO2014069112A1 (ja) | 2016-09-08 |
JP6202003B2 true JP6202003B2 (ja) | 2017-09-27 |
Family
ID=50627029
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014544375A Expired - Fee Related JP6202003B2 (ja) | 2012-11-02 | 2013-09-12 | 信号処理装置、信号処理方法 |
JP2017164356A Expired - Fee Related JP6361809B2 (ja) | 2012-11-02 | 2017-08-29 | 信号処理装置、信号処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017164356A Expired - Fee Related JP6361809B2 (ja) | 2012-11-02 | 2017-08-29 | 信号処理装置、信号処理方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10175931B2 (ja) |
EP (1) | EP2916568B1 (ja) |
JP (2) | JP6202003B2 (ja) |
CN (1) | CN104756525B (ja) |
WO (1) | WO2014069112A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104756525B (zh) | 2012-11-02 | 2017-04-12 | 索尼公司 | 信号处理装置和信号处理方法 |
CN104756526B (zh) | 2012-11-02 | 2017-05-17 | 索尼公司 | 信号处理装置、信号处理方法、测量方法及测量装置 |
WO2015194075A1 (ja) * | 2014-06-18 | 2015-12-23 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6897565B2 (ja) * | 2015-10-09 | 2021-06-30 | ソニーグループ株式会社 | 信号処理装置、信号処理方法及びコンピュータプログラム |
WO2018070487A1 (ja) * | 2016-10-14 | 2018-04-19 | 国立研究開発法人科学技術振興機構 | 空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム |
CN110226200A (zh) | 2017-01-31 | 2019-09-10 | 索尼公司 | 信号处理装置、信号处理方法和计算机程序 |
WO2018182274A1 (ko) * | 2017-03-27 | 2018-10-04 | 가우디오디오랩 주식회사 | 오디오 신호 처리 방법 및 장치 |
JP6977772B2 (ja) | 2017-07-07 | 2021-12-08 | ヤマハ株式会社 | 音声処理方法、音声処理装置、ヘッドセット、および、遠隔会話システム |
CN110738992B (zh) * | 2018-07-20 | 2022-01-07 | 珠海格力电器股份有限公司 | 语音信息的处理方法及装置、存储介质、电子装置 |
GB2590906A (en) * | 2019-12-19 | 2021-07-14 | Nomono As | Wireless microphone with local storage |
WO2022113289A1 (ja) * | 2020-11-27 | 2022-06-02 | ヤマハ株式会社 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
WO2024065256A1 (en) * | 2022-09-28 | 2024-04-04 | Citrix Systems, Inc. | Positional and echo audio enhancement |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8800745A (nl) | 1988-03-24 | 1989-10-16 | Augustinus Johannes Berkhout | Werkwijze en inrichting voor het creeren van een variabele akoestiek in een ruimte. |
JP2828543B2 (ja) | 1991-08-02 | 1998-11-25 | シャープ株式会社 | スピーカ駆動回路 |
JPH08272380A (ja) * | 1995-03-30 | 1996-10-18 | Taimuuea:Kk | 仮想3次元空間音響の再生方法および装置 |
JP4224634B2 (ja) | 1998-04-23 | 2009-02-18 | インダストリアル リサーチ リミテッド | 音響特性を高める直列型初期反射強化システム |
JP2000099061A (ja) | 1998-09-25 | 2000-04-07 | Sony Corp | 効果音付加装置 |
JP3584800B2 (ja) | 1999-08-17 | 2004-11-04 | ヤマハ株式会社 | 音場再現方法およびその装置 |
JP2003323179A (ja) | 2002-02-27 | 2003-11-14 | Yamaha Corp | インパルス応答測定方法、音場再生方法、インパルス応答測定装置および音場再生装置 |
US20080056517A1 (en) * | 2002-10-18 | 2008-03-06 | The Regents Of The University Of California | Dynamic binaural sound capture and reproduction in focued or frontal applications |
JP4449670B2 (ja) | 2004-09-14 | 2010-04-14 | ノーリツ鋼機株式会社 | 写真処理装置 |
US7636448B2 (en) * | 2004-10-28 | 2009-12-22 | Verax Technologies, Inc. | System and method for generating sound events |
JP4426484B2 (ja) * | 2005-03-11 | 2010-03-03 | 株式会社日立製作所 | 音声会議システム、会議端末および音声サーバ |
JP4735108B2 (ja) | 2005-08-01 | 2011-07-27 | ソニー株式会社 | 音声信号処理方法、音場再現システム |
JP4674505B2 (ja) * | 2005-08-01 | 2011-04-20 | ソニー株式会社 | 音声信号処理方法、音場再現システム |
JP4725234B2 (ja) | 2005-08-05 | 2011-07-13 | ソニー株式会社 | 音場再現方法、音声信号処理方法、音声信号処理装置 |
JP2007124023A (ja) | 2005-10-25 | 2007-05-17 | Sony Corp | 音場再現方法、音声信号処理方法、音声信号処理装置 |
GB2446966B (en) | 2006-04-12 | 2010-07-07 | Wolfson Microelectronics Plc | Digital circuit arrangements for ambient noise-reduction |
US8116458B2 (en) * | 2006-10-19 | 2012-02-14 | Panasonic Corporation | Acoustic image localization apparatus, acoustic image localization system, and acoustic image localization method, program and integrated circuit |
JP4997962B2 (ja) * | 2006-12-27 | 2012-08-15 | ソニー株式会社 | 音声出力装置、音声出力方法、音声出力処理用プログラムおよび音声出力システム |
JP4882773B2 (ja) | 2007-02-05 | 2012-02-22 | ソニー株式会社 | 信号処理装置、信号処理方法 |
US8094046B2 (en) | 2007-03-02 | 2012-01-10 | Sony Corporation | Signal processing apparatus and signal processing method |
JP5439707B2 (ja) | 2007-03-02 | 2014-03-12 | ソニー株式会社 | 信号処理装置、信号処理方法 |
JP4873316B2 (ja) * | 2007-03-09 | 2012-02-08 | 株式会社国際電気通信基礎技術研究所 | 音響空間共有装置 |
DE102007031677B4 (de) * | 2007-07-06 | 2010-05-20 | Sda Software Design Ahnert Gmbh | Verfahren und Vorrichtung zum Ermitteln einer raumakustischen Impulsantwort in der Zeitdomäne |
JP4967894B2 (ja) | 2007-07-25 | 2012-07-04 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム、ノイズキャンセリングシステム |
CA2729744C (en) * | 2008-06-30 | 2017-01-03 | Constellation Productions, Inc. | Methods and systems for improved acoustic environment characterization |
JP5092974B2 (ja) * | 2008-07-30 | 2012-12-05 | 富士通株式会社 | 伝達特性推定装置、雑音抑圧装置、伝達特性推定方法及びコンピュータプログラム |
US8189799B2 (en) | 2009-04-09 | 2012-05-29 | Harman International Industries, Incorporated | System for active noise control based on audio system output |
JP4775487B2 (ja) | 2009-11-24 | 2011-09-21 | ソニー株式会社 | 音声信号処理方法、音声信号処理装置 |
US8848935B1 (en) | 2009-12-14 | 2014-09-30 | Audience, Inc. | Low latency active noise cancellation system |
JP4883197B2 (ja) | 2010-02-15 | 2012-02-22 | ソニー株式会社 | 音声信号処理方法、音場再現システム |
US8767968B2 (en) * | 2010-10-13 | 2014-07-01 | Microsoft Corporation | System and method for high-precision 3-dimensional audio for augmented reality |
EP2461323A1 (en) | 2010-12-01 | 2012-06-06 | Dialog Semiconductor GmbH | Reduced delay digital active noise cancellation |
US20120155667A1 (en) | 2010-12-16 | 2012-06-21 | Nair Vijayakumaran V | Adaptive noise cancellation |
US20120155666A1 (en) | 2010-12-16 | 2012-06-21 | Nair Vijayakumaran V | Adaptive noise cancellation |
JP5168373B2 (ja) | 2011-02-15 | 2013-03-21 | ソニー株式会社 | 音声信号処理方法、音場再現システム |
US9084068B2 (en) * | 2011-05-30 | 2015-07-14 | Sony Corporation | Sensor-based placement of sound in video recording |
NL2006997C2 (en) * | 2011-06-24 | 2013-01-02 | Bright Minds Holding B V | Method and device for processing sound data. |
US9392363B2 (en) * | 2011-10-14 | 2016-07-12 | Nokia Technologies Oy | Audio scene mapping apparatus |
EP2834995B1 (en) * | 2012-04-05 | 2019-08-28 | Nokia Technologies Oy | Flexible spatial audio capture apparatus |
US9495591B2 (en) * | 2012-04-13 | 2016-11-15 | Qualcomm Incorporated | Object recognition using multi-modal matching scheme |
JP6102923B2 (ja) | 2012-07-27 | 2017-03-29 | ソニー株式会社 | 情報処理システムおよび記憶媒体 |
US9264799B2 (en) * | 2012-10-04 | 2016-02-16 | Siemens Aktiengesellschaft | Method and apparatus for acoustic area monitoring by exploiting ultra large scale arrays of microphones |
CN104756526B (zh) | 2012-11-02 | 2017-05-17 | 索尼公司 | 信号处理装置、信号处理方法、测量方法及测量装置 |
CN104756525B (zh) | 2012-11-02 | 2017-04-12 | 索尼公司 | 信号处理装置和信号处理方法 |
CN110226200A (zh) | 2017-01-31 | 2019-09-10 | 索尼公司 | 信号处理装置、信号处理方法和计算机程序 |
-
2013
- 2013-09-12 CN CN201380055937.2A patent/CN104756525B/zh not_active Expired - Fee Related
- 2013-09-12 EP EP13852010.1A patent/EP2916568B1/en active Active
- 2013-09-12 WO PCT/JP2013/074744 patent/WO2014069112A1/ja active Application Filing
- 2013-09-12 US US14/438,437 patent/US10175931B2/en not_active Expired - Fee Related
- 2013-09-12 JP JP2014544375A patent/JP6202003B2/ja not_active Expired - Fee Related
-
2017
- 2017-08-29 JP JP2017164356A patent/JP6361809B2/ja not_active Expired - Fee Related
-
2018
- 2018-11-27 US US16/201,794 patent/US10795639B2/en active Active
-
2020
- 2020-06-08 US US16/896,177 patent/US20200301656A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US10175931B2 (en) | 2019-01-08 |
US20200301656A1 (en) | 2020-09-24 |
JPWO2014069112A1 (ja) | 2016-09-08 |
EP2916568A4 (en) | 2016-07-06 |
CN104756525B (zh) | 2017-04-12 |
WO2014069112A1 (ja) | 2014-05-08 |
EP2916568A1 (en) | 2015-09-09 |
JP2017225182A (ja) | 2017-12-21 |
CN104756525A (zh) | 2015-07-01 |
EP2916568B1 (en) | 2021-01-27 |
JP6361809B2 (ja) | 2018-07-25 |
US10795639B2 (en) | 2020-10-06 |
US20190114136A1 (en) | 2019-04-18 |
US20150286463A1 (en) | 2015-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6361809B2 (ja) | 信号処理装置、信号処理方法 | |
JP6281493B2 (ja) | 信号処理装置、信号処理方法、測定方法、測定装置 | |
JP7010334B2 (ja) | 音声処理装置および方法、並びにプログラム | |
KR101812862B1 (ko) | 오디오 장치 | |
WO2018008395A1 (ja) | 音場形成装置および方法、並びにプログラム | |
US11317233B2 (en) | Acoustic program, acoustic device, and acoustic system | |
CN105323684A (zh) | 声场合成近似方法、单极贡献确定装置及声音渲染*** | |
FI129335B (en) | Acoustic room mode control | |
JP5867799B2 (ja) | 収音再生装置、プログラム及び収音再生方法 | |
US20200336834A1 (en) | Speaker driving device | |
JP7403436B2 (ja) | 異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法 | |
WO2022176417A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2022113393A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
JP7029031B2 (ja) | 時間的に変化する再帰型フィルタ構造による仮想聴覚レンダリングのための方法およびシステム | |
WO2022113394A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
JP2024007669A (ja) | 音源及び受音体の位置情報を用いた音場再生プログラム、装置及び方法 | |
JP2022034267A (ja) | バイノーラル再生装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170814 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6202003 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |