JP6721096B2 - 音声処理装置および方法、並びにプログラム - Google Patents

音声処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP6721096B2
JP6721096B2 JP2019166675A JP2019166675A JP6721096B2 JP 6721096 B2 JP6721096 B2 JP 6721096B2 JP 2019166675 A JP2019166675 A JP 2019166675A JP 2019166675 A JP2019166675 A JP 2019166675A JP 6721096 B2 JP6721096 B2 JP 6721096B2
Authority
JP
Japan
Prior art keywords
position information
sound source
listening
listening position
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019166675A
Other languages
English (en)
Other versions
JP2020017978A (ja
Inventor
辻　実
実 辻
徹 知念
徹 知念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2020017978A publication Critical patent/JP2020017978A/ja
Application granted granted Critical
Publication of JP6721096B2 publication Critical patent/JP6721096B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Description

本技術は音声処理装置および方法、並びにプログラムに関し、特に、より自由度の高いオーディオ再生を実現することができるようにした音声処理装置および方法、並びにプログラムに関する。
一般的にCD（Compact Disc）やDVD（Digital Versatile Disc）、ネットワーク配信オーディオなどのオーディオコンテンツは、チャンネルベースオーディオで実現されている。
チャンネルベースオーディオのコンテンツは、コンテンツの制作者が歌声や楽器の演奏音など、複数ある音源を２チャンネルや5.1チャンネル（以下、チャンネルをchとも記すこととする）に適度にミックスしたものである。ユーザは、それを2chや5.1chのスピーカシステムで再生したり、ヘッドフォンで再生したりしている。
しかしながら、ユーザのスピーカ配置などは千差万別であり、必ずしもコンテンツ制作者が意図した音の定位が再現されているとは限らない。
一方、近年オブジェクトベースのオーディオ技術が注目されている。オブジェクトベースオーディオでは、オブジェクトの音声の波形信号と、基準となる聴取点からの相対位置により示されるオブジェクトの定位情報等を示すメタデータとに基づいて、再生するシステムにあわせてレンダリングされた信号が再生される。したがってオブジェクトベースオーディオには、比較的、コンテンツ制作者の意図通りに音の定位が再現されるという特長がある。
例えばオブジェクトベースオーディオでは、VBAP（Vector Base Amplitude Pannning）などの技術が利用されて、各オブジェクトの波形信号から、再生側の各スピーカに対応するチャンネルの再生信号が生成される（例えば、非特許文献１参照）。
VBAPでは、目標となる音像の定位位置が、その定位位置の周囲にある２つまたは３つのスピーカの方向を向くベクトルの線形和で表現される。そして、その線形和において各ベクトルに乗算されている係数が、各スピーカから出力される波形信号のゲインとして用いられてゲイン調整が行なわれ、目標となる位置に音像が定位するようになされる。
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997
ところで、上述したチャンネルベースオーディオやオブジェクトベースオーディオでは、何れの場合においても音の定位はコンテンツ制作者によって決定されており、ユーザは提供されたコンテンツの音声をそのまま聴くことしかできない。例えば、コンテンツの再生側においては、ライブハウスで後席から前席に移動するように想定して聴取点を変化させた場合の音の聴こえ方を再現することなどができなかった。
このように上述した技術では、十分に高い自由度でオーディオ再生が実現できているとはいえなかった。
本技術は、このような状況に鑑みてなされたものであり、より自由度の高いオーディオ再生を実現することができるようにするものである。
本技術の一側面の音声処理装置は、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出する位置情報補正部と、前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行う補正部と、前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部とを備える。
前記位置情報補正部には、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出させることができる。
前記補正部には、前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正をさらに行わせることができる。
音声処理装置には、前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに設けることができる。
前記空間音響特性付加部には、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加させることができる。
音声処理装置には、前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに設けることができる。
音声処理装置には、前記生成部により生成された２以上のチャンネルの前記再生信号に畳み込み処理を行って、２チャンネルの前記再生信号を生成する畳み込み処理部をさらに設けることができる。
本技術の一側面の音声処理方法またはプログラムは、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出し、前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行い、前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成するステップを含む。
本技術の一側面においては、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報が算出され、前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正が行われ、前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号が生成される。
本技術の一側面によれば、より自由度の高いオーディオ再生を実現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
音声処理装置の構成を示す図である。 想定聴取位置と補正位置情報について説明する図である。 周波数特性補正時の周波数特性を示す図である。 VBAPについて説明する図である。 再生信号生成処理を説明するフローチャートである。 音声処理装置の構成を示す図である。 再生信号生成処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈音声処理装置の構成例〉
本技術は、再生側において、音源であるオブジェクトの音声の波形信号から、任意の聴取位置で聴取される音声を再現する技術に関するものである。
図１は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。
音声処理装置１１は、入力部２１、位置情報補正部２２、ゲイン／周波数特性補正部２３、空間音響特性付加部２４、レンダラ処理部２５、および畳み込み処理部２６を有している。
この音声処理装置１１には、再生対象となるコンテンツのオーディオ情報として、複数の各オブジェクトの波形信号と、それらの波形信号のメタデータとが供給される。
ここで、オブジェクトの波形信号は、音源であるオブジェクトから発せられる音声を再生するためのオーディオ信号である。
また、ここではオブジェクトの波形信号のメタデータは、オブジェクトの位置、すなわちオブジェクトの音声の定位位置を示す位置情報とされる。この位置情報は、所定の基準点を標準聴取位置として、その標準聴取位置からのオブジェクトの相対位置を示す情報である。
オブジェクトの位置情報は、例えば球座標、すなわち標準聴取位置を中心とした球面上の位置に対する方位角、仰角、および半径で表されるようにしてもよいし、標準聴取位置を原点とする直交座標系の座標で表されるようにしてもよい。
以下では、各オブジェクトの位置情報が球座標で表される場合を例として説明する。具体的には、ｎ番目（但し、n＝1,2,3,…）のオブジェクトOBnの位置情報が、標準聴取位置を中心とした球面上のオブジェクトOBnに対する方位角An、仰角En、および半径Rnで表されるものとする。なお、方位角Anおよび仰角Enの単位は例えば度とされ、半径Rnの単位は例えばメートルとされる。
また、以下ではオブジェクトOBnの位置情報を(An,En,Rn)とも記すこととする。さらに、ｎ番目のオブジェクトOBnの波形信号をWn[t]とも記すこととする。
したがって、例えば１番目のオブジェクトOB1の波形信号および位置情報は、W1[t]および(A1,E1,R1)と表され、２番目のオブジェクトOB2の波形信号および位置情報は、W2[t]および(A2,E2,R2)と表される。以下では、説明を簡単にするため、音声処理装置１１には、２つのオブジェクトOB1およびオブジェクトOB2についての波形信号と位置情報が供給されるものとして説明を続ける。
入力部２１はマウスやボタン、タッチパネルなどからなり、ユーザにより操作されると、その操作に応じた信号を出力する。例えば入力部２１は、ユーザによる想定聴取位置の入力を受け付け、ユーザにより入力された想定聴取位置を示す想定聴取位置情報を位置情報補正部２２および空間音響特性付加部２４に供給する。
ここで、想定聴取位置は、再現したい仮想の音場における、コンテンツを構成する音声の聴取位置である。したがって、想定聴取位置は、予め定められた標準聴取位置を変更（補正）したときの変更後の位置を示しているということができる。
位置情報補正部２２は、入力部２１から供給された想定聴取位置情報に基づいて、外部から供給された各オブジェクトの位置情報を補正し、その結果得られた補正位置情報をゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。補正位置情報は、想定聴取位置からみたオブジェクトの位置、つまりオブジェクトの音声の定位位置を示す情報である。
ゲイン／周波数特性補正部２３は、位置情報補正部２２から供給された補正位置情報と、外部から供給された位置情報とに基づいて、外部から供給されたオブジェクトの波形信号のゲイン補正および周波数特性補正を行い、その結果得られた波形信号を空間音響特性付加部２４に供給する。
空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報と、外部から供給されたオブジェクトの位置情報とに基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。
レンダラ処理部２５は、位置情報補正部２２から供給された補正位置情報に基づいて、空間音響特性付加部２４から供給された波形信号に対するマッピング処理を行い、２以上であるM個のチャンネルの再生信号を生成する。すなわち、各オブジェクトの波形信号から、Mチャンネルの再生信号が生成される。レンダラ処理部２５は、生成されたMチャンネルの再生信号を畳み込み処理部２６に供給する。
このようにして得られたMチャンネルの再生信号は、仮想的なM個のスピーカ（Mチャンネルのスピーカ）で再生することで、再現したい仮想の音場の想定聴取位置において聴取される、各オブジェクトから出力された音声を再現するオーディオ信号である。
畳み込み処理部２６は、レンダラ処理部２５から供給されたMチャンネルの再生信号に対する畳み込み処理を行い、２チャンネルの再生信号を生成して出力する。すなわち、この例ではコンテンツの再生側のスピーカは２つとされており、畳み込み処理部２６では、それらのスピーカで再生される再生信号が生成され、出力される。
〈再生信号の生成について〉
次に、図１に示した音声処理装置１１によって生成される再生信号について、より詳細に説明する。
上述したように、ここでは音声処理装置１１に２つのオブジェクトOB1およびオブジェクトOB2についての波形信号と位置情報が供給される例について説明する。
コンテンツを再生しようとする場合、ユーザは入力部２１を操作して、レンダリング時に各オブジェクトの音声の定位の基準点となる想定聴取位置を入力する。
ここでは想定聴取位置として、標準聴取位置からの左右方向の移動距離Xおよび前後方向の移動距離Yが入力されることとし、想定聴取位置情報を(X,Y)と表すこととする。なお、移動距離Xおよび移動距離Yの単位は例えばメートルなどとされる。
具体的には標準聴取位置を原点Oとし、水平方向をｘ軸方向およびｙ軸方向とし、高さ方向をｚ軸方向とするxyz座標系における、標準聴取位置から想定聴取位置までのｘ軸方向の距離Xと、標準聴取位置から想定聴取位置までのｙ軸方向の距離Yとがユーザにより入力される。そして、入力された距離Xおよび距離Yにより示される標準聴取位置からの相対的な位置を示す情報が、想定聴取位置情報(X,Y)とされる。なお、ｘｙｚ座標系は直交座標系である。
また、ここでは説明を簡単にするため、想定聴取位置がxy平面上にある場合を例として説明するが、ユーザが想定聴取位置のｚ軸方向の高さを指定することができるようにしてもよい。そのような場合、ユーザにより標準聴取位置から想定聴取位置までのｘ軸方向の距離X、ｙ軸方向の距離Y、およびｚ軸方向の距離Zが指定され、想定聴取位置情報(X,Y,Z)とされる。また、以上においてはユーザにより想定聴取位置が入力されると説明したが、想定聴取位置情報が外部から取得されるようにしてもよいし、予めユーザ等により設定されているようにしてもよい。
このようにして想定聴取位置情報(X,Y)が得られると、次に位置情報補正部２２において、想定聴取位置を基準とする各オブジェクトの位置を示す補正位置情報が算出される。
例えば図２に示すように、所定のオブジェクトOB11について波形信号と位置情報が供給され、ユーザにより想定聴取位置LP11が指定されたとする。なお、図２において、図中、横方向、奥行き方向、および縦方向は、それぞれｘ軸方向、ｙ軸方向、およびｚ軸方向を示している。
この例では、xyz座標系の原点Oが標準聴取位置とされている。ここで、オブジェクトOB11がｎ番目のオブジェクトであるとすると、標準聴取位置からみたオブジェクトOB11の位置を示す位置情報は(An,En,Rn)とされる。
すなわち、位置情報(An,En,Rn)の方位角Anは、原点OおよびオブジェクトOB11を結ぶ直線と、ｙ軸とがxy平面上においてなす角度を示している。また、位置情報(An,En,Rn)の仰角Enは、原点OおよびオブジェクトOB11を結ぶ直線と、xy平面とのなす角度を示しており、位置情報(An,En,Rn)の半径Rnは、原点OからオブジェクトOB11までの距離を示している。
いま、想定聴取位置LP11を示す想定聴取位置情報として、原点Oから想定聴取位置LP11までのｘ軸方向の距離Xとｙ軸方向の距離Yとが入力されたとする。
そのような場合、位置情報補正部２２は想定聴取位置情報(X,Y)と、位置情報(An,En,Rn)とに基づいて、想定聴取位置LP11からみたオブジェクトOB11の位置、つまり想定聴取位置LP11を基準とするオブジェクトOB11の位置を示す補正位置情報(An’,En’,Rn’)を算出する。
なお、補正位置情報(An’,En’,Rn’)におけるAn’、En’、およびRn’は、それぞれ位置情報(An,En,Rn)のAn、En、およびRnに対応する方位角、仰角、および半径を示している。
具体的には、例えば１番目のオブジェクトOB1については、位置情報補正部２２は、そのオブジェクトOB1の位置情報(A1,E1,R1)と、想定聴取位置情報(X,Y)とに基づいて、次式（１）乃至式（３）を計算して補正位置情報(A1’,E1’,R1’)を算出する。
Figure 0006721096
Figure 0006721096
Figure 0006721096
すなわち、式（１）により方位角A1’が算出され、式（２）により仰角E1’が算出され、式（３）により半径R1’が算出される。
同様に、位置情報補正部２２は２番目のオブジェクトOB2について、そのオブジェクトOB2の位置情報(A2,E2,R2)と、想定聴取位置情報(X,Y)とに基づいて、次式（４）乃至式（６）を計算して補正位置情報(A2’,E2’,R2’)を算出する。
Figure 0006721096
Figure 0006721096
Figure 0006721096
すなわち、式（４）により方位角A2’が算出され、式（５）により仰角E2’が算出され、式（６）により半径R2’が算出される。
続いて、ゲイン／周波数特性補正部２３では、想定聴取位置に対する各オブジェクトの位置を示す補正位置情報と、標準聴取位置に対する各オブジェクトの位置を示す位置情報とに基づいて、オブジェクトの波形信号のゲイン補正や周波数特性補正が行われる。
例えばゲイン／周波数特性補正部２３は、オブジェクトOB1とオブジェクトOB2について、補正位置情報の半径R1’および半径R2’と、位置情報の半径R1および半径R2とを用いて次式（７）および式（８）を計算し、各オブジェクトのゲイン補正量G1およびゲイン補正量G2を決定する。
Figure 0006721096
Figure 0006721096
すなわち、式（７）によりオブジェクトOB1の波形信号W1[t]のゲイン補正量G1が求められ、式（８）によりオブジェクトOB2の波形信号W2[t]のゲイン補正量G2が求められる。この例では、補正位置情報により示される半径と、位置情報により示される半径との比がゲイン補正量とされており、このゲイン補正量によりオブジェクトから想定聴取位置までの距離に応じた音量補正が行われる。
さらにゲイン／周波数特性補正部２３は、次式（９）および式（１０）を計算することにより、各オブジェクトの波形信号に対して、補正位置情報により示される半径に応じた周波数特性補正と、ゲイン補正量によるゲイン補正を施す。
Figure 0006721096
Figure 0006721096
すなわち、式（９）の計算により、オブジェクトOB1の波形信号W1[t]に対する周波数特性補正とゲイン補正が行われ、波形信号W1’[t]が得られる。同様に、式（１０）の計算により、オブジェクトOB2の波形信号W2[t]に対する周波数特性補正とゲイン補正が行われ、波形信号W2’[t]が得られる。この例では、フィルタ処理によって、波形信号に対する周波数特性の補正が実現されている。
なお、式（９）および式（１０）において、hl（但し、l＝0,1,…,L）は、フィルタ処理のために各時刻の波形信号Wn[t-l]（但し、n＝1,2）に乗算される係数を示している。
ここで、例えばL＝2とし、各係数h0、h1、およびh2を次式（１１）乃至式（１３）に示すものとすれば、オブジェクトから想定聴取位置までの距離に応じて、再現したい仮想の音場（仮想的なオーディオ再生空間）の壁や天井によって、オブジェクトからの音声の高域成分が減衰する特性を再現することができる。
Figure 0006721096
Figure 0006721096
Figure 0006721096
なお、式（１２）において、RnはオブジェクトOBn（但し、n＝1,2）の位置情報(An,En,Rn)により示される半径Rnを示しており、Rn’はオブジェクトOBn（但し、n＝1,2）の補正位置情報(An’,En’,Rn’)により示される半径Rn’を示している。
このように式（１１）乃至式（１３）に示される係数を用いて式（９）や式（１０）の計算を行うことで、図３に示す周波数特性のフィルタ処理が行われることになる。なお、図３において、横軸は正規化周波数を示しており、縦軸は振幅、すなわち波形信号の減衰量を示している。
図３では、直線C11はRn’≦Rnである場合の周波数特性を示している。この場合、オブジェクトから想定聴取位置までの距離は、オブジェクトから標準聴取位置までの距離以下である。つまり、標準聴取位置よりも想定聴取位置の方がオブジェクトにより近い位置にあるか、または標準聴取位置と想定聴取位置がオブジェクトから同じ距離の位置にある。したがって、このような場合には、波形信号の各周波数成分は特に減衰されない。
また、曲線C12はRn’＝Rn＋5である場合の周波数特性を示している。この場合、標準聴取位置よりも想定聴取位置の方が、オブジェクトからわずかに離れた位置にあるので、波形信号の高域成分がわずかに減衰する。
さらに、曲線C13はRn’≧Rn＋10である場合の周波数特性を示している。この場合、標準聴取位置と比べて想定聴取位置の方が、オブジェクトから大きく離れた位置にあるので、波形信号の高域成分が大幅に減衰する。
このようにオブジェクトから想定聴取位置までの距離に応じてゲイン補正と周波数特性補正を行い、オブジェクトの波形信号の高域成分を減衰させることで、ユーザの聴取位置の変更に伴う周波数特性や音量の変化を再現することができる。
ゲイン／周波数特性補正部２３においてゲイン補正と周波数特性補正が行われて、各オブジェクトの波形信号Wn’[t]が得られると、さらに空間音響特性付加部２４において、波形信号Wn’[t]に対して空間音響特性が付加される。例えば空間音響特性として、初期反射や残響特性などが波形信号に付加される。
具体的には、波形信号に対して初期反射と残響特性を付加する場合、マルチタップディレイ処理、コムフィルタ処理、およびオールパスフィルタ処理を組み合わせることで、それらの初期反射と残響特性の付加を実現することができる。
すなわち、空間音響特性付加部２４は、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいて、波形信号に対するマルチタップディレイ処理を施し、その結果得られた信号をもとの波形信号に加算することで、波形信号に初期反射を付加する。
また、空間音響特性付加部２４は、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいて、波形信号に対するコムフィルタ処理を施す。そして、さらに空間音響特性付加部２４は、コムフィルタ処理された波形信号に対して、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいてオールパスフィルタ処理を施すことで、残響特性を付加するための信号を得る。
最後に、空間音響特性付加部２４は初期反射が付加された波形信号と、残響特性を付加するための信号とを加算することで、初期反射と残響特性が付加された波形信号を得て、レンダラ処理部２５に出力する。
このように、オブジェクトの位置情報と想定聴取位置情報に対して定まるパラメータを用いて、波形信号に空間音響特性を付加することで、ユーザの聴取位置の変更に伴う空間音響の変化を再現することができる。
なお、これらのマルチタップディレイ処理や、コムフィルタ処理、オールパスフィルタ処理などで用いられる、遅延量やゲイン量などのパラメータは、予めオブジェクトの位置情報と想定聴取位置情報の組み合わせごとにテーブルで保持されているようにしてもよい。
そのような場合、例えば空間音響特性付加部２４は、各想定聴取位置について、位置情報により示される位置ごとに遅延量等のパラメータセットが対応付けられているテーブルを予め保持している。そして、空間音響特性付加部２４は、オブジェクトの位置情報と想定聴取位置情報とから定まるパラメータセットをテーブルから読み出し、それらのパラメータを用いて波形信号に空間音響特性を付加する。
なお、空間音響特性の付加に用いるパラメータセットは、テーブルとして保持されるようにしてもよいし、関数などで保持されるようにしてもよい。例えば関数によりパラメータが求められる場合、空間音響特性付加部２４は、予め保持している関数に位置情報と想定聴取位置情報を代入し、空間音響特性の付加に用いる各パラメータを算出する。
以上のようにして各オブジェクトについて、空間音響特性が付加された波形信号が得られると、レンダラ処理部２５において、それらの波形信号に対するM個の各チャンネルへのマッピング処理が行われ、Mチャンネルの再生信号が生成される。つまりレンダリングが行われる。
具体的には、例えばレンダラ処理部２５はオブジェクトごとに、補正位置情報に基づいて、VBAPによりM個の各チャンネルについてオブジェクトの波形信号のゲイン量を求める。そして、レンダラ処理部２５は、チャンネルごとに、VBAPで求めたゲイン量が乗算された各オブジェクトの波形信号を加算する処理を行うことで、各チャンネルの再生信号を生成する。
ここで、図４を参照してVBAPについて説明する。
例えば図４に示すように、ユーザU11が３つのスピーカSP1乃至スピーカSP3から出力される３チャンネルの音声を聴いているとする。この例では、ユーザU11の頭部の位置が想定聴取位置に相当する位置LP21となる。
また、スピーカSP1乃至スピーカSP3により囲まれる球面上の三角形TR11はメッシュと呼ばれており、VBAPでは、このメッシュ内の任意の位置に音像を定位させることができる。
いま、各チャンネルの音声を出力する３つのスピーカSP1乃至スピーカSP3の位置を示す情報を用いて、音像位置VSP1に音像を定位させることを考える。ここで、音像位置VSP1は１つのオブジェクトOBnの位置、より詳細には、補正位置情報(An’,En’,Rn’)により示されるオブジェクトOBnの位置に対応する。
例えばユーザU11の頭部の位置、つまり位置LP21を原点とする３次元座標系において、音像位置VSP1を、位置LP21（原点）を始点とする３次元のベクトルpにより表すこととする。
また、位置LP21（原点）を始点とし、各スピーカSP1乃至スピーカSP3の位置の方向を向く３次元のベクトルをベクトルl1乃至ベクトルl3とすると、ベクトルpは次式（１４）に示すように、ベクトルl1乃至ベクトルl3の線形和によって表すことができる。
Figure 0006721096
式（１４）においてベクトルl1乃至ベクトルl3に乗算されている係数g1乃至係数g3を算出し、これらの係数g1乃至係数g3を、スピーカSP1乃至スピーカSP3のそれぞれから出力する音声のゲイン量、つまり波形信号のゲイン量とすれば、音像位置VSP1に音像を定位させることができる。
具体的には、３つのスピーカSP1乃至スピーカSP3からなる三角形状のメッシュの逆行列L123 -1と、オブジェクトOBnの位置を示すベクトルpとに基づいて、次式（１５）を計算することで、ゲイン量となる係数g1乃至係数g3を得ることができる。
Figure 0006721096
なお、式（１５）において、ベクトルpの要素であるRn’sinAn’ cosEn’、Rn’cosAn’ cosEn’、およびRn’sinEn’は音像位置VSP1、すなわちオブジェクトOBnの位置を示すx’y’z’座標系上のx’座標、y’座標、およびz’座標を示している。
このx’y’z’座標系は、例えばx’軸、y’軸、およびz’軸が、図２に示したｘｙｚ座標系のｘ軸、ｙ軸、およびｚ軸と平行であり、かつ想定聴取位置に相当する位置を原点とする直交座標系とされる。また、ベクトルpの各要素は、オブジェクトOBnの位置を示す補正位置情報(An’,En’,Rn’)から求めることができる。
また、式（１５）においてl11、l12、およびl13は、メッシュを構成する１つ目のスピーカへ向くベクトルl1をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値であり、１つ目のスピーカのx’座標、y’座標、およびz’座標に相当する。
同様にl21、l22、およびl23は、メッシュを構成する２つ目のスピーカへ向くベクトルl2をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値である。また、l31、l32、およびl33は、メッシュを構成する３つ目のスピーカへ向くベクトルl3をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値である。
このようにして、３つのスピーカSP1乃至スピーカSP3の位置関係を利用して係数g1乃至係数g3を求め、音像の定位位置を制御する手法は、特に３次元VBAPと呼ばれている。この場合、再生信号のチャンネル数Mは3以上となる。
なお、レンダラ処理部２５では、Mチャンネルの再生信号が生成されるので、各チャンネルに対応する仮想的なスピーカの個数はM個となる。この場合、各オブジェクトOBnについて、M個のスピーカのそれぞれに対応するM個のチャンネルごとに波形信号のゲイン量が算出されることになる。
この例では、仮想のM個のスピーカからなる複数のメッシュが、仮想的なオーディオ再生空間に配置されている。そして、オブジェクトOBnが含まれるメッシュを構成する３つのスピーカに対応する３つのチャンネルのゲイン量は、上述した式（１５）により求まる値とされる。一方、残りのM-3個の各スピーカに対応する、M-3個の各チャンネルのゲイン量は0とされる。
以上のようにしてレンダラ処理部２５は、Mチャンネルの再生信号を生成すると、得られた再生信号を畳み込み処理部２６に供給する。
このようにして得られたMチャンネルの再生信号によれば、所望の想定聴取位置での各オブジェクトの音声の聴こえ方をより現実的に再現することができる。なお、ここではVBAPによりMチャンネルの再生信号を生成する例について説明したが、Mチャンネルの再生信号は、他のどのような手法によって生成されるようにしてもよい。
Mチャンネルの再生信号は、Mチャンネルのスピーカシステムで音声を再生するための信号であり、音声処理装置１１では、さらにこのMチャンネルの再生信号が、２チャンネルの再生信号へと変換されて出力される。すなわち、Mチャンネルの再生信号が、２チャンネルの再生信号へとダウンミックスされる。
例えば畳み込み処理部２６は、レンダラ処理部２５から供給されたMチャンネルの再生信号に対する畳み込み処理として、BRIR（Binaural Room Impulse Response）処理を行うことで、２チャンネルの再生信号を生成し、出力する。
なお、再生信号に対する畳み込み処理は、BRIR処理に限らず、２チャンネルの再生信号を得ることができる処理であれば、どのような処理であってもよい。
また、２チャンネルの再生信号の出力先がヘッドフォンである場合、予め様々なオブジェクトの位置から想定聴取位置に対するインパルス応答をテーブルで持っておくようにすることもできる。そのような場合、オブジェクトの位置から想定聴取位置に対応するインパルス応答を用いて、BRIR処理により各オブジェクトの波形信号を合成することで、各オブジェクトから出力される、所望の想定聴取位置での音声の聴こえ方を再現することができる。
しかしながら、この方法のためには、かなり多数のポイント（位置）に対応するインパルス応答を持たなければならない。また、オブジェクトの数が増えると、その数分のBRIR処理を行わなければならず、処理負荷が大きくなる。
そこで、音声処理装置１１では、レンダラ処理部２５により仮想のMチャンネルのスピーカにマッピング処理された再生信号（波形信号）が、その仮想のMチャンネルのスピーカからユーザ（聴取者）の両耳に対するインパルス応答を用いたBRIR処理により２チャンネルの再生信号にダウンミックスされる。この場合、Mチャンネルの各スピーカから聴取者の両耳へのインパルス応答しか持つ必要がなく、また、多数のオブジェクトがあるときでもBRIR処理はMチャンネル分となるので、処理負荷を抑えることができる。
〈再生信号生成処理の説明〉
続いて、以上において説明した音声処理装置１１の処理の流れについて説明する。すなわち、以下、図５のフローチャートを参照して、音声処理装置１１による再生信号生成処理について説明する。
ステップＳ１１において、入力部２１は想定聴取位置の入力を受け付ける。入力部２１は、ユーザが入力部２１を操作して想定聴取位置を入力すると、その想定聴取位置を示す想定聴取位置情報を位置情報補正部２２および空間音響特性付加部２４に供給する。
ステップＳ１２において、位置情報補正部２２は、入力部２１から供給された想定聴取位置情報と、外部から供給された各オブジェクトの位置情報とに基づいて補正位置情報(An’,En’,Rn’)を算出し、ゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。例えば、上述した式（１）乃至式（３）や式（４）乃至式（６）が計算されて、各オブジェクトの補正位置情報が算出される。
ステップＳ１３において、ゲイン／周波数特性補正部２３は、位置情報補正部２２から供給された補正位置情報と、外部から供給された位置情報とに基づいて、外部から供給されたオブジェクトの波形信号のゲイン補正および周波数特性補正を行う。
例えば、上述した式（９）や式（１０）が計算されて、各オブジェクトの波形信号Wn’[t]が求められる。ゲイン／周波数特性補正部２３は、得られた各オブジェクトの波形信号Wn’[t]を空間音響特性付加部２４に供給する。
ステップＳ１４において、空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報と、外部から供給されたオブジェクトの位置情報とに基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。例えば、空間音響特性として初期反射や残響特性などが波形信号に付加される。
ステップＳ１５において、レンダラ処理部２５は、位置情報補正部２２から供給された補正位置情報に基づいて、空間音響特性付加部２４から供給された波形信号に対するマッピング処理を行うことで、Mチャンネルの再生信号を生成し、畳み込み処理部２６に供給する。例えばステップＳ１５の処理では、VBAPにより再生信号が生成されるが、その他、どのような手法でMチャンネルの再生信号が生成されるようにしてもよい。
ステップＳ１６において、畳み込み処理部２６は、レンダラ処理部２５から供給されたMチャンネルの再生信号に対する畳み込み処理を行うことで、２チャンネルの再生信号を生成し、出力する。例えば畳み込み処理として、上述したBRIR処理が行われる。
２チャンネルの再生信号が生成されて出力されると、再生信号生成処理は終了する。
以上のようにして音声処理装置１１は、想定聴取位置情報に基づいて補正位置情報を算出するとともに、得られた補正位置情報や想定聴取位置情報に基づいて、各オブジェクトの波形信号のゲイン補正や周波数特性補正を行ったり、空間音響特性を付加したりする。
これにより、各オブジェクト位置から出力された音声の任意の想定聴取位置での聴こえ方をリアルに再現することができる。したがって、ユーザはコンテンツの再生時に自身の嗜好に合わせて、自由に音声の聴取位置を指定することができるようになり、より自由度の高いオーディオ再生を実現することができる。
〈第２の実施の形態〉
〈音声処理装置の構成例〉
なお、以上においては、ユーザが任意の想定聴取位置を指定することができる例について説明したが、聴取位置だけでなく各オブジェクトの位置も任意の位置に変更（修正）することができるようにしてもよい。
そのような場合、音声処理装置１１は、例えば図６に示すように構成される。なお、図６において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図６に示す音声処理装置１１は、図１における場合と同様に、入力部２１、位置情報補正部２２、ゲイン／周波数特性補正部２３、空間音響特性付加部２４、レンダラ処理部２５、および畳み込み処理部２６を有している。
但し、図６に示す音声処理装置１１では、ユーザにより入力部２１が操作され、想定聴取位置に加えて、さらに各オブジェクトの修正後（変更後）の位置を示す修正位置が入力される。入力部２１は、ユーザにより入力された各オブジェクトの修正位置を示す修正位置情報を、位置情報補正部２２および空間音響特性付加部２４に供給する。
例えば修正位置情報は、位置情報と同様に、標準聴取位置からみた修正後のオブジェクトOBnの方位角An、仰角En、および半径Rnからなる情報とされる。なお、修正位置情報は、修正前（変更前）のオブジェクトの位置に対する、修正後（変更後）のオブジェクトの相対的な位置を示す情報とされてもよい。
また、位置情報補正部２２は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて補正位置情報を算出し、ゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。なお、例えば修正位置情報が、もとのオブジェクト位置からみた相対的な位置を示す情報とされる場合には、想定聴取位置情報、位置情報、および修正位置情報に基づいて、補正位置情報が算出される。
空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。
例えば、図１に示した音声処理装置１１の空間音響特性付加部２４では、各想定聴取位置情報について、位置情報により示される位置ごとにパラメータセットが対応付けられているテーブルを予め保持していると説明した。
これに対して、図６に示す音声処理装置１１の空間音響特性付加部２４は、例えば各想定聴取位置情報について、修正位置情報により示される位置ごとにパラメータセットが対応付けられているテーブルを予め保持している。そして、空間音響特性付加部２４は、各オブジェクトについて、入力部２１から供給された想定聴取位置情報と修正位置情報から定まるパラメータセットをテーブルから読み出し、それらのパラメータを用いてマルチタップディレイ処理や、コムフィルタ処理、オールパスフィルタ処理などを行い、波形信号に空間音響特性を付加する。
〈再生信号生成処理の説明〉
次に図７のフローチャートを参照して、図６に示す音声処理装置１１による再生信号生成処理について説明する。なお、ステップＳ４１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。
ステップＳ４２において、入力部２１は各オブジェクトの修正位置の入力を受け付ける。入力部２１は、ユーザが入力部２１を操作してオブジェクトごとに修正位置を入力すると、それらの修正位置を示す修正位置情報を、位置情報補正部２２および空間音響特性付加部２４に供給する。
ステップＳ４３において、位置情報補正部２２は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて補正位置情報(An’,En’,Rn’)を算出し、ゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。
この場合、例えば上述した式（１）乃至式（３）において、位置情報の方位角、仰角、および半径が、修正位置情報の方位角、仰角、および半径に置き換えられて計算が行われ、補正位置情報が算出される。また、式（４）乃至式（６）においても、位置情報が修正位置情報に置き換えられて計算が行われる。
修正位置情報が算出されると、その後、ステップＳ４４の処理が行われるが、ステップＳ４４の処理は図５のステップＳ１３の処理と同様であるので、その説明は省略する。
ステップＳ４５において、空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。
波形信号に空間音響特性が付加されると、その後、ステップＳ４６およびステップＳ４７の処理が行われて再生信号生成処理は終了するが、これらの処理は図５のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。
以上のようにして音声処理装置１１は、想定聴取位置情報および修正位置情報に基づいて補正位置情報を算出するとともに、得られた補正位置情報や想定聴取位置情報、修正位置情報に基づいて、各オブジェクトの波形信号のゲイン補正や周波数特性補正を行ったり、空間音響特性を付加したりする。
これにより、任意のオブジェクト位置から出力された音声の任意の想定聴取位置での聴こえ方をリアルに再現することができる。したがって、ユーザはコンテンツの再生時に自身の嗜好に合わせて、自由に音声の聴取位置を指定することができるだけでなく、各オブジェクトの位置も自由に指定することができるようになり、より自由度の高いオーディオ再生を実現することができる。
例えば音声処理装置１１によれば、ユーザが歌声や楽器の演奏音などの構成や配置を変更させた場合の音の聴こえ方を再現することができる。したがって、ユーザはオブジェクトに対応する楽器や歌声等の構成や配置を自由に移動させ、自身の嗜好に合った音源配置や構成とした楽曲や音を楽しむことができる。
また、図６に示す音声処理装置１１においても、図１に示した音声処理装置１１の場合と同様に、一旦、Mチャンネルの再生信号を生成し、その再生信号を２チャンネルの再生信号に変換（ダウンミックス）することで、処理負荷を抑えることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
（１）
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部と
を備える音声処理装置。
（２）
前記位置情報補正部は、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出する
（１）に記載の音声処理装置。
（３）
前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正または周波数特性補正の少なくとも何れかを行う補正部をさらに備える
（１）または（２）に記載の音声処理装置。
（４）
前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
（２）に記載の音声処理装置。
（５）
前記空間音響特性付加部は、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加する
（４）に記載の音声処理装置。
（６）
前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
（１）に記載の音声処理装置。
（７）
前記生成部により生成された２以上のチャンネルの前記再生信号に畳み込み処理を行って、２チャンネルの前記再生信号を生成する畳み込み処理部をさらに備える
（１）乃至（６）の何れか一項に記載の音声処理装置。
（８）
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む音声処理方法。
（９）
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
１１ 音声処理装置， ２１ 入力部， ２２ 位置情報補正部， ２３ ゲイン／周波数特性補正部， ２４ 空間音響特性付加部， ２５ レンダラ処理部， ２６ 畳み込み処理部

Claims (9)

  1. 音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出する位置情報補正部と、
    前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行う補正部と、
    前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部と
    を備える音声処理装置。
  2. 前記位置情報補正部は、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出する
    請求項１に記載の音声処理装置。
  3. 前記補正部は、前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正をさらに行う
    請求項１または請求項２に記載の音声処理装置。
  4. 前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
    請求項２に記載の音声処理装置。
  5. 前記空間音響特性付加部は、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加する
    請求項４に記載の音声処理装置。
  6. 前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
    請求項１に記載の音声処理装置。
  7. 前記生成部により生成された２以上のチャンネルの前記再生信号に畳み込み処理を行って、２チャンネルの前記再生信号を生成する畳み込み処理部をさらに備える
    請求項１乃至請求項６の何れか一項に記載の音声処理装置。
  8. 音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出し、
    前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行い、
    前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
    ステップを含む音声処理方法。
  9. 音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出し、
    前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行い、
    前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2019166675A 2014-01-16 2019-09-12 音声処理装置および方法、並びにプログラム Active JP6721096B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014005656 2014-01-16
JP2014005656 2014-01-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015557783A Division JP6586885B2 (ja) 2014-01-16 2015-01-06 音声処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020105277A Division JP7010334B2 (ja) 2014-01-16 2020-06-18 音声処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2020017978A JP2020017978A (ja) 2020-01-30
JP6721096B2 true JP6721096B2 (ja) 2020-07-08

Family

ID=53542817

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2015557783A Active JP6586885B2 (ja) 2014-01-16 2015-01-06 音声処理装置および方法、並びにプログラム
JP2019166675A Active JP6721096B2 (ja) 2014-01-16 2019-09-12 音声処理装置および方法、並びにプログラム
JP2020105277A Active JP7010334B2 (ja) 2014-01-16 2020-06-18 音声処理装置および方法、並びにプログラム
JP2022002944A Active JP7367785B2 (ja) 2014-01-16 2022-01-12 音声処理装置および方法、並びにプログラム
JP2023163452A Pending JP2023165864A (ja) 2014-01-16 2023-09-26 音声処理装置および方法、並びにプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015557783A Active JP6586885B2 (ja) 2014-01-16 2015-01-06 音声処理装置および方法、並びにプログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020105277A Active JP7010334B2 (ja) 2014-01-16 2020-06-18 音声処理装置および方法、並びにプログラム
JP2022002944A Active JP7367785B2 (ja) 2014-01-16 2022-01-12 音声処理装置および方法、並びにプログラム
JP2023163452A Pending JP2023165864A (ja) 2014-01-16 2023-09-26 音声処理装置および方法、並びにプログラム

Country Status (11)

Country Link
US (6) US10477337B2 (ja)
EP (3) EP3096539B1 (ja)
JP (5) JP6586885B2 (ja)
KR (5) KR102427495B1 (ja)
CN (2) CN105900456B (ja)
AU (5) AU2015207271A1 (ja)
BR (2) BR122022004083B1 (ja)
MY (1) MY189000A (ja)
RU (2) RU2019104919A (ja)
SG (1) SG11201605692WA (ja)
WO (1) WO2015107926A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3346728A4 (en) 2015-09-03 2019-04-24 Sony Corporation SOUND PROCESSING DEVICE, METHOD AND PROGRAM
JP6841229B2 (ja) * 2015-12-10 2021-03-10 ソニー株式会社 音声処理装置および方法、並びにプログラム
EP4322551A3 (en) * 2016-11-25 2024-04-17 Sony Group Corporation Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program
US11082790B2 (en) * 2017-05-04 2021-08-03 Dolby International Ab Rendering audio objects having apparent size
KR102652670B1 (ko) 2017-07-14 2024-04-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR102654507B1 (ko) 2017-07-14 2024-04-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
CN111108555B (zh) 2017-07-14 2023-12-15 弗劳恩霍夫应用研究促进协会 使用深度扩展DirAC技术或其他技术生成经增强的声场描述或经修改的声场描述的装置和方法
JP7294135B2 (ja) * 2017-10-20 2023-06-20 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
RU2020112483A (ru) * 2017-10-20 2021-09-27 Сони Корпорейшн Устройство, способ и программа для обработки сигнала
CN111316671B (zh) * 2017-11-14 2021-10-22 索尼公司 信号处理设备和方法以及程序
CN113993060A (zh) 2018-04-09 2022-01-28 杜比国际公司 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和***
KR20210151792A (ko) * 2019-04-11 2021-12-14 소니그룹주식회사 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램
EP3989605A4 (en) 2019-06-21 2022-08-17 Sony Group Corporation SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM
WO2021018378A1 (en) * 2019-07-29 2021-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method or computer program for processing a sound field representation in a spatial transform domain
JP2022543121A (ja) * 2019-08-08 2022-10-07 ジーエヌ ヒアリング エー／エス １人以上の所望の話者の音声を強調するバイラテラル補聴器システム及び方法
DE112020005550T5 (de) 2019-11-13 2022-09-01 Sony Group Corporation Signalverarbeitungsvorrichtung, verfahren und programm
JPWO2021124903A1 (ja) * 2019-12-17 2021-06-24
BR112022013235A2 (pt) 2020-01-10 2022-09-06 Sony Group Corp Dispositivo e método de codificação, programa para fazer com que um computador execute processamento, dispositivo de decodificação, e, método de decodificação desempenhado
WO2021229828A1 (ja) * 2020-05-11 2021-11-18 ヤマハ株式会社 信号処理方法、信号処理装置、及びプログラム
US20230254656A1 (en) * 2020-07-15 2023-08-10 Sony Group Corporation Information processing apparatus, information processing method, and terminal device
CN111954146B (zh) * 2020-07-28 2022-03-01 贵阳清文云科技有限公司 虚拟声环境合成装置
JP7493412B2 (ja) 2020-08-18 2024-05-31 日本放送協会 音声処理装置、音声処理システムおよびプログラム
JPWO2022054602A1 (ja) * 2020-09-09 2022-03-17
US20230388735A1 (en) * 2020-11-06 2023-11-30 Sony Interactive Entertainment Inc. Information processing apparatus, information processing apparatus control method, and program
JP2023037510A (ja) * 2021-09-03 2023-03-15 株式会社Gatari 情報処理システム、情報処理方法および情報処理プログラム
EP4175325B1 (en) * 2021-10-29 2024-05-22 Harman Becker Automotive Systems GmbH Method for audio processing
CN114520950B (zh) * 2022-01-06 2024-03-01 维沃移动通信有限公司 音频输出方法、装置、电子设备及可读存储介质

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5147727B2 (ja) 1974-01-22 1976-12-16
JP3118918B2 (ja) 1991-12-10 2000-12-18 ソニー株式会社 ビデオテープレコーダ
JP2910891B2 (ja) * 1992-12-21 1999-06-23 日本ビクター株式会社 音響信号処理装置
JPH06315200A (ja) 1993-04-28 1994-11-08 Victor Co Of Japan Ltd 音像定位処理における距離感制御方法
US5742688A (en) 1994-02-04 1998-04-21 Matsushita Electric Industrial Co., Ltd. Sound field controller and control method
JP3687099B2 (ja) * 1994-02-14 2005-08-24 ソニー株式会社 映像信号及び音響信号の再生装置
JP3258816B2 (ja) * 1994-05-19 2002-02-18 シャープ株式会社 ３次元音場空間再生装置
JPH0946800A (ja) * 1995-07-28 1997-02-14 Sanyo Electric Co Ltd 音像制御装置
DE69841857D1 (de) 1998-05-27 2010-10-07 Sony France Sa Musik-Raumklangeffekt-System und -Verfahren
JP2000210471A (ja) * 1999-01-21 2000-08-02 Namco Ltd ゲ―ム機用音声装置および情報記録媒体
FR2850183B1 (fr) * 2003-01-20 2005-06-24 Remy Henri Denis Bruno Procede et dispositif de pilotage d'un ensemble de restitution a partir d'un signal multicanal.
JP3734805B2 (ja) * 2003-05-16 2006-01-11 株式会社メガチップス 情報記録装置
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
JP4551652B2 (ja) * 2003-12-02 2010-09-29 ソニー株式会社 音場再生装置及び音場空間再生システム
CN100426936C (zh) 2003-12-02 2008-10-15 北京明盛电通能源新技术有限公司 一种耐高温无机电热膜及其制作方法
KR100608002B1 (ko) * 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
JP2006074589A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 音響処理装置
JP2008512898A (ja) * 2004-09-03 2008-04-24 パーカー ツハコ 録音音響による擬似三次元音響空間生成方法及び装置
US20060088174A1 (en) * 2004-10-26 2006-04-27 Deleeuw William C System and method for optimizing media center audio through microphones embedded in a remote control
KR100612024B1 (ko) * 2004-11-24 2006-08-11 삼성전자주식회사 비대칭성을 이용하여 가상 입체 음향을 생성하는 장치 및그 방법과 이를 수행하기 위한 프로그램이 기록된 기록매체
JP4507951B2 (ja) * 2005-03-31 2010-07-21 ヤマハ株式会社 オーディオ装置
WO2007083958A1 (en) 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for decoding a signal
KR101366291B1 (ko) 2006-01-19 2014-02-21 엘지전자 주식회사 신호 디코딩 방법 및 장치
JP4286840B2 (ja) * 2006-02-08 2009-07-01 学校法人早稲田大学 インパルス応答合成方法および残響付与方法
EP1843636B1 (en) * 2006-04-05 2010-10-13 Harman Becker Automotive Systems GmbH Method for automatically equalizing a sound system
JP2008072541A (ja) * 2006-09-15 2008-03-27 D & M Holdings Inc オーディオ装置
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
JP4946305B2 (ja) * 2006-09-22 2012-06-06 ソニー株式会社 音響再生システム、音響再生装置および音響再生方法
KR101368859B1 (ko) * 2006-12-27 2014-02-27 삼성전자주식회사 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
JP5114981B2 (ja) * 2007-03-15 2013-01-09 沖電気工業株式会社 音像定位処理装置、方法及びプログラム
JP2010151652A (ja) 2008-12-25 2010-07-08 Horiba Ltd 熱電対用端子ブロック
JP5577597B2 (ja) * 2009-01-28 2014-08-27 ヤマハ株式会社 スピーカアレイ装置、信号処理方法およびプログラム
RU2525109C2 (ru) * 2009-06-05 2014-08-10 Конинклейке Филипс Электроникс Н.В. Система объемного звука и способ для нее
JP2011188248A (ja) * 2010-03-09 2011-09-22 Yamaha Corp オーディオアンプ
JP6016322B2 (ja) * 2010-03-19 2016-10-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP2375779A3 (en) * 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP5456622B2 (ja) * 2010-08-31 2014-04-02 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
JP2012191524A (ja) 2011-03-11 2012-10-04 Sony Corp 音響装置および音響システム
JP6007474B2 (ja) * 2011-10-07 2016-10-12 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体
EP2645749B1 (en) * 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
WO2013181272A2 (en) * 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
JP2016518067A (ja) * 2013-04-05 2016-06-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 没入型オーディオの残響音場を管理する方法
US20150189457A1 (en) * 2013-12-30 2015-07-02 Aliphcom Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields

Also Published As

Publication number Publication date
US10477337B2 (en) 2019-11-12
US20220086584A1 (en) 2022-03-17
JP2020017978A (ja) 2020-01-30
US11778406B2 (en) 2023-10-03
AU2019202472A1 (en) 2019-05-02
KR102356246B1 (ko) 2022-02-08
JP7010334B2 (ja) 2022-01-26
KR20220110599A (ko) 2022-08-08
EP3675527A1 (en) 2020-07-01
US20190253825A1 (en) 2019-08-15
US20200288261A1 (en) 2020-09-10
CN105900456A (zh) 2016-08-24
KR20240008397A (ko) 2024-01-18
CN109996166A (zh) 2019-07-09
KR20160108325A (ko) 2016-09-19
RU2682864C1 (ru) 2019-03-21
EP4340397A2 (en) 2024-03-20
EP3096539A1 (en) 2016-11-23
EP3675527B1 (en) 2024-03-06
JP6586885B2 (ja) 2019-10-09
JP2023165864A (ja) 2023-11-17
AU2015207271A1 (en) 2016-07-28
JP2022036231A (ja) 2022-03-04
AU2023203570B2 (en) 2024-05-02
JP2020156108A (ja) 2020-09-24
KR20210118256A (ko) 2021-09-29
US20210021951A1 (en) 2021-01-21
JP7367785B2 (ja) 2023-10-24
US20230254657A1 (en) 2023-08-10
US10812925B2 (en) 2020-10-20
EP4340397A3 (en) 2024-06-12
KR20220013023A (ko) 2022-02-04
CN109996166B (zh) 2021-03-23
EP3096539A4 (en) 2017-09-13
AU2021221392A1 (en) 2021-09-09
SG11201605692WA (en) 2016-08-30
BR112016015971A2 (ja) 2017-08-08
RU2019104919A (ru) 2019-03-25
AU2024202480A1 (en) 2024-05-09
JPWO2015107926A1 (ja) 2017-03-23
CN105900456B (zh) 2020-07-28
MY189000A (en) 2022-01-17
KR102306565B1 (ko) 2021-09-30
AU2019202472B2 (en) 2021-05-27
AU2023203570A1 (en) 2023-07-06
BR122022004083B1 (pt) 2023-02-23
KR102621416B1 (ko) 2024-01-08
US10694310B2 (en) 2020-06-23
EP3096539B1 (en) 2020-03-11
WO2015107926A1 (ja) 2015-07-23
BR112016015971B1 (pt) 2022-11-16
US20160337777A1 (en) 2016-11-17
US11223921B2 (en) 2022-01-11
KR102427495B1 (ko) 2022-08-01

Similar Documents

Publication Publication Date Title
JP6721096B2 (ja) 音声処理装置および方法、並びにプログラム
KR20090117897A (ko) 다채널 오디오 포맷들 사이의 변환 장치 및 방법
JP2011199707A (ja) 音声データ再生装置及び音声データ再生方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200601

R151 Written notification of patent or utility model registration

Ref document number: 6721096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151