JP2009206691A - 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 - Google Patents

頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 Download PDF

Info

Publication number
JP2009206691A
JP2009206691A JP2008045597A JP2008045597A JP2009206691A JP 2009206691 A JP2009206691 A JP 2009206691A JP 2008045597 A JP2008045597 A JP 2008045597A JP 2008045597 A JP2008045597 A JP 2008045597A JP 2009206691 A JP2009206691 A JP 2009206691A
Authority
JP
Japan
Prior art keywords
head
transfer function
related transfer
convolution
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008045597A
Other languages
English (en)
Inventor
Takao Fukui
隆郎 福井
Fumitaka Nishio
文孝 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008045597A priority Critical patent/JP2009206691A/ja
Priority to EP11172110.6A priority patent/EP2375788B1/en
Priority to EP09250276.4A priority patent/EP2096882B1/en
Priority to US12/366,095 priority patent/US8503682B2/en
Priority to CN2009101183102A priority patent/CN101521843B/zh
Priority to KR1020090016292A priority patent/KR20090092721A/ko
Publication of JP2009206691A publication Critical patent/JP2009206691A/ja
Priority to US13/927,983 priority patent/US9432793B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】所望の任意の視聴環境や部屋環境に応じた頭部伝達関数の畳み込みができる。
【解決手段】リスナの両耳の近傍の位置に設置される電気音響変換手段により音声信号が音響再生されたときに、想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記音声信号に畳み込むようにする頭部伝達関数畳み込み方法である。仮想音像定位位置に音源を設置し、電気音響変換手段の位置に収音手段を設置したときに、音源から収音手段への直接波の方向についての直接波方向頭部伝達関数と、音源から収音手段への、選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とを、予め別々に測定した求めておく。求められた直接波方向頭部伝達関数と、選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とを、音声信号に畳み込む。
【選択図】図1

Description

この発明は、リスナの耳の近傍に配置される、例えばヘッドホンの音響再生用ドライバーなどの電気音響変換手段により音響再生したときに、リスナの前方位置など、予め想定された位置に音源が仮想的に存在するように聴取できるようにするための頭部伝達関数の、音声信号への畳み込み方法および畳み込み装置に関する。
例えば、リスナがヘッドホンを頭部に装着して、両耳で音響再生信号を聴取する場合において、ヘッドホンで再生する音声信号が、リスナの前方左右に設置されるスピーカに供給される通常の音声信号である場合には、再生される音像がリスナの頭の中にこもる、いわゆる頭内定位の現象が生じる。
この頭内定位の現象の問題を解決したものとして、例えば特許文献1(WO95/13690号公報)や特許文献2(特開平03−214897号公報)には、仮想音像定位と呼ばれる技術が開示されている。
この仮想音像定位は、ヘッドホンなどで再生したときに、あたかもリスナの前方の左右位置など、予め想定された位置に音源、例えばスピーカが存在するように再生される(仮想的に当該位置に音像を定位させる)ようにするもので、次のようにして実現される。
図30は、左右2チャンネルステレオ信号を、例えば2チャンネルステレオ用ヘッドホンで再生する場合における仮想音像定位の手法を説明するための図である。
図30に示すように、例えば2チャンネルステレオ用ヘッドホンなどの2個の音響再生用ドライバー(電気音響変換手段の例)が設置されると想定されるリスナの両耳の近傍の位置(測定点位置)に、マイクロホン(音響電気変換手段の例)MLおよびMRを設置すると共に、仮想音像定位させたい位置にスピーカSPLおよびSPRを配置する。
そして、ダミーヘッド1(または人間つまりリスナ自体でもよい)が存在する状態で、先ず、一方のチャンネル、例えば左チャンネルのスピーカSPLで、例えばインパルスを音響再生し、その再生により発せられたインパルスを前記マイクロホンMLおよびMRのそれぞれでピックアップして、左チャンネル用の頭部伝達関数を測定する。この例の場合、頭部伝達関数は、インパルスレスポンスとして測定する。
この場合、この左チャンネル用の頭部伝達関数としてのインパルスレスポンスには、図30に示すように、マイクロホンMLでピックアップした左チャンネル用のスピーカSPLからの音波のインパルスレスポンス(以下、左主成分のインパルスレスポンスという)HLdと、マイクロホンMRでピックアップした左チャンネル用のスピーカSPRからの音波のインパルスレスポンス(以下、左クロストーク成分のインパルスレスポンスという)HLcとを含む。
次に、右チャネルのスピーカSPRで同様にインパルスを音響再生し、その再生により発せられたインパルスを前記マイクロホンMLおよびMRのそれぞれでピックアップして、右チャンネル用の頭部伝達関数、つまり、右チャンネル用のインパルスレスポンスを測定する。
この場合、右チャンネル用の頭部伝達関数としてのインパルスレスポンスには、マイクロホンMRでピックアップした右チャンネル用のスピーカSPRからの音波のインパルスレスポンス(以下、右主成分のインパルスレスポンスという)HRdと、マイクロホンMLでピックアップした右チャンネル用のスピーカSPRからの音波のインパルスレスポンス(以下、左クロストーク成分のインパルスレスポンスという)HRcとを含む。
そして、測定して得た、左チャンネル用の頭部伝達関数および右チャネル用の頭部伝達関数のインパルスレスポンスを、ヘッドホンの左右チャンネル用の音響再生用ドライバーのそれぞれに供給する音声信号に、そのまま畳み込むようにする。すなわち、左チャンネルの音声信号に対して、測定して得た左チャンネル用の頭部伝達関数としての左主成分のインパルスレスポンスおよび左クロストーク成分のインパルスレスポンスを、そのまま畳み込み、また、右チャンネルの音声信号に対して、測定して得た右チャンネル用の頭部伝達関数としての右主成分のインパルスレスポンスおよび右クロストーク成分のインパルスレスポンスを、そのまま畳み込むようにする。
このようにすると、ヘッドホンの2個の音響再生用ドライバーなどで、リスナの耳の近傍で音響再生されているにもかかわらず、例えば左右2チャンネルステレオ音声の場合であれば、あたかもリスナの前方に設置された左右のスピーカで音響再生されているように音像定位(仮想音像定位)させることができる。
以上は、2チャンネルの場合であるが、2チャンネル以上の多チャンネルの場合には、同様にして、それぞれのチャンネルの仮想音像定位位置にスピーカを配置して、例えばインパルスを再生し、それぞれのチャンネル用の頭部伝達関数を測定し、測定して得た頭部伝達関数のインパルスレスポンスを、ヘッドホンの左右2チャンネルの音響再生用のドライバに供給する音声信号に畳み込むようにすればよい。
上記の特許文献は、次の通りである。
WO95/13690号公報 特開平03−214897号公報
ところで、頭部伝達関数の測定を行う場所が反射のない無響室ではないときには、測定された頭部伝達関数には、想定された音源位置(仮想音像定位位置に対応)からの直接波のみではなく、図30において点線で示したような反射波の成分も含まれる(分離できずに含まれてしまう)ことになる。このため、従来の測定した頭部伝達関数は、反射波による成分のため、測定を行った部屋や場所などの形状や、音波を反射を壁や天井、床などの材質に応じた当該測定場所の特性が含まれたものとなっている。
部屋や場所の特性を除去するためには、床、天井、壁面などからの音波の反射のない無響室で、頭部伝達関数を測定することが考えられる。
しかし、無響室で測定した頭部伝達関数をそのまま音声信号に畳み込んで、仮想音像定位させようとした場合、反射波が存在しないため、仮想音像定位位置や方向性がぼけるという問題がある。
そのため、従来は、音声信号にそのまま畳み込む頭部伝達関数の測定は、無響室では行わず、ある程度の響きが存在するが、特性が良いとされている部屋や場所で行うようにしているのである。そして、例えば、スタジオ、ホール、ラージルームなど、頭部伝達関数を測定した部屋や場所のメニューを、ユーザに提示して、仮想音像定位を伴う音響再生を楽しみたいユーザに、好みの部屋や場所の頭部伝達関数を、前記メニューの中から選択してもらうなどの方策が採られたりしていた。
しかしながら、上述したように、従来は、想定された音源位置の音源からの直接波のみではなく、必ず、反射波を伴うものとして、直接波と反射波のインパルスレスポンスを分離できずに両者を含む頭部伝達関数を測定して得るようにしているので、測定された場所や部屋に応じた頭部伝達関数のみしか得られず、望む周囲環境や部屋環境に応じた頭部伝達関数を得て、それを音声信号に畳み込むということが困難であった。
例えば、周囲に壁や障害物がない大平原において、前方にスピーカが配置されたように想定された視聴環境に応じた頭部伝達関数を音声信号に畳み込むことは困難であった。
また、想定された所定の形状や容積、また、所定の吸音率(音波の減衰率に対応)の壁を備える部屋における頭部伝達関数を得ようとする場合には、従来は、そのような部屋を探したり、また、作製したりして、その部屋で頭部伝達関数を測定して得るようにするほかに、手立てがなかった。しかし、実際的には、そのような所望の視聴環境や部屋を探し出したり、作製したりすることは困難であり、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数を、音声信号に畳み込むことはできないというのが現状である。
この発明は、以上の点にかんがみ、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数の畳み込みができ、所望の仮想音像定位感が得られるようにした頭部伝達関数畳み込み方法および装置を提供することを目的とする。
上記の課題を解決するために、請求項1の発明は、
リスナの両耳の近傍の位置に設置される電気音響変換手段により音声信号が音響再生されたときに、想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記音声信号に畳み込むようにする頭部伝達関数畳み込み方法において、
前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置したときに、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記収音手段への、選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とを、予め別々に測定した求めておく頭部伝達関数測定工程と、
前記求められた、前記直接波方向頭部伝達関数と、前記選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とを、前記音声信号に畳み込む工程と、
を有することを特徴とする頭部伝達関数畳み込み方法を提供する。
従来は、前述したように、直接波方向頭部伝達関数と反射波方向頭部伝達関数との両者が含まれる総合的な頭部伝達関数が測定され、そのまま音声信号に畳み込まれるのに対して、請求項1の発明においては、頭部伝達関数測定工程において、直接波方向頭部伝達関数と、反射波方向頭部伝達関数とは、予め別々に測定されて求められる。そして、求められた直接波方向頭部伝達関数と、反射波方向頭部伝達関数とが、音声信号に畳み込まれる。
ここで、直接波方向頭部伝達関数は、想定される仮想音像定位位置に設置された音源から収音手段に直接に入射する測定用音波のみから求められた頭部伝達関数であり、反射波の成分は含まれていない。
また、反射波方向頭部伝達関数は、想定される反射波の方向から収音手段に直接に入射する測定用音波のみから求められた頭部伝達関数であり、当該反射波の方向の音源から、いずれかに反射して収音手段に入射するような成分は含まれていない。
そして、請求項1の頭部伝達関数測定工程では、上記のように、仮想音像定位位置を音源としたときの直接波の頭部伝達関数と、反射波の頭部伝達関数とが分離して求めるものであるが、このとき、反射波方向頭部伝達関数を求める反射波の方向は、想定される視聴環境や部屋環境に応じて、1または複数の反射波方向が選択される。
例えば、視聴環境が大平原を想定した場合には、周囲の壁や天井はなく、仮想音像定位位置に想定された音源からの直接波と、前記音源から地面あるいは床で反射される音波のみが存在するので、直接波頭部伝達関数と、地面または床からの反射波の方向の反射波方向頭部伝達関数とが求められ、それらの頭部伝達関数が音声信号に畳み込まれる。
また、視聴環境が直方体形状の通常の部屋が想定された場合には、反射波としては、リスナの周囲の壁、天井および床で反射される音波が存在するので、それぞれの反射波の方向の反射波方向頭部伝達関数が求められ、当該反射波方向頭部伝達関数と、直接波頭部伝達関数とが音声信号に畳み込まれる。
請求項2の発明においては、請求項1に記載の頭部伝達関数畳み込み方法において、
前記畳み込み工程では、
前記音声信号の時系列信号に対して、前記直接波および前記反射波の前記仮想音像定位位置から前記電気音響変換手段の位置までの音波の行路長に応じて定められた、前記直接波方向頭部伝達関数の畳み込み処理を開始する開始時点、および前記1または複数の反射波方向頭部伝達関数のそれぞれの畳み込み処理を開始する開始時点のそれぞれから、対応する前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数の畳み込みを実行する
ことを特徴とする。
請求項2の発明においては、直接波方向頭部伝達関数の畳み込み処理を開始する開始時点、および1または複数の反射波方向頭部伝達関数のそれぞれの畳み込み処理を開始する開始時点が、直接波および反射波の仮想音像定位位置から電気音響変換手段までの音波の行路長に応じて定められる。この場合、反射波についての行路長は、想定される視聴環境や部屋環境に応じて定められる。
換言すれば、想定される視聴環境や部屋環境に応じて、前記直接波や反射波についての行路長に応じたそれぞれの頭部伝達関数の畳み込み開始時点を設定することにより、想定される視聴環境や部屋環境に応じた適切な頭部伝達関数を音声信号に畳み込むことができる。
また、請求項3の発明は、請求項1に記載の頭部伝達関数畳み込み方法において、
前記反射波方向頭部伝達関数は、想定される反射部における音波の減衰率に応じてゲイン調整されて前記畳み込みが実行される
ことを特徴とする。
この請求項3においては、想定される視聴環境や部屋環境において、音波を反射する反射部の方向からの反射波方向頭部伝達関数は、当該反射部の材質などにより定まる減衰率に応じたゲイン分だけ調整されて、音声信号に畳み込まれる。これにより、請求項3の発明によれば、想定される視聴環境や部屋環境における音波の反射部での吸音などによる減衰率を考慮した頭部伝達関数を音声信号に埋め込むことができる。
この発明によれば、想定した視聴環境や部屋環境に応じた適切な頭部伝達関数を音声信号に畳み込むことができる。
[この発明の実施形態の概要]
上述したように、従来の頭部伝達関数の畳み込み方法においては、仮想音像定位させたいとして想定された音源位置にスピーカを設置して、当該想定された音源位置からの直接波によるインパルスレスポンスのみではなく、必ず、反射波によるインパルスレスポンスを伴うものとして(直接波と反射波とのインパルスレスポンスを分離できずに両者を含むものとして)頭部伝達関数を測定し、当該測定して得た頭部伝達関数をそのまま音声信号に畳み込むようにしていた。
すなわち、従来は、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定してはおらず、両者が含まれる総合的な頭部伝達関数として測定していた。
これに対して、この発明の実施形態においては、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定しておくようにする。
このため、この実施形態では、測定点位置から見て、特定の方向に想定される想定音源位置からの直接波(つまり、反射波を含まない直接に測定点位置に到達する音波)についての頭部伝達関数を得るようにする。反射波の頭部伝達関数は、壁などで反射した後の音波の方向を音源方向として、その音源方向からの直接波として測定するようにする。すなわち、所定の壁に反射して測定点位置に入射する反射波を考えた場合、壁で反射した後の壁からの反射音波は、当該壁での反射位置方向に想定した音源からの音波の直接波として考えることができるからである。
したがって、この実施形態では、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数を測定するときには、当該仮想音像定位させたいとして想定された音源位置に測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するが、仮想音像定位させたいとして想定された音源位置からの反射波の頭部伝達関数を測定するときには、測定しようとする反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するようにする。
したがって、種々の方向からの反射波についての頭部伝達関数は、それぞれの反射波の測定点位置への入射に、測定用音波の発生手段としての電気音響変換器を設置して測定するようにする。
そして、この実施形態では、以上のようにして測定した直接波および反射波についての頭部伝達関数を音声信号に畳み込むことにより、目的とする再生音響空間における仮想音像定位を得るようにするのであるが、反射波の頭部伝達関数は、目的とする再生音響空間に応じて選択した方向の反射波についてのみ、音声信号に畳み込むようにする。
また、この実施形態では、直接波および反射波についての頭部伝達関数は、測定用音源位置から測定点位置までの音波の経路長に応じた伝播遅延分は、除去して測定するようにし、音声信号に、それぞれの頭部伝達関数を畳み込み処理する際に、測定用音源位置(仮想音像定位位置)から測定点位置(再生用音響再生手段位置)までの音波の経路長に応じた伝播遅延分を考慮するようにする。
これにより、部屋の大きさなどに応じて任意に設定した仮想音像定位位置についての頭部伝達関数を、音声信号に畳み込むことが可能となる。
そして、反射音波の減衰率に関連する壁の材質などによる反射率あるいは吸音率などの特性は、当該壁からの直接波の利得として想定するようにする。すなわち、この実施形態では、例えば想定音源位置からの測定点位置への直接波による頭部伝達関数を、減衰無しで、音声信号に畳み込むと共に、壁からの反射音波成分については、その壁の反射位置方向に想定された音源からの直接波による頭部伝達関数を、壁の特性に応じた反射率あるいは吸音率に応じた減衰率で畳み込むようにする。
このように頭部伝達関数を畳み込んだ音声信号の再生音を聴取するようにすれば、壁の特性に応じた反射率あるいは吸音率により、どのような仮想音像定位の状態になるかを検証することができる。
また、直接波の頭部伝達関数と、選択した反射波についての頭部伝達関数とを、減衰率を考慮しつつ、音声信号に畳み込んで音響再生することで、様々な部屋環境、場所環境における仮想音像定位をシミュレーションすることもできる。これは、想定音源位置からの直接波と、反射波とを分離して、頭部伝達関数として測定することにより実現が可能となったものである。
[頭部伝達関数測定方法の実施形態]
前述したように、特定の音源からの、反射波成分を除く直接波のみについての頭部伝達関数は、例えば無響室で測定することで得ることができる。そこで、無響室において、希望する仮想音像定位位置からの直接波と、想定される複数の反射波について、頭部伝達関数を測定して、畳み込みに用いるようにする。
すなわち、無響室において、リスナの両耳近傍の測定点位置に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置すると共に、前記直接波および前記複数の反射波の方向の位置に測定用音波を発生する音源を設置して、頭部伝達関数の測定をするようにする。
ところで、無響室で頭部伝達関数を得たとしても、頭部伝達関数を測定する測定系のスピーカとマイクロホンの特性は排除することはできず、そのため、測定して得た頭部伝達関数は、測定に用いたスピーカやマイクロホンの特性の影響を受けてしまうという問題がある。
マイクロホンやスピーカの特性の影響を除去するためには、頭部伝達関数の測定に用いるマイクロホンおよびスピーカとして、周波数特性が平坦な、特性の良い高価なマイクロホンおよびスピーカを用いることが考えられる。しかしながら、高価なマイクロホンやスピーカであっても、理想的な平坦な周波数特性は得られず、これらマイクロホンやスピーカの特性の影響を完全に除去することができず、再生音声の音質の劣化を招いてしまうことがあった。
また、測定系のマイクロホンやスピーカの逆特性を用いて、頭部伝達関数を畳み込んだ後の音声信号に対して補正をすることで、マイクロホンやスピーカの特性の影響を除去するようにすることも考えられるが、その場合には、音声信号再生回路に、当該補正回路を設けなければならず、構成が複雑になると共に、測定系の影響を完全に除去する補正は困難であるという問題がある。
以上の問題点を考慮して、測定する部屋や場所の影響を取り除くために、この実施形態では、無響室において頭部伝達関数を測定すると共に、測定に用いるマイクロホンやスピーカの特定の影響を除去するために、以下に説明するような正規化処理を、測定して得た頭部伝達関数に施すようにする。最初に、この実施形態における頭部伝達関数測定方法の実施形態を、図を参照しながら説明する。
図1は、この発明の実施形態における頭部伝達関数測定方法に用いる正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成例を示すブロック図である。
頭部伝達関数測定手段10では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段10においては、無響室において、前述した図30のように、リスナ位置にダミーヘッドまたはリスナとしての人間そのものを配置すると共に、当該ダミーヘッドまたは人間の両耳の近傍であって、頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が配置される位置(測定点位置)に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置する。
頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が、例えば左右2チャンネルのヘッドホンである場合には、左チャンネルのヘッドホンドライバーの位置に左チャンネル用のマイクロホンが、右チャンネルのヘッドホンドライバーの位置に右チャンネル用のマイクロホンが、それぞれ設置される。
そして、リスナあるいは測定点位置であるマイクロホン位置を基点として、頭部伝達関数を測定しようとする方向に、測定用音波を発生する音源の例としてのスピーカを設置する。この状態で、このスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを再生して、2個のマイクロホンで、そのインパルスレスポンスをピックアップする。なお、測定用音源としてのスピーカが設置される、頭部伝達関数を測定したい方向の位置を、以下の説明においては、想定音源位置と称することにする。
この頭部伝達関数測定手段10において、2個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
素の状態の伝達特性測定手段20においては、頭部伝達関数測定手段10と同一環境において、リスナ位置に前記ダミーヘッドまたは前記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
すなわち、素の状態の伝達特性測定手段20においては、無響室において、頭部伝達関数測定手段10では設置されていたダミーヘッドまたは人間を除去して、想定音源位置のスピーカとマイクロホンとの間に障害物がない素の状態にし、そして、想定音源位置のスピーカやマイクロホンの配置は、頭部伝達関数測定手段10における状態と全く同じ状態として、その状態で、想定音源位置のスピーカにより測定用音波、この例ではインパルスを再生して、2個のマイクロホンで、そのインパルスレスポンスをピックアップする。
この素の状態の伝達特性測定手段20で2個のマイクロホンから得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
なお、頭部伝達関数測定手段10および素の状態の伝達特性測定手段20においては、直接波について、2個のマイクロホンのそれぞれから前述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
頭部伝達関数測定手段10および素の状態の伝達特性測定手段20で取得したインパルスレスポンスは、この例では、サンプリング周波数が96kHzで、8192サンプルのデジタルデータとして、出力される。
ここで、頭部伝達関数測定手段10から得られる頭部伝達関数のデータは、X(m)、ただし、m=0,1,2・・・,M−1(M=8192)と表わし、また、素の状態の伝達特性測定手段20から得られる素の状態の伝達特性のデータは、Xref(m)、ただし、m=0,1,2・・・,M−1(M=8192)と表わすこととする。
頭部伝達関数測定手段10からの頭部伝達関数のデータX(m)および素の状態の伝達特性測定手段20からの素の状態の伝達特性のデータXref(m)は、それぞれ遅延除去頭詰め部31および32で、想定音源位置のスピーカからの音波の、インパルスレスポンス取得用のマイクロホンへの到達時間に相当する遅延時間分だけ、前記スピーカでインパルスが再生開始された時点からの頭の部分のデータが除去され、また、遅延除去頭詰め部31および32では、次段(次工程)での時間軸データから周波数軸データへの直交変換の処理が可能なように、データ数が、2のべき乗のデータ数に削減される。
次に、遅延頭詰め部31および32でデータ数が削減された頭部伝達関数のデータX(m)および素の状態の伝達特性のデータXref(m)は、それぞれFFT(Fast Fourier Transform)部33および34に供給されて、時間軸データから周波数軸データに変換される。なお、この実施形態では、FFT部33および34においては、位相を考慮した複素高速フーリエ変換(複素FFT)処理を行うものである。
FFT部33での複素FFT処理により、頭部伝達関数のデータX(m)は、実部R(m)および虚部jI(m)からなるFFTデータ、すなわち、R(m)+jI(m)に変換される。
また、FFT部34での複素FFT処理により、素の状態の伝達特性のデータXref(m)は、実部Rref(m)および虚部jIref(m)からなるFFTデータ、すなわち、Rref(m)+jIref(m)に変換される。
FFT部33および34で得られるFFTデータは、X−Y座標データであるが、この実施形態では、このFFTデータは、さらに、極座標変換部35および36において、極座標のデータに変換される。すなわち、頭部伝達関数のFFTデータR(m)+jI(m)は、極座標変換部35により、大きさ成分である動径γ(m)と、角度成分である偏角θ(m)とに変換される。そして、この極座標データである動径γ(m)と、偏角θ(m)とが、正規化およびX−Y座標変換部37に送られる。
また、素の状態の伝達特性のFFTデータRref(m)+jIref(m)は、極座標変換部35により、動径γref(m)と、偏角θref(m)とに変換される。そして、この極座標データである動径γref(m)と、偏角θref(m)とが、正規化およびX−Y座標変換部37に送られる。
正規化およびX−Y座標変換部37では、先ず、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。ここで、正規化処理の具体的な演算は、次の通りである。
すなわち、正規化処理後の動径をγn(m)、正規化処理後の偏角をθn(m)とすると、
γn(m)=γ(m)/γref(m)
θn(m)=θ(m)−θref(m)
・・・(式1)
となる。
そして、正規化およびX−Y座標変換部37では、正規化処理後の極座標系のデータ、すなわち、動径γn(m)および偏角θn(m)を、X−Y座標系の実部Rn(m)および虚部jIn(m)(m=0,1・・・M/4−1)からなる周波数軸データの正規化頭部伝達関数データに変換する。
このX−Y座標系の周波数軸データの正規化頭部伝達関数データは、逆FFT部38で、時間軸の正規化頭部伝達関数データであるインパルスレスポンスXn(m)に変換する。この逆FFT部38では、複素逆高速フーリエ変換(複素逆FFT)処理を行う。
すなわち、
Xn(m)=IFFT(Rn(m)+jIn(m))
ただし、m=0,1,2・・・,M/2−1
なる演算が逆FFT(IFFT(Inverse Fast Fourier Transform)部38で行われ、時間軸の正規化頭部伝達関数データであるインパルスレスポンスXn(m)から得られる。
この逆FFT部38からの正規化頭部伝達関数のデータXn(m)は、IR(インパルスレスポンス)簡略化部39において、処理可能(後述する畳み込み可能)なインパルス特性のタップ長に簡略化する。この実施形態では、600タップ(逆FFT部38からのデータの頭から600個のデータ)に簡略化する。
このIR簡略化部39で簡略化された正規化頭部伝達関数のデータXn(m)(m=0,1・・・599)は、後述する畳み込み処理のために、正規化頭部伝達関数メモリ40に書き込まれる。なお、この正規化頭部伝達関数メモリ40に書き込まれる正規化頭部伝達関数は、各想定音源位置(仮想音像定位位置)毎のそれぞれにおいて、主成分の正規化頭部伝達関数と、クロストーク成分の正規化頭部伝達関数とを含むことは前述した通りである。
以上の説明は、リスナ位置に対して特定の1方向において、測定点位置であるマイクロホン位置から所定距離だけ離れた1箇所の想定音源位置に、測定用音波の例としてのインパルスを再生するスピーカを設置した場合において、当該スピーカ位置に対する正規化頭部伝達関数を取得する処理の説明である。
この実施形態では、測定用音波の例としてのインパルスを再生するスピーカの設置位置である想定音源位置を、測定点位置に対して異なる方向に種々変更して、以上と同様にして、各想定音源位置に対する正規化頭部伝達関数を取得するようにする。
すなわち、この実施形態では、仮想音像定位位置からの直接波のみではなく、反射波についての頭部伝達関数を取得するようにするため、反射波の測定点位置への入射方向を考慮して、複数個の位置に想定音源位置を設定して、その正規化頭部伝達関数を求めるようにする。
ここで、スピーカ設置位置である想定音源位置は、リスナの左右の壁からの反射波についての正規化頭部伝達関数を求めるために、水平面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした360度または180度の角範囲を、得ようとする反射波の方向についての必要な分解能を考慮して、例えば10度角間隔毎に変化させて設定するようにする。
同様に、スピーカ設置位置である想定音源位置は、天井または床からの反射波についての正規化頭部伝達関数を求めるために、垂直面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした360度または180度の角範囲を、得ようとする反射波の方向についての必要な分解能を考慮して、例えば10度角間隔毎に変化させて設定するようにする。
360度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの後方にも存在する、例えば5,1チャンネル,6.1チャンネル,7.1チャンネルなどのマルチチャンネルサラウンド音声を再生する場合を想定した場合、また、リスナの後方の壁からの反射波を考慮する場合である。180度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの前方にのみ存在し、また、リスナの後方の壁からの反射波を考慮しなくて良い状態を想定した場合である。
また、この実施形態では、リスナに実際に再生音を供給するヘッドホンのドライバーなどの音響再生ドライバーの位置に応じて、頭部伝達関数および素の状態の伝達特性の測定手段10および20におけるマイクロホンの設置位置を変えるようにする。
図2は、リスナに実際に再生音を供給する電気音響変換手段としての音響再生手段がインナーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性の測定位置(想定音源位置)および測定点位置としてのマイクロホン設置位置を説明するための図である。
すなわち、図2(A)は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における頭部伝達関数測定手段10での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間OBを配置する。そして、想定音源位置においてインパルスを再生するスピーカは、丸印P1、P2、P3、・・・で示すように、この例では、リスナ位置またはインナーヘッドホンの2個のドライバー位置の中心位置を中心にして、10度角間隔毎の、頭部伝達関数を測定したい方向の所定位置に配置する。
また、このインナーヘッドホンの場合の例においては、2個のマイクロホンML,MRは、図2(A)に示すように、ダミーヘッドまたは人間の耳の耳殻内位置に設置するようにする。
図2(B)は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における素の状態の伝達特性測定手段20での測定状態を示すもので、図2(A)におけるダミーヘッドまたは人間OBを除去した測定環境の状態を示している。
上述の正規化処理は、図2(A)において、丸印P1、P2、P3、・・・で示す想定音源位置のそれぞれにおいて測定した頭部伝達関数を、図2(B)において、同じ想定音源位置P1、P2、P3、・・・のそれぞれにおいて測定した素の状態の伝達特性で、それぞれ正規化することによりなされる。つまり、例えば、想定音源位置P1で測定した頭部伝達関数は、同じ想定音源位置P1で測定した素の状態の伝達特性で正規化するようにする。
次に、図3は、リスナに実際に再生音を供給する音響再生手段がオーバーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明するためのものである。この図3の例のオーバーヘッドホンでは、左右の耳用としてそれぞれヘッドホンドライバーが1個ずつとされている。
すなわち、図3は、リスナに再生音を供給する音響再生手段がオーバーヘッドホンである場合における頭部伝達関数測定手段10での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間OBを配置する。そして、インパルスを再生するスピーカは、丸印P1、P2、P3、・・・で示すように、リスナ位置またはオーバヘッドホンの2個のドライバー位置の中心位置を中心にして、例えば10度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。また、2個のマイクロホンML,MRは、図3に示すように、ダミーヘッドまたは人間の耳の耳殻に対向した耳の近傍位置に設置するようにする。
この音響再生手段がオーバーヘッドホンの場合における素の状態の伝達特性の測定手段20での測定状態は、図3におけるダミーヘッドまたは人間OBを除去した測定環境となる。この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図2の場合と同様にしてなされるのは言うまでもない。
次に、図4は、例えばリスナが座る椅子のヘッドレスト部分に、リスナに再生音を供給する音響再生手段としての電気音響変換手段、例えばスピーカを配置する場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明する図である。
図4の例では、リスナの頭部後方の左右に2個のスピーカを配置して音響再生する場合における頭部伝達関数および素の状態の伝達特性を測定するようにする。
すなわち、図4は、リスナに再生音を供給する音響再生手段が、椅子のヘッドレスト部分の左右に設置された2個のスピーカである場合における頭部伝達関数測定手段10での測定状態を示すものである。リスナ位置にはダミーヘッドまたは人間OBを配置する。そして、インパルスを再生するスピーカは、丸印P1、P2、P3、・・・で示すように、リスナ位置または椅子のヘッドレスト部分に設置された2個スピーカ位置の中心位置を中心にして、例えば10度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。
また、2個のマイクロホンML,MRは、図4に示すように、椅子のヘッドレストに取り付けられる2個のスピーカの設置位置に相当する、ダミーヘッドまたは人間の頭部後方にであってリスナの耳の近傍位置に設置するようにする。
この音響再生手段が、椅子のヘッドレストに取り付けられる音響変換ドライバーの場合における素の状態の伝達特性の測定手段20での測定状態は、図4におけるダミーヘッドまたは人間OBを除去した測定環境となる。この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図2の場合と同様にしてなされるのは言うまでもない。
次に、図5は、リスナに再生音を供給する音響再生手段がオーバーヘッドホンであって、7.1チャンネルマルチサラウンド用として、左右の耳のそれぞれに対して、7個ずつのヘッドホンドライバーユニットが配置されるオーバーヘッドホンである場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明する図である。
図5の例では、左右の耳用の7個ずつのヘッドホンドライバーに対応する位置に、7個ずつのマイクロホンML1,ML2,ML3,ML4,ML5,ML6,ML7およびMR1,MR2,MR3,MR4,MR5,MR6,MR7が、それぞれ、リスナの左、右の耳に対向して配置される。
そして、インパルスを再生するスピーカは、上述の場合と同様に、丸印P1、P2、P3、・・・で示すように、リスナ位置または7個のマイクロホン位置の中心位置を中心にして、例えば10度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。
そして、各想定音源位置においてスピーカで再生された測定用音波としてのインパルスが、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれで収音される。そして、リスナ位置にダミーヘッドや人間が存在する状態では、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれの出力音声信号から、頭部伝達関数が得られる。また、リスナ位置にダミーヘッドや人間が存在しない素の状態では、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれの出力音声信号から、素の状態の伝達特性が得られる。そして、上述したようにして、頭部伝達関数と素の状態の伝達特性とから、正規化頭部伝達関数がそれぞれ求められ、正規化頭部伝達関数メモリ40に記憶される。
この図5の例の場合、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれの出力音声信号からは、各想定音源方向位置に仮想音像定位させるようにする際に、それぞれのマイクロホンが対応するヘッドホンドライバーユニットに供給する音声信号に畳み込むべき正規化頭部伝達関数が得られることになる。
以上により、正規化頭部伝達関数メモリ40に書き込まれた正規化頭部伝達関数としては、無響室において、図2〜図5に示したような、リスナ頭部の中心位置や、再生時にリスナに音声を供給する電気音響変換手段の中心位置を中心として、例えば10度角間隔ずつ離れた仮想音源位置からのインパルスレスポンスを測定したので、それぞれの仮想音源位置からの反射波を除く直接波のみについての頭部伝達関数を得ることができる。
そして、取得された正規化頭部伝達関数は、インパルスを発生したスピーカの特性や、インパルスをピックアップしたマイクロホンの特性が、正規化処理により、排除されたものとなる。
さらに、取得された正規化頭部伝達関数は、この例では、遅延除去頭詰め部31,32において、インパルスを発生するスピーカ位置(想定音源位置)と、インパルスをピックアップするマイクロホン位置(想定ドライバー位置)との距離に対応する遅延が除去されたものであるので、インパルスを発生するスピーカ位置(想定音源位置)と、インパルスをピックアップするマイクロホン位置(想定ドライバー位置)との距離に無関係となる。つまり、取得された正規化頭部伝達関数は、インパルスをピックアップするマイクロホン位置(想定ドライバー位置)から見て、インパルスを発生するスピーカ位置(想定音源位置)の方向のみに応じた頭部伝達関数となる。
したがって、直接波について、正規化頭部伝達関数を、音声信号に畳み込むときには、音声信号に対して、仮想音像定位位置と想定ドライバー位置との距離に応じた遅延を付与することにより、想定ドライバー位置に対する想定音源位置の方向の、前記遅延に応じた距離位置を、仮想音像定位位置として音響再生させることができる。また、想定音源位置方向からの反射波については、仮想音像定位させたい位置から壁などの反射部で反射され、前記想定音源位置方向から想定ドライバー位置に入射するまでの音波の経路長に応じた遅延を音声信号に施して、正規化頭部伝達関数を畳み込むようにすればよい。
つまり、直接波および反射波について、正規化頭部伝達関数を音声信号に畳み込むときには、音声信号に対して、仮想音像定位させたい位置から、想定ドライバー位置に入射するまでの音波の経路長に応じた遅延を音声信号に施すようにするものである。
なお、頭部伝達関数測定方法の実施形態を説明するための図1のブロック図における信号処理は、全てDSP(Digital Signal Processor)で行うことができる。その場合において、頭部伝達関数測定手段10および素の状態の伝達特性測定手段20における頭部伝達関数のデータX(m)および素の状態の伝達特性のデータXref(m)の取得部と、遅延除去頭詰め部31,32、FFT部33,34、極座標変換部35,36、正規化およびX−Y座標変換部37、逆FFT部38およびIR簡略部39は、それぞれをDSPで構成しても良いし、全体の信号処理を、まとめて1個あるいは複数個のDSPで構成するようにしてもよい。
なお、上述の図1の例では、頭部伝達関数の後述する畳み込みの処理量を削減するため、正規化頭部伝達関数や素の状態での伝達特性のデータについては、遅延除去頭詰め部31,32で、想定音源位置とマイクロホン位置との間の距離に対応する遅延時間分の先頭データを除去して、頭詰めするようにしており、このデータの除去処理を、例えばDSPの内部メモリを用いて行うようにする。しかし、この遅延除去頭詰め処理は行わなくても良い場合は、DSPでは、元のデータを、そのまま、8192サンプルのデータで処理を行うようにする。
また、IR簡略部39は、頭部伝達関数を後述する畳み込みの処理する際における畳み込み処理量を削減するためのもので、これは、省略することもできる。
さらに、上述の実施形態において、FFT部33,34からのX−Y座標系の周波数軸データを、極座標系の周波数データに変換したのは、X−Y座標系の周波数データのままでは、正規化処理ができなかった場合があることを考慮したものであり、理想的な構成であれば、X−Y座標系の周波数データのままでも正規化処理は可能である。
なお、上述の例では、種々の仮想音像定位位置およびその反射波の想定ドライバー位置への入射方向を想定して、多数の想定音源位置についての正規化頭部伝達関数を求めるようにした。このように多数の想定音源位置についての正規化頭部伝達関数を求めたのは、 後で、必要な想定音源位置の方向の頭部伝達関数を、その中から選択することができるようにするためである。しかし、予め、仮想音像定位位置が固定されており、かつ、反射波の入射方向も定まっている場合には、その固定された仮想音像定位位置や反射波の入射方向の想定音源位置のみに対する正規化頭部伝達関数を求めるようにしても勿論良い。
なお、複数の想定音源位置からの直接波のみについての頭部伝達関数および素の状態の伝達特性を測定するために、上述の実施形態では、無響室において測定を行うようにしたが、無響室ではなく、反射波が含まれる部屋や場所であっても、当該反射波が直接波に対して大きく遅延している場合には、直接波成分のみを時間ウインドーを掛けて、抽出するようにすることもできる。
また、想定音源位置でスピーカで発生する頭部伝達関数の測定用音波を、インパルスではなく、TSP(Time Stretched Pulse)信号とすることで、無響室ではなくても、反射波を除去して、直接波のみについての頭部伝達関数および素の状態の伝達特性を測定することができる。
[正規化頭部伝達関数を用いることによる効果の検証]
実際に頭部伝達関数の測定に用いたスピーカおよびマイクロホンを含む測定系の特性を、図6に示す。すなわち、図6(A)は、ダミーヘッドや人間などの障害物を入れない状態で、スピーカにより、0から20kHzまでの周波数信号の音を、同じ一定レベルで再生し、マイクロホンでピックアップしたときの、当該マイクロホンからの出力信号の周波数特性である。
ここで使用したスピーカは、業務用のかなり特性の良いとされるスピーカーであるが、それでも、図6(A)に示すような特性を有し、平坦な周波数特性とならない。また、実際にも、この図6(A)の特性は一般的なスピーカの中ではかなりフラットな部類に属される優秀な特性とされている。
従来は、このスピーカおよびマイクロホンの系の特性が、頭部伝達関数に付加された状態であり、それが除去されないので、頭部伝達関数を畳み込んで得られる音の特性や音質が、そのスピーカおよびマイクロホンの系の特性に左右されてしまうことになる。
図6(B)は、同じ条件で、ダミーヘッドや人間などの障害物を入れた状態におけるマイクロホンからの出力信号の周波数特性である。1200Hz付近や10kHz付近で大きなディップが生じ、かなり変動する周波数特性となることが分かる。
図7(A)は、図6(A)の周波数特性と、図6(B)の周波数特性とを重ねて示した周波数特性図である。
これに対して図7(B)は、上述したような実施形態により、正規化した頭部伝達関数の特性を示すものである。この図7(B)から、正規化した頭部伝達関数の特性においては、低域においても、ゲインは下がらない特性となっていることが分かる。
上述したこの発明の実施形態においては、複素FFT処理を行い、位相成分を考慮した正規化頭部伝達関数を用いるようにしているので、位相を考慮せずに、振幅成分のみを用いて正規化した頭部伝達関数を用いた場合に比べて、正規化頭部伝達関数の忠実度が高いという特徴がある。
すなわち、位相を考慮せずに振幅のみを正規化する処理を行い、最終的に用いるインパルス特性を再度FFTして特性を取ったものを、図8に示す。この図8と、この実施形態の正規化頭部伝達関数の特性である図7(B)とを比較参照すると分かるように、頭部伝達関数X(m)と、素の状態の伝達特性Xref(m)との特性の差分が、この実施形態の複素FFTでは、図7(B)に示すように正しく得られるが、位相を考慮しない場合は、図8に示すように、本来のものからずれてしまう。
また、上述の図1の処理手順においては、IR簡略化部39により、正規化頭部伝達関数の簡略化を最後に行っているので、最初からデータ数を少なくして処理する場合に比べて、特性のずれが少ないという特徴がある。
すなわち、頭部伝達関数測定手段10および素の状態の伝達特性測定手段20で得られたデータについて、最初に、データ数を少なくする簡略化を行った場合(最終的に必要なインパルス数以降を0として正規化を行う場合)には、正規化頭部伝達関数の特性は、図9に示すようなものとなり、特に、低域の特性にずれが出てきてしまう。これに対して、上述した実施形態の構成で得た正規化頭部伝達関数の特性は、図7(B)のようになり、低域においても特性のずれが少ない。
[正規化頭部伝達関数畳み込み方法の実施形態]
図10は、従来の測定方法により求められた頭部伝達関数の例としてのインパルスレスポンスを示すもので、直接波のみではなく、全ての反射波の成分を含んだ総合的なものとなっている。従来は、図10に示すように、この直接波および反射波の全てを含む総合的なインパルスレスポンスの全体を、1つの畳み込みプロセス区間で、音声信号に畳み込むようにする。
反射波として高次のものをも含み、また、仮想音像定位位置から測定点位置までの経路長が長い反射波を含むため、従来の畳み込みプロセス区間は、図10に示すように、比較的長い区間となる。なお、畳み込みプロセス区間の先頭の区間DL0は、仮想音像定位位置からの直接波が測定点位置まで到達する時間に相当する遅延分を示している。
図10のような従来の頭部伝達関数畳み込み方法に対して、この実施形態では、上述のようにして求めた直接波の正規化頭部伝達関数と、選択された反射波の正規化頭部伝達関数とを、音声信号に畳み込むようにする。
ここで、この実施形態では、仮想音像定位位置を定めたとき、測定点位置(音響再生ドライバー設置位置)との間における直接波の正規化頭部伝達関数は、必ず、音声信号に畳み込む。しかし、反射波の正規化頭部伝達関数については、想定した聴取環境や部屋構造などに応じて選択したもののみを音声信号に畳み込むようにする。
例えば、前述した大平原のような聴取環境を想定した場合には、反射波としては、仮想音像定位位置から地面(床)での反射波のみを選択し、当該反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を音声信号に畳み込むようにする。また、例えば、通常の直方体形状の部屋の場合には、天井、床、リスナの左右の壁、リスナの前方および後方の壁の全てからの反射波を選択して、それらの反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を畳み込むようにする。
また、後者の部屋のような場合、反射波としては、一次反射のみではなく、二次反射、三次反射などが生じるが、例えば一次反射のみを選択する。実験によれば、一次反射波のみについての正規化頭部伝達関数を畳み込んだ音声信号であっても、その音声信号を音響再生することにより、良好な仮想音像定位感が得られている。なお、2次以降の反射波についての正規化頭部伝達関数をさらに音声信号に畳み込むようにすれば、その音声信号を音響再生したときには、さらに良好な仮想音像定位感が得られる場合もある。
直接波についての正規化頭部伝達関数は、基本的には、そのままの利得(ゲイン)で音声信号に畳み込むようにするが、反射波については、一次反射であるか、二次反射であるか、さらに高次の反射であるかに応じた利得で、正規化頭部伝達関数を音声信号に畳み込むようにする。これは、この実施形態で得られる正規化頭部伝達関数は、それぞれ所定の方向に設定した想定音源位置からの直接波について測定したものであり、当該所定の方向からの反射波についての正規化頭部伝達関数は、直接波に対して減衰したものとなるからである。なお、反射波についての正規化頭部伝達関数の直接波に対する減衰量は、高次になるほど大きくなる。
また、前述もしたように、反射波の頭部伝達関数については、この実施形態では、さらに、想定する反射部位の表面形状、表面構造、材質などに応じた吸音率(音波の減衰率)を考慮した利得を設定することができるようにしている。
以上のように、この実施形態では、頭部伝達関数を畳み込む反射波を選択し、また、それぞれの反射波の頭部伝達関数の利得を調整するようにするので、任意の想定した部屋環境や聴取環境に応じた頭部伝達関数の音声信号に対する畳み込みが可能となる。つまり、従来のように、良好な音場空間を提供する部屋やスペースにおいて、頭部伝達関数の測定を行うことなく、良好な音場空間を提供すると想定される部屋やスペースにおける頭部伝達関数を音声信号に畳み込むことが可能となる。
[畳み込み方法の第1の例(複数処理);図11、図12]
この実施形態では、直接波の正規化頭部伝達関数(直接波方向頭部伝達関数)と、それぞれの反射波の正規化頭部伝達関数(反射波方向頭部伝達関数)とは、上述したように、それぞれ独立に求められるので、第1の例では、直接波および選択したそれぞれの反射波の正規化頭部伝達関数は、音声信号に対して、独立に畳み込み処理するようにする。
例えば、直接波(直接波の方向)のほかに、3個の反射波(反射波の方向)が選択されて、それぞれに対応する正規化頭部伝達関数(直接波方向頭部伝達関数および反射波方向頭部伝達関数)が畳み込まれる場合について説明する。
直接波および反射波のそれぞれに対しては、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間が予め求められる。この遅延時間は、測定点位置(音響再生ドライバー位置)と仮想音像定位位置が定まり、反射部位が定まれば、計算により求められる。そして、反射波については、正規化頭部伝達関数に対する減衰量(ゲイン)も予め定められる。
図11に、直接波および3個の反射波についての遅延時間およびゲイン、さらに、畳み込み処理区間の例を示す。
図11の例においては、直接波の正規化頭部伝達関数(直接波方向頭部伝達関数)については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する時間に相当する遅延DL0が考慮される。すなわち、直接波の正規化頭部伝達関数の畳み込み開始時点は、図11の最下欄に示すように、前記遅延DL0だけ音声信号を遅延した時点t0となる。
そして、前述したようにして求められている当該直接波の方向についての正規化頭部伝達関数が、前記時点t0から開始する、当該正規化頭部伝達関数のデータ長分(上述の例では、600個のデータ分)の畳み込みプロセス区間CP0で、音声信号に対して畳み込み処理がなされる。
次に、3個の反射波のうち、第1の反射波1の正規化頭部伝達関数(反射波方向頭部伝達関数)については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延DL1が考慮される。すなわち、第1の反射波1の正規化頭部伝達関数の畳み込み開始時点は、図11の最下欄に示す、前記遅延DL1だけ音声信号を遅延した時点t1となる。
そして、前述したようにして求められている第1の反射波1の方向についての正規化頭部伝達関数(反射波方向頭部伝達関数)が、前記時点t1から開始する、当該正規化頭部伝達関数のデータ長(上述の例では、600個のデータ分)の畳み込みプロセス区間CP1で、音声信号に対して畳み込み処理がなされる。この畳み込み処理に際して、前記正規化頭部伝達関数は、第1の反射波1が第何次の反射波であるかと、反射部位における吸音率(または反射率)とが考慮されたゲインG1(G1<1)倍される。
また、同様にして、第2の反射波2および第3の反射波3の正規化頭部伝達関数(反射波方向頭部伝達関数)については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延DL2およびDL3がそれぞれ考慮される。すなわち、図11の最下欄に示すように、第2の反射波2の正規化頭部伝達関数の畳み込み開始時点は、前記遅延DL2だけ音声信号を遅延した時点t2となり、第3の反射波3の正規化頭部伝達関数の畳み込み開始時点は、前記遅延DL3だけ音声信号を遅延した時点t3となる。
そして、前述したようにして求められている第2の反射波2の方向についての正規化頭部伝達関数(反射波方向頭部伝達関数)が、前記時点t2から開始する、当該正規化頭部伝達関数のデータ長(上述の例では、600個のデータ分)の畳み込みプロセス区間CP2で、また、第3の反射波3の方向についての正規化頭部伝達関数(反射波方向頭部伝達関数)が、前記時点t3から開始する、当該正規化頭部伝達関数のデータ長(上述の例では、600個のデータ分)の畳み込みプロセス区間CP3で、それぞれ音声信号に対して畳み込み処理がなされる。
この畳み込み処理に際して、前記正規化頭部伝達関数は、第2の反射波2および第3の反射波3のそれぞれが第何次の反射波であるかと、反射部位における吸音率(または反射率)とが考慮されたゲインG2およびG3(G2<1およびG3<1)倍される。
以上説明した図11の例の畳み込み処理を実行する正規化頭部伝達関数畳み込み部のハードウエア構成例を、図12に示す。
この図12の例は、直接波用の畳み込み処理部51と、第1〜第3の反射波1,2,3用の畳み込み処理部52,53,54と、加算部55とからなる。これらの畳み込み処理部51〜54のそれぞれは、全く同一の構成を備え、この例においては、遅延部511,521,531,541と、頭部伝達関数畳み込み回路512,522,532,542と、正規化頭部伝達関数メモリ513,523,533,543と、ゲイン調整部514,524,534,544と、ゲインメモリ515,525,535,545とを備えて構成されている。
この例においては、遅延部511,521,531,541のそれぞれには、頭部伝達関数を畳み込むべき入力音声信号Siが供給される。遅延部511,521,531,541のそれぞれは、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込みの開始時点t0,t1,t2,t3まで、頭部伝達関数を畳み込むべき入力音声信号Siを遅延させるものである。したがって、この例では、図示のように、遅延部511,521,531,541のそれぞれの遅延量は、DL0,DL1,DL2,DL3とされる。
頭部伝達関数畳み込み回路512,522,532,542のそれぞれは、正規化頭部伝達関数を音声信号に畳み込む処理を実行する部分で、この例では、600タップのIIR(Infinite Inpulse Response)フィルタあるいはFIR(Finite Inpulse Response)フィルタで構成される。
正規化頭部伝達関数メモリ513,523,533,543は、頭部伝達関数畳み込み回路512,522,532,542のそれぞれで畳み込む正規化頭部伝達関数を記憶保持するものである。正規化頭部伝達関数メモリ513には、直接波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ523には、第1の反射波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ533には、第2の反射波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ543には、第3の反射波の方向の正規化頭部伝達関数が、それぞれ、記憶保持される。
ここで、記憶保持される直接波の方向の正規化頭部伝達関数、第1の反射波の方向の正規化頭部伝達関数、第2の反射波の方向の正規化頭部伝達関数、および第3の反射波の方向の正規化頭部伝達関数は、例えば、前述の正規化頭部伝達関数メモリ41から選択されて読み出されて、対応する正規化伝達関数メモリ513,523,533,534のそれぞれに書き込まれる。
ゲイン調整部514,524,534,544は、畳み込む正規化頭部伝達関数のゲインを調整するためのものである。このゲイン調整部514,524,534,544は、ゲインメモリ515,525,535,545に記憶されているゲイン値(<1)を、正規化正規化伝達関数メモリ513,523,533,534からの正規化頭部伝達関数に乗算し、その乗算結果を頭部伝達関数畳み込み回路512,522,532,542に供給する。
この例では、ゲインメモリ515には、直接波についてのゲイン値G0(≦1)が記憶され、ゲインメモリ525には、第1の反射波についてのゲイン値G1(<1)が記憶され、ゲインメモリ535には、第2の反射波についてのゲイン値G2(<1)が記憶され、ゲインメモリ545には、第3の反射波についてのゲイン値G3(<1)が記憶される。
加算部55は、直接波用の畳み込み処理部51と、第1〜第3の反射波1,2,3用の畳み込み処理部52,53,54からの、それぞれ正規化頭部伝達関数が畳み込まれた音声信号を加算して合成し、出力音声信号Soを出力する。
以上のような構成において、頭部伝達関数を畳み込むべき入力音声信号Siが、遅延部511,521,531,541のそれぞれに供給されて、それぞれ、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込みの開始時点t0,t1,t2,t3まで、遅延させられる。遅延部511,521,531,541のそれぞれで、正規化頭部伝達関数の畳み込みの開始時点t0,t1,t2,t3まで、遅延させられた入力音声信号Siは、頭部伝達関数畳み込み回路512,522,532,542に供給される。
一方、正規化頭部伝達関数メモリ513,523,533,543のそれぞれからは、それぞれ畳み込みの開始時点t0,t1,t2,t3から、順次に、記憶保持されている正規化頭部伝達関数データが読み出される。正規化頭部伝達関数メモリ513,523,533,543のそれぞれからの正規化頭部伝達関数データの読み出しタイミング制御に関しては、ここでは省略する。
読み出された正規化頭部伝達関数データは、ゲイン調整部514,524,534,544のそれぞれにおいて、ゲインメモリ515,525,535,545からのゲインG0,G1,G2,G3倍されて、ゲイン調整された後、頭部伝達関数畳み込み回路512,522,532,542のそれぞれに供給される。
頭部伝達関数畳み込み回路512,522,532,542のそれぞれでは、図11に示した畳み込みプロセス区間CP0,CP1,CP2,CP3のそれぞれにおいて、ゲイン調整された正規化頭部伝達関数データを畳み込み処理する。
そして、これら頭部伝達関数畳み込み回路512,522,532,542のそれぞれでの正規化頭部伝達関数データの畳み込み処理結果が加算部55で加算され、その加算結果が、出力音声信号Soとして出力される。
この第1の例の場合においては、直接波および複数の反射波についての正規化頭部伝達関数のそれぞれを、音声信号に独立に畳み込み処理することができるので、遅延部511,521,531,541における遅延量およびゲインメモリ515,525,535,545に記憶するゲインを調整することにより、さらに、正規化頭部伝達関数メモリ513,523,533,543に記憶して畳み込む正規化伝達関数を変えることにより、屋内や屋外などの聴取環境スペースの種類の違いや、部屋の形状、大きさ、反射部位の材質(吸音率や反射率)の違いなど、聴取環境の違いに応じた頭部伝達関数の畳み込みが容易にできる。
遅延部511,521,531,541を、外部からのオペレータなどの操作入力に応じて遅延量を可変できる可変遅延手段で構成し、正規化頭部伝達関数メモリ513,523,533,543に対して、オペレータが正規化頭部伝達関数メモリ40から選択した任意の正規化頭部伝達関数を書き込むようにする手段と、さらに、ゲインメモリ515,525,535,545に対して、オペレータが任意のゲインを入力して記憶することができる手段を設けた場合には、オペレータが任意に設定した聴取環境スペースや部屋環境などの聴取環境に応じた頭部伝達関数の畳み込みができる。
例えば、部屋形状が全く同じ聴取環境において、壁の材質(吸音率や反射率)に応じてゲインを変更することが容易にでき、壁の材質を種々変更して状況における仮想音像定位状態をシミュレートすることができる。
なお、図11の例の構成において、直接波用の畳み込み処理部51および第1〜第3の反射波1,2,3用の畳み込み処理部52,53,54のそれぞれに正規化頭部伝達関数メモリ513,523,533,543を設ける代わりに、それらの畳み込み処理部51〜54に共通に正規化頭部伝達関数メモリ40を設けると共に、畳み込み処理部51〜54のそれぞれに、正規化頭部伝達関数メモリ40から、畳み込み処理部51〜54のそれぞれで必要とする正規化頭部伝達関数を選択的に読み出す手段を設けるように構成しても良い。
なお、上述の第1の例は、直接波の他に、3個の反射波を選択して、それらの正規化頭部伝達関数を音声信号に畳み込むようにした場合についての説明であるが、選択される反射波の正規化頭部伝達関数が3個以上の場合には、図12の構成において、反射波用の畳み込み処理部52,53,54と同様の畳み込み処理部を、必要な数だけ設けることにより、全く同様にして、それらの正規化頭部伝達関数の畳み込みを行うことができる。
なお、図11の例では、遅延部511,521,531,541は、それぞれ入力音声信号Siを、畳み込み開始時点まで遅延するように構成したので、それぞれの遅延量は、DL0,DL1,DL2,DL3とされている。しかし、遅延部511の出力端を遅延部521の入力端に接続し、遅延部521の出力端を遅延部531の入力端に接続し、遅延部531の出力端を遅延部541の入力端に接続するように構成すれば、遅延部521,532,542での遅延量は、それぞれDL1−DL0、DL2−DL1、DL3−DL2とすることできて、小さくすることができる。
また、畳み込みプロセス区間CP0,CP1,CP2,CP3が互いに重ならない場合には、畳み込みプロセス区間CP0,CP1,CP2,CP3の時間長を考慮しながら、直列的に、遅延回路と畳み込み回路とを接続構成することもできる。その場合には、畳み込みプロセス区間の時間長CP0,CP1,CP2,CP3をTP0,TP1,TP2,TP3とすれば、遅延部521,532,542での遅延量は、それぞれDL1−DL0−TP0、DL2−DL1−TP1、DL3−DL2−TP2とすることできて、さらに小さくすることができる。
[畳み込み方法の第2の例(係数合成処理);図13、図14]
この第2の例は、予め定まった聴取環境についての頭部伝達関数を畳み込み処理する場合に用いられる。すなわち、聴取環境スペースの種類や、部屋の形状、大きさ、反射部位の材質(吸音率や反射率)など、聴取環境が予め定まっている場合には、直接波および選択される反射波の正規化頭部伝達関数の畳み込みの開始時点は定まったものとなり、且つ、それぞれの正規化頭部伝達関数を畳み込む際の減衰量(ゲイン)も定まったものとなる。
例えば前述した直接波および3個の反射波の頭部伝達関数を例に取ると、図13に示すように、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込みの開始時点は、それぞれ前述した開始時点t0,t1,t2,t3となり、音声信号に対する遅延量は、DL0,DL1,DL2,DL3となる。そして、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込み時のゲインは、それぞれG0,G1,G2,G3と定めることができる。
そこで、第2の例においては、図13に示すように、これらの正規化頭部伝達関数を時系列的に合成して合成正規化頭部伝達関数とし、畳み込みプロセス区間を、音声信号に対して、これらの複数個の正規化頭部伝達関数の畳み込みを完了するまでの期間とする。
ここで、図13に示すように、それぞれの正規化頭部伝達関数の実質的な畳み込み区間は、CP0,CP1,CP2,CP3であって、これらの畳み込み区間CP0,CP1,CP2,CP3以外の区間では、頭部伝達関数のデータは存在しないので、その区間では、データ0(ゼロ)を頭部伝達関数として用いるようにする。
この第2の例の場合には、正規化頭部伝達関数畳み込み部のハードウエア構成例は、図14に示すようなものとなる。
すなわち、この第2の例においては、頭部伝達関数を畳み込むべき入力音声信号Siは、直接波の頭部伝達関数についての遅延部61にて、直接波についての所定の遅延量DL0だけ遅延された後、頭部伝達関数畳み込み回路62に供給される。
この頭部伝達関数畳み込み回路62には、合成正規化頭部伝達関数メモリ63からの合成正規化頭部伝達関数が供給されて、音声信号に畳み込まれる。合成正規化頭部伝達関数メモリ63に記憶される合成正規化頭部伝達関数は、前述の図13を用いて説明した合成正規化頭部伝達関数である。
この第2の例は、遅延量を変更したり、ゲインを変更したりする場合にも、合成正規化頭部伝達関数の全てを書き換える必要があるが、図14に示すように、正規化頭部伝達関数を畳み込む回路のハードウエア構成を簡単にすることができるというメリットがある。
[畳み込み方法の他の例]
上述した第1および第2の例では、いずれも、直接波および選択した反射波については、畳み込みプロセス区間CP0,CP1,CP2,CP3のそれぞれにおいて、予め測定しておいた対応する方向についての正規化頭部伝達関数を音声信号に畳み込むようにした。
しかし、重要なのは、選択した反射波についての頭部伝達関数の畳み込み開始時点および畳み込みプロセス区間CP1,CP2,CP3であり、実際に畳み込む信号は、対応する頭部伝達関数ではなくても良い。
すなわち、例えば、上述した第1および第2の例において、直接波の畳み込みプロセス区間CP0においては、直接波についての正規化頭部伝達関数(直接波方向頭部伝達関数)を畳み込むようにするが、反射波の畳み込みプロセス区間CP1,CP2,CP3においては、簡易的に、畳み込みプロセス区間CP0と同じ直接波方向頭部伝達関数を、必要なゲインG1,G2,G3倍することで減衰させたものを、それぞれ畳み込むようにしても良い。
すなわち、第1の例の場合であれば、正規化頭部伝達関数メモリ523,533,543には、正規化頭部伝達関数メモリ513と同じ直接波についての正規化頭部伝達関数を記憶しておくようにする。あるいは、正規化頭部伝達関数メモリ523,533,543は省略して、正規化頭部伝達関数メモリ513のみを設け、当該正規化頭部伝達関数メモリ513からゲイン調整部514のみではなく、ゲイン調整部524,534,544にも、それぞれの畳み込みプロセス区間CP1,CP2,CP3で、直接波の正規化頭部伝達関数を読み出して供給するようにしても良い。
さらには、同様に、上述した第1および第2の例において、直接波の畳み込みプロセス区間CP0においては、直接波についての正規化頭部伝達関数(直接波方向頭部伝達関数)を畳み込むようにするが、反射波の畳み込みプロセス区間CP1,CP2,CP3においては、簡易的に、畳み込み対象である音声信号を、それぞれ対応する遅延量DL1,DL2,DL3だけ遅延したものを、それぞれ畳み込むようにしても良い。すなわち、畳み込み対象の音声信号を前記遅延量DL1,DL2,DL3だけ保持する保持手段を設け、それら保持手段で保持した音声信号を反射波の畳み込みプロセス区間CP1,CP2,CP3で畳み込むようにする。
[実施形態の頭部伝達関数畳み込み方法を用いた音響再生システムの例;図16〜図18]
次に、この発明による頭部伝達関数畳み込み方法の実施形態を、ヘッドホンを用いてマルチサラウンド音声信号を再生する場合に適用することにより、仮想音像定位を用いた再生を行うことができるようにした再生装置に適用した場合を例に説明する。
以下に説明する例は、ITU(国際電気通信連合)−Rによる7.1チャンネルマルチサラウンドの場合のスピーカ配置を想定して、オーバーヘッドホンにより、この7.1チャンネルマルチサラウンドのスピーカ配置位置に、各チャンネルの音声成分が仮想音像定位するように、頭部伝達関数を畳み込むようにする場合である。
図15に、ITU−Rの7.1チャンネルマルチサラウンドのスピーカ配置例を示すもので、リスナ位置Pnを中心とした円周上に、各チャンネルのスピーカが位置するように定められる。
図15において、リスナの正面位置であるCは、センターチャンネルのスピーカ位置である。センターチャンネルのスピーカ位置Cを中心として、その両側において、互いに60度の角範囲だけ離れた位置であるLFおよびRFは、それぞれ左前方チャンネルおよび右前方チャンネルのスピーカ位置を示している。
そして、リスナの正面位置Cの左右60度から150度の範囲において、左側および右側に2個ずつのスピーカ位置LS,LBおよびRS,RBが設定される。これらスピーカ位置LS,LBとRS,RBとは、リスナに対して左右対称の位置に設定されるものである。スピーカ位置LSおよびRSは、左側方チャンネルおよび右側方チャンネルのスピーカ位置であり、スピーカ位置LBおよびRBは、左後方チャンネルおよび右後方チャンネルのスピーカ位置である。
この音響再生システムの例においては、オーバーヘッドホンとして、前述の図5で説明した、左右の耳用のそれぞれに対して、7個ずつのヘッドホンドライバーが配置されるものを使用する。
したがって、この例においては、前述の図5に示したようにして、リスナに対して水平方向および垂直方向のそれぞれにおいて、例えば10度角間隔毎などの所定の分解能で定めた多数の想定音源位置を定め、その多数の想定音源位置のそれぞれについて、7個ずつのヘッドホンドライバートのそれぞれについての正規化頭部伝達関数を求めるようにする。
そして、7.1チャンネルのマルチサラウンド音声信号を、この例のオーバーヘッドホンで音響再生したとき、図15の各スピーカ位置C,LF,RF,LS,RS,LB,RBの方向を仮想音像定位方向として音響再生されるようにするように、後述するようにして、7.1チャンネルのマルチサラウンド音声信号の各チャンネルの音声信号に、選択された正規化頭部伝達関数を畳み込むようにする。
図16および図17は、音響再生システムのハードウエア構成例を示すものである。図16と図17とに分けたのは、紙面の大きさの都合上、この例の音響再生システムを一つの紙面内に収めて示すことが困難であったためであり、図16の続きが図17となっている。
なお、この図16および図17においては、図15のスピーカ位置C,LF,RF,LS,RS,LB,RBに供給すべき各チャンネルの音声信号は、同じ記号C,LF,RF,LS,RS,LB,RBを用いて示している。ここで、図16および図17において、LFE(Low Frequency Effect)チャンネルは、低域効果チャンネルであり、これは、通常、音像定位方向が定まらない音声であるので、この例では、頭部伝達関数の畳み込み対象とはしない音声チャンネルとしている。
図16に示すように、7.1チャンネルの信号、すなわち、LF,LS,RF,RS,LB,RB,CおよびLFEの8チャンネルの音声信号は、それぞれ、レベル調整部71LF,71LS,71RF,71RS,71LB,71RB,71Cおよび71LFE、また、アンプ72LF,72LS,72RF,72RS,72LB,72RB,72Cおよび72LFEを通じて、A/Dコンバータ73LF,73LS,73RF,73RS,73LB,73RB,73Cおよび73LFEに供給されて、デジタル音声信号に変換される。
図17に示すように、この例においては、左耳用の7個のヘッドホンドライバー90L1,90L2,90L3,90L4,90L5,90L6,90L7のそれぞれは、右前方チャンネルのクロストークチャンネルxRF用、左側方チャンネルLS用、左前方チャンネルLF用、左後方チャンネルLB用、センターチャンネルC用、低域効果チャンネルLFE用、右側方チャンネルのクロストークチャンネルxRS用、のそれぞれとされる。
また、右耳用の7個の左耳用の7個のヘッドホンドライバー90R1,90R2,90R3,90R4,90R5,90R6,90R7のそれぞれは、左前方チャンネルのクロストークチャンネルxLF用、右側方チャンネルRS用、右前方チャンネルRF用、右後方チャンネルRB用、センターチャンネルC用、低域効果チャンネルLFE用、左側方チャンネルのクロストークチャンネルxLS用、のそれぞれとされる。
ここで、この例では、センターチャンネルC用の音声信号と、低域効果チャンネルLFE用の音声信号とは、左右のヘッドホンドライバー90L5,90R5と、ヘッドホンドライバー90L6,90R6とに、それぞれ共通に生成されて供給される構成とされている。以上のことから、図16および図17に示す音響再生システムにおいては、オーバーヘッドホンの左右の耳用の各ヘッドホンドライバーへ供給する音声信号として、12チャンネル分が生成される。
図16に示すように、この例では、12チャンネル分の頭部伝達関数畳み込み処理部74xRF、74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFが設けられる。
頭部伝達関数畳み込み処理部74xRFは、右前方チャンネルのクロストークチャンネルxRF用、頭部伝達関数畳み込み処理部74LSは、左側方チャンネルLS用、頭部伝達関数畳み込み処理部74LFは、左前方チャンネルLF用、頭部伝達関数畳み込み処理部74LBは、左後方チャンネルLB用、頭部伝達関数畳み込み処理部74xRSは、右側方チャンネルのクロストークチャンネルxRS用、頭部伝達関数畳み込み処理部74LFEは、低域効果チャンネルLFE用、頭部伝達関数畳み込み処理部74Cは、センターチャンネルC用、頭部伝達関数畳み込み処理部74xLSは、左側方チャンネルのクロストークチャンネルxLS用、頭部伝達関数畳み込み処理部74RBは、右後方チャンネルRB用、頭部伝達関数畳み込み処理部74RFは、右前方チャンネルRF用、頭部伝達関数畳み込み処理部74RSは、右側方チャンネルRS用、頭部伝達関数畳み込み処理部74xLFは、左側方チャンネルのクロストークチャンネルxLS用、である。
この例においては、頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれは、同じハードウエア構成を有するもので、図18に示すようなものとなる。
この例の場合、図5に示したように、1つの想定音源位置方向からの測定用音波について、7個のヘッドホンドライバーに対応する7個のマイクロホンでそれぞれ頭部伝達関数を測定し、それぞれを前述したように正規化して7個の正規化頭部伝達関数を得ている。そして、取得した7個の正規化頭部伝達関数は、測定用マイクロホンのそれぞれに対応するヘッドホンドライバーに供給する7個の音声信号にそれぞれ畳み込むようにするものである。
そのため、頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれは、図18に示すように、LFEチャンネルを除く7チャンネルの音声信号についての7個の正規化頭部伝達関数畳み込み部101,102,103,104,105,106,107と、それらの7個の正規化頭部伝達関数畳み込み部101〜107の出力を加算する加算部108とで構成される。
7個の正規化頭部伝達関数畳み込み部101〜107のそれぞれは、その入力音声信号に対する必要な正規化頭部伝達関数の畳み込み処理を実行する。この7個の正規化頭部伝達関数畳み込み部101〜107のそれぞれのハードウエア構成としては、前述した図12の第1の例のハードウエア構成を採用することもできるし、図14の第2の例のハードウエア構成を採用するようにすることできる。
頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれにおいては、7.1チャンネルのマルチサラウンドの再生音場として仮想音像定位させるようにするために畳み込むべき正規化頭部伝達関数として選択されたもの(直接波および反射波についての正規化頭部伝達関数)がそれぞれ畳み込み処理される。
なお、この例において、頭部伝達関数畳み込み処理部74LFEでは、頭部伝達関数の畳み込み処理は行わず、低域効果チャンネルLFEの音声信号が入力され、そのまま出力されるようにされている。
これら頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれの出力音声信号は、レベル調整部75xRF,75LS,75LF,75LB,75xRS,75LFE,75C,75xLS,75RB,75RF,75RS,75xLFのそれぞれを通じて、図17に示すように、D/Aコンバータ76xRF,76LS,76LF,76LB,76xRS,76LFE,76C,76xLS,76RB,76RF,76RS,76xLFのそれぞれに供給されて、アナログ音声信号に変換される。
D/Aコンバータ76xRF,76LS,76LF,76LB,76xRS,76LFE,76C,76xLS,76RB,76RF,76RS,76xLFのそれぞれからのアナログ音声信号は、電流電圧変換部77xRF,77LS,77LF,77LB,77xRS,77LFE,77C,77xLS,77RB,77RF,77RS,77xLFのそれぞれに供給されて、電流信号から電圧信号に変換される。
そして、電流電圧変換部77xRF,77LS,77LF,77LB,77xRS,77LFE,77C,77xLS,77RB,77RF,77RS,77xLFのそれぞれからの電圧信号とされた音声信号は、レベル調整部78xRF,78LS,78LF,78LB,78xRS,78LFE,78C,78xLS,78RB,78RF,78RS,78xLFのそれぞれで、レベル調整された後、利得調整部79xRF,79LS,79LF,79LB,79xRS,79LFE,79C,79xLS,79RB,79RF,79RS,79xLFのそれぞれに供給されて利得調整される。
そして、利得調整部79xRF,79LS,79LF,79LB,79xRSの出力音声信号は、アンプ80L1,80L2,80L3,80L4,80L7をそれぞれ通じて左耳用のヘッドホンドライバー90L1,90L2,90L3,90L4,90L7に供給される。
また、利得調整部79xLS,79RB,79RF,79RS,79xLFの出力音声信号は、アンプ80R7,80R4,80R3,80R2,80R1をそれぞれ通じて左耳用のヘッドホンドライバー90R7,90R4,90R3,90R2,90R1に供給される。
また、利得調整部79Cの出力音声信号は、アンプ80L5を通じてヘッドホンドライバー90L5に供給されると共に、アンプ80R5を通じてヘッドホンドライバー90R5に供給される。さらに、利得調整部79LFEの出力音声信号は、アンプ80L6を通じてヘッドホンドライバー90L6に供給されると共に、アンプ80R6を通じてヘッドホンドライバー90R6に供給される。
[実施形態の音響再生システムにおける正規化頭部伝達関数の畳み込み開始タイミングの例(図19〜図27)]
次に、図16の頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFで畳み込まれる正規化頭部伝達関数およびその畳み込み開始タイミングについて説明する。
例えば、縦×横=4550mm×3620mmの直方体形状の10畳の部屋を想定し、且つ、左前方スピーカ位置LFと、右前方スピーカ位置RFとの距離を1600mmとして、ITU−Rの7.1チャンネルマルチサラウンドの再生音響空間を想定したときの頭部伝達関数の畳み込みについて説明する。なお、ここでは、説明の簡単のため、反射波については、天井反射と床反射は省略して、壁反射のみについて説明するものとする。
この実施形態では、直接波についての正規化頭部伝達関数、そのクロストーク成分についての正規化頭部伝達関数、1次反射波についての正規化頭部伝達関数、およびそのクロストーク成分についての正規化頭部伝達関数を畳み込むようにする。
先ず、右前方スピーカ位置RFを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図19に示すようなものとすることができる。
すなわち、図19において、RFdは、位置RFからの直接波を示しており、また、xRFdはその左チャンネルへのクロストークを示している。なお、記号xは、クロストークであることを示している。以下同様である。
また、RFsRは、位置RFから右側壁に一次反射した反射波を示しており、xRFsRは、その左チャンネルへのクロストークを示している。また、RFfRは、位置RFから前方壁に一次反射した反射波を示しており、xRFfRは、その左チャンネルへのクロストークを示している。また、RFsLは、位置RFから左側壁に一次反射した反射波を示しており、xRFsLは、その左チャンネルへのクロストークを示している。さらに、RFbRは、位置RFから前方壁に一次反射した反射波を示しており、xRFbRは、その左チャンネルへのクロストークを示している。
直接波およびそのクロストーク、また、反射波およびそのクロストークのそれぞれについて、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Pnに最後に入射する方向について測定した正規化頭部伝達関数とされる。すなわち、1つの方向の音波に対して、7個のヘッドホンドライバーのそれぞれに対応して測定される7個の正規化頭部伝達関数である。そして、それら7個の正規化頭部伝達関数は、それぞれ対応するヘッドホンドライバーに供給されるべきチャンネルの音声信号に畳み込まれるものである。
そして、直接波RFdおよびそのクロストークxRFd、反射波RFsR、RFfR、RFsL、RFbRおよびそれらのクロストークxRFsR、xRFfR、xRFsL、xRFbRの正規化頭部伝達関数を、右前方チャンネルRFの音声信号に畳み込み開始すべき時点は、それら音波の経路長から計算されて、図20に示すようなものとなる。
そして、畳み込む正規化頭部伝達関数のゲインは、直接波については、減衰量0とされる。また、反射波については、想定される吸音率に応じた減衰量とされる。
なお、図20は、直接波RFdおよびそのクロストークxRFd、反射波RFsR、RFfR、RFsL、RFbRおよびそれらのクロストークxRFsR、xRFfR、xRFsL、xRFbRの正規化頭部伝達関数を、音声信号に畳み込み開始すべき時点を示しているだけで、1つのチャンネル用のヘッドホンドライバーに供給する音声信号に畳み込む正規化頭部伝達関数の畳み込み開始点を示しているわけではない。
すなわち、直接波RFdおよびそのクロストークxRFd、反射波RFsR、RFfR、RFsL、RFbRおよびそれらのクロストークxRFsR、xRFfR、xRFsL、xRFbRの正規化頭部伝達関数のそれぞれは、前記頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのうちから予め選定されたチャンネル用の頭部伝達関数畳み込み処理部において畳み込まれる。
このことは、右前方スピーカ位置RFを仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数のみではなく、他のチャンネルのスピーカ位置を仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数と、畳み込み対象の音声信号との関係においても同様である。
次に、左前方スピーカ位置LFを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図19に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波LFd、そのクロストークxLFd、また、左側壁からの反射波LFsL、そのクロストークxLFsL、前方壁からの反射波LFfL、そのクロストークxLFfL、右側壁からの反射波LFsR、そのクロストークxLFsR、後方壁からの反射波LFbL、そのクロストークxLFbLとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図20に示したものと同様となる。
また、同様にして、センタースピーカ位置Cを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図21に示すようなものとすることができる。
すなわち、直接波Cd、右側壁からの反射波CsR、そのクロストークxCsR、後方壁からの反射波CbRとなる。図21には、右側の反射波のみについて示したが、左側についても同様に設定することができ、左側壁からの反射波CsL、そのクロストークxCsL、後方壁からの反射波CbLとなる。
そして、それらの直接波および反射波、そのクロストークの、リスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図22に示すようなものとなる。
次に、右側方スピーカ位置RSを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図23に示すようなものとすることができる。
すなわち、直接波RSd、そのクロストークxRSd、また、右側壁からの反射波RSsR、そのクロストークxRSsR、前方壁からの反射波RSfR、そのクロストークxRSfR、左側壁からの反射波RSsL、そのクロストークxRSsL、後方壁からの反射波RSbR、そのクロストークxRSbRとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図24に示すようなものとなる。
左側方スピーカ位置LSを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図23に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波LSd、そのクロストークxLSd、また、左側壁からの反射波LSsL、そのクロストークxLSsL、前方壁からの反射波LSfL、そのクロストークxLSfL、右側壁からの反射波LSsR、そのクロストークxLSsR、後方壁からの反射波LSbL、そのクロストークxLSbLとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図24に示したものと同様となる。
また、右後方スピーカ位置RBを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図25に示すようなものとすることができる。
すなわち、直接波RBd、そのクロストークxRBd、また、右側壁からの反射波RBsR、そのクロストークxRBsR、前方壁からの反射波RBfR、そのクロストークxRBfR、左側壁からの反射波RBsL、そのクロストークxRBsL、後方壁からの反射波RBbR、そのクロストークxRBbRとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図26に示すようなものとなる。
左後方スピーカ位置LBを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図25に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波LBd、そのクロストークxLBd、また、左側壁からの反射波LBsL、そのクロストークxLBsL、前方壁からの反射波LBfL、そのクロストークxLBfL、右側壁からの反射波LBsR、そのクロストークxLBsR、後方壁からの反射波LBbL、そのクロストークxLBbLとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図26に示したものと同様となる。
以上は、正規化頭部伝達関数を畳み込むべき直接波および反射波の方向およびその畳み込み開始タイミングを説明したものであるが、これらの正規化頭部伝達関数の畳み込み処理を、頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのいずれのチャンネルにおいて実行するかの一例を、図27に示す。
図27(A)は、この例において、右前方チャンネルのクロストークチャンネルxRF用である頭部伝達関数畳み込み処理部74xRFにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数の畳み込み開始タイミングを示している。
左前方チャンネルのクロストークチャンネルxLF用である頭部伝達関数畳み込み処理部74xLFにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数については、図示は省略するが、図27(A)に示した直接波および反射波、また、それらのクロストークとは、左右を逆にしたものについての正規化頭部伝達関数が、図27(A)に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。
図27(B)は、センターチャンネルC用である頭部伝達関数畳み込み処理部74Cにおいて畳み込まれる直接波Cdについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部74Cにおいては、センターチャンネルの直接波についての正規化頭部伝達関数のみが畳み込まれる。
図27(C)は、左前方チャンネルLF用である頭部伝達関数畳み込み処理部74LFにおいて畳み込まれる直接波LFdについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部74LFにおいては、左前方チャンネルについての直接波LFdについての正規化頭部伝達関数のみが畳み込まれる。
図示は省略するが、右前方チャンネルRF用である頭部伝達関数畳み込み処理部74RFにおいても、右前方チャンネルについての直接波RFdについての正規化頭部伝達関数のみが畳み込まれる。
図27(D)は、左後方チャンネルLB用である頭部伝達関数畳み込み処理部74LBにおいて畳み込まれる直接波および反射波についての正規化頭部伝達関数の畳み込み開始タイミングを示している。
図示は省略するが、右後方チャンネルRB用である頭部伝達関数畳み込み処理部74RBにおいては、図27(D)に示した直接波および反射波とは、左右を逆にした直接波および反射波についての正規化頭部伝達関数が、図27(D)に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。
図27(E)は、左側方チャンネルLS用である頭部伝達関数畳み込み処理部74LSにおいて畳み込まれる直接波LSdについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部74LSにおいては、左前方チャンネルについての直接波LSdについての正規化頭部伝達関数のみが畳み込まれる。
図示は省略するが、右側方チャンネルRS用である頭部伝達関数畳み込み処理部74RSにおいても、右前方チャンネルについての直接波RSdについての正規化頭部伝達関数のみが畳み込まれる。
図27(F)は、右側方チャンネルのクロストークチャンネルxRS用である頭部伝達関数畳み込み処理部74xRSにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数の畳み込み開始タイミングを示している。
左側方チャンネルのクロストークチャンネルxLS用である頭部伝達関数畳み込み処理部74xLSにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数については、図示は省略するが、図27(F)に示した直接波および反射波、また、それらのクロストークとは、左右を逆にしたものについての正規化頭部伝達関数が、図27(A)に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。
なお、前述したように、以上の説明においては、直接波および反射波の正規化頭部伝達関数の畳み込みについての説明は、壁反射のみについて行ったが、天井反射および床反射についても全く同様にして、考慮することができる。
すなわち、図28は、例えば右前方スピーカRFを仮想音像定位位置とするために頭部伝達関数を畳み込むときに、考慮する天井反射および床反射を示すものである。すなわち、天井に反射して右耳位置に入射する反射波RFcRと、同じく天井に反射して左耳位置に入射する反射波RFcLと、床に反射して右耳位置に入射する反射波RFgRと、同じく床に反射して左耳位置に入射する反射波RFgLとを、考えることができる。また、これらの反射波については、図示は省略したが、クロストークを考慮することもできる。
これらの反射波およびクロストークについても、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Pnに最後に入射する方向について測定した正規化頭部伝達関数とされる。そして、それぞれの反射波についての経路長を計算して、それぞれの正規化頭部伝達関数の畳み込み開始タイミングを定める
そして、畳み込む正規化頭部伝達関数のゲインは、天井および床の材質や表面形状などから想定される吸音率に応じた減衰量とされる。
[音響再生システムの第2の例の構成例;図29]
図16および図17に示した音響再生システムにおいては、ヘッドホンドライバーを7個ずつ左右の耳用として備えるオーバーヘッドホンにより、7.1チャンネルマルチサラウンド音声信号を音響再生するようにした場合である。
これに対して、以下に説明する他の例は、ヘッドホンドライバーが左右の耳用として1個ずつである一般的なオーバーヘッドホンにより、7.1チャンネルマルチサラウンド音声信号を音響再生するようにした場合である。
以下に説明する例では、正規化頭部伝達関数は、図5に示したように、7.1チャンネルマルチサラウンド用として、左右の耳の近傍にそれぞれ7個ずつのマイクロホンを設置して測定したものを使用するものとする。そのため、正規化頭部伝達関数を畳み込み処理するまでの処理は、上述した音響再生システムと全く同様にすることができる。すなわち、図16に示したハードウエア構成は、この例の音響再生システムにおいても同様とする。
この例の音響再生システムにおいては、図29に示すように、レベル調整部75xRF,75LS,75LF,75LB,75xRS,75LFE,75Cからの音声信号は、左チャンネル用の加算部110Lに供給されて加算される。
また、レベル調整部75LFE,75C,75xLS,75RB,75RF,75RS,75xLFからの音声信号は、右チャンネル用の加算部110Rに供給されて加算される。
そして、加算部110Lおよび110Rの出力信号が、それぞれD/Aコンバータ111Lおよび111Rに供給されてアナログ音声信号に変換される。このD/Aコンバータ111Lおよび111Rからのアナログ音声信号は、電流電圧変換部112Lおよび112Rのそれぞれに供給されて、電流信号から電圧信号に変換される。
そして、電流電圧変換部112Lおよび112Rのそれぞれからの電圧信号とされた音声信号は、レベル調整部113Lおよび113Rのそれぞれで、レベル調整された後、利得調整部114Lおよび114Rのそれぞれに供給されて利得調整される。
そして、利得調整部114Lおよび114Rの出力音声信号は、アンプ115Lおよび115Rをそれぞれ通じて左耳用のヘッドホンドライバー120Lおよび右耳用のヘッドホンドライバー12Rに、それぞれ供給されて、音響再生される。
この音響再生システムの第2の例によれば、ヘッドホンドライバーが左右の耳用として1つずつのヘッドホンにより、7.1チャンネルのマルチサラウンドの音場を仮想音像定位により良好に再生することができる。
[実施形態の効果]
従来は、頭部伝達特性を用いて信号処理を行う場合は、その測定系の特性が除去できないため、特性が良く、音の良い高価なスピーカおよびマイクロホンを用いて測定をしないと、最終的な畳み込み処理後の音質が劣化してしまった。これに対して、この実施形態における正規化頭部伝達関数は、測定系の特性を除去できるため、特性がフラットでない安価なスピーカやマイクロホンを使用した測定系を用いても、音質を劣化させない頭部伝達関数の畳み込み処理が可能になる。
さらに、いくら高価な特性の良いスピーカやマイクロホンを用いても理想的な特性(すべてにおいてフラット)な特性は得られないが、この実施形態によれば、従来のどのような特性より理想的な頭部伝達特性を抽出することができる。
そして、反射波を除去した直接波のみについての頭部伝達関数を、たとえばリスナに対して種々の方向を仮想音源位置として求めているので、それぞれの方向からの音波についての頭部伝達関数を音声信号に容易に畳み込むことができ、それぞれの方向の音波についての頭部伝達関数を畳み込んだときの再生音場を容易に検証することが可能である。
すなわち、上述したように、仮想音像定位位置を、ある特定の位置に定めたい場合において、当該仮想音像定位位置からの直接波についての頭部伝達関数のみでなく、当該仮想音像定位位置からの反射波と想定できる方向の音波についての頭部伝達関数を畳み込んで、その再生音場を検証することができ、いずれの方向の反射波が仮想音像定位に有効か、などを検証することができる。
[その他の変形例]
上述の説明は、主としてヘッドホンを再生音声信号を音響再生する電気音響変換手段とした場合について説明したが、測定方法、処理内容を考慮するとフロントサラウンド等のスピーカを出力系としたアプリケーションへも応用が可能である。
音響再生システムは、マルチサラウンド方式の場合について説明したが、通常の2チャンネルステレオにも適用できることは言うまでもない。
また、7.1チャンネルに限らず、5.1チャンネルや、9.1チャンネルなど、その他のマルチサラウンドの場合にも、同様に適用できることは勿論である。
また、7.1チャンネルのマルチサラウンドのスピーカ配置は、ITU−Rスピーカ配置の場合を例に説明したが、THX社の推奨するスピーカ配置の場合にも適用できることは容易に理解できよう。
この発明による頭部伝達関数測定記憶方法の実施形態を適用するシステム構成例を示すブロック図である。 この発明による頭部伝達関数測定記憶方法の実施形態における頭部伝達関数および素の状態の伝達特性の測定位置を説明するための図である。 この発明による頭部伝達関数測定記憶方法の実施形態における頭部伝達関数の測定位置を説明するための図である。 この発明による頭部伝達関数測定記憶方法の実施形態における頭部伝達関数の測定位置を説明するための図である。 この発明による頭部伝達関数畳み込み方法の実施形態が適用された再生装置の構成例を示すブロック図である。 この発明の実施形態において、頭部伝達関数測定手段および素の状態の伝達特性測定手段で得られる測定結果データの特性例を示す図である。 この発明の実施形態により得られる正規化頭部伝達関数の特性の例を示す図である。 この発明の実施形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。 この発明の実施形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。 従来の一般的な頭部伝達関数の畳み込みプロセス区間を説明するための図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第1の例を説明するための図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第1の例を実施するためのハードウエア構成例を示すブロック図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第2の例を説明するための図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第2の例を実施するためのハードウエア構成例を示すブロック図である。 7.1チャンネルマルチサラウンドの一例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法を適用した音響再生システムの一部を示すブロック図である。 この発明の実施形態の頭部伝達関数畳み込み方法を適用した音響再生システムの一部を示すブロック図である。 図16の頭部伝達関数畳み込み処理部の内部構成例を示すブロック図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の頭部伝達関数畳み込み方法を適用した音響再生システムの他の例の一部を示すブロック図である。 頭部伝達関数を説明するために用いる図である。
符号の説明
10…頭部伝達関数測定手段、20…素の状態の伝達特性測定手段、33,34…FFT部、35,36…極座標変換部、37…正規化およびX−Y座標変換部、38…逆FFT部、40…正規化頭部伝達関数メモリ、54,57,64,67…頭部伝達関数畳み込み回路

Claims (19)

  1. リスナの両耳の近傍の位置に設置される電気音響変換手段により音声信号が音響再生されたときに、想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記音声信号に畳み込むようにする頭部伝達関数畳み込み方法において、
    前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置したときに、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記収音手段への、選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とを、予め別々に測定して求めておく頭部伝達関数測定工程と、
    前記求められた、前記直接波方向頭部伝達関数と、前記選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とを、前記音声信号に畳み込む工程と、
    を有することを特徴とする頭部伝達関数畳み込み方法。
  2. 請求項1に記載の頭部伝達関数畳み込み方法において、
    前記畳み込み工程では、
    前記音声信号の時系列信号に対して、前記直接波および前記反射波の前記仮想音像定位位置から前記電気音響変換手段の位置までの音波の行路長に応じて定められた、前記直接波方向頭部伝達関数の畳み込み処理を開始する開始時点、および前記1または複数の反射波方向頭部伝達関数のそれぞれの畳み込み処理を開始する開始時点のそれぞれから、対応する前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数の畳み込みを実行する
    ことを特徴とする頭部伝達関数畳み込み方法。
  3. 請求項1に記載の頭部伝達関数畳み込み方法において、
    前記反射波方向頭部伝達関数は、想定される反射部における音波の減衰率に応じてゲイン調整されて前記畳み込みが実行される
    ことを特徴とする頭部伝達関数畳み込み方法。
  4. 請求項1に記載の頭部伝達関数畳み込み方法において、
    前記頭部伝達関数測定工程は、
    前記電気音響変換手段が設置されると想定されるリスナの両耳の近傍の位置に、前記収音手段としての音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた測定用音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた測定用音波のみから頭部伝達関数を測定する第1の工程と、
    前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた測定用音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた測定用音波のみから素の状態の伝達特性を測定する第2の工程と、
    前記第1の工程で測定された前記頭部伝達関数を、前記第2の工程で測定された前記素の状態の伝達特性により正規化して、正規化頭部伝達関数を得る第3の工程と、
    を有し、前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数は、前記正規化頭部伝達関数である
    ことを特徴とする頭部伝達関数畳み込み方法。
  5. 請求項4に記載の頭部伝達関数畳み込み方法において、
    前記頭部伝達関数測定工程の前記第3の工程では、前記第1の工程および前記第2の工程で測定された前記頭部伝達関数および前記素の状態の伝達特性のデータから、前記想定される前記音源位置で発せられた前記測定用音波が前記音響電気変換手段に直接に届く時間に相当するデータ分を除去して、前記正規化の処理を行う
    ことを特徴とする頭部伝達関数畳み込み方法。
  6. 請求項4に記載の頭部伝達関数畳み込み方法において、
    前記頭部伝達関数測定工程の前記第3の工程では、
    前記第1および第2の工程において前記音響電気変換手段に直接に届いた音波の時間軸データのそれぞれを直交変換して、X−Y座標系の周波数軸データに変換する工程と、
    前記X−Y座標系の周波数軸データのそれぞれを、極座標系のデータに変換する工程と、
    前記極座標系のデータの状態で、前記正規化処理を行って、前記正規化頭部伝達関数のデータを得、この正規化頭部伝達関数の極座標系のデータを前記前記X−Y座標系のデータに戻す工程と、
    前記X−Y座標系に戻された前記正規化頭部伝達関数のデータを逆直交変換して、時間軸データに変換する工程と、
    を有することを特徴とする頭部伝達関数畳み込み方法。
  7. 請求項6に記載の頭部伝達関数畳み込み方法において、
    前記逆直交変換されて得られた時間軸データのデータ長を削減する簡略化工程を備えることを特徴とする頭部伝達関数畳み込み方法。
  8. リスナの両耳の近傍の位置に設置される電気音響変換手段により音声信号が音響再生されたときに、想定される仮想音源位置に音像が定位するように、前記音声信号に頭部伝達関数を畳み込むようにする頭部伝達関数畳み込み装置において、
    前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記収音手段への、選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とが、記憶される記憶部と、
    前記直接波方向頭部伝達関数と、前記選択された1または複数の反射波の方向についての反射波方向頭部伝達関数とを、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み手段と、
    を有することを特徴とする頭部伝達関数畳み込み装置。
  9. 請求項8に記載の頭部伝達関数畳み込み装置において、
    前記畳み込み手段では、
    前記音声信号の時系列信号に対して、前記直接波および前記反射波の前記仮想音源位置から前記電気音響変換手段の位置までの音波の行路長に応じて定められた、前記直接波方向頭部伝達関数の畳み込み処理を開始する開始時点、および前記1または複数の反射波方向頭部伝達関数のそれぞれの畳み込み処理を開始する開始時点のそれぞれから、対応する前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数の畳み込みを実行する
    ことを特徴とする頭部伝達関数畳み込み装置。
  10. 請求項8に記載の頭部伝達関数畳み込み装置において、
    前記畳み込み手段では、
    前記反射波方向頭部伝達関数は、想定される反射部における音波の減衰率に応じてゲイン調整されて前記畳み込みが実行される
    ことを特徴とする頭部伝達関数畳み込み装置。
  11. 請求項8に記載の頭部伝達関数畳み込み装置において、
    前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数は、
    前記電気音響変換手段が設置されると想定されるリスナの耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップして測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップして測定した素の状態の伝達特性により正規化した正規化頭部伝達関数である
    ことを特徴とする頭部伝達関数畳み込み装置。
  12. リスナの両耳の近傍の位置に設置される電気音響変換手段により音声信号が音響再生されたときに、想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記音声信号に畳み込むようにする頭部伝達関数畳み込み方法において、
    前記仮想音像定位位置に音源が設置され、かつ、前記電気音響変換手段の位置に収音手段が設置されて測定される、前記音源から前記収音手段への直接波の方向についての頭部伝達関数を、前記音声信号に対して畳み込み開始すべき直接波畳み込み開始時点と、前記音源から前記収音手段への、選択された1または複数の反射波の方向についての頭部伝達関数を、前記音声信号に対して畳み込み開始すべき1または複数の反射波畳み込み開始時点とを、予め求め、
    前記直接波畳み込み開始時点および前記1または複数の反射波畳み込み開始時点から前記音声信号に畳み込むデータを保持しておき、
    前記保持された前記データのそれぞれを、対応する前記直接波畳み込み開始時点から、および、前記1または複数の反射波畳み込み開始時点から、前記音声信号に畳み込み処理する
    ことを特徴とする頭部伝達関数畳み込み方法。
  13. 請求項12に記載の頭部伝達関数畳み込み方法において、
    前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記収音手段への、選択された1または複数の反射波の方向についての反射波方向頭部伝達関数を、予め求めておく頭部伝達関数測定工程を有し、
    前記保持されるデータは、前記頭部伝達関数測定工程で測定した前記直接波方向頭部伝達関数および1または複数の前記反射波方向頭部伝達関数である
    ことを特徴とする頭部伝達関数畳み込み方法。
  14. 請求項12に記載の頭部伝達関数畳み込み方法において、
    前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数を、予め求めておく頭部伝達関数測定工程を有し、
    前記直接波畳み込み開始時点から畳み込みを開始するデータとして前記直接波方向頭部伝達関数を保持し、前記1または複数の反射波畳み込み開始時点から畳み込みを開始するデータとして前記直接波方向頭部伝達関数を、前記1または複数の反射波畳み込み開始時点に応じて減衰させたデータを保持する
    ことを特徴とする頭部伝達関数畳み込み方法。
  15. 請求項12に記載の頭部伝達関数畳み込み方法において、
    前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数を、予め求めておく頭部伝達関数測定工程を有し、
    前記直接波畳み込み開始時点から畳み込みを開始するデータとして前記直接波方向頭部伝達関数を保持し、前記1または複数の反射波畳み込み開始時点から畳み込みを開始するデータとして、前記音声信号を、前記1または複数の反射波畳み込み開始時点に応じて遅延させたデータを保持する
    ことを特徴とする頭部伝達関数畳み込み方法。
  16. リスナの両耳の近傍の位置に設置される電気音響変換手段により音声信号が音響再生されたときに、想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記音声信号に畳み込むようにする頭部伝達関数畳み込み装置において、
    前記仮想音像定位位置に音源が設置され、前記電気音響変換手段の位置に収音手段が設置されて測定される、前記音源から前記収音手段への直接波の方向についての頭部伝達関数を、前記音声信号に対して畳み込み開始すべきと予め設定された直接波畳み込み開始時点から、直接波畳み込み用データを前記音声信号に対して畳み込み処理する手段と、
    前記仮想音像定位位置に音源が設置され、前記電気音響変換手段の位置に収音手段が設置されて測定される、前記音源から前記収音手段への、選択された1または複数の反射波の方向についての頭部伝達関数を、前記音声信号に対して畳み込み開始すべきと予め設定された1または複数の反射波畳み込み開始時点から、反射波畳み込み用データを前記音声信号に対して畳み込み処理する手段と、
    を備える頭部伝達関数畳み込み装置。
  17. 請求項16に記載の頭部伝達関数畳み込み装置において、
    前記直接波畳み込み用データは、前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数であり、
    前記反射波畳み込み用データは、前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への、選択された1または複数の反射波の方向についての反射波方向頭部伝達関数である
    ことを特徴とする頭部伝達関数畳み込み装置。
  18. 請求項16に記載の頭部伝達関数畳み込み装置において、
    前記直接波畳み込み用データは、前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数であり、
    前記反射波畳み込み用データは、前記直接波方向頭部伝達関数を、前記1または複数の反射波畳み込み開始時点に応じて減衰させたデータである
    ことを特徴とする頭部伝達関数畳み込み装置。
  19. 請求項16に記載の頭部伝達関数畳み込み装置において、
    前記直接波畳み込み用データは、前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数であり、
    前記反射波畳み込み用データは、前記音声信号を、前記1または複数の反射波畳み込み開始時点に応じて遅延させたデータである
    ことを特徴とする頭部伝達関数畳み込み装置。
JP2008045597A 2008-02-27 2008-02-27 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 Pending JP2009206691A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2008045597A JP2009206691A (ja) 2008-02-27 2008-02-27 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
EP11172110.6A EP2375788B1 (en) 2008-02-27 2009-02-03 Head-related transfer function convolution method
EP09250276.4A EP2096882B1 (en) 2008-02-27 2009-02-03 Head-related transfer function convolution method and head-related transfer function convolution device
US12/366,095 US8503682B2 (en) 2008-02-27 2009-02-05 Head-related transfer function convolution method and head-related transfer function convolution device
CN2009101183102A CN101521843B (zh) 2008-02-27 2009-02-25 头相关传输函数卷积方法和设备
KR1020090016292A KR20090092721A (ko) 2008-02-27 2009-02-26 두부 전달 함수 컨볼루션 방법 및 두부 전달 함수 컨볼루션장치
US13/927,983 US9432793B2 (en) 2008-02-27 2013-06-26 Head-related transfer function convolution method and head-related transfer function convolution device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008045597A JP2009206691A (ja) 2008-02-27 2008-02-27 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010101167A Division JP5024418B2 (ja) 2010-04-26 2010-04-26 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置

Publications (1)

Publication Number Publication Date
JP2009206691A true JP2009206691A (ja) 2009-09-10

Family

ID=40679443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008045597A Pending JP2009206691A (ja) 2008-02-27 2008-02-27 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置

Country Status (5)

Country Link
US (2) US8503682B2 (ja)
EP (2) EP2375788B1 (ja)
JP (1) JP2009206691A (ja)
KR (1) KR20090092721A (ja)
CN (1) CN101521843B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143469A (ja) * 2016-02-12 2017-08-17 キヤノン株式会社 情報処理装置および情報処理方法

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4780119B2 (ja) * 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US9173032B2 (en) * 2009-05-20 2015-10-27 The United States Of America As Represented By The Secretary Of The Air Force Methods of using head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
JP5540581B2 (ja) * 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
JP5672741B2 (ja) * 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
CN101938686B (zh) * 2010-06-24 2013-08-21 中国科学院声学研究所 一种普通环境中头相关传递函数的测量***及测量方法
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
WO2012093352A1 (en) * 2011-01-05 2012-07-12 Koninklijke Philips Electronics N.V. An audio system and method of operation therefor
CN102665156B (zh) * 2012-03-27 2014-07-02 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
US9706326B2 (en) * 2012-06-06 2017-07-11 Sony Corporation Audio signal processing device, audio signal processing method, and computer program
WO2014159376A1 (en) 2013-03-12 2014-10-02 Dolby Laboratories Licensing Corporation Method of rendering one or more captured audio soundfields to a listener
US9294859B2 (en) * 2013-03-12 2016-03-22 Google Technology Holdings LLC Apparatus with adaptive audio adjustment based on surface proximity, surface type and motion
CN104075746B (zh) * 2013-03-29 2016-09-07 上海航空电器有限公司 具有方位信息的虚拟声源定位验证装置的验证方法
KR102401350B1 (ko) 2013-04-26 2022-05-24 소니그룹주식회사 음성 처리 장치 및 방법, 및 기록 매체
KR102414609B1 (ko) 2013-04-26 2022-06-30 소니그룹주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
WO2015012122A1 (ja) 2013-07-24 2015-01-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9473871B1 (en) * 2014-01-09 2016-10-18 Marvell International Ltd. Systems and methods for audio management
CN104869524B (zh) 2014-02-26 2018-02-16 腾讯科技(深圳)有限公司 三维虚拟场景中的声音处理方法及装置
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
CN104394499B (zh) * 2014-11-21 2016-06-22 华南理工大学 基于视听交互的虚拟声重放校正装置及方法
US9551161B2 (en) 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
DE202015009711U1 (de) 2014-11-30 2019-06-21 Dolby Laboratories Licensing Corporation Mit sozialen Medien verknüpftes großformatiges Kinosaaldesign
KR102423753B1 (ko) * 2015-08-20 2022-07-21 삼성전자주식회사 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
FR3040253B1 (fr) * 2015-08-21 2019-07-12 Immersive Presonalized Sound Procede de mesure de filtres phrtf d'un auditeur, cabine pour la mise en oeuvre du procede, et procedes permettant d'aboutir a la restitution d'une bande sonore multicanal personnalisee
JPWO2017061218A1 (ja) 2015-10-09 2018-07-26 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
CN105578378A (zh) * 2015-12-30 2016-05-11 深圳市有信网络技术有限公司 一种3d混音方法及装置
CN106060758B (zh) * 2016-06-03 2018-03-23 北京时代拓灵科技有限公司 虚拟现实声场元数据的处理方法
EP3280154B1 (en) * 2016-08-04 2019-10-02 Harman Becker Automotive Systems GmbH System and method for operating a wearable loudspeaker device
EP4322551A3 (en) 2016-11-25 2024-04-17 Sony Group Corporation Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program
CN107480100B (zh) * 2017-07-04 2020-02-28 中国科学院自动化研究所 基于深层神经网络中间层特征的头相关传输函数建模***
TWI690221B (zh) * 2017-10-18 2020-04-01 宏達國際電子股份有限公司 聲音播放裝置、方法及非暫態儲存媒體
US10003905B1 (en) 2017-11-27 2018-06-19 Sony Corporation Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter
CN108156575B (zh) * 2017-12-26 2019-09-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
JP6924281B2 (ja) * 2018-01-19 2021-08-25 シャープ株式会社 信号処理装置、信号処理システム、信号処理方法、信号処理プログラムおよび記録媒体
US10142760B1 (en) 2018-03-14 2018-11-27 Sony Corporation Audio processing mechanism with personalized frequency response filter and personalized head-related transfer function (HRTF)
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US10602292B2 (en) 2018-06-14 2020-03-24 Magic Leap, Inc. Methods and systems for audio signal filtering
CN109068262B (zh) * 2018-08-03 2019-11-08 武汉大学 一种基于扬声器的声像个性化重现方法及装置
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
WO2020102941A1 (zh) * 2018-11-19 2020-05-28 深圳市欢太科技有限公司 三维音效的实现方法、装置、存储介质及电子设备
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
AU2020203290B2 (en) * 2019-06-10 2022-03-03 Genelec Oy System and method for generating head-related transfer function
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
CN110475197B (zh) * 2019-07-26 2021-03-26 中车青岛四方机车车辆股份有限公司 一种声场回放方法和装置
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
CN110933589B (zh) * 2019-11-28 2021-07-16 广州市迪士普音响科技有限公司 一种用于会议的耳机信号馈给方法
US11356795B2 (en) 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
CN112101461B (zh) * 2020-09-16 2022-02-25 北京邮电大学 一种基于hrtf-pso-fcm的无人机侦察视觉信息可听化方法
US11982738B2 (en) 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
US11700497B2 (en) 2020-10-30 2023-07-11 Bose Corporation Systems and methods for providing augmented audio
US11696084B2 (en) 2020-10-30 2023-07-04 Bose Corporation Systems and methods for providing augmented audio
CN113691927B (zh) * 2021-08-31 2022-11-11 北京达佳互联信息技术有限公司 音频信号处理方法及装置
CN113747337B (zh) * 2021-09-03 2024-05-10 杭州网易云音乐科技有限公司 音频处理方法、介质、装置和计算设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165299A (ja) * 1992-11-26 1994-06-10 Yamaha Corp 音像定位制御装置
JPH07312800A (ja) * 1994-05-19 1995-11-28 Sharp Corp 3次元音場空間再生装置
JPH09135499A (ja) * 1995-11-08 1997-05-20 Victor Co Of Japan Ltd 音像定位制御方法
JPH1042399A (ja) * 1996-02-13 1998-02-13 Sextant Avionique 音声空間化システムおよびそれを実施するための個人化の方法
JP2000036998A (ja) * 1998-07-17 2000-02-02 Nissan Motor Co Ltd 立体音像呈示装置及び立体音像呈示方法
JP2001285998A (ja) * 2000-03-29 2001-10-12 Oki Electric Ind Co Ltd 頭外音像定位装置
JP2003061196A (ja) * 2001-08-21 2003-02-28 Sony Corp ヘッドホン再生装置
JP2003061200A (ja) * 2001-08-17 2003-02-28 Sony Corp 音声処理装置及び音声処理方法、並びに制御プログラム
JP2005157278A (ja) * 2003-08-26 2005-06-16 Victor Co Of Japan Ltd 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) * 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
JPS61245698A (ja) 1985-04-23 1986-10-31 Pioneer Electronic Corp 音響特性測定装置
JP2964514B2 (ja) * 1990-01-19 1999-10-18 ソニー株式会社 音響信号再生装置
JP3175267B2 (ja) 1992-03-10 2001-06-11 松下電器産業株式会社 音場の方向情報抽出方法
EP0593228B1 (en) * 1992-10-13 2000-01-05 Matsushita Electric Industrial Co., Ltd. Sound environment simulator and a method of analyzing a sound space
US5440639A (en) 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
JPH06147968A (ja) 1992-11-09 1994-05-27 Fujitsu Ten Ltd 音響評価方法
JP2827777B2 (ja) 1992-12-11 1998-11-25 日本ビクター株式会社 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
WO1995013690A1 (fr) * 1993-11-08 1995-05-18 Sony Corporation Detecteur d'angle et appareil de lecture audio utilisant ledit detecteur
JPH07288899A (ja) 1994-04-15 1995-10-31 Matsushita Electric Ind Co Ltd 音場再生装置
EP0912077B1 (en) 1994-02-25 2001-10-31 Henrik Moller Binaural synthesis, head-related transfer functions, and uses therof
JPH0847078A (ja) 1994-07-28 1996-02-16 Fujitsu Ten Ltd 車室内周波数特性自動補正方法
JPH08182100A (ja) 1994-10-28 1996-07-12 Matsushita Electric Ind Co Ltd 音像定位方法および音像定位装置
JP3739438B2 (ja) 1995-07-14 2006-01-25 三樹夫 東山 音像定位方法及びその装置
JPH09187100A (ja) 1995-12-28 1997-07-15 Sanyo Electric Co Ltd 音像制御装置
JPH09284899A (ja) 1996-04-08 1997-10-31 Matsushita Electric Ind Co Ltd 信号処理装置
JP2945634B2 (ja) 1997-02-04 1999-09-06 ローランド株式会社 音場再生装置
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
JPH11313398A (ja) 1998-04-28 1999-11-09 Nippon Telegr & Teleph Corp <Ntt> ヘッドホン装置並びにヘッドホン装置制御方法およびヘッドホン装置制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読みとり可能な記録媒体
JP3514639B2 (ja) * 1998-09-30 2004-03-31 株式会社アーニス・サウンド・テクノロジーズ ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置
JP3689041B2 (ja) 1999-10-28 2005-08-31 三菱電機株式会社 立体音場再生装置
JP4264686B2 (ja) * 2000-09-14 2009-05-20 ソニー株式会社 車載用音響再生装置
JP2002191099A (ja) 2000-09-26 2002-07-05 Matsushita Electric Ind Co Ltd 信号処理装置
US6738479B1 (en) 2000-11-13 2004-05-18 Creative Technology Ltd. Method of audio signal processing for a loudspeaker located close to an ear
JP3435141B2 (ja) 2001-01-09 2003-08-11 松下電器産業株式会社 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム
IL141822A (en) 2001-03-05 2007-02-11 Haim Levy A method and system for imitating a 3D audio environment
JP4109513B2 (ja) 2002-08-22 2008-07-02 日本無線株式会社 遅延プロファイル測定方法および装置
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR100608024B1 (ko) 2004-11-26 2006-08-02 삼성전자주식회사 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체
JP2006352728A (ja) 2005-06-20 2006-12-28 Yamaha Corp オーディオ装置
CN1993002B (zh) 2005-12-28 2010-06-16 雅马哈株式会社 声像定位设备
KR100677629B1 (ko) 2006-01-10 2007-02-02 삼성전자주식회사 다채널 음향 신호에 대한 2채널 입체 음향 생성 방법 및장치
JP4951985B2 (ja) 2006-01-30 2012-06-13 ソニー株式会社 音声信号処理装置、音声信号処理システム、プログラム
KR100863479B1 (ko) 2006-02-07 2008-10-16 엘지전자 주식회사 부호화/복호화 장치 및 방법
US9009057B2 (en) 2006-02-21 2015-04-14 Koninklijke Philips N.V. Audio encoding and decoding to generate binaural virtual spatial signals
JP2007240605A (ja) 2006-03-06 2007-09-20 Institute Of National Colleges Of Technology Japan 複素ウェーブレット変換を用いた音源分離方法、および音源分離システム
JP2007329631A (ja) 2006-06-07 2007-12-20 Clarion Co Ltd 音響補正装置
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
JP2008311718A (ja) 2007-06-12 2008-12-25 Victor Co Of Japan Ltd 音像定位制御装置及び音像定位制御プログラム
JP4780119B2 (ja) * 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
WO2009111798A2 (en) 2008-03-07 2009-09-11 Sennheiser Electronic Gmbh & Co. Kg Methods and devices for reproducing surround audio signals
JP5540581B2 (ja) * 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
KR101086304B1 (ko) 2009-11-30 2011-11-23 한국과학기술연구원 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
JP5533248B2 (ja) * 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) * 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165299A (ja) * 1992-11-26 1994-06-10 Yamaha Corp 音像定位制御装置
JPH07312800A (ja) * 1994-05-19 1995-11-28 Sharp Corp 3次元音場空間再生装置
JPH09135499A (ja) * 1995-11-08 1997-05-20 Victor Co Of Japan Ltd 音像定位制御方法
JPH1042399A (ja) * 1996-02-13 1998-02-13 Sextant Avionique 音声空間化システムおよびそれを実施するための個人化の方法
JP2000036998A (ja) * 1998-07-17 2000-02-02 Nissan Motor Co Ltd 立体音像呈示装置及び立体音像呈示方法
JP2001285998A (ja) * 2000-03-29 2001-10-12 Oki Electric Ind Co Ltd 頭外音像定位装置
JP2003061200A (ja) * 2001-08-17 2003-02-28 Sony Corp 音声処理装置及び音声処理方法、並びに制御プログラム
JP2003061196A (ja) * 2001-08-21 2003-02-28 Sony Corp ヘッドホン再生装置
JP2005157278A (ja) * 2003-08-26 2005-06-16 Victor Co Of Japan Ltd 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143469A (ja) * 2016-02-12 2017-08-17 キヤノン株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
CN101521843A (zh) 2009-09-02
CN101521843B (zh) 2013-06-19
US20090214045A1 (en) 2009-08-27
KR20090092721A (ko) 2009-09-01
EP2375788B1 (en) 2014-08-20
US8503682B2 (en) 2013-08-06
EP2375788A1 (en) 2011-10-12
EP2096882A2 (en) 2009-09-02
EP2096882B1 (en) 2014-05-14
EP2096882A3 (en) 2011-06-01
US9432793B2 (en) 2016-08-30
US20130287235A1 (en) 2013-10-31

Similar Documents

Publication Publication Date Title
JP5540581B2 (ja) 音声信号処理装置および音声信号処理方法
JP2009206691A (ja) 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP4780119B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5533248B2 (ja) 音声信号処理装置および音声信号処理方法
JP5448451B2 (ja) 音像定位装置、音像定位システム、音像定位方法、プログラム、及び集積回路
KR100739798B1 (ko) 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
US20170180907A1 (en) Methods and devices for repoducing surround audio signals
KR100416757B1 (ko) 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
CN109155896B (zh) 用于改进音频虚拟化的***和方法
US20130089209A1 (en) Audio-signal processing device, audio-signal processing method, program, and recording medium
EP3304929B1 (en) Method and device for generating an elevated sound impression
US9226091B2 (en) Acoustic surround immersion control system and method
JPH09233599A (ja) 音像定位装置および音像定位方法
JP2007336080A (ja) 音響補正装置
JP5024418B2 (ja) 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5163685B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2011259299A (ja) 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
JP7319687B2 (ja) 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム
JP4357218B2 (ja) ヘッドホン再生方法及び装置
JPH06175674A (ja) 音響装置
JP2003319499A (ja) 音声再生装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110309

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110323

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110527