JP4499358B2 - 音像定位信号処理装置 - Google Patents
音像定位信号処理装置 Download PDFInfo
- Publication number
- JP4499358B2 JP4499358B2 JP2002565393A JP2002565393A JP4499358B2 JP 4499358 B2 JP4499358 B2 JP 4499358B2 JP 2002565393 A JP2002565393 A JP 2002565393A JP 2002565393 A JP2002565393 A JP 2002565393A JP 4499358 B2 JP4499358 B2 JP 4499358B2
- Authority
- JP
- Japan
- Prior art keywords
- sound image
- sound
- image localization
- processing unit
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
【技術分野】
本発明は、例えば、仮想音源定位処理を行う音像定位信号処理装置に関するものである。
詳しくは、再生される仮想音源がリスナの操作等で移動する移動音源である場合にも簡易な構成で、効果的な音像定位を得ることができるヘッドホン及びスピーカによる音声再生システムである。
【0002】
【背景技術】
従来、テレビジョン受像機に画像を表示させて入力手段による入力指示に対応して画像を移動させるビデオゲーム機(テレビゲーム機)等があった。
このゲーム機では、ゲーム機本体から出力されるステレオ音声出力信号により再生されるステレオ音場を利用するものが中心であった。
【0003】
このようなステレオ音声出力信号を再生する場合に、例えばリスナ(ゲームプレイヤー)の前方左右に配置された一対のスピーカを使用し、これらのスピーカはテレビジョン受像機に組み込まれている場合もある。
そして、通常再生される音像は再生手段として用いる2個のスピーカの間にのみ定位し、それ以外の方向には定位しない。
【0004】
また、このステレオ音声出力信号をステレオ用ヘッドホンで聴取した場合に、音像がリスナの頭の中にこもってしまい、音像がテレビジョン受像機に表示された画像とは一致しない。
【0005】
このようなヘッドホンでの音像定位を改善するために、ゲーム機の音声出力信号を左右2個のステレオ用スピーカを用いたステレオ再生と同等の音場感で再生することができる信号処理をハードウエアで構成するヘッドホンシステムを用いる方法が考えられる。
【0006】
しかしながら、この方法では、音像をリスナの頭の中から外に出し、ステレオ用スピーカと同等の音場感で再生することは可能となるが、ステレオ用スピーカによる再生と同様に2個の仮想のスピーカ位置の間に音像が定位するのみで、それ以外の方向に音像を定位させることはできず、また、同時に仮想音源を構成するための高価なハードウエアが必要になる。
【0007】
このように、上述した従来のゲーム機において音声再生する場合に、たとえ出力がステレオ音声出力信号であったとしても、ゲーム機の音声を再生した場合に、通常音像は再生する2個のスピーカの間にのみ定位し、それ以外の方向には定位しないという不都合があった。
【0008】
また、このステレオ音声出力信号をステレオ用ヘッドホンで聴取した場合に、音像がリスナの頭の中にこもってしまい、音像がテレビジョン受像機に表示された画像とは一致しないという不都合があった。
【0009】
また、ゲーム機の音声出力信号を左右2個のステレオ用スピーカを用いたステレオ再生と同等の音場感で再生することができる信号処理をハードウエアで構成するヘッドホンシステムを用いる方法では、音像をリスナの頭の中から外に出し、ステレオ用スピーカと同等の音場感で再生することは可能となるが、ステレオ用スピーカによる再生と同様に2個の仮想のスピーカ位置の間に音像が定位するのみで、それ以外の方向に音像を定位させることはできず、また、同時に仮想音源を構成するための高価なハードウエアが必要になるという不都合があった。
【0010】
【発明の開示】
そこで、本発明は、かかる点に鑑みてなされたものであり、簡単な構成で任意の方向に音像を定位させることができる音像定位信号処理装置を提供することを課題とする。
【0011】
本発明の音像定位信号処理装置は、第1の音源データに対して、基準方向または基準位置に音像定位するように信号処理をして得られた第2の音源データを格納する音源データ格納部と、上記基準方向または基準位置に対して、上記第1の音源データの音像定位方向または音像定位位置を変更する指示を与える定位情報制御手段と、上記音源データ格納部から読み出された上記第2の音源データに対して、上記定位情報制御手段により与えられる音像定位方向または音像定位位置に基づいて、音像定位特性を付加する音像定位特性付加手段とを備え、第2の音源データによる再生出力信号に対して音像定位位置を制御するようにしたものである。
【0012】
従って本発明によれば、以下の作用をする。
【0013】
この音像定位信号処理装置は、予め所定の前置処理としてデジタルフィルタによるインパルス応答の畳み込み演算処理を施された音源データが記録媒体上にファイル等のデータとして保存されていて、この音源データに対して音像制御入力部からの指示による音像定位位置制御処理部からの制御信号により、音像定位特性付加処理部による音像定位特性付加処理を行うようにしたものである。
【0014】
また、本発明の音像定位信号処理装置は、第1の音源データに対して、異なる複数の方向または位置に音像定位するように信号処理を施してして得られた複数の第2の音源データを格納する音源データ格納部と、上記第1の音源データの音像定位方向または音像定位位置を表す定位情報を提供する定位情報制御手段と、上記音源データ格納部から読み出された上記第2の音源データに対して、上記定位情報制御手段により与えられる音像定位方向または音像定位位置に基づいて、音像定位特性を付加する音像定位特性付加手段とを備え、上記定位情報制御手段により与えられる定位情報に基づいて、上記複数の第2の音源データのうちの1つを選択し、選択された第2の音源データに対して、上記音像定位特性付加手段により音像定位特性を付加された出力信号を提供するようにして、複数の第2の音源データによる再生出力信号に対して音像定位位置を制御するようにしたものである。
【0015】
従って本発明によれば、以下の作用をする。
【0016】
この音像定位信号処理装置は、予め所定の前置処理としてデジタルフィルタによるインパルス応答の畳み込み演算処理を施されて得られたそれぞれ異なる定位位置の複数の音源データが記録媒体上にファイル等のデータとして保存されていて、音像制御入力部からの指示による音像定位位置制御処理部からの制御信号により、これらの音源データの中から最も近い音像定位位置の音源データを選択し、選択された音源データに対して音像定位特性付加処理部による音像定位特性付加処理を行うようにしたものである。
【0017】
また、本発明の音像定位信号処理装置は、第1の音源データに対して、異なる複数の方向または位置に音像定位するように信号処理を施して得られた複数の第2の音源データを格納する音源データ格納部と、上記第1の音源データの音像定位方向または音像定位位置を表す定位情報を提供する定位情報制御手段と、上記音源データ格納部からそれぞれ読み出された上記複数の第2の音源データに対して、上記定位情報制御手段により与えられる定位情報に基づいて、音像定位特性を付加する複数の音像定位特性付加手段と、上記複数の音像定位特性付加手段によりそれぞれ音像定位特性を付加された出力信号を、上記定位情報制御手段により与えられる定位情報に基づいて、選択または合成を行う選択合成処理部とを備え、任意の第2の音源データによる再生出力信号に対して音像定位位置を制御するようにしたものである。
【0018】
従って本発明によれば、以下の作用をする。
【0019】
この音像定位信号処理装置では、予め所定の前置処理としてデジタルフィルタによるインパルス応答の畳み込み演算処理を施されて得られたそれぞれ異なる定位位置の複数の音源データが記録媒体上にファイル等のデータとして保存されていて、この音源データに対して音像制御入力部からの指示による音像定位位置制御処理部からの制御信号により、音像定位特性付加処理部による音像定位特性付加処理を行うようにしたものである。
【0020】
この発明の音像定位信号処理装置は、第1の音源データに対して、基準方向または基準位置に音像定位するように信号処理をして得られた第2の音源データを格納する音源データ格納部と、上記基準方向または基準位置に対して、上記第1の音源データの音像定位方向または音像定位位置を変更する指示を与える定位情報制御手段と、上記音源データ格納部から読み出された上記第2の音源データに対して、上記定位情報制御手段により与えられる音像定位方向または音像定位位置に基づいて、音像定位特性を付加する音像定位特性付加手段とを備え、上記第2の音源データによる再生出力信号に対して音像定位位置を制御するようにしたもので、予め原音である第1の音源データに一対のインパルス応答を畳み込み処理した第2の一対の音源データを用意し、この第2の一対の音源データのLチャンネル、Rチャンネルの出力間に音像定位位置に応じた時間差、レベル差あるいは周波数特性などを付加する音像定位特性付加処理部を設けることにより、任意の位置の音像定位を実現するので、第1の音源データに音像定位位置に応じたインパルス応答をリアルタイムで畳み込み処理をする必要がなく、一対のインパルス応答を畳み込んだ第2の音源データを用意するだけで、広範囲な音像移動を実現することができ、演算量を極端に低減することができ、また、インパルス応答データは予め第2の音源データに畳み込まれる際に使用するので、第2の音源データ生成部のデジタルフィルタのタップ数も例えば128〜2Kタップ等の高次なものを使用することができるので、非常に高品位な音像定位を実現することができ、その結果、例えばヘッドホンシステムに適用した場合、前方定位感、距離感共に優れた音像定位を可能とすることができるという効果を奏する。
【0021】
また、この発明の音像定位信号処理装置は、第1の音源データに対して、異なる複数の方向または位置に音像定位するように信号処理を施してして得られた複数の第2の音源データを格納する音源データ格納部と、上記第1の音源データの音像定位方向または音像定位位置を表す定位情報を提供する定位情報制御手段と、上記音源データ格納部から読み出された上記第2の音源データに対して、上記定位情報制御手段により与えられる音像定位方向または音像定位位置に基づいて、音像定位特性を付加する音像定位特性付加手段とを備え、上記定位情報制御手段により与えられる定位情報に基づいて、上記複数の第2の音源データのうちの1つを選択し、選択された第2の音源データに対して、上記音像定位特性付加手段により音像定位特性を付加された出力信号を提供するようにしたもので、予め第1の音源データに一対のインパルス応答データを畳み込んだ第2の一対の音源データを複数用意し、その中から音像定位させる位置に近いデータを選んで、選択された一対の第2の音源データの出力のLチャンネル、Rチャンネルの出力間に音像定位位置に応じた時間差、レベル差または周波数特性などを付加する音像定位特性付加処理部を設けることにより、任意の位置の音像定位を実現するので、リアルタイムでインパルス応答を畳み込み処理する演算量を無くすことができ、なおかつ音像定位位置におけるインパルス応答データに近いデータを選んで使用できるので、再生音像の質を向上させることができるという効果を奏する。
【0022】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じた時間差を付加する時間差付加処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができるという効果を奏する。
【0023】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じたレベル差を付加するレベル差付加処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができるという効果を奏する。
【0024】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じた周波数特性差を付加する周波数特性付加処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができるという効果を奏する。
【0025】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じた時間差、レベル差及び周波数特性差のうち少なくとも2つの特性差を付加する処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができ、音源データに応じて最適な特性付加処理をすることにより、より高品位な音像移動をすることができるという効果を奏する。
【0026】
また、この発明の音像定位信号処理装置は、第1の音源データに対して、異なる複数の方向または位置に音像定位するように信号処理を施して得られた複数の第2の音源データを格納する音源データ格納部と、上記第1の音源データの音像定位方向または音像定位位置を表す定位情報を提供する定位情報制御手段と、上記音源データ格納部からそれぞれ読み出された上記複数の第2の音源データに対して、上記定位情報制御手段により与えられる定位情報に基づいて、音像定位特性を付加する複数の音像定位特性付加手段と、上記複数の音像定位特性付加手段によりそれぞれ音像定位特性を付加された出力信号を、上記定位情報制御手段により与えられる定位情報に基づいて、選択または合成を行う選択合成処理部とを備えるもので、個々の音像定位特性付加手段から出力される複数の出力信号を、上記定位情報制御手段による定位位置に応じて選択または合成を施すようにしたので、予め第1の音源データに一対のインパルス応答を畳み込んだ第2の一対の音源データを複数用意し、それぞれ一対の第2の音源データによるLチャンネル、Rチャンネルの出力間に音像定位位置に応じた時間差、レベル差または周波数特性差などを付加する音像定位特性付加処理部を設け、さらにそれらの出力信号を音像定位位置に応じて加算処理を施すことにより、任意の位置の音像定位を実現するので、リアルタイムでインパルス応答を畳み込み処理をする演算量を無くすことができ、なおかつ音像定位位置におけるインパルス応答に近いデータを選んで使用できるので、再生音像の質を向上させることができるという効果を奏する。
【0027】
また、この発明の音像定位信号処理装置は、上述において、上記複数の第2の音源データは、少なくとも聴取者の前方に音像が定位する前方音源データと後方に音源が定位する後方音源データとを有するので、音像位置が前方の場合は前方データを使用し、それに音像定位特性付加処理部により特性を付加することにより、音像を移動し、音像定位位置が後方の場合は後方データを使用し、それに音像定位特性付加処理部により特性を付加することにより、音像を移動するので、少ないデータ量で、良好な音像移動を実現することができるという効果を奏する。
【0028】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じた時間差を付加する時間差付加処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができるという効果を奏する。
【0029】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じたレベル差を付加するレベル差付加処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができるという効果を奏する。
【0030】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じた周波数特性差を付加する周波数特性付加処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができるという効果を奏する。
【0031】
また、この発明の音像定位信号処理装置は、上述において、上記音像定位特性付加手段による第2の音源データに対する音像定位位置特性の付加処理は、第2の音源データによる再生出力信号に対して音像定位位置に応じた時間差、レベル差及び周波数特性差のうちの少なくとも2つの特性差を付加する処理であるので、従来各移動位置毎に必要となったインパルス応答の畳み込み処理が不要となり、非常に簡単な構成で音像移動を実現することができ、音源データに応じて最適な特性付加処理をすることにより、より高品位な音像移動をすることができるという効果を奏する。
【0032】
また、この発明の音像定位信号処理装置は、上述において、選択された第2の音源データが音像の移動により異なる他の第2の音源データに切り替わる際に、切替の境界近傍において、移動前の上記第2の音源データと移動後の上記他の第2の音源データを加算して出力するようにした加算処理手段を設け、上記第2の音源データと上記他の第2の音源データの加算比を変えることにより、音像の移動を行うので、複数の方向の音像定位データを使用して音像移動させる際に、異なる音像方向のインパルス応答を畳み込み処理したデータ間の出力同士をクロスフェード処理により切り替えることにより、異なるデータ間を音像が移動したことによるショック音や違和感を低減することができるという効果を奏する。
【0033】
【発明を実施するための最良の形態】
本実施の形態の音像定位信号処理装置は、ヘッドホンあるいはスピーカにより再生音声を受聴する場合において、元となる第1の音源データがリスナの基準方向または基準位置に音像定位するように予め信号処理されて記録保存された第2の音源データがファイルとして供給され、この第2の音源データに対して、リスナの操作あるいはプログラムで決定された位置に仮想音源が定位するようにしたものであって、第2のステレオ音源データの再生時に2チャンネルの再生出力に音像定位位置特性を付加する音像定位特性付加処理を施して、これにより、音像定位位置を制御するものである。
【0034】
まず、本実施の形態の前提となる音像定位処理装置について説明する。
【0035】
図3は、前提となる音像定位処理装置の構成を示すブロック図である。
【0036】
図3において、入力信号I1は、2系統に分けられ、それぞれデジタルフィルタ21、22に入力される。
【0037】
図3に示すデジタルフィルタ21、22は、それぞれ図4に示すように構成され、図3に示す端子34は図4に示す端子43に対応し、図3に示すデジタルフィルタ21は図4に示すデジタルフィルタ41、42に対応し、図3に示すデジタルフィルタ22は図4に示すデジタルフィルタ41、42に対応し、図3に示す出力信号D11、D21の出力側は端子44に対応し、図3に示す出力信号D12、D22の出力側は端子45に対応する。
【0038】
また、図4に示すデジタルフィルタ41、42は、それぞれ図6に示すFIRフィルタで構成される。図4で示す端子43は図6に示す端子64に対応し、図4で示す端子44は図6で示す端子65に対応し、図4で示す端子45は図6で示す同様の端子65に対応する。図6において、FIRフィルタは、遅延器61−1〜61−nと、係数器62−1〜62−n+1と、加算器63−1〜63−nとを有して構成される。図6に示すFIRフィルタで、リスナがヘッドホンまたはスピーカ等で再生音声を受聴したとき、リスナの基準方向、例えばリスナの前方または後方のように音像をリスナの周囲の任意の位置に定位させるように、インパルス応答が畳み込み演算処理される。
【0039】
ここで、一般にヘッドホンによる再生音声の受聴において、音像をリスナの周囲の任意の位置に頭外定位させる機能を以下に説明する。
【0040】
図15は、ヘッドホン装置の構成を示している。このヘッドホン装置は、リスナの頭外の任意の位置に音像を定位させるものである。このヘッドホン装置は、図16に示すようにリスナLがスピーカSから左右の耳までの伝達関数(頭部伝達関数:Head Related Transfer Function)HL,HRの再生音を聴取しているかのような状態をヘッドホンを使用して再現するものである。
【0041】
図15に示すヘッドホン装置は、入力信号I0が供給される端子151と、入力信号I0をデジタル信号I1に変換するA/Dコンバータ152と、変換されたデジタル信号I1に対してフィルタ処理(音像定位処理)を施す信号処理装置153とを有している。
【0042】
図15に示す信号処理装置153は、例えば図17に示すように、端子173、デジタルフィルタ171、172、端子174、175で構成され、図15に示す入力信号I1の入力側は図17に示す端子173に対応し、図15に示す出力信号S151の出力側は端子174に対応し、図15に示す出力信号S152の出力側は端子175に対応する。
【0043】
図17に示すデジタルフィルタ171、172は、それぞれ図18に示すようにFIRフィルタで構成され、図17に示す端子173は図18に示す端子184に対応し、図17で示す174端子は図18で示す端子185に対応し、図17で示す端子175は図18で示す同様の端子185に対応する。
【0044】
図18において、FIRフィルタは、端子184と、遅延器181−1〜181−nと、係数器182−1〜182−n+1と、加算器183−1〜183−nと、端子185とを有して構成される。
【0045】
これにより、図17に示すデジタルフィルタ171では、入力音声信号I1に対して伝達関数HLを時間軸に変換したインパルス応答が畳み込み演算処理された左音声出力信号S151が生成される。
一方、図17に示すデジタルフィルタ172では、入力音声信号I1に対して伝達関数HRを時間軸に変換したインパルス応答が畳み込み演算処理された右音声出力信号S152が生成される。
【0046】
また、図15に戻って、ヘッドホン装置は、信号処理装置153より出力される音声信号S151、S152をそれぞれアナログ音声信号に変換するD/Aコンバータ154L、154Rと、アナログ音声信号をそれぞれ増幅する増幅器155L、155Rと、増幅された音声信号が供給されて音響再生を行うヘッドホン156L、156Rとを有している。
【0047】
このように構成された図15に示したヘッドホン装置の動作を説明する。
【0048】
端子151に入力された入力信号I0はA/Dコンバータ152でデジタル信号I1に変換された後に信号処理装置153に供給される。信号処理装置153内の図17に示したデジタルフィルタ171、172では、それぞれ入力信号I1に対して伝達関数HL、HRを時間軸に変換したインパルス応答が畳み込み演算処理されて左音声出力信号S151、右音声出力信号S152が生成される。
【0049】
そして、左音声出力信号S151、右音声出力信号S152は、それぞれD/Aコンバータ154L、154Rでアナログ信号に変換され、さらに増幅器155L、155Rで増幅された後にヘッドホン156L、156Rに供給される。
【0050】
したがって、ヘッドホン156L、156Rは、左音声出力信号S151、右音声出力信号S152により駆動されて、入力信号I0による音像を頭外に定位させることができる。つまり、リスナがヘッドホン156L、156Rを頭部に装着するとき、図16に示すように頭外の任意の位置に伝達関数HL、HRの再生音声の音源Sがある状態が再現される。
【0051】
また、図17のデジタルフィルタを構成する図18に示す2個のFIRフィルタの遅延器181−1〜181−nを共通に使用して、図19に示すようにしてデジタルフィルタを構成するようにしても良い。図19において、2個のFIRフィルタで構成されるデジタルフィルタは、端子196と、遅延器191−1〜191−nと、係数器192−1〜192−n+1と、加算器193−1〜193−nと、係数器194−1〜194−n+1と、加算器195−1〜195−nと、端子197、198とを有して構成される。
【0052】
また、図15に示した信号処理装置153は、それぞれ異なる位置に音像定位させたい複数の音源に対しては、図20に示すように構成しても良い。図20において、他の信号処理装置は、端子205と、デジタルフィルタ201、202と、加算器203、204と、端子207、208とを有して構成される。
【0053】
図20において、複数の音源から例えば2つの入力信号I1,I2が端子205、206にそれぞれ供給される場合には、一方のデジタルフィルタ201の第1の出力と他方のデジタルフィルタ202の第1の出力とを加算器203で加算して出力信号S151を得、他方のデジタルフィルタ202の第2の出力と一方のデジタルフィルタ201の第2の出力とを加算器204で加算して出力信号S152を得るようにする。
【0054】
以上説明した原理から、定位させたい音源位置からリスナの両耳までのインパルス応答データを入力信号に畳み込み演算処理することにより、図3に示したデジタルフィルタ21、22は、リスナの周囲の任意の位置に音像を定位させることができる。
【0055】
ここでは、デジタルフィルタ21は、リスナの前方に置かれた音源に対応するインパルス応答の畳み込み演算部で構成し、デジタルフィルタ22は、リスナの後方に置かれた音源に対応するインパルス応答の畳み込み演算部で構成される。
【0056】
次に、デジタルフィルタ21、22の2系統の出力は音像定位特性付加処理部31、32に入力される。音像定位特性付加処理部31、32の構成例を図7に示す。図7は、2系統の入力信号に対して時間差を付加するものである。図7に示す時間差付加処理部は、端子75と、遅延器71−1〜71−nと、切り替えスイッチ72と、端子76と、端子77と、遅延器73−1〜73−nと、切り替えスイッチ74と、端子78とを有して構成される。
【0057】
入力信号D1は端子75に入力され、遅延器71−1〜71−nに供給され、切り替えスイッチ72により選択された遅延器71−1〜71−nからの出力に応じて、端子76から出力される出力信号S1tは入力信号D1に対して時間差が付加される。
【0058】
入力信号D2は端子77に入力され、遅延器73−1〜73−nに供給され、切り替えスイッチ74により選択された遅延器73−1〜73−nからの出力に応じて、端子78から出力される出力信号S2tは入力信号D2に対して時間差が付加される。
【0059】
音源からリスナの両耳に至る信号はリスナの正面方向からの角度によって、図12に示すような時間差を生じる。図12において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、Taに示すように右耳に到達する音声は正面方向に対して到達時間が遅くなり、Tbに示すように左耳に到達する音声は正面方向に対して到達時間が早くなり、それらの間で時間差が生じる。
【0060】
逆に、音源SがリスナLに対して右方向に+90度回転すると、Taに示すように右耳に到達する音声は正面方向に対して到達時間が早くなり、Tbに示すように左耳に到達する音声は正面方向に対して到達時間が遅くなり、それらの間で時間差が生じる。
【0061】
図3に戻って、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C1に基づいて、伝達関数を畳み込んだデータに対してこのような時間差を生じさせるような付加処理をする。図3に示したデジタルフィルタ21のステレオ出力D11、D12間に音像定位特性付加処理部31によりこの時間差を付加することにより、リスナの前方の音像定位位置を近似的に移動させた出力S11、S12を得ることができる。
【0062】
同様に、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C2に基づいて、図3に示したデジタルフィルタ22のステレオ出力D21、D22間に音像定位特性付加処理部32によりこの時間差を付加することにより、リスナの後方の音像定位位置を近似的に移動させた出力S21、S22を得ることができる。
【0063】
また、特性選択処理部33は、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C10により、音像定位させたい位置がリスナの前方の場合は音像定位特性付加処理部31の出力S11、S12を選択し、D/A変換器5R、5Lによりアナログ信号に変換して、増幅器6R、6Lにより増幅してヘッドホン7R、7Lにより再生音を聴取することができる。これにより、リスナの前方の任意の位置に音像を定位させることができる。
【0064】
また、特性選択処理部33は、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C10により、音像定位させたい位置がリスナの後方の場合は音像定位特性付加処理部32の出力S21、S22を選択し、D/A変換器5R、5Lによりアナログ信号に変換して、増幅器6R、6Lにより増幅してヘッドホン7R、7Lにより再生音を聴取することができる。これにより、リスナの後方の任意の位置に音像を定位させることができる。
【0065】
図3に示した特性選択処理部33は、例えば図10のように構成することができる。
【0066】
図10において、特性選択処理部33は、入力信号S1−1,S1−2が入力される端子104、105と、係数器101−1,101−2と、加算器103−1,103−2と、入力信号S2−1,S2−2が入力される端子106、107と、係数器102−1,102−2と、出力信号S10−1,S10−2が出力される端子108、109とを有して構成される。
【0067】
図10において、音像定位位置がリスナの前方である場合は、係数器101−1,101−2の係数を1とし、係数器102−1,102−2の係数を0として、入力信号S1−1,S1−2だけがそのまま出力されるようにする。逆にリスナの後方である場合は、入力信号S2−1,S2−2だけがそのまま出力されるように各係数器の係数が制御される。さらに、音像定位位置がリスナの側方付近である場合は、各係数を例えば0.5として入力信号S1−1,S1−2,S2−1,S2−2がそれぞれミックスされて出力されるようにする。また音源がリスナの側方において前後に(あるいは周回状に)移動する場合には、係数器101−1,101−2の出力信号S10−1−1,S10−1−2を徐々に小さくすると共に、係数器102−1,102−2の出力信号S10−2−1,S10−2−2を徐々に大きくし、または逆に係数器101−1,101−2の出力信号S10−1−1,S10−1−2を徐々に大きくすると共に、係数器102−1,102−2の出力信号S10−2−1,S10−2−2を徐々に小さくすることにより、クロスフェード処理することにより、それぞれ音像定位特性付加処理を施されて得られた複数の音源定位位置間を音像が移動するときも、滑らかなデータの切替を行うことができる。
【0068】
以上説明したように、図3に示した前提となる音像定位処理装置により、デジタルフィルタ21、22および音像定位特性付加処理部31、32においてリアルタイムで信号処理することにより、入力信号I1の音像をリスナの周囲の任意の位置に定位させることが可能となる。
【0069】
また、上述した説明では、音像定位特性付加処理部31、32として、図7に示した時間差付加処理部を用いる例を示したが、時間差付加処理部に替えてレベル差付加処理部を用いるようにしても良い。
【0070】
レベル差付加処理部は、図8に示すように構成することができる。図8において、レベル差付加処理部は、端子83と、係数器81と、端子84と、端子85と、係数器82と、端子86とを有して構成される。
【0071】
図8において、レベル差付加処理部が、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C1に基づいて、端子83に入力された入力信号D1に対して係数器81においてレベルを更新することにより、レベル差が付加された出力信号S11が端子84に得られる。このようにして入力信号D1にレベル差を付加することができる。
【0072】
また、レベル差付加処理部が、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C2に基づいて、端子85に入力された入力信号D2に対して係数器82においてレベルを更新することにより、レベル差が付加された出力信号S21が端子86に得られる。このようにして入力信号D2にレベル差を付加することができる。
【0073】
図16に示すように、音源SからリスナLの両耳に至る信号は、0度で示すリスナLの正面方向からの角度によって、図13で示すようなレベル差を生じる。図13において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、Lbに示すように左耳に到達する音声は正面方向に対してレベルが大きくなり、Laに示すように右耳に到達する音声は正面方向に対してレベルが小さくなり、それらの間でレベル差が生じる。
【0074】
逆に、音源SがリスナLに対して右方向に+90度回転すると、Lbに示すように左耳に到達する音声は正面方向に対してレベルが小さくなり、Laに示すように右耳に到達する音声は正面方向に対してレベルが大きくなり、それらの間でレベル差が生じる。
【0075】
図3に戻って、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C1に基づいて、伝達関数を畳み込んだデータに対してこのようなレベル差を生じさせるような付加処理をする。図3に示したデジタルフィルタ21のステレオ出力D11、D12間に音像定位特性付加処理部31によりこのレベル差を付加することにより、リスナの前方の音像定位位置を近似的に移動させた出力S11、S12を得ることができる。
【0076】
同様に、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C2に基づいて、図3に示したデジタルフィルタ22のステレオ出力D21、D22間に音像定位特性付加処理部32によりこのレベル差を付加することにより、リスナの後方の音像定位位置を近似的に移動させた出力S21、S22を得ることができる。
【0077】
また、上述した説明では、音像定位特性付加処理部31、32として、図8に示したレベル差付加処理部を用いる例を示したが、レベル差付加処理部に替えて周波数特性付加処理部を用いるようにしても良い。
【0078】
周波数特性付加処理部は、図9に示すように構成することができる。図9において、周波数特性付加処理部は、端子95と、フィルタ91と、端子96と、端子97と、フィルタ93と、端子98とを有して構成される。
【0079】
図9において、周波数特性付加処理部は、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C1に基づいてフィルタ91の周波数特性を更新することより、端子95に入力された入力信号D1は、所定の周波数帯域のみレベル差が付加されて出力信号S1fとして端子96から出力される。このようにして入力信号D1に所定の周波数帯域のみレベル差を付加することができる。
【0080】
また、周波数特性付加処理部は、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C2に基づいてフィルタ93の周波数特性を更新することにより、端子97に入力された入力信号D2は、所定の周波数帯域のみレベル差が付加されて出力信号S2fとして端子98から出力される。このようにして入力信号D2に所定の周波数帯域のみレベル差を付加することができる。
【0081】
図16に示すように、音源SからリスナLの両耳に至る信号は、0度で示すリスナLの正面方向からの角度によって、周波数帯域によって図14で示すようなレベル差を生じる。
図14において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、faに示すように左耳に到達する音声は正面方向に対してレベルが大きくなり、fbに示すように右耳に到達する音声は正面方向に対してレベルが小さくなり、特に高周波数帯域においてレベル差が生じる。
【0082】
逆に、音源SがリスナLに対して右方向に+90度回転すると、fbに示すように左耳に到達する音声は正面方向に対してレベルが小さくなり、faに示すように右耳に到達する音声は正面方向に対してレベルが大きくなり、特に高周波数帯域においてレベル差が生じる。
【0083】
図3に戻って、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C1に基づいて、伝達関数を畳み込んだデータに対してこのようなレベル差を生じさせるような付加処理をする。図3に示したデジタルフィルタ21のステレオ出力D11、D12間に音像定位特性付加処理部31によりこの所定の周波数帯域のみレベル差を付加することにより、リスナの前方の音像定位位置を近似的に移動させた出力S11、S12を得ることができる。
【0084】
同様に、音像制御入力部9からの指示による音像定位位置制御処理部8からの制御信号C2に基づいて、図3に示したデジタルフィルタ22のステレオ出力D21、D22間に音像定位特性付加処理部32によりこの所定の周波数帯域のみレベル差を付加することにより、リスナの後方の音像定位位置を近似的に移動させた出力S21、S22を得ることができる。
【0085】
上述した図3に示す音像定位処理装置によれば、1系統の入力音声信号に対して一対のインパルス応答を畳み込む手段を用意し、各その一対の畳み込み手段のLチャンネル、Rチャンネルの出力間に音像定位位置に応じた時間差あるいはレベル差または周波数特性などを付加する音像定位特性付加処理部を設けることにより、一対のインパルス応答を畳み込む手段を用意するだけで、広範囲な音像移動位置をカバーすることができるので、各音像移動位置に応じたインパルス応答を全て用意する必要がなく、リスナの全周の音像移動を少ないインパルス応答を畳み込み処理したデータにより実現することができる。
【0086】
次に、本発明における第1の実施の形態による音像定位信号処理装置について説明する。
【0087】
図1は、本実施の形態による音像定位信号処理装置の構成を示すブロック図である。
図1に示す音像定位信号処理装置は、音源データが予め所定の前置処理(後述)を施されて記録媒体上にファイル等のデータとして保存されている点が上述した図3に示す音像定位処理装置と大きく異なる点である。
【0088】
上述したように、図3に示した前提となる音像定位処理装置により、デジタルフィルタ21、22および音像定位特性付加処理部31、32においてリアルタイムで信号処理することにより、入力信号I1の音像をリスナの周囲の任意の位置に定位させることが可能となる。
【0089】
ここで、図3に示した前提となる音像定位処理装置では、入力信号I1に対してリアルタイムで、デジタルフィルタ21、22によるインパルス応答の畳み込み演算処理と、音像定位特性付加処理部31、32による音像定位特性付加処理とが行われる。
【0090】
しかし、音像定位処理を行うデジタルフィルタ21、22によるインパルス応答の畳み込み演算処理は、そのインパルス応答が比較的長く、多数の積和演算が必要であるので、音像定位特性付加処理部31、32による音像定位特性付加処理に比べて処理量が多く、しかも処理時間も長いものである。
【0091】
また、デジタルフィルタ21、22によるインパルス応答の畳み込み演算処理は、予め定められたインパルス応答の畳み込み演算処理を行う固定的な信号処理であるのに対して、音像定位特性付加処理部31、32による音像定位特性付加処理は、音像制御入力部からの指示による音像定位位置制御処理部からの制御信号Cに応じて特性が変化する信号処理である。
【0092】
従って、デジタルフィルタ21、22によるインパルス応答の畳み込み演算処理と、音像定位特性付加処理部31、32による音像定位特性付加処理とをリアルタイムで連続して処理することは効率的ではない。
【0093】
そこで、本実施の形態による音像定位信号処理装置では、音源データが予め所定の前置処理としてデジタルフィルタによるインパルス応答の畳み込み演算処理を施されて記録媒体上にファイル等のデータとして保存されていて、この音源データに対して音像制御入力部からの指示による音像定位位置制御処理部からの制御信号により、音像定位特性付加処理部による音像定位特性付加処理を行うようにしたものである。
【0094】
図11に、本実施の形態による音像定位信号処理装置における変化分信号処理部と、この変化分信号処理部に音源データを供給する固定分信号処理部とを示す。
【0095】
図11において、固定分信号処理部110は、第1の音源データとしての入力信号I1が入力される端子115と、第1の音源データとしての入力信号I1に対してインパルス応答の畳み込み演算処理を施して第2の音源データを生成する第2の音源データ生成部112と、第2の音源データがファイルデータとして格納された第2の音源データ格納部113とを有して構成される。例えば、固定分信号処理部110は、基準方向への音像定位処理のほか残響付加処理などを施す。この基準方向は、例えばリスナの正面または後面方向とする。
【0096】
また、変化分信号処理部111は、第2の音源データ格納部113からの入力信号D1、D2に対して音像定位位置制御処理部3からの制御信号Cにより音像定位位置制御処理を施す音像定位特性付加処理部114と、出力信号S1、S2が出力される端子116とを有して構成される。例えば、変化分信号処理部111は、音像位置が基準方向から移動した方向への音像定位に必要な付加処理を施してもよい。
【0097】
図1において、音源データ格納部1は、所定の前置処理として基準方向でのHRTFを表すインパルス応答の畳み込み演算処理を予めデジタルフィルタにより施されて得られた第2の音源データを記録媒体上にファイル等のデータとして格納している。
【0098】
図4に、第2の音源データ生成部の構成を示す。図4において、入力信号I1は、端子43を介してそれぞれデジタルフィルタ41、42に入力される。入力信号I1は、デジタルフィルタ41により、基準方向での左耳へのHRTFを表すインパルス応答の畳み込み演算処理を施されて出力信号D1として端子44に出力される。また、入力信号I1は、デジタルフィルタ42により、基準方向での右耳へのHRTFを表すインパルス応答の畳み込み演算処理を施されて出力信号D2として端子45に出力される。図4に示す端子44は図1に示す出力信号D1側に対応し、図4に示す端子45は図1に示す出力信号D2側に対応する。
【0099】
また、図4に示すデジタルフィルタ41、42は、それぞれ図6に示すFIRフィルタで構成される。図4で示す端子43は図6に示す端子64に対応し、図4で示す端子44は図6で示す端子65に対応し、図4で示す端子45は図6で示す同様の端子65に対応する。図6において、FIRフィルタは、遅延器61−1〜61−nと、係数器62−1〜62−n+1と、加算器63−1〜63−nとを有して構成される。図6に示すFIRフィルタで、リスナがヘッドホンまたはスピーカ等で再生音声を受聴したとき、リスナの基準方向、例えばリスナの前方または後方のように音像を基準方向の位置に定位させるように、インパルス応答が畳み込み演算処理される。
【0100】
これにより、音像を定位させたい位置からリスナの両耳に至るまでの2系統の伝達関数の畳み込み演算処理を行うことにより、第2のステレオ音源データである出力信号D1、2を得る。
【0101】
なお、基準方向が正面または後面方向であるような場合には、リスナの右耳、左耳へのHRTFは同じものとなるので、デジタルフィルタ41、42は同一特性とすることができる。この場合には、入力信号11をデジタルフィルタ41または42のいずれかに入力し、得られた出力信号を、他方の出力端子45または44に出力するようにしてもよい。
【0102】
次に、2系統の出力信号D1、D2は音像定位特性付加処理部2に入力される。リスナが音像制御入力部4により、音像位置を移動させるための移動情報を入力したとき、音像定位位置制御部3は、位置情報を角度情報あるいは位置情報に変換し、変換された値をパラメータとして、第2のステレオ音源データD1、D2に対して音像定位特性付加処理により音像定位付加処理を付加する。
【0103】
音像制御入力部4により例えばポインティングデバイスなどで入力される2次元または3次元の移動情報は、音像定位位置制御部3により音源位置を示すデータ、例えば、X,Y(,Z)で示される直交座標、または極座標などのパラメータ情報に変換される。また、音像制御入力部4によりプログラムされた移動情報を入力するようにしても良い。
【0104】
図5に示すように、音像定位特性付加処理部50は、入力信号D1、D2に対して音像定位位置制御処理部3からの制御信号Ctにより時間差を付加して出力信号Stを出力する時間差付加処理部51と、入力信号D1、D2に対して音像定位位置制御処理部3からの制御信号C1によりレベル差を付加して出力信号S1を出力するレベル差付加処理部52と、入力信号D1、D2に対して音像定位位置制御処理部3からの制御信号Cfにより周波数特性を付加して出力信号Sfを出力する周波数特性付加処理部53とを有するように構成することができる。
【0105】
なお、音像定位特性付加処理部50は、時間差付加処理部51、レベル差付加処理部52または周波数特性付加処理部53のいずれか一つを設けても良く、時間差付加処理部51およびレベル差付加処理部52、レベル差付加処理部52および周波数特性付加処理部53、時間差付加処理部51および周波数特性付加処理部53のいずれか二つを設けても良い。さらに、これらの複数の処理を統合し一括して処理するようにしてもよい。
【0106】
図5に示す端子54は、図1に示す入力信号D1、D2側が対応し、図5に示す端子55は、図1に示す出力信号S1、S2側が対応する。なお、入力信号D1、D2は、基準方向がリスナの正面または後面方向である場合には、左右のHRTFは同一特性となるため、同一となる。そのため、図1に示す音源データ格納部1から第2の音源データの出力信号D1またはD2のいずれかの信号を取り出し、それぞれの音像定位特性付加処理部50に供給するようにすることもできる。
【0107】
ここで、例えば、音像定位特性付加処理で変更されたパラメータがリスナLの正面方向からの音源Sの方向角度データであり、音像定位特性付加処理が時間差付加処理により構成される場合には、図7に示すような時間差付加処理部により、図12に示す特性のように角度に対する時間差特性を入力信号D1、D2に対して付加することにより、任意の角度に音像を定位させることができる。
【0108】
時間差付加処理部51の構成例を図7に示す。図7は、2系統の入力信号に対して時間差を付加するものである。図7に示す時間差付加処理部は、端子75と、遅延器71−1〜71−nと、切り替えスイッチ72と、端子76と、端子77と、遅延器73−1〜73−nと、切り替えスイッチ74と、端子78とを有して構成される。
【0109】
入力信号D1は端子75に入力され、遅延器71−1〜71−nに供給され、切り替えスイッチ72により選択された遅延器71−1〜71−nからの出力に応じて、入力信号D1に対して時間差が付加されて端子76から出力信号S1tとして出力される。
【0110】
入力信号D2は端子77に入力され、遅延器73−1〜73−nに供給され、切り替えスイッチ74により選択された遅延器73−1〜73−nからの出力に応じて、入力信号D1に対して時間差が付加されて端子78から出力信号S2tが出力される。
【0111】
そして、入力信号D1に対して付加される時間差と入力信号D2に対して付加される時間差とが異なると、出力信号S1tとS2tとの間で時間差が付加される。
【0112】
音源からリスナの両耳に至る信号はリスナの正面方向からの角度によって、図12に示すような時間差を生じる。図12において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、Taに示すように右耳に到達する音声は正面方向に対して到達時間が遅くなり、Tbに示すように左耳に到達する音声は正面方向に対して到達時間が早くなり、それらの間で時間差が生じる。
【0113】
逆に、音源SがリスナLに対して右方向に+90度回転すると、Taに示すように右耳に到達する音声は正面方向に対して到達時間が早くなり、Tbに示すように左耳に到達する音声は正面方向に対して到達時間が遅くなり、それらの間で時間差が生じる。
【0114】
図1に戻って、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号Ctに基づいて、伝達関数を畳み込んだデータD2は、このような時間差を生じさせるような付加処理を施される。図1に示した音源データ格納部1からの第2の音源データのステレオ出力D1、D2間に音像定位特性付加処理部2によりこの時間差を付加することにより、リスナの任意の音像定位位置を近似的に移動させた出力S1、S2を得ることができる。
【0115】
以上説明したように、図1に示した音像定位信号処理装置により、所定の前置処理として基準方向でのHRTFを表すインパルス応答の畳み込み演算処理を予めデジタルフィルタにより施されて記録媒体上にファイル等のデータとして保存された第2の音源データ1に対して、音像定位特性付加処理部2においてリアルタイムで信号処理することにより、音像をリスナの任意の位置に定位させることが可能となる。
【0116】
また、上述した説明では、音像定位特性付加処理部2として、図7に示した時間差付加処理部を用いる例を示したが、時間差付加処理部に対してレベル差付加処理部をさらに加えて用いるようにしても良い。また、時間差付加処理部に替えてレベル差付加処理部を用いるようにしても良い。
【0117】
ここで、例えば、音像定位特性付加処理で変更されたパラメータがリスナLの正面方向からの音源Sの方向角度データであり、音像定位特性付加処理がレベル差付加処理により構成される場合には、図8に示すようにレベル差付加処理部により、図13に示す特性のように角度に対するレベル差特性を入力信号D1、D2に対して付加することにより、任意の角度に音像を定位させることができる。
【0118】
レベル差付加処理部は、図8に示すように構成することができる。図8において、レベル差付加処理部は、端子83と、係数器81と、端子84と、端子85と、係数器82と、端子86とを有して構成される。
【0119】
図8において、レベル差付加処理部は、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1に基づいて、端子83に入力された入力信号D1に対して係数器81においてレベルを更新することにより、レベル差が付加された出力信号S11が端子84に得られる。このようにして入力信号D1にレベル差を付加することができる。
【0120】
また、レベル差付加処理部は、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C2に基づいて、端子85に入力された入力信号D2に対して係数器82においてレベルを更新することにより、レベル差が付加された出力信号S21が端子86に得られる。このようにして入力信号D2にレベル差を付加することができる。
【0121】
図16に示すように、音源SからリスナLの両耳に至る信号は、0度で示すリスナLの正面方向からの角度によって、図13で示すようなレベル差を生じる。図13において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、Lbに示すように左耳に到達する音声は正面方向に対してレベルが大きくなり、Laに示すように右耳に到達する音声は正面方向に対してレベルが小さくなり、それらの間でレベル差が生じる。
【0122】
逆に、音源SがリスナLに対して右方向に+90度回転すると、Lbに示すように左耳に到達する音声は正面方向に対してレベルが小さくなり、Laに示すように右耳に到達する音声は正面方向に対してレベルが大きくなり、それらの間でレベル差が生じる。
【0123】
図1に戻って、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1に基づいて、伝達関数を畳み込んだデータD1、D2は、このようなレベル差を生じさせるような付加処理を施される。図1に示した音源データ格納部1からの第2の音源データのステレオ出力D1、D2間に音像定位特性付加処理部2によりこのレベル差を付加することにより、リスナの任意の音像定位位置を近似的に移動させた出力S1、S2を得ることができる。
【0124】
また、上述した説明では、音像定位特性付加処理部2として、図8に示したレベル差付加処理部を用いる例を示したが、時間差付加処理部に対してレベル差付加処理部および/または周波数特性付加処理部をさらに加えて用いるようにしても良い。また、レベル差付加処理部に替えて周波数特性付加処理部を用いるようにしても良い。さらに、これらの複数の処理を統合し一括して処理するようにしてもよい。
【0125】
ここで、例えば、音像定位特性付加処理で変更されたパラメータがリスナLの正面方向からの音源Sの方向角度データであり、音像定位特性付加処理が周波数特性付加処理により構成される場合には、図9に示すような周波数特性付加処理部により、図14に示す特性のように角度に対する周波数特性を入力信号D1、D2に対して付加することにより、任意の角度に音像を定位させることができる。
【0126】
周波数特性付加処理部は、図9に示すように構成することができる。図9において、周波数特性付加処理部は、端子95と、フィルタ91と、端子96と、端子97と、フィルタ93と、端子98とを有して構成される。
【0127】
図9において、周波数特性付加処理部は、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号Cfに基づいてフィルタ91の周波数特性を更新することにより、端子95に入力された入力信号D1は、所定の周波数帯域のみレベル差が付加されて出力信号S1fとして端子96から出力される。このようにして入力信号D1に所定の周波数帯域のみレベル差を付加することができる。
【0128】
また、レベル差付加処理部は、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C2に基づいてフィルタ93の周波数特性を更新することにより、端子97に入力された入力信号D2は、所定の周波数帯域のみレベル差が付加されて出力信号S2fとして端子98から出力される。このようにして入力信号D2に所定の周波数帯域のみレベル差を付加することができる。
【0129】
図16に示すように、音源SからリスナLの両耳に至る信号は、0度で示すリスナLの正面方向からの角度によって、周波数帯域によって図14で示すようなレベル差を生じる。
図14において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、faに示すように左耳に到達する音声は正面方向に対してレベルが大きくなり、fbに示すように右耳に到達する音声は正面方向に対してレベルが小さくなり、特に高周波数帯域においてレベル差が生じる。
【0130】
逆に、音源SがリスナLに対して右方向に+90度回転すると、fbに示すように左耳に到達する音声は正面方向に対してレベルが小さくなり、faに示すように右耳に到達する音声は正面方向に対してレベルが大きくなり、特に高周波数帯域においてレベル差が生じる。
【0131】
図1に戻って、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号Cfに基づいて、伝達関数を畳み込んだデータD1、D2は、このようなレベル差を生じさせるような付加処理を施される。図1に示した音源データ格納部1からの第2の音源データのステレオ出力D1、D2間に音像定位特性付加処理部2によりこの所定の周波数帯域のみレベル差を付加することにより、リスナの任意の音像定位位置を近似的に移動させた出力S1、S2を得ることができる。
【0132】
この第1の実施の形態による音像定位信号処理装置では、例えば基準方向がリスナの正面または後面方向として第2の音源データが形成されている場合、上述の音像定位特性付加処理によって正面または後面方向を中心として左右に±90°の範囲に音像定位位置を移動することができる。したがって、音源の移動範囲が、例えばリスナの前方半分のみでよい場合には、第2の音源データとして正面方向に定位する音源データを用意すればよい。
【0133】
また、上述した時間差付加処理部、レベル差付加処理部、周波数特性付加処理部は同時に使用することも可能であり、音像定位特性付加処理部50においてカスケード接続して使用すればさらに品質の良い音像移動を実現することができる。
【0134】
また、音源データに対して目的とする音像定位特性付加処理を任意に付加することにより音像定位をさらに改善することもできる。
【0135】
上述した第1の実施の形態では、音像定位の基準方向または基準位置を1つに定め、そこに音像定位するように予め第1の音源データを音像定位処理し、得られた第2の音源データに対して目的とする音像定位特性付加処理を施した。
【0136】
それに対して、第1の音源データの音像定位方向または位置を複数定め、それぞれの方向または位置に音像定位するように予め第1の音源データを音像定位処理する。この処理によって得られた複数の第2の音源データを音源データ格納部に格納する。音源データ格納部は、第2の音源データ個々に対してそれぞれ個別に用意してもよいし、それらをまとめて格納するようにしてもよい。
【0137】
リスナが音像制御入力部4により、音像位置を移動させるための移動情報を入力したとき、音像定位位置制御部3は、位置情報を角度情報あるいは位置情報に変換する。この変換されて得られた角度あるいは位置に最も近い音像定位方向または位置の第2の音源データを音源データ格納部から選択する。選択された第2の音源データに対して音像定位特性付加処理部2により音像定位付加処理を施す。
【0138】
音像定位特性付加処理部2から出力される信号S1、S2は、上述した第1の実施の形態と同様に、D/A変換器5R、5Lに供給することによりアナログ信号に変換して、増幅器6R、6Lにより増幅してヘッドホン7R、7Lにより再生音を聴取することができる。これにより、リスナの任意の位置に音像を精度を高くして定位させることができる。
【0139】
例えば、第1の音源データの音像定位方向は、リスナの正面方向および後面方向であるとして、第1の音源データに対して正面および後面に音像定位するように音像定位処理して、2組の第2の音源データを形成し予め音源データ格納部に格納しておく。
【0140】
音像定位位置制御部3により最終的に音像定位させたい方向がリスナの前方半分の範囲内であれば、正面方向に音像定位する第2の音源データを選択し、続く音像定位特性付加処理部2により音像定位付加処理を施す。逆に、最終的に音像定位させたい方向がリスナの後方半分の範囲であれば、後面方向に音像定位するもう一方の第2の音源データを選択し、続く音像定位特性付加処理部2により音像定位付加処理を施す。
【0141】
なお、この例のように、第1の音源データの音像定位方向を正面または後面方向とする場合は、上述されるように、音源からリスナの左右の耳までのHRTFが等しくなるので、第2の音源データとしてステレオデータを格納する必要はなく、そのうちの一方の音源データを格納し、音像定位特性付加処理部2において時間差、レベル差、周波数特性差などを付加された一対の再生信号を得るようにしてもよい。この場合には、第2の音源データを格納する音源データ格納部1の記録容量が小さくて済み、第2の音源データを読み出す処理も軽減されるので、より小さいリソースで実現できる。
【0142】
次に、本発明における第2の実施の形態による音像定位信号処理装置について説明する。
【0143】
図2は、他の音像定位信号処理装置の構成を示すブロック図である。図2は、この音像定位信号処理装置の構成を示すブロック図である。図2に示す音像定位信号処理装置は、音源データがそれぞれ異なる音像位置に定位するように予め所定の前置処理を施されて記録媒体上に複数のファイル等のデータとして保存されている点が上述した図3に示す音像定位処理装置と大きく異なる点である。
【0144】
この音像定位信号処理装置では、所定の前置処理として、元となる第1の音源データが、複数の異なる音像定位位置からのHRTFを表すインパルス応答の畳み込み演算処理をデジタルフィルタにより施されて複数の第2の音源データとして記録媒体上にファイル等のデータとして保存されていて、この第2の音源データに対して音像制御入力部からの指示による音像定位位置制御処理部からの制御信号により、音像定位特性付加処理部による音像定位特性付加処理を行うようにしたものである。
【0145】
図11に、この音像定位信号処理装置における変化分信号処理部と、この変化分信号処理部に音源データを供給する固定分信号処理部とを示す。
【0146】
図11において、固定分信号処理部110は、第1の音源データとしての入力信号I1が入力される端子115と、第1の音源データとしての入力信号I1に対してインパルス応答の畳み込み演算処理を施して第2の音源データを生成する第2の音源データ生成部112と、第2の音源データがファイルデータとして格納された第2の音源データ格納部113とを有して構成される。
【0147】
また、変化分信号処理部111は、第2の音源データ格納部113からの入力信号D1、D2に対して音像定位位置制御処理部3からの制御信号Cにより音像定位位置制御処理を施す音像定位特性付加処理部114と、出力信号S1、S2が出力される端子116とを有して構成される。
【0148】
この音像定位信号処理装置においては、図11に示す固定分信号処理部110および変化分信号処理部111が異なる音像位置の複数の音源データ11〜1nに対応して複数設けられる。
【0149】
図2において、音源データ格納部11〜1nの第2の音源データは、所定の前置処理として、第1の音源データに対して、それぞれ異なる音像定位位置からのHRTFを表すインパルス応答の畳み込み演算処理を予めデジタルフィルタにより施されて記録媒体上にファイル等のデータとして保存されている。つまり、1つの音源データに対して、複数組の第2の音源データが形成されている。
【0150】
図4に、第2の音源データ生成部の構成を示す。図4において、入力信号I11〜I1nは、端子43を介してそれぞれデジタルフィルタ41、42に入力される。入力信号I11〜I1nは、デジタルフィルタ41により、それぞれ異なる音像位置の音源からリスナの左側の耳へのHRTFを表すインパルス応答の畳み込み演算処理を施されて出力信号D1−1、D2−1・・・Dn−1として端子44に出力される。また、入力信号I11〜I1nは、デジタルフィルタ42により、それぞれ異なる音像位置の音源からリスナの右側の耳へのHRTFを表すインパルス応答の畳み込み演算処理を施されて出力信号D1−2、D2−1・・・Dn−2として端子45に出力される。図4に示す端子44は図2に示す出力信号D1−1、D2−1、・・・Dn−1側に対応し、図4に示す端子45は図2に示す出力信号D1−2、D2−2・・・Dn−2側に対応する。
【0151】
また、図4に示すデジタルフィルタ41、42は、それぞれ図6に示すFIRフィルタで構成される。図4で示す端子43は図6に示す端子64に対応し、図4で示す端子44は図6で示す端子65に対応し、図4で示す端子45は図6で示す同様の端子65に対応する。図6において、FIRフィルタは、遅延器61−1〜61−nと、係数器62−1〜62−n+1と、加算器63−1〜63−nとを有して構成される。図6に示すFIRフィルタで、リスナがヘッドホンまたはスピーカ等で再生音声を受聴したとき、それぞれの音源位置に音像を定位させるように、それぞれ異なる音像位置の音源からのインパルス応答が畳み込み演算処理される。
【0152】
この第2の実施の形態においては、図4に示す第2の音源データ生成部が異なる音像位置の複数の音源データ11〜1nに対応して複数設けられる。
【0153】
これにより、音像を定位させたい位置からリスナの両耳に至るまでの2系統の伝達関数の畳み込み演算処理を行うことにより、第2のステレオ音源データである出力信号D1−1、D1−2、D2−1、D2−2、・・・Dn−1、Dn−2を得て、音源データ格納部11〜1nにそれぞれ格納される。
【0154】
次に、音源データ格納部11〜1nから取り出された2系統の出力信号D1−1、D1−2、D2−1、D2−2、・・・Dn−1、Dn−2は音像定位特性付加処理部21〜2nに入力される。リスナが音像制御入力部4により、音像位置を移動させるための移動情報を入力したとき、音像定位位置制御部3は、移動情報を角度情報あるいは位置情報に変換し、変換された値をパラメータとして、第2のステレオ音源データD1−1、D1−2、D2−1、D2−2、・・・Dn−1、Dn−2に対して音像定位特性付加処理により音像定位付加処理を付加する。
【0155】
図5に示すように、音像定位特性付加処理部50は、入力信号D1−1、D1−2、D2−1、D2−2、・・・Dn−1、Dn−2に対して音像定位位置制御処理部3からの制御信号Ctにより時間差を付加して出力信号Stを出力する時間差付加処理部51と、入力信号D1−1、D1−2、D2−1、D2−2、・・・Dn−1、Dn−2に対して音像定位位置制御処理部3からの制御信号C1によりレベル差を付加して出力信号S1を出力するレベル差付加処理部52と、入力信号D1−1、D1−2、D2−1、D2−2、・・・Dn−1、Dn−2に対して音像定位位置制御処理部3からの制御信号Cfにより周波数特性を付加して出力信号Sfを出力する周波数特性付加処理部53とを有するように構成することができる。
【0156】
なお、音像定位特性付加処理部50は、時間差付加処理部51、レベル差付加処理部52または周波数特性付加処理部53のいずれか一つを設けても良く、時間差付加処理部51およびレベル差付加処理部52、レベル差付加処理部52および周波数特性付加処理部53、時間差付加処理部51および周波数特性付加処理部53のいずれか二つを設けても良い。さらに、これらの複数の処理を統合し一括して処理するようにしてもよい。
【0157】
図5に示す端子54は、図2に示す入力信号D1−1、D1−2、D2−1、D2−2、・・・Dn−1、Dn−2側が対応し、図5に示す端子55は、図1に示す出力信号S1−1、S1−2、S2−1、S2−2・・・Sn−1、Sn−2側が対応する。なお、入力信号D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2は、例えば、音像定位位置が左右対称である場合のように互いに一致するデータがあれば、入力信号D1−1、D2−1・・・Dn−1またはD1−2、D2−2・・・Dn−2のうちの1個ずつのデータを共通化して使用することもできる。
【0158】
この音像定位信号処理装置においては、図5に示す音像定位特性付加処理部50が異なる位置の複数の音源データ11〜1nに対応して複数設けられる。また、出力信号D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2に対して上述の特性付加処理が施される。
【0159】
ここで、例えば、音像定位特性付加処理で変更されたパラメータがリスナLの正面方向からの音源Sの方向角度データであり、音像定位特性付加処理が時間差付加処理により構成される場合には、図7に示すように時間差付加処理部により、図12に示す特性のように角度に対する時間差特性を入力信号D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2に対して付加することにより、任意の角度に音像を定位させることができる。
【0160】
この音像定位信号処理装置においては、図7に示す時間差付加処理部が異なる音像位置の複数の音源データ11〜1nに対応して複数設けられる。
【0161】
時間差付加処理部51の構成例を図7に示す。図7は、2系統の入力信号に対して時間差を付加するものである。図7に示す時間差付加処理部は、端子75と、遅延器71−1〜71−nと、切り替えスイッチ72と、端子76と、端子77と、遅延器73−1〜73−nと、切り替えスイッチ74と、端子78とを有して構成される。
【0162】
入力信号D1−1、D2−1・・・Dn−1は端子75に入力され、遅延器71−1〜71−nに供給され、切り替えスイッチ72により選択された遅延器71−1〜71−nからの出力に応じて時間差が付加されて端子76から出力信号S1tが出力される。
【0163】
入力信号D1−2、D2−2・・・Dn−2は端子77に入力され、遅延器73−1〜73−nに供給され、切り替えスイッチ74により選択された遅延器73−1〜73−nからの出力に応じて時間差が付加されて端子78から出力信号S2tが出力される。
【0164】
そして、入力信号D1−1、D2−1・・・Dn−1に対して付加される時間差と入力信号D1−2、D2−2・・・Dn−2に対して付加される時間差とが異なると、出力信号S1tとS2tとの間で時間差が付加される。
【0165】
音源からリスナの両耳に至る信号はリスナの正面方向からの角度によって、図12に示すような時間差を生じる。図12において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、Taに示すように右耳に到達する音声は正面方向に対して到達時間が遅くなり、Tbに示すように左耳に到達する音声は正面方向に対して到達時間が早くなり、それらの間で時間差が生じる。
【0166】
逆に、音源SがリスナLに対して右方向に+90度回転すると、Taに示すように右耳に到達する音声は正面方向に対して到達時間が早くなり、Tbに示すように左耳に到達する音声は正面方向に対して到達時間が遅くなり、それらの間で時間差が生じる。
【0167】
図2に戻って、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1(Ct)に基づいて、伝達関数を畳み込んだデータD1−1、D1−2は、このような時間差を生じさせるような付加処理を施される。図2に示した音源データ格納部11からの第2の音源データのステレオ出力D1−1、D1−2間に音像定位特性付加処理部21によりこの時間差を付加することにより、リスナの任意の音像定位位置を近似的に移動させた出力S1−1、S1−2を得ることができる。
【0168】
同様に、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C2〜Cn(Ct)に基づいて、図2に示した音源データ格納部12〜1nからの第2の音源データのステレオ出力D2−1、D2−2・・・Dn−1、Dn−2間に音像定位特性付加処理部22〜2nによりこの時間差を付加することにより、リスナの任意の音像定位位置を近似的に移動させた出力S2−1、S2−2・・・Sn−1、Sn−2を得ることができる。
【0169】
音像定位位置制御処理部3は、音像制御入力部4から音像位置を移動する移動情報が入力されたとき、この移動情報を角度情報あるいは位置情報に変換し、変換された値をパラメータとして、音像定位特性付加処理部21〜2nおよび特性選択処理部20に供給する。
特性選択処理部20ではその角度情報あるいは位置情報に近い音像位置にあるデータをステレオ音源データD1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2から選択し、選択されたステレオ音源データD1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2に対して音像定位特性付加処理部21〜2nにより特性を付加する。
【0170】
また、特性選択処理部20は、その出力を、D/A変換器5R、5Lに供給することによりアナログ信号に変換して、増幅器6R、6Lにより増幅してヘッドホン7R、7Lにより再生音を聴取することができる。これにより、リスナの任意の位置に音像を精度を高くして定位させることができる。
【0171】
図2に示した特性選択処理部20は、例えば図10のように構成することができる。
【0172】
なお、図10は2系統の入力の場合を示したが、入力信号S1−1、S2−1、S2−2、・・・Sn−1、Sn−2に対応して複数構成される。
【0173】
図10において、特性選択処理部20は、入力信号S1−1,S1−2が入力される端子104、105と、係数器101−1,101−2と、加算器103−1,103−2と、入力信号S2−1,S2−2が入力される端子106、107と、係数器102−1,102−2と、出力信号S10−1,S10−2が出力される端子108、109とを有して構成される。
【0174】
図10において、音像定位位置が、入力信号S1−1,S1−2に対応する音像位置と入力信号S2−1,S2−2に対応する音像位置との中間である場合は、係数器101−1,101−2、102−1,102−2の係数を0.5として、入力信号S1−1とS2−1、入力信号S1−2とS2−2がそれぞれミックスされて出力されるようにする。
また音像定位位置が、入力信号S2−1,S2−2に対応する音像位置よりも入力信号S1−1,S1−2に対応する音像位置に近い場合には、入力信号S1−1、S1−2の配分が相対的に大きくなるようにミックスして出力する。さらに、音像定位位置が、上記中間位置を通過していくように移動する場合には、係数器101−1,101−2の出力信号S10−1−1,S10−1−2を徐々に小さくすると共に、係数器102−1,102−2の出力信号S10−2−1,S10−2−2を徐々に大きくし、または逆に係数器101−1,101−2の出力信号S10−1−1,S10−1−2を徐々に大きくすると共に、係数器102−1,102−2の出力信号S10−2−1,S10−2−2を徐々に小さくすることにより、クロスフェード処理する。こうすることにより、それぞれ音像定位特性付加処理を施されて得られた複数のステレオ音源データに対応する音源定位位置間を音像が移動するときも、滑らかなデータの切替を行うことができる。
【0175】
以上説明したように、図2に示した音像定位信号処理装置により、所定の前置処理として基準方向でのHRTFを表すインパルス応答の畳み込み演算処理を予めデジタルフィルタにより施されて記録媒体上にファイル等のデータとして保存されたそれぞれ異なる音像位置の音源の第2の音源データ11〜1nに対して、音像定位特性付加処理部21〜2nにおいてリアルタイムで信号処理することにより、音像をリスナの任意の位置に精度を高くして定位させることが可能となる。
【0176】
また、上述した説明では、音像定位特性付加処理部21〜2nとして、図7に示した時間差付加処理部を用いる例を示したが、時間差付加処理部に対してレベル差付加処理部をさらに加えて用いるようにしても良い。また、時間差付加処理部に替えてレベル差付加処理部を用いるようにしても良い。
【0177】
ここで、例えば、音像定位特性付加処理で変更されたパラメータがリスナLの正面方向からの音源Sの方向角度データであり、音像定位特性付加処理がレベル差付加処理により構成される場合には、図8に示すようにレベル差付加処理部により、図13に示す特性のように角度に対するレベル差特性を入力信号D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2に対して付加することにより、任意の角度に音像を定位させることができる。
【0178】
レベル差付加処理部は、図8に示すように構成することができる。図8において、レベル差付加処理部は、端子83と、係数器81と、端子84と、端子85と、係数器82と、端子86とを有して構成される。
【0179】
この音像定位信号処理装置においては、図8に示すレベル差付加処理部が異なる位置の複数の音源データ11〜1nに対応して複数設けられる。また、出力信号D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2に対して上述の特性付加処理が施される。
【0180】
図8において、レベル差付加処理部が、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1〜Cn(Cl)に基づいて、端子83に入力された入力信号D1−1,D2−1、・・・Dn−1に対して係数器81においてレベルを更新することにより、レベル差が付加された出力信号S11が端子84に得られる。このようにして入力信号D1−1,D2−1、・・・Dn−1にレベル差を付加することができる。
【0181】
また、レベル差付加処理部は、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1〜Cn(Cl)に基づいて、端子85に入力された入力信号D1−2,D2−2・・・Dn−2に対して係数器82においてレベルを更新することにより、レベル差が付加された出力信号S21が端子86に得られる。このようにして入力信号D1−2,D2−2・・・Dn−2にレベル差を付加することができる。
【0182】
図16に示すように、音源SからリスナLの両耳に至る信号は、0度で示すリスナLの正面方向からの角度によって、図13で示すようなレベル差を生じる。図13において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、Lbに示すように左耳に到達する音声は正面方向に対してレベルが大きくなり、Laに示すように右耳に到達する音声は正面方向に対してレベルが小さくなり、それらの間でレベル差が生じる。
【0183】
逆に、音源SがリスナLに対して右方向に+90度回転すると、Lbに示すように左耳に到達する音声は正面方向に対してレベルが小さくなり、Laに示すように右耳に到達する音声は正面方向に対してレベルが大きくなり、それらの間でレベル差が生じる。
【0184】
図2に戻って、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1〜Cn(Cl)に基づいて、伝達関数を畳み込んだデータは、このようなレベル差を生じさせるような付加処理を施される。図2に示した音源データ格納部11〜1nからの第2の音源データのステレオ出力D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2間に音像定位特性付加処理部21〜2nによりこのレベル差を付加することにより、リスナの任意の音像定位位置を近似的に移動させた出力S1−1、S1−2、S2−1、S2−2・・・Sn−1、Sn−2を得ることができる。
【0185】
また、上述した説明では、音像定位特性付加処理部21〜2nとして、図8に示したレベル差付加処理部を用いる例を示したが、時間差付加処理部に対してレベル差付加処理部および/または周波数特性付加処理部をさらに加えて用いるようにしても良い。また、レベル差付加処理部に替えて周波数特性付加処理部を用いるようにしても良い。さらに、これらの複数の処理を統合し一括して処理するようにしてもよい。
【0186】
ここで、例えば、音像定位特性付加処理で変更されたパラメータがリスナLの正面方向からの音源Sの方向角度データであり、音像定位特性付加処理が周波数特性付加処理により構成される場合には、図9に示すように周波数特性付加処理部により、図14に示す特性のように角度に対する周波数特性を入力信号D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2に対して付加することにより、任意の角度に音像を定位させることができる。
【0187】
周波数特性付加処理部は、図9に示すように構成することができる。図9において、周波数特性付加処理部は、端子95と、フィルタ91と、係数器92と、端子96と、端子97と、フィルタ93と、係数器94と、端子98とを有して構成される。
【0188】
この音像定位信号処理装置においては、図9に示す周波数特性付加処理部がそれぞれ異なる音像定位位置の複数の音源データ11〜1nに対応して複数設けられる。また、出力信号D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2に対して上述の特性付加処理が施される。
【0189】
図9において、周波数特性付加処理部は、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1〜Cn(Cf)に基づいてフィルタ91の周波数特性を更新することにより、端子95に入力された入力信号D1−1,D2−1、・・・Dn−1は、所定の周波数帯域のみレベル差が付加されて出力信号S1fとして端子96から出力される。このようにして入力信号D1−1,D2−1、・・・Dn−1に所定の周波数帯域のみレベル差を付加することができる。
【0190】
また、レベル差付加処理部は、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1〜Cn(Cf)に基づいてフィルタ93の周波数特性を更新することにより、端子97に入力された入力信号D1−2,D2−2、・・・Dn−2は、所定の周波数帯域のみレベル差が付加されて出力信号S2fとして端子98から出力される。このようにして入力信号D1−2,D2−2、・・・Dn−2に所定の周波数帯域のみレベル差を付加することができる。
【0191】
図16に示すように、音源SからリスナLの両耳に至る信号は、0度で示すリスナLの正面方向からの角度によって、周波数帯域によって図14で示すようなレベル差を生じる。
図14において、回転角0度は図16に示すリスナLの正面に音源Sが位置する状態である。図16において、例えば、音源SがリスナLに対して左方向に−90度回転すると、faに示すように左耳に到達する音声は正面方向に対してレベルが大きくなり、fbに示すように右耳に到達する音声は正面方向に対してレベルが小さくなり、特に高周波数帯域においてレベル差が生じる。
【0192】
逆に、音源SがリスナLに対して右方向に+90度回転すると、fbに示すように左耳に到達する音声は正面方向に対してレベルが小さくなり、faに示すように右耳に到達する音声は正面方向に対してレベルが大きくなり、特に高周波数帯域においてレベル差が生じる。
【0193】
図2に戻って、音像制御入力部4からの指示による音像定位位置制御処理部3からの制御信号C1〜Cn(Cf)に基づいて、伝達関数を畳み込んだデータに対してこのようなレベル差を生じさせるような付加処理をするために、図2に示した第2の音源データ11〜1nのステレオ出力D1−1、D1−2、D2−1、D2−2・・・Dn−1、Dn−2間に音像定位特性付加処理部2によりこの所定の周波数帯域のみレベル差を付加することにより、リスナの任意の音像定位位置を近似的に移動させた出力S1−1、S1−2、S2−1、S2−2・・・Sn−1、Sn−2を得ることができる。
【0194】
このように、時間差付加処理部、レベル差付加処理部、周波数特性付加処理部は同時に使用することも可能であり、音像定位特性付加処理部50においてカスケード接続して使用すればさらに品質の良い音像移動を実現することができる。
【0195】
また、音源データに対して目的とする音像定位特性付加処理を任意に付加することにより音像定位をさらに改善することもできる。
【0196】
なお、上述した本実施の形態では、音像定位特性付加処理部50は、時間差付加処理、レベル差付加処理及び/又は周波数特性付加処理である例を示したが、これに限らず、他の音像定位特性付加処理を付加するようにしても良い。
【0197】
また、上述した本発明の実施の形態においては、上記第2の音源データは、ビデオゲーム機やパーソナルコンピュータに対してCD−ROMディスクや半導体メモリなどの形態で提供されることが考えられるが、この他にインターネットなどの通信路を介して供給されるものでもよい。もちろん、本発明の音像定位信号処理装置の内部に備わる記憶装置(メモリやハードディスクドライブなど)に格納されているものでもよい。
【0198】
【産業上の利用の可能性】
本発明は、例えば、テレビジョン受像機に画像を表示させて入力手段による入力指示に対応して画像を移動させるビデオゲーム機(テレビゲーム機)等に利用することができる。
【0199】
【図面の簡単な説明】
図1は、本実施の形態による音像定位信号処理装置の構成を示すブロック図である。
図2は、他の音像定位信号処理装置の構成を示すブロック図である。
図3は、前提となる音像定位処理装置の構成を示すブロック図である。
図4は、第2の音源データ生成部の構成例を示す図である。
図5は、音像定位特性付加処理部の構成例を示す図である。
図6は、FIRフィルタの構成例を示す図である。
図7は、時間差付加処理部の構成例を示す図である。
図8は、レベル差付加処理部の構成例を示す図である。
図9は、周波数特性付加処理部の構成例を示す図である。
図10は、特性選択処理部の構成例を示す図である。
図11は、固定分信号処理部と変化分信号処理部を示す図である。
図12は、頭部回転角と時間差との特性を示す図である。
図13は、頭部回転角とレベル差との特性を示す図である。
図14は、頭部回転角と周波数との特性を示す図である。
図15は、ヘッドホン装置の構成を示す図である。
図16は、頭外音像定位型ヘッドホン装置の原理を示す図である。
図17は、信号処理装置を示す図である。
図18は、FIRフィルタの構成例を示す図である。
図19は、デジタルフィルタの構成例を示す図である。
図20は、他の信号処理装置を示す図である。
【0200】
【引用符号の説明】
1……音源データ格納部
2……音像定位特性付加処理部
3……音像定位位置制御処理部
4……音像制御入力部
5R,5L……D/A変換器
6R,6L……増幅器
7R,7L……ヘッドホン
11〜1n……音源データ格納部
21〜2n……音像定位特性付加処理部
20……特性選択処理部
50……音像定位特性付加処理部
51……時間差付加処理部
52……レベル差付加処理部
53……周波数特性付加処理部
110……固定分信号処理部
111……変化分信号処理部
Claims (1)
- 音声信号データを再生することによって生じる音の音像がリスナに対する基準方向及び基準位置にあると仮定した状態における前記リスナの右耳への頭部伝達関数を表すインパルス応答の畳み込み演算処理を実施する第一デジタルフィルタと、前記音像が前記基準方向及び前記基準位置にあると仮定した状態における前記リスナの左耳への頭部伝達関数を表すインパルス応答の畳み込み演算処理を実施する第二デジタルフィルタとに、予め前記音声信号データを供給して、前記第一デジタルフィルタから得られる第一出力信号データと、前記第二デジタルフィルタから得られる第二出力信号データとを格納する音源データ格納部と、
前記音像が、前記聴取者に対する前記基準方向及び前記基準位置から所定の角度及び距離移動している状態の音像定位位置を表す定位情報を生成する音像定位位置制御処理部と、
前記第一出力信号データ及び前記第二出力信号データに、前記定位情報に基づく音像定位特性を付加する音像定位特性付加処理部と、を備え、
前記音像定位特性付加処理部は、
前記第一出力信号データ及び前記第二出力信号データのそれぞれに対して、前記定位情報に基づく前記聴取者の前記右耳と前記左耳との間に生じる時間差に基づく遅延を与える時間差付加処理部と、
前記時間差付加処理部の出力データに対して、前記定位情報に基づく前記聴取者の前記右耳と前記左耳との間に生じるレベル差に基づく音量レベルを与えるレベル差付加処理部と、
前記レベル差付加処理部の出力データに対して、前記定位情報に基づく前記聴取者の前記右耳と前記左耳に生じる周波数特性差に基づく周波数特性を与える周波数特性付加処理部と
を含む音像定位信号処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001037426 | 2001-02-14 | ||
JP2001037426 | 2001-02-14 | ||
PCT/JP2002/001042 WO2002065814A1 (fr) | 2001-02-14 | 2002-02-07 | Processeur de signaux de localisation d'images sonores |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2002065814A1 JPWO2002065814A1 (ja) | 2004-06-17 |
JP4499358B2 true JP4499358B2 (ja) | 2010-07-07 |
Family
ID=18900559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002565393A Expired - Fee Related JP4499358B2 (ja) | 2001-02-14 | 2002-02-07 | 音像定位信号処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7369667B2 (ja) |
EP (1) | EP1274279B1 (ja) |
JP (1) | JP4499358B2 (ja) |
WO (1) | WO2002065814A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7371175B2 (en) * | 2003-01-13 | 2008-05-13 | At&T Corp. | Method and system for enhanced audio communications in an interactive environment |
KR20050060789A (ko) * | 2003-12-17 | 2005-06-22 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
KR101118214B1 (ko) * | 2004-09-21 | 2012-03-16 | 삼성전자주식회사 | 청취 위치를 고려한 2채널 가상 음향 재생 방법 및 장치 |
JP4817664B2 (ja) * | 2005-01-11 | 2011-11-16 | アルパイン株式会社 | オーディオシステム |
WO2007031906A2 (en) * | 2005-09-13 | 2007-03-22 | Koninklijke Philips Electronics N.V. | A method of and a device for generating 3d sound |
JP4789145B2 (ja) * | 2006-01-06 | 2011-10-12 | サミー株式会社 | コンテンツ再生装置及びコンテンツ再生プログラム |
JP4946305B2 (ja) * | 2006-09-22 | 2012-06-06 | ソニー株式会社 | 音響再生システム、音響再生装置および音響再生方法 |
KR101368859B1 (ko) * | 2006-12-27 | 2014-02-27 | 삼성전자주식회사 | 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치 |
US20090017910A1 (en) * | 2007-06-22 | 2009-01-15 | Broadcom Corporation | Position and motion tracking of an object |
US9015051B2 (en) * | 2007-03-21 | 2015-04-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Reconstruction of audio channels with direction parameters indicating direction of origin |
US8908873B2 (en) * | 2007-03-21 | 2014-12-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for conversion between multi-channel audio formats |
JP5050721B2 (ja) | 2007-08-06 | 2012-10-17 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US8430750B2 (en) * | 2008-05-22 | 2013-04-30 | Broadcom Corporation | Video gaming device with image identification |
JP5499633B2 (ja) * | 2009-10-28 | 2014-05-21 | ソニー株式会社 | 再生装置、ヘッドホン及び再生方法 |
JP5704013B2 (ja) * | 2011-08-02 | 2015-04-22 | ソニー株式会社 | ユーザ認証方法、ユーザ認証装置、およびプログラム |
US10154361B2 (en) * | 2011-12-22 | 2018-12-11 | Nokia Technologies Oy | Spatial audio processing apparatus |
JP6330251B2 (ja) * | 2013-03-12 | 2018-05-30 | ヤマハ株式会社 | 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン |
JP6227295B2 (ja) * | 2013-06-25 | 2017-11-08 | 日本放送協会 | 空間音響生成装置およびそのプログラム |
GB2544458B (en) * | 2015-10-08 | 2019-10-02 | Facebook Inc | Binaural synthesis |
US20180032212A1 (en) | 2016-08-01 | 2018-02-01 | Facebook, Inc. | Systems and methods to manage media content items |
US10110998B2 (en) * | 2016-10-31 | 2018-10-23 | Dell Products L.P. | Systems and methods for adaptive tuning based on adjustable enclosure volumes |
US10735885B1 (en) * | 2019-10-11 | 2020-08-04 | Bose Corporation | Managing image audio sources in a virtual acoustic environment |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3059191B2 (ja) | 1990-05-24 | 2000-07-04 | ローランド株式会社 | 音像定位装置 |
JP2522092B2 (ja) | 1990-06-26 | 1996-08-07 | ヤマハ株式会社 | 音像定位装置 |
JP3197077B2 (ja) | 1992-10-14 | 2001-08-13 | ヤマハ株式会社 | 定位音像生成装置 |
US5598478A (en) * | 1992-12-18 | 1997-01-28 | Victor Company Of Japan, Ltd. | Sound image localization control apparatus |
JPH06285258A (ja) | 1993-03-31 | 1994-10-11 | Victor Co Of Japan Ltd | ビデオゲーム機 |
WO1995013690A1 (fr) * | 1993-11-08 | 1995-05-18 | Sony Corporation | Detecteur d'angle et appareil de lecture audio utilisant ledit detecteur |
US5761314A (en) * | 1994-01-27 | 1998-06-02 | Sony Corporation | Audio reproducing apparatus and headphone |
JPH11220797A (ja) * | 1998-02-03 | 1999-08-10 | Sony Corp | ヘッドホン装置 |
GB2343347B (en) * | 1998-06-20 | 2002-12-31 | Central Research Lab Ltd | A method of synthesising an audio signal |
-
2002
- 2002-02-07 WO PCT/JP2002/001042 patent/WO2002065814A1/ja active Application Filing
- 2002-02-07 JP JP2002565393A patent/JP4499358B2/ja not_active Expired - Fee Related
- 2002-02-07 EP EP02712291.0A patent/EP1274279B1/en not_active Expired - Lifetime
- 2002-02-07 US US10/257,217 patent/US7369667B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1274279A1 (en) | 2003-01-08 |
US7369667B2 (en) | 2008-05-06 |
US20040013278A1 (en) | 2004-01-22 |
JPWO2002065814A1 (ja) | 2004-06-17 |
WO2002065814A1 (fr) | 2002-08-22 |
EP1274279B1 (en) | 2014-06-18 |
EP1274279A4 (en) | 2009-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4499358B2 (ja) | 音像定位信号処理装置 | |
US8041040B2 (en) | Sound image control apparatus and sound image control method | |
JP4743790B2 (ja) | 前方配置ラウドスピーカからのマルチチャネルオーディオサラウンドサウンドシステム | |
US5459790A (en) | Personal sound system with virtually positioned lateral speakers | |
JP5496235B2 (ja) | 多重オーディオチャンネル群の再現の向上 | |
JP2005184040A (ja) | 音声信号処理装置及び音声信号再生システム | |
JP2019512952A (ja) | 音響再生システム | |
WO2006067893A1 (ja) | 音像定位装置 | |
JP2009077379A (ja) | 立体音響再生装置、立体音響再生方法及びコンピュータプログラム | |
JP4297077B2 (ja) | 仮想音像定位処理装置、仮想音像定位処理方法およびプログラム並びに音響信号再生方式 | |
JP2007228526A (ja) | 音像定位装置 | |
JP2003284196A (ja) | 音像定位信号処理装置および音像定位信号処理方法 | |
US8817997B2 (en) | Stereophonic sound output apparatus and early reflection generation method thereof | |
JP4744695B2 (ja) | 仮想音源装置 | |
US20080175396A1 (en) | Apparatus and method of out-of-head localization of sound image output from headpones | |
JPH05260597A (ja) | 音場信号再生装置 | |
JP5418256B2 (ja) | 音声処理装置 | |
Zotter et al. | XY, MS, and first-order Ambisonics | |
JP2007336080A (ja) | 音響補正装置 | |
US20120224700A1 (en) | Sound image control device and sound image control method | |
KR102650846B1 (ko) | 신호 처리 장치 및 방법, 그리고 프로그램 | |
JP2947456B2 (ja) | サラウンド信号処理装置及び映像音声再生装置 | |
JP2945232B2 (ja) | 音像定位制御装置 | |
DK180449B1 (en) | A method and system for real-time implementation of head-related transfer functions | |
JPH06233394A (ja) | サラウンド信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061010 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070823 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100212 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100415 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |