JP6970366B2 - 音像再現装置、音像再現方法及び音像再現プログラム - Google Patents

音像再現装置、音像再現方法及び音像再現プログラム Download PDF

Info

Publication number
JP6970366B2
JP6970366B2 JP2020516237A JP2020516237A JP6970366B2 JP 6970366 B2 JP6970366 B2 JP 6970366B2 JP 2020516237 A JP2020516237 A JP 2020516237A JP 2020516237 A JP2020516237 A JP 2020516237A JP 6970366 B2 JP6970366 B2 JP 6970366B2
Authority
JP
Japan
Prior art keywords
speaker
virtual sound
sound source
acoustic signal
image reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020516237A
Other languages
English (en)
Other versions
JPWO2019208285A1 (ja
Inventor
公孝 堤
賢一 野口
英明 高田
陽一 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2019208285A1 publication Critical patent/JPWO2019208285A1/ja
Application granted granted Critical
Publication of JP6970366B2 publication Critical patent/JP6970366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18Methods or devices for transmitting, conducting or directing sound
    • G10K11/26Sound-focusing or directing, e.g. scanning
    • G10K11/34Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341Circuits therefor
    • G10K11/346Circuits therefor using phase variation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18Methods or devices for transmitting, conducting or directing sound
    • G10K11/26Sound-focusing or directing, e.g. scanning
    • G10K11/34Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341Circuits therefor
    • G10K11/348Circuits therefor using amplitude variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、空間中に仮想的な音源を作り出す音像再現技術に関する。
パブリックビューイングやコンサートでは、上映会場に設置した複数のスピーカから音声や音楽等を再生する。近年、仮想的な音源(仮想音源)を上映空間内に作り出すことにより、これまで以上に臨場感のある音響再生を実現する取り組みが行われている。特に直線状に複数のスピーカを並べたスピーカアレイを用いて、スピーカよりも前面に位置する客席近くにまで飛び出る仮想音源を生成することにより、高い臨場感の音響コンテンツを実現することが行なわれている。
また、一般に楽器や人間の声は方向によって放射されるパワーが異なるため、上映空間内に仮想音源を生成する際に、方向による音響信号のパワーの違い(指向性)を再現することにより、より高い臨場感の音響コンテンツを実現することが期待されている。
上映空間内に仮想音源を作り出す音像再現技術に関し、波面合成と呼ばれる方法がある(特許文献1)。特許文献1の方法は、音響信号を収録する地点の音響信号を複数地点に設置したマイクロフォンで収音した上で、上下左右方向の音響信号の到来方向を分析し、上映空間内に設置した複数のスピーカを用いて収録会場の音響信号を物理的に再現する。
また、想定する仮想音場に吸込み型音源(acoustic sink)を仮定し、第1種レイリー積分から導出される駆動関数に基づく駆動信号をスピーカアレイに与えることにより、スピーカよりも前面に仮想音源を作り出す技術がある(非特許文献1)。
また、音源の指向性をモデル化する方法として、円調和展開の手法を用いる技術が知られている(非特許文献2)。円調和展開は、音源を中心とする円状に並べたマイクロフォンアレイで観測される音響信号を円調和級数に展開することにより、音の指向性を表現する手法である。一方、再生側では、円状に並べたスピーカアレイから収録側で求めた円調和級数から求まる駆動関数の駆動信号を用いることで、収音側でモデル化した指向特性を持つ音源を再現することができる。
特開2011−244306号公報
Sascha Spors、外3名、"Physical and Perceptual Properties of Focused Sources in Wave Field Synthesis"、127th Audio Engineering Society Convention paper 7914、2009年10月 Koya Sato、外1名、"Filter design of a circular loudspeaker array considering the three dimensional directivity patterns reproduced by circular harmonic modes"、142nd Audio Engineering Society Convention paper 9765、2017年5月
特許文献1に開示される技術は、収録地点の音響信号を忠実に再現するため仮想音源の再現において高い再現性をもつものの、スピーカアレイだけでなくマイクアレイも必要になりシステム全体の規模が増大する。また、収録した音を忠実に再生する発明であるため、例えば映画に代表されるように日常存在しないような効果音を特殊効果として加えるといったコンテンツの編集が困難である。更に、複数の音源が発した音響信号が同時にマイクロフォンに混入するため、個々の音源を取り出して位置や音質を調整するといった編集が極めて困難である。
非特許文献1に開示される技術は、仮想音源の生成にマイクアレイを必要とせず、通常のマイクロフォンから収録されたモノラルの音源から複数のスピーカに対応するチャネル分の音響信号を生成して、仮想音源を作り出すことができる。モノラル音源を用いるため、システム全体の規模を小さくでき、コンテンツ編集を簡便に行うことができる。しかし、仮想音源の放射特性として無指向性を仮定しているため、仮想音源を用いて指向性のある音源を生成することはできない。
本発明は、上記事情を鑑みてなされたものであり、モノラル音源にも対応可能であり、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供することを目的とする。
以上の課題を解決するため、請求項1に係る音像再現装置は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するフィルタ係数決定部と、入力された1つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力する畳み込み演算部と、を備えることを特徴とする。
請求項2に係る音像再現装置は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された1つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するフィルタ演算部と、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力する遅延調整部と、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するゲイン乗算部と、を備えることを特徴とする。
請求項3に係る音像再現装置は、請求項1又は2に記載の音像再現装置において、前記スピーカ毎の駆動関数は、前記複数の仮想音源に対して予め仮想音源の指向特性を円調和展開して得られたn次の円調和級数を、仮想音源に対して円調和展開された2次元グリーン関数で次数毎に除し、除した値を総和して各仮想音源の重み係数を求め、前記各仮想音源の重み係数と前記スピーカ駆動用の駆動関数とを加重平均した関数であることを特徴とする。
請求項4に係る音像再現方法は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、音像再現装置が、複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するステップと、入力された1つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力するステップと、を行うことを特徴とする。
請求項5に係る音像再現方法は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、音像再現装置が、複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された1つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するステップと、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力するステップと、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するステップと、を行うことを特徴とする。
請求項6に係る音像再現プログラムは、請求項1乃至3のいずれかに記載の音像再現装置としてコンピュータを機能させることを特徴とする。
本発明によれば、モノラル音源にも対応可能であり、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供できる。
第1の実施形態に係る音響信号処理装置の機能ブロック構成を示す図である。 第1の実施形態に係る焦点位置決定処理フローを示す図である。 第1の実施形態に係る絶対座標系及び相対座標系での焦点音源の座標位置の例を示す図である。 第1の実施形態に係るフィルタ係数決定処理フローを示す図である。 第1の実施形態に係る畳み込み演算処理フローを示す図である。 第2の実施形態に係る音響信号処理装置の機能ブロック構成を示す図である。 第2の実施形態に係るフィルタ演算処理フローを示す図である。 第2の実施形態に係る遅延調整及びゲイン乗算処理フローを示す図である。
本発明は、入力した音響信号を用いて直線状スピーカアレイにより空間内に円状に仮想音源を生成するとともに、音響信号を円調和級数に展開する円調和展開の手法を用いて円状の仮想音源に指向性を持たせることを特徴とする。
つまり、本発明は、非特許文献1の技術を用いて、直線状スピーカアレイの前面に複数の仮想音源を円状に生成することにより仮想音源の円状アレイを形成するとともに、非特許文献2の技術を用いて、円状アレイの各仮想音源に異なる重みを与えることにより指向性を有する仮想音源を実現する。
以下、本発明を実施する一実施の形態について図面を用いて説明する。
<第1の実施形態>
図1は、第1の実施形態に係る音響信号処理装置1の機能ブロック構成を示す図である。音響信号処理装置(音像再現装置)1は、処理装置(図示せず)、メモリ10などを備える一般的なコンピュータである。一般的なコンピュータが、音響信号処理プログラム(音像再現プログラム)を実行することにより、図1に示す機能を実現する。
音響信号処理装置1は、モノラル音源からの入力音響信号Iを入力し、複数のスピーカを直線状に並べた直線状スピーカアレイを用いて、スピーカよりも前面に飛び出し、かつ、指向性を有する仮想音源を実現する。音響信号処理装置1は、このような仮想音源を実現するために、モノラル音源からの入力音響信号Iを、直線状スピーカアレイの各スピーカへの出力音響信号Oに変換する。
音響信号処理装置1は、図1に示すように、メモリ10と、焦点位置決定部12と、フィルタ係数決定部13と、畳み込み演算部14と、入出力インタフェース(図示せず)等を備えて構成される。
入出力インタフェースは、モノラル音源からの入力音響信号Iを音響信号処理装置1に入力し、各スピーカへの出力音響信号Oを出力するためのインタフェースである。入出力インタフェースは、音響信号処理装置1が実現する仮想音源の座標及び指向性の方向の各情報を、音響信号処理装置1に入力する。
メモリ10は、焦点座標データ11を記憶する。焦点座標データ11は、空間内に仮想音源(以降、焦点音源ともいう)を実現するための座標情報を含む。焦点座標データ11は、直線状スピーカの列をX軸とし、直線状スピーカの前方向をY軸とした絶対座標系の座標を含む。焦点座標データ11は、絶対座標系に円状に生成する複数の焦点音源の中心を原点O’とし、原点O’を通り絶対座標系のX軸,Y軸にそれぞれ平行な各軸をX’軸,Y’軸とした相対座標系の座標を含む。
焦点位置決定部12は、仮想音源の座標、指向性の方向、対象周波数の各情報を受け取り、予め定めた必要な数の焦点に関する座標を出力する。焦点位置決定部12は、複数の焦点音源を円状に生成するための各焦点音源の座標位置を決定する。焦点位置決定部12は、絶対座標系の空間内に円状に生成する複数の焦点音源の各座標位置を取得し、メモリ10に記憶された焦点座標データ11を用いて、相対座標系での極座標をそれぞれ決定する。
例えば、焦点位置決定部12は、絶対座標系の空間内に円状に生成するs番目の焦点音源の座標Xを(x,y)とした場合、相対座標系の原点O’から座標Xまでの距離をr、相対座標系のX’軸から反時計周りの角度をφとして、絶対座標系での座標X=(x,y)に対応する相対座標系での極座標X=(r,φ)を決定する。
次に、焦点位置決定部12による焦点位置決定処理を説明する。図2は、焦点位置決定処理フローを示す図である。図3は、絶対座標系及び相対座標系での焦点音源の座標位置の例を示す図である。
まず、ステップS11において、焦点位置決定部12は、絶対座標系の空間内に円状に生成する仮想音源の座標と指向性の方向の各情報を取得し、ステップS12において、メモリ10から焦点座標データ11を読み出す。
次に、ステップS13において、焦点位置決定部12は、絶対座標系の空間内に円状に生成する1番目の焦点音源の座標X=(x,y)について、焦点座標データ11を用いて、絶対座標系での座標X=(x,y)に対応する相対座標系での極座標X=(r,φ)を決定する。
その後、焦点位置決定部12は、複数の焦点音源についてステップS13をそれぞれ行い、予め定めた数の焦点音源についてステップS13が行われた後、処理を終了する。
焦点位置決定部12によって、絶対座標系の空間内に円状に生成する複数の焦点音源の相対座標系での各極座標がそれぞれ算出されると、フィルタ係数決定部13により、処理される。
フィルタ係数決定部13は、焦点位置決定部12から出力された全ての焦点音源の極座標を受け取り、全ての焦点音源の絶対座標系での座標も併せて受け取って、スピーカ毎に周波数領域でフィルタを設計した後、逆フーリエ変換することで各スピーカに与えるインパルス応答ベクトルを出力する。フィルタ係数決定部13は、各焦点音源の位置に焦点音源を生成するために用いるスピーカ駆動用の駆動関数に、各焦点音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出する。フィルタ係数決定部13は、直線状スピーカアレイの各スピーカについて、焦点位置決定部12により決定された焦点座標のそれぞれから、入力音響信号Iに畳み込むインパルス応答ベクトルを算出する。
例えば、フィルタ係数決定部13は、外部入力等により対象周波数を算出し、この対象周波数に対して、式(1)に式(2)を応用した式(3)及び式(4)によりスピーカに与える駆動関数を算出する。
スピーカに与えるスピーカ駆動用の駆動信号は、絶対座標系でのs番目の焦点音源の位置X=(x,y)と、対象となるi番目のスピーカの位置X=(x,y)とから、式(1)に従い周波数領域で設計できる。
Figure 0006970366
=(x,y)は、絶対座標系でのi番目のスピーカの座標位置である。X=(x,y)は、絶対座標系でのs番目の焦点音源の座標位置である。k=ω/cは、波数である。ωは、角周波数(2πf)である。fは、周波数である。cは、音速である。jは、√(−1)である。H (1)は、1次の第1種ハンケル係数である。g0は、√(2π|y−y|)であり、|y−y|は、焦点音源からスピーカアレイまでの距離である。
また、円調和級数から式(2)に従い求まる駆動信号を用いることで、指向特性を持つ音源を再現することができる。
Figure 0006970366
W(r,φ)は、位置(r,φ)の焦点音源に与える重みである。S(2)(n,ω)は、n次の円調和級数である。J(kr)は、n次のベッセル関数である。
そこで、フィルタ係数決定部13は、式(1)と式(2)より、式(3)の駆動関数を算出して用いる。
Figure 0006970366
=(x,y)は、絶対座標系でのi番目のスピーカの座標位置である。X=(x,y)は、絶対座標系でのs番目の焦点音源の座標位置(但し、ΣXsW(X)のXは除く)である。W(X)は、位置Xの焦点音源に与える重みである。W(X)のXは、相対座標系でのs番目の焦点音源の極座標位置である。重みW(X)は、式(4)で与えられる。
Figure 0006970366
=(r,φ)は、相対座標系でのs番目の焦点音源の極座標位置である。S(2)(n,ω)は、n次の円調和級数である。J(kr’)は、n次のベッセル関数である。式(4)の重み計算で用いるXは、円状アレイの中心に対する各焦点の相対座標(r,φ)である。
つまり、フィルタ係数決定部13は、複数の焦点音源に対して、予め焦点音源の指向特性を円調和展開して得られたn次の円調和級数を、仮想音源に対して円調和展開された2次元グリーン関数で次数毎に除することにより、次数毎のモードストレングスを算出し、次数毎のモードストレングスの総和により、各焦点音源の重み係数を求め、各焦点音源の重み係数とスピーカ駆動用の駆動関数との加重平均を算出することにより、式(3)及び式(4)から成る駆動関数を導出する。上記2次元グリーン関数は公知であり一意に定義できる。
式(3)を、事前に決めた周波数範囲(例えば、100Hz≦f<2000Hz)について計算することで、フィルタ係数決定部13は、直線状スピーカアレイの各スピーカのうち、i番目のスピーカに与える駆動信号を求めることができる。また、式(4)により、外部入力された指向性の方向の情報に基づき、複数の焦点音源に異なる重みをそれぞれ与えることにより、指向性を有する仮想音源を実現できる。フィルタ係数決定部13は、これを直線状スピーカアレイの各スピーカに対して計算することにより、各スピーカに対して与える指向性付き駆動信号が求まる。
フィルタ係数決定部13は、式(3)及び式(4)から成る駆動関数を逆フーリエ変換することで、各スピーカに与えるインパルス応答ベクトルを得る。
次に、フィルタ係数決定部13によるフィルタ係数決定処理を説明する。図4は、フィルタ係数決定処理フローを示す図である。
まず、ステップS21において、フィルタ係数決定部13は、焦点位置決定処理で決定された各焦点座標を取得する。
フィルタ係数決定部13は、ステップS22乃至ステップS26の処理を繰り返して、各スピーカについて、インパルス応答ベクトルを算出する処理を行う。ステップS22において、フィルタ係数決定部13は、処理対象の対象スピーカのインパルス応答ベクトルをゼロで初期化する。
フィルタ係数決定部13は、ステップS22においてインパルス応答ベクトルを初期化した後、各焦点について、ステップS23乃至ステップS25の処理を繰り返す。ステップS23において、フィルタ係数決定部13は、処理対象の対象焦点座標を用いて、所望の全ての対象周波数に対して、式(3)及び式(4)から成る駆動関数を計算する。ステップS24において、フィルタ係数決定部13は、ステップS23で計算された駆動関数を逆フーリエ変換して、時間領域の駆動関数を取得する。ステップS25において、フィルタ係数決定部13は、ステップS24で取得した時間領域の駆動関数をインパルス応答ベクトルに加算する。
各焦点についてステップS23乃至ステップS25の処理が終了すると、ステップS26において、フィルタ係数決定部13は、この時点のインパルス応答ベクトルを、対象スピーカに与えるインパルス応答ベクトルに決定する。
各スピーカについてステップS23ないしステップS26の処理が終了すると、フィルタ係数決定部13は、処理を終了する。
なお、ステップS22乃至ステップS26の処理は、各スピーカに対して行われればよく、どのような順序で行われてもよい。同様に、ステップS23乃至ステップS25の処理は、各焦点に対して行われればよく、どのような順序で行われてもよい。
フィルタ係数決定部13により、直線状スピーカアレイの各スピーカに対するインパルス応答ベクトルが算出されると、畳み込み演算部14が、入力音響信号Iに、インパルス応答ベクトルを畳み込むことにより、各スピーカに与える出力音響信号Oを算出する。
畳み込み演算部14は、直線状スピーカアレイの各スピーカについて、入力された1つの入力音響信号Iに対して、スピーカに対応するインパルス応答ベクトルをそれぞれ畳み込み、スピーカへの重み付き出力音響信号Oをそれぞれ出力する。畳み込み演算部14は、所定のスピーカについて、このスピーカに対応するインパルス応答ベクトルを、入力音響信号Iに畳み込むことにより、このスピーカに対する重み付き出力音響信号Oを得る。畳み込み演算部14は、各スピーカについて同様の処理を繰り返し、各スピーカに対する重み付き出力音響信号Oを得る。
次に、畳み込み演算部14による畳み込み演算処理を説明する。図5は、畳み込み演算処理フローを示す図である。
畳み込み演算部14は、ステップS31及びステップS32の処理を、直線状スピーカアレイの各スピーカに対して繰り返す。ステップS31において、畳み込み演算部14は、フィルタ係数決定部13から、処理対象の対象スピーカのインパルス応答ベクトルを取得する。ステップS32において、畳み込み演算部14は、入力音響信号Iに、ステップS31で取得したインパルス応答ベクトルを畳み込み、出力音響信号Oを取得する。
各スピーカについてステップS31乃至ステップS32の処理が終了すると、畳み込み演算部14は、処理を終了する。なお、ステップS31乃至ステップS32の処理は、各スピーカに対して行われればよく、どのような順序で行われてもよい。
以上より、第1の実施形態によれば、音響信号処理装置(音像再現装置)1が、複数の仮想音源を円状に生成するために用いる駆動関数であって、各仮想音源のうち一部に他と異なる重みを付与した駆動関数を用いるので、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供できる。
また、第1の実施形態によれば、音響信号処理装置1が、入力された1つの音響信号に対してスピーカ毎のインパルス応答ベクトルをそれぞれ畳み込むので、モノラル音源にも対応できる。
<第2の実施形態>
第2の実施形態では、時間領域での波面合成を用いて、低演算量で仮想音源を多重極音源にする方法について説明する。
図6は、第2の実施形態に係る音響信号処理装置1の機能ブロック構成を示す図である。音響信号処理装置(音像再現装置)1は、図1に示した畳み込み演算部14の代わりに、フィルタ演算部15、遅延調整部16、ゲイン乗算部17を用いることにより、大幅な演算量の削減を実現する。
音響信号処理装置1は、メモリ10と、焦点位置決定部12と、フィルタ演算部15と、遅延調整部16と、ゲイン乗算部17と、を備えて構成される。メモリ10及び焦点位置決定部12は、第1の実施形態と同様である。
フィルタ演算部15は、第1の実施形態と同様の方法で、式(3)及び式(4)を用いて予め算出したインパルス応答ベクトルを、入力された1つの入力音響信号Iに対してそれぞれ畳み込み、重み付き音響信号を出力する。フィルタ演算部15は、第1の実施形態と同様に、図4に示したフィルタ係数決定方法により、式(3)及び式(4)を用いてインパルス応答ベクトルを事前に算出しておく。
次に、フィルタ演算部15によるフィルタ演算処理を説明する。図7は、フィルタ演算処理フローを示す図である。
ステップS41において、フィルタ演算部15は、式(3)及び式(4)を用いて予め算出したインパルス応答ベクトルを入力音響信号Iに畳み込み、重み付き音響信号を出力する。
遅延調整部16は、直線状スピーカアレイのスピーカ毎に、スピーカと複数の焦点音源との間のそれぞれの距離を音速で進むのに必要な時間だけ重み付き音響信号の出力時間を遅延させ、複数の焦点音源のそれぞれについて、遅延音響信号を出力する。遅延調整部16は、焦点位置決定部12が出力した全ての焦点について、式(5)により遅延音響信号を算出する。nは時間である。
Figure 0006970366
ゲイン乗算部17は、直線状スピーカアレイのスピーカ毎に、スピーカと複数の焦点音源との間のそれぞれの距離から定まるゲインを、複数の焦点音源のそれぞれの遅延音響信号に乗じ、スピーカへの出力音響信号Oを出力する。
ゲイン乗算部17は、所定のスピーカについて、焦点座標とスピーカアレイとの間の距離を、焦点音源とスピーカ位置との距離の3/2乗で割ることで得られるゲインを、遅延調整部16によって得られた遅延音響信号に乗ずることによって、出力音響信号Oを算出する。「焦点座標とスピーカアレイとの間の距離」とは、スピーカアレイがX軸上に配列されている場合の、スピーカアレイのY軸上の値と、焦点座標のY軸の値の差分である。所定のスピーカに対する出力音響信号Oは、式(6)によって得られる。ゲイン乗算部17は、各スピーカについて、式(6)により出力音響信号Oを算出する。
Figure 0006970366
遅延調整部16及びゲイン乗算部17は、直線状スピーカアレイの所定のスピーカについて、スピーカの位置に対応する遅延とゲインを設定した遅延調整部16とゲイン乗算部17の処理を行って出力音響信号を生成する。これを着目するスピーカを次々に変化させて同様の処理を行うことにより、遅延調整部16及びゲイン乗算部17は、直線状スピーカアレイの各スピーカに対する出力音響信号Oを得る。
次に、遅延調整部16及びゲイン乗算部17による遅延調整及びゲイン乗算処理を説明する。図8は、遅延調整及びゲイン乗算処理フローを示す図である。
まず、音響信号処理装置1は、直線状スピーカアレイの各スピーカについて、ステップS51及びステップS52の処理を行う。
遅延調整部16は、各焦点について、ステップS51の処理を行う。ステップS51において、遅延調整部16は、対象スピーカと対象焦点との間を、音速で進む時間だけ遅延させた遅延音響信号を出力する。各焦点について遅延音響信号が出力されると、ステップS52において、ゲイン乗算部17は、ステップS51で算出された各焦点に対する遅延音響信号に、対象スピーカのゲインを乗じて、対象スピーカに対する出力音響信号Oを出力する。
各スピーカについて、ステップS51及びステップS52の処理が終了すると、音響信号処理装置1は、処理を終了する。
なお、ステップS51の処理は、各焦点に対して行われればよく、どのような順序で行われてもよい。同様に、ステップS52の処理は、各スピーカに対して行われればよく、どのような順序で行われてもよい。また、処理環境等に応じて、所定の処理が並列に行われてもよい。
以上より、第2の実施形態によれば、予めインパルス応答ベクトルを算出しておき、かつ、スピーカ毎にパワー乗算(ゲイン)とディレイ(遅延)を加えるだけで済むため、演算量を劇的に削減できる。
また、第2の実施形態の場合であっても、音響信号処理装置(音像再現装置)1が、複数の仮想音源を円状に生成するために用いる駆動関数であって、各仮想音源のうち一部に他と異なる重みを付与した駆動関数を用いるので、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供できる。
また、第2の実施形態の場合であっても、音響信号処理装置1が、入力された1つの音響信号に対してスピーカ毎のインパルス応答ベクトルをそれぞれ畳み込むので、モノラル音源にも対応できる。
<その他の実施の形態>
上記のように、本発明の第1及び第2の実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなる。
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
1…音響信号処理装置(音像再現装置)
10…メモリ
11…焦点座標データ
12…焦点位置決定部
13…フィルタ係数決定部
14…畳み込み演算部
15…フィルタ演算部
16…遅延調整部
17…ゲイン乗算部

Claims (6)

  1. 直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、
    複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、
    前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するフィルタ係数決定部と、
    入力された1つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力する畳み込み演算部と、
    を備えることを特徴とする音像再現装置。
  2. 直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、
    複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、
    前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された1つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するフィルタ演算部と、
    スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力する遅延調整部と、
    スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するゲイン乗算部と、
    を備えることを特徴とする音像再現装置。
  3. 前記スピーカ毎の駆動関数は、
    前記複数の仮想音源に対して予め仮想音源の指向特性を円調和展開して得られたn次の円調和級数を、仮想音源に対して円調和展開された2次元グリーン関数で次数毎に除し、除した値を総和して各仮想音源の重み係数を求め、前記各仮想音源の重み係数と前記スピーカ駆動用の駆動関数とを加重平均した関数であることを特徴とする請求項1又は2に記載の音像再現装置。
  4. 直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、
    音像再現装置が、
    複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、
    前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するステップと、
    入力された1つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力するステップと、
    を行うことを特徴とする音像再現方法。
  5. 直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、
    音像再現装置が、
    複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、
    前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された1つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するステップと、
    スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力するステップと、
    スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するステップと、
    を行うことを特徴とする音像再現方法。
  6. 請求項1乃至3のいずれかに記載の音像再現装置としてコンピュータを機能させることを特徴とする音像再現プログラム。
JP2020516237A 2018-04-26 2019-04-15 音像再現装置、音像再現方法及び音像再現プログラム Active JP6970366B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018085142 2018-04-26
JP2018085142 2018-04-26
PCT/JP2019/016078 WO2019208285A1 (ja) 2018-04-26 2019-04-15 音像再現装置、音像再現方法及び音像再現プログラム

Publications (2)

Publication Number Publication Date
JPWO2019208285A1 JPWO2019208285A1 (ja) 2021-05-13
JP6970366B2 true JP6970366B2 (ja) 2021-11-24

Family

ID=68294589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020516237A Active JP6970366B2 (ja) 2018-04-26 2019-04-15 音像再現装置、音像再現方法及び音像再現プログラム

Country Status (4)

Country Link
US (1) US11356790B2 (ja)
EP (1) EP3787311B1 (ja)
JP (1) JP6970366B2 (ja)
WO (1) WO2019208285A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329319B (zh) * 2021-05-27 2022-10-21 音王电声股份有限公司 一种扬声器阵列的沉浸声还音制式方法及其应用
WO2024075159A1 (ja) * 2022-10-03 2024-04-11 日本電信電話株式会社 空間音響復元装置、空間音響復元方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404406A (en) * 1992-11-30 1995-04-04 Victor Company Of Japan, Ltd. Method for controlling localization of sound image
US7813933B2 (en) * 2004-11-22 2010-10-12 Bang & Olufsen A/S Method and apparatus for multichannel upmixing and downmixing
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
US8391500B2 (en) * 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
JP5346321B2 (ja) 2010-05-20 2013-11-20 日本電信電話株式会社 音場収音再生装置、方法及びプログラム
JP2012156899A (ja) * 2011-01-27 2012-08-16 Kanazawa Univ 指向性音響ビームの設計方法およびスピーカアレーシステム
DE102012200512B4 (de) * 2012-01-13 2013-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Lautsprechersignalen für eine Mehrzahl von Lautsprechern unter Verwendung einer Verzögerung im Frequenzbereich
JP6458738B2 (ja) * 2013-11-19 2019-01-30 ソニー株式会社 音場再現装置および方法、並びにプログラム
EP3266224B1 (en) * 2015-04-08 2021-05-19 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers
BR112018077408A2 (pt) * 2016-07-05 2019-07-16 Sony Corp aparelho e método de formação do campo de som, e, programa.
WO2018008396A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 音場形成装置および方法、並びにプログラム
JP6865440B2 (ja) * 2017-09-04 2021-04-28 日本電信電話株式会社 音響信号処理装置、音響信号処理方法および音響信号処理プログラム

Also Published As

Publication number Publication date
EP3787311B1 (en) 2022-11-23
EP3787311A4 (en) 2022-02-09
US20210105571A1 (en) 2021-04-08
EP3787311A1 (en) 2021-03-03
WO2019208285A1 (ja) 2019-10-31
JPWO2019208285A1 (ja) 2021-05-13
US11356790B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
JP7367785B2 (ja) 音声処理装置および方法、並びにプログラム
US10382849B2 (en) Spatial audio processing apparatus
WO2018008395A1 (ja) 音場形成装置および方法、並びにプログラム
CN105323684B (zh) 声场合成近似方法、单极贡献确定装置及声音渲染***
US9578439B2 (en) Method, system and article of manufacture for processing spatial audio
JP6865440B2 (ja) 音響信号処理装置、音響信号処理方法および音響信号処理プログラム
JP5024792B2 (ja) 全方位周波数指向性音響装置
Zotter et al. A beamformer to play with wall reflections: The icosahedral loudspeaker
JP6970366B2 (ja) 音像再現装置、音像再現方法及び音像再現プログラム
Fazi et al. Sound field reproduction as an equivalent acoustical scattering problem
JP6955186B2 (ja) 音響信号処理装置、音響信号処理方法および音響信号処理プログラム
CN113766396A (zh) 扬声器控制
JP6670259B2 (ja) 音響再生装置
Zotter et al. Compact spherical loudspeaker arrays
WO2018211984A1 (ja) スピーカアレイ、および信号処理装置
JP6774912B2 (ja) 音像生成装置
Mickiewicz et al. Spatialization of sound recordings using intensity impulse responses
WO2024024468A1 (ja) 情報処理装置および方法、符号化装置、音声再生装置、並びにプログラム
JP6388551B2 (ja) 複数領域音場再現システムおよび方法
WO2021024806A1 (ja) スピーカアレイ、信号処理装置、信号処理方法および信号処理プログラム
Palenda et al. Setup for choir recordings in virtual churches
Becker Franz Zotter, Markus Zaunschirm, Matthias Frank, and Matthias Kronlachner
JP6695738B2 (ja) 信号変換係数算出装置、信号変換装置及びプログラム
JP2022125686A (ja) オブジェクトベース音響レンダリング装置及びプログラム
JP2009139615A (ja) 音響再生装置、音響再生方法、音響再生プログラム、及び音響再生システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6970366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150