JP2024507535A - バイノーラル・オーディオのための仮想化器 - Google Patents

Abstract

バイノーラル仮想化を提供するシステムおよび方法。それは、左右の入力信号をアップミックスして左、右、および中央チャネルを生成し、中央のみの残響量値によって与えられる割合で左右の入力信号をそれぞれ左右のチャネルと混合し、仮想化の前に前記混合の出力に残響を加えることによる。これは、標準モードと簡略化モードという二つの異なるフィルタリング・モードの間のモード切り換えによってさらに簡略化できる。

Description

関連出願への相互参照
本願は、2022年1月6日に出願された米国仮出願第63/266,500号、および2021年3月31日に出願された「LIGHTWEIGHT VIRTUALIZER FOR BINAURAL SIGNAL GENERATION FROM STEREO」と題する米国仮出願第63/168,340号、および2021年2月25日に出願された国際出願第PCT/CN2021/077922号に対する優先権を主張し、それらの内容は、参照によりその全体が本明細書に組み込まれる。

技術分野
本開示は、バイノーラル処理の改善に関する。より詳細には、本開示は、バイノーラル処理のための軽量なプロセスを提供するための方法およびシステムに関する。

オーディオ・システムは、典型的には、オーディオ・ソース（ラジオ受信機、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、テレビなど）およびスピーカーから構成される。場合によっては、スピーカーは、聴取者の耳に近接して装着される（たとえば、ヘッドフォンおよびイヤホン）。その状況では、耳に近接していない外部スピーカーのオーディオ品質をエミュレートすることが望ましい場合がある。これは、オーディオを近位スピーカー（以下、ヘッドフォンと呼ぶ）に送る前に、バイノーラル効果を生じるように音を合成することによって行うことができる。

このセクションで説明されるアプローチは、追求されることができたアプローチであるが、必ずしも以前に考えられたまたは追求されたアプローチではない。よって、別段の指示がない限り、このセクションで説明される手法のいずれも、単にこのセクションに含まれるという理由で従来技術として適格になると想定されるべきではない。同様に、一つまたは複数の手法に関して特定される問題は、別段の指示がない限り、このセクションに基づいて何らかの従来技術において認識されていると想定されるべきではない。

オーディオをスピーカーに送る前にバイノーラル効果を生じるように音を合成する間、すべてのオーディオ・ソースがこの合成を行うようにセットアップされるわけではなく、通常の合成回路は、あまりにメモリ集約的であり、ヘッドフォンまたはイヤホンに含めるにはあまりに複雑である。

本明細書で説明される方法およびシステム／デバイスは、チャネル・レベルの制御された残響を用いて高品質のバイノーラル効果を生成する、より低い複雑さの（軽量な）手段を提示する。これは、とりわけ、通常は現実的ではない、ヘッドフォンおよびイヤホンを含む小型デバイスにおけるバイノーラル仮想化実装を可能にする。

本明細書の開示は、ヘッドフォン、イヤホン、またはメモリおよび複雑さに敏感な他のデバイスに含まれることができる軽量なバイノーラル仮想化を提供するためのシステムおよび方法を記載する。本システムおよび方法は、オーディオ・デコーダの一部として実装されることができる。

本発明のある実施形態は、バイノーラル仮想化を提供するデバイスであって、当該デバイスは、左入力信号および右入力信号の入力と；仮想化器と；左入力信号および右入力信号を右チャネル、左チャネル、および中央チャネルに変換するように構成されたアップミキサーと；中央のみの残響量値に基づいて左入力信号を左チャネルと組み合わせ、前記中央のみの残響量値に基づいて右入力信号を右チャネルと組み合わせ、ミキサー出力を生成するように構成されたミキサーと；仮想化器のためのミキサー出力に残響を適用するように構成された残響モジュールとを有する、デバイスである。

本発明のある実施形態は、バイノーラル仮想化を提供する方法であって、当該方法は、左入力信号および右入力信号の入力を受信するステップと；左入力信号および右入力信号を右チャネル、左チャネル、および中央チャネルにアップミックスするステップと；中央のみの残響量値に基づいて左入力信号を左チャネルと混合し、前記中央のみの残響量値に基づいて右入力信号を右チャネルと混合し、それによりミキサー出力を生成するステップと；仮想化器のためのミキサー出力に残響を適用するステップとを含む、方法である。

これらの実施形態は例示的であり、限定するものではなく、本明細書の開示に基づいて他の実施形態を想定することができる。

軽量仮想化器の例示的な使用を示す。

バイノーラル音声の例を示す。

軽量仮想化器の例示的なセットアップを示す。

軽量仮想化器の残響制御の例を示す。

A～Bは、例示的な軽量仮想化器セットアップを示す。図5のAはストレートな仮想化器を示し、図5のBはより効率的な仮想化器を示す。

A～Bは、残響生成モードの例を示す。図6のAはフル・モードを示し、図6のBは簡略化モードを示す。

軽量仮想化器のための例示的なアップミキサー・プロセスを示す。

軽量仮想化器方法の例を示す。

本明細書で使用されるところでは、「軽量」は、回路の、低減されたメモリおよび複雑さでの実装を指す。これは、回路の設置面積およびエネルギー消費を低減する。

本明細書で使用されるところでは、「HRIR」は、頭部インパルス応答（head related impulse response）を指す。これは、耳が音源からどのように音を受け取るかを記述するHRTF（頭部伝達関数［head related transfer function］）の時間領域表現と考えることができる。

本明細書で使用されるところでは、「ITD」は、両耳間時間差（interaural time difference）を指し、これは、各耳が音源からの音の所与のインスタンスから受け取る時間の差を表す。

本明細書で使用されるところでは、「ILD」は、両耳間レベル差（interaural level difference）を指し、これは、各耳が音源からの音の所与のインスタンスから受け取る知覚される振幅の差を表す。

本明細書で使用されるところでは、「バターワース・フィルタ（Butterworth filter）」は、通過帯域において本質的に平坦であるフィルタを指す。

本明細書で使用されるところでは、「バイノーラル」は、聴取者からある距離に、かつ互いからある距離に配置された複数のスピーカーの効果をもって、各耳に別々に送られる音を指す。

本明細書で使用されるところでは、「仮想化器」は、バイノーラル音を合成することができるシステムを指す。

本明細書で使用されるところでは、「アップミックス」は、M個の入力チャネルがN個の出力チャネルに変換され、N＞M（いずれも整数）であるプロセスである。「アップミキサー」は、アップミックスを実行するモジュールである。

本明細書で使用されるところでは、「信号」は、システムから入力または出力されるオーディオまたはビデオの電子的な表現である。信号はステレオ（左右の信号が別個）であってもよい。本明細書で使用されるところでは、「チャネル」は、システムによって処理されている信号の一部である。チャネルの例は、左、右、および中央である。

本明細書で使用されるところでは、「モジュール」は、特定の機能を動作させるハードウェア、ソフトウェア、またはファームウェアの一部を指す。モジュールは、実装において必ずしも互いに物理的に分離されている必要はない。

本明細書で使用されるところでは、「入力段」は、デバイスのための入力信号を受信することを扱うハードウェアおよび／またはソフトウェア／ファームウェアを指す。

図1は、軽量仮想化器の使用例を示す。ユーザーは、イヤホン、有線または無線オーバーイヤーヘッドフォン、またはポータブルスピーカーなどのステレオ聴取デバイス（110）に接続された、スマートフォンまたはタブレットなどのモバイルデバイス（105）を有する。モバイルデバイス（105）上で実行される音提供アプリケーション（「アプリ」）がバイノーラル音を提供しない場合、軽量仮想化器を有する聴取デバイス（110）は、バイノーラル効果を合成することができる。

図2は、バイノーラル音の例を示す。非合成システムでは、2つのスピーカー（205）が、聴取者の前方および左右に配置される。配置は、各スピーカーから聴取者の耳（220）のうちより近いほうへの経路（210）が、反対側の耳（220）への経路（215）と比較して0でないITDおよびILD、すなわち「クロストーク」を与えるようなものである。仮想化は、ヘッドフォン（220）のためにこの効果を合成しようと試みる。

非特許文献１からのHRIR頭部モデルは、ITDとILDの組み合わせである。ITDモデルは、ウッドワースおよびシュロスベルクの公式（非特許文献２を参照）に基づいて関連付けられた頭部半径および角度である。仰角を0に設定すると、公式は次のようになる：

C. Phillip Brown、"A Structural Model for Binaural Sound Synthesis" IEEE Transaction on Speech and Audio Processing, vol. 6, No. 5, September 1998 Woodworth, R. S., and Schlosberg, H. (1962), Experimental Psychology (Holt, New York), pp. 348-361

絶対値応答（magnitude response）（頭部－影（head-shadow））を説明するために最小位相フィルタを追加することによって、ILD手がかり〔キュー〕を近似することができる。ILDフィルタはさらに、観察される周波数依存遅延を与えることができる。

ITDおよびILDをカスケード接続することによって、時間領域におけるフィルタは次のようになる：

高調波発生器は、主に中央チャネルに基づいて高調波を生成することができる。それは、仮想低音効果を提供することを目的とする。それは、高調波を生成するためにそれ自体のサンプルごとの乗算を使用する。

等化器は、たとえば非特許文献３からの方法を使用して、パラメトリック・フィルタまたはシェルビング・フィルタを適用することができる。
SO. J. Orfanidis, "High-Order Digital Parametric Equalizer Design," J. Audio Eng. Soc., vol. 53, no. 11, pp. 1026-1046, (2005 November)

図3は、例示的な基本的な軽量仮想化器レイアウトを示す。左右の入力信号からなる入力（305）は、アップミックス前に残響モジュールに送られて（310）仮想化器モジュール（390）のための左右の残響を生成し、それとともに、アップミキサー・モジュール（315）に送られて、左右の入力信号を左、右、および中央チャネルに変換する。これらは次いで、改善された音質のために高調波発生器（320）および等化器（325）に送られることができる。仮想化器モジュール（390）は、残響出力と、左、右、および中央チャネルとを受け、ヘッドフォン用のバイノーラル出力（395）を合成する。

いくつかの実施形態では、バイノーラル音は、総残響量値に基づいて振幅を調整することによってチャネル上の残響の量を制御することによって合成される。

図4は、残響制御の一例を示す。仮想化器（400）による処理の前に、左右の入力信号（405）および左右の残響チャネル（410）は、ミキサー（412）によって組み合わされる。それらは、残響なし（この例では0）とフル残響（この例では1）との間の値を有する総残響値（reverb_amount）によって調整される。混合は総残響値に比例する。混合は次のように表すことができる。

ここで、αは総残響値であり、

は残響信号入力（L_revおよびR_rev）であり、xはもとの入力（LおよびRチャネル）である。残響量は、残響量の変化によるグリッチを避けるために、一次平滑化フィルタを用いてブロックごとに平滑化されることができる。

次いで、ミキサー出力（413）は、ipsi（415-I）およびcontra（415-C）フィルタを通過させられ、次いで、中央チャネル（420）と混合され、仮想化されたバイノーラル信号出力（425）を生成する。

総残響量の制御は、仮想化の制御を許容し、それにより、ヘッドフォンの製造業者がヘッドフォンの特定のハードウェアに仮想化を適合させること、および／またはユーザーが仮想化体験を調整することを許容する。いくつかの実施形態では、中心のみの残響量は、たとえばヘッドフォンとペアリングされたデバイス上のアプリから、API（application programming interface［アプリケーションプログラミングインターフェース］）によって制御されることができる。この制御は、モバイルデバイスのソフトウェアによって自動化されることができ（たとえば、残響を低減すべきオーディオ内の音声を検出するとき）、またはカスタマイズされた仮想化体験を提供するためにユーザーインターフェースを通じてユーザーが設定／調整することができ、またはその両方が可能である。いくつかの実施形態では、中心のみの残響量は、ハードウェアがどのように残響を取り扱うかに基づいて最良のバランスを提供するように、ヘッドフォン自体によって設定または調整される（たとえば、ソフトウェア／ファームウェア内のプリセット値またはオフセット値）。

いくつかの実施形態では、中心のみの残響量は、総残響量から独立して制御される（互いに異なる値を有するという選択肢が与えられる）。これは、中央対（左＋右）残響量を制御して、たとえば、仮想化された3D体験を提供するために音楽に対して十分な残響を依然として有しながら、中央チャネル上の声のオーディオに対する過度の残響を回避するのに役立つ。

中央チャネル上に残響を生成するストレートな仕方が図5Aに示されている。残響モジュール（505）には、アップミキサー（510）から、左右のチャネルと一緒に中央チャネルが供給される。この例に示されるように、リミッタ（515）を使用して、デジタル範囲からのクリッピングを回避することができる。

中央チャネル上に残響を生成する、より効率的な仕方が図5Bに示されている。残響モジュール（555）は、代わりに、入力チャネル（565）と、アップミキサー（560）のアップミックスされた左および右チャネル（570）とからの混合入力を供給される。この混合は、図4に示した混合と同様に、中央のみの残響値（center_reverb_amount）によって制御される。LおよびR入力信号は、それらに適用されるcenter_reverb_amount（δ）を有し（利得ブロック575参照）、一方、アップミックスされたLおよびRチャネルは、1に対するcenter_reverb_amountの加法的逆（1－δ）が適用される（利得ブロック576参照）。その効果は、中央のみの残響値が最大（たとえば、1）であるとき、中央チャネルが完全な残響を有することである（残響モジュール（555）は、内在的に中央チャネルを含む、アップミックス前の左右の入力信号のみを受領する）。中央のみの残響値が残響なし（たとえば、0）である場合、中央チャネルは残響を有さない（残響モジュール（555）は、中央チャネルが除去された、アップミックス後の左チャネルおよび右チャネルのみを受領する）。中間の値は、中央のみの残響を比例的に調整する（たとえば、0.5は、中央は、左右のチャネルの半分の残響となる）。左右の残響量は、中央のみの残響値によって変更されないままであり、それらは、総残響設定が何であるかによってのみ制御される。

中央のみの残響値と総残響値は、APIによって別々に制御されることができる。

効率的な残響生成方法（たとえば、図5B）は、ストレートなシステム（たとえば、図5A）よりもメモリ使用量および複雑さの両方を節約し、これは、残響生成器は通例、システムにおけるメモリ使用量および複雑さの大きな部分を寄与するので、システムをさらに軽量にするための重要なステップである。

いくつかの実施形態において、混合比率は、次のような区分的非線形関数として制御される：

ここで、rは、中心のみ残響値（たとえば、API設定）であり、Aは、結果を正規化する（一貫した音量を提供する）定数であり、wは、中央チャネルにおける左または右チャネル（たとえば、左チャネル）の割合を与えるアップミキサーからの値であり、thrは、閾値であり、バー付きのp_crev()は、適用される中心のみの残響量である。これは、左右のチャネルにおいて対称性がより低いオーディオ・コンテンツを回避するのに役立つ。

いくつかの実施形態では、残響生成は、複雑さの2つのモード間で切り換えることができる。

図6Aおよび図6Bは、残響生成のための可変複雑度を提供する例を示す。

図6Aは、通常の（完全な複雑さの）動作モードを示す。ここで、残響発生器は、低域通過（たとえば、バターワース）フィルタ（605）とともに動作し、コム・フィルタ（610）に、次いで全域通過フィルタ（615）に供給して、位相を変更する。コム・フィルタ（610）は、異なる待ち時間値を有する複数の無限インパルス応答（IIR）フィルタからなる。これは、メモリおよび複雑さ集約的であり、所望よりも強い残響を生成する可能性がある。

コム・フィルタおよび全域通過フィルタのZ領域表現は次の通りである

ここでg₁およびg₂は反射利得であり、dはサンプル単位での遅延である。

図6Bは、簡略化モードを示し、低域通過フィルタ（655）は、より長い位相遅延（大きな部屋をシミュレートするため）およびより強い反射係数を有する全域通過フィルタ（660）に直接供給される。オーディオの音量もまた、補償するためにブーストされ、より弱い残響を有するオーディオに、典型的にはよりクリアな音を与える。簡略化モードは、通常モードよりもメモリ使用量および複雑さを低減し、よって、必要なときに（たとえば、メモリおよび複雑さが決定的に重要な場合に）モードを切り換える能力は、軽量仮想化器がある範囲の状況下で動作するのを助ける。

さらなる実施形態の以下の説明は、先に説明された実施形態との間の差異に焦点を当てる。したがって、両方の実施形態に共通する特徴は、以下の説明から省略され、よって、前述の実施形態の特徴は、以下の記述がそうでないことを必要とするのでない限り、さらなる実施形態において実施されるか、または少なくとも実施されうると想定されるべきである。いくつかの実施形態では、軽量仮想化器は、仮想化が必要とされないかどうかを検出し、仮想化をバイパスすることができる。これは、API命令によって、機械学習導出されるバイノーラル検出（たとえば、参照によりその全体が本明細書に組み込まれる、特許文献１を参照）によって、または仮想化を有することが知られているモバイルデバイスまたはモバイルデバイスアプリの識別情報を受信することによるものでありうる。
国際公開第2019/209930号、Chunmao Zhang et al.、“Blind Detection Of Binauralized Stereo Content”

図7は、アップミキサー（2から3チャネルのアップミックス）の例を示す。それは、左および右チャネルから仮想中央チャネルを導出し、よって、左および右の脱相関を達成し、バイノーラル信号の分離性を向上させる。アップミックス・プロセスは、フィードバックなしのアクティブ・マトリクス・デコードの形である（たとえば、参照によりその全体が本明細書に組み込まれる特許文献２を参照）。アップミキサーは、左チャネルと右チャネルの和を中央チャネルとみなし、それらの差をサイド・チャネルとみなす。4つのチャネルのパワーが計算され、平滑化されることができる。左右前後のパワー比がパワーから導出できる。左右前後のアップミックス係数は、非線形化されたパワー比から計算される。導出された仮想中央チャネルは、重み付けされた左右のチャネルの線形結合である。この例では、チャネルは合計され、差分がとられ（705）、左、右、中央、およびサイド・チャネルを提供する。パワーの和および差（710）は、それらのパワー・レベルを与え、それらは次いで平滑化される（715）。左右前後についてパワー比が導出され（720）、アップミックス係数が計算され（725）、中央チャネルが導出される（730）。
国際公開第2010/083137号、C. Phillip Brown、“Method and System for Frequency Domain Active Matrix Decoding without Feedback”

図8は、基本的な軽量な仮想化器方法の例示的なフローチャートを示す。システムは、入力段（805）において、オーディオ・ソースから左右の入力信号を取り込む。次いで、これらはアップミックスされて（810）、左チャネル、右チャネルおよび中央チャネルのアップミックスされたバージョンにされる。アップミックスされた左右のチャネルおよび入力信号は、次いで、システムまたはAPIによって設定された（830）比例スケール、中央のみの残響量に基づいて混合される（815）。混合されたチャネルは、次いで、やはりシステムまたはAPIによって設定される（840）総残響量に基づいて残響を与えられる（820）。次いで、これは、さらなる処理（たとえば、入力または後処理された入力を用いた仮想化）のために左および右残響チャネルとして出力される（835）。

本開示のいくつかの実施形態を説明してきた。それにもかかわらず、本開示の趣旨および範囲から逸脱することなく、さまざまな修正が行われうることが理解されるであろう。よって、他の実施形態は、以下の請求項の範囲内にある。

上述した例は、本開示の実施形態をどのように作成および使用するかについての完全な開示および説明として当業者に提供されるものであり、本発明者らが本開示とみなすものの範囲を限定することを意図するものではない。

当業者にとって明らかである、本明細書に開示される方法およびシステムを実施するための上述の態様の修正は、以下の請求項の範囲内であることが意図される。本明細書において言及されるすべての特許および刊行物は、本開示が属する当業者の技術レベルを示す。

本開示は、具体的な方法またはシステムに限定されるものではなく、具体的な方法またはシステムは当然ながら、変更することができることを理解されたい。また、本明細書で使用される用語は、具体的な実施形態を説明することのみを目的としており、限定することを意図していないことも理解されたい。本明細書および添付の特許請求の範囲において使用される場合、単数形「a」、「an」、および「the」は、内容が明確にそうでないことを示すのでない限り、複数の指示対象を含む。「複数」という用語は、内容が明確にそうでないことを示すのでない限り、2つ以上の指示対象を含む。他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。

Claims (19)

1. バイノーラル仮想化を提供するデバイスであって、当該デバイスは：
   左入力信号および右入力信号を受領するように構成された入力段と；
   前記左入力信号および前記右入力信号のオーディオに対してバイノーラル効果を生じる仮想化を実行するように構成された仮想化器と；
   前記左入力信号および右入力信号を右チャネル、左チャネル、および中央チャネルに変換するように構成されたアップミキサーと；
   中央のみの残響量値に基づいて前記左入力信号を前記左チャネルと組み合わせ、前記中央のみの残響量値に基づいて前記右入力信号を前記右チャネルと組み合わせ、ミキサー出力を生成するように構成されたミキサーと；
   仮想化されたバイノーラル信号出力を出力する前記仮想化器に入力される前記ミキサー出力に残響を適用するように構成された残響モジュールとを有する、
   デバイス。
2. 前記残響モジュールが、総残響量値によって前記残響を調整するように構成されている、請求項１に記載のデバイス。
3. 前記中央のみの残響量値および前記総残響量値は、独立して設定される、請求項２に記載のデバイス。
4. 前記アップミキサーと前記仮想化器との間に高調波発生器および等化器のうちの少なくとも1つをさらに有する、請求項１ないし３のうちいずれか一項に記載のデバイス。
5. 当該デバイスが、前記左入力信号および前記右入力信号がすでにバイノーラルであるかどうかを検出するように構成される、請求項１ないし４のうちいずれか一項に記載のデバイス。
6. 当該デバイスは、前記左入力信号および前記右入力信号のソースから識別情報を受領することによって、前記左入力信号および前記右入力信号がすでにバイノーラルであるかどうかを検出する、請求項５に記載のデバイス。
7. 当該デバイスは、機械学習バイノーラル検出によって、前記左入力信号および前記右入力信号がすでにバイノーラルであるかどうかを検出する、請求項５に記載のデバイス。
8. 当該デバイスは、前記左入力信号および前記右入力信号がすでにバイノーラルであるかどうかをAPI命令によって検出する、請求項５に記載のデバイス。
9. 前記仮想化器は、オーディオ・デコーダの一部である、請求項１ないし８のうちいずれか一項に記載のデバイス。
10. バイノーラル仮想化を提供する方法であって、当該方法は：
    左入力信号および右入力信号の入力を受領する段階と；
    前記左入力信号および右入力信号を右チャネル、左チャネル、および中央チャネルにアップミックスする段階と；
    中央のみの残響量値に基づいて前記左入力信号を前記左チャネルと混合し、前記中央のみの残響量値に基づいて前記右入力信号を前記右チャネルと混合して、ミキサー出力を生成する段階と；
    仮想化器に入力される前記ミキサー出力に残響を適用する段階と；
    前記仮想化器から出力された仮想化されたバイノーラル信号を出力する段階とを含む、
    方法。
11. 総残響量値によって前記残響を調整する段階をさらに含む、請求項１０に記載の方法。
12. 前記中央のみの残響量値および前記総残響量値は、APIによって設定される、請求項１１に記載の方法。
13. 前記アップミックスの後に、高調波発生および等化のうちの少なくとも1つをさらに含む、請求項１０ないし１２のうちいずれか一項に記載の方法。
14. 前記左入力信号および前記右入力信号がすでにバイノーラルであるかどうかを検出する段階をさらに含む、請求項１０ないし１３のうちいずれか一項に記載の方法。
15. 前記検出することは、前記左入力信号および前記右入力信号のソースから識別情報を受信することによって行われる、請求項１４に記載の方法。
16. 前記検出することは、機械学習バイノーラル化検出によって行われる、請求項１４に記載の方法。
17. 前記検出することは、API命令によって行われる、請求項１４に記載の方法。
18. 標準フィルタ・モードと簡略化フィルタ・モードとの間で切り換えることをさらに含み、前記標準フィルタ・モードはコム・フィルタを使用することを含み、前記簡略化フィルタ・モードはコム・フィルタを使用することを含まない、請求項１０ないし１７のうちいずれか一項に記載の方法。
19. 請求項１０ないし１８のうちいずれか一項に記載の方法の段階を実行するように構成されたデータを含む非一時的なコンピュータ可読媒体。

Images