JP4817658B2 - 音響仮想現実エンジンおよび配信された音声改善のための新技術 - Google Patents

Description

本発明は、帯域幅が制限された通信により配信された音楽のような、配信された音声信号改善のための新しい処理技術に関する。具体的には、あらゆるデジタル情報源から配信されたデジタル音響のリスナーに、実演感を生み出すための処理技術に関する。

関連出願の相互参照
この出願は、２００２年6月５日に出願された米国仮出願番号60/386,541、発明名称「配信された音声改善のための新技術」と２００３年５月２０日に米国速達便（速達ラベル番号EV331871319US）にて出願された米国仮出願番号＿＿＿、発明名称「音響仮想現実エンジン」に基づく優先権を主張する。

発明の技術的背景
急速なインターネットの拡大に伴い、単なるテキストベースのアプリケーションを越えて、インターネットの通信技術を用いるためのより新しいより効率の高い方法が開発されてきた。関心を集めた２つのアプリケーションは音響と映像のブロードキャスティングであった。これらのアプリケーションはともに共通の問題を抱えていた。すなわち、これらのユーティリティは、インターネットとの通信が帯域幅で制限されるとき、障害を受ける。このユーティリティは広い帯域幅を必要とするので、映像のブロードキャスティングは、限られた帯域幅での通信を行うインターネットの多数の最終ユーザ（すなわち、顧客）にとって特に問題となる。

インターネットでの音楽などの音響の配信における１つの共通的な方法は、顧客のコンピュータに音響ファイルを「ダウンロードすること」である。デジタル音響ファイルは一般に、コンパクトディスク（ＣＤ）、パーソナル・プレーヤー、またはコンピュータのハードディスク上にＭＰＥＧオーディオまたはその他のフォーマットに圧縮されてコピーされ、そこで、デジタル音響ファイルは、ストリーミング・オーディオと比較して好都合な、あるいはポータブルなリスニング環境で聴取される。

もう１つのインターネットでの音響の配信はストリーミング・オーディオである。「ストリーミング・オーディオ」とは、ダウンロードを行いながら聴取するものである。一般に、サーバは、顧客の通信と比較して非常に広い帯域幅でインターネットとの通信を行う。音楽にストリーミング・オーディオを用いて、インターネットのホスト側（すなわち「サーバ」）は音楽コンサートの実況、ディスクジョッキーにより選択された音楽、又は、記録された音楽を最終ユーザ（すなわち「顧客」）に提供する。しかし、顧客への通信におけるバンド幅のよくある制限により、ストリーミング音楽又はダウンロードされた（圧縮された）音楽は、望ましい顧客、特にＤＣ音質の音楽に慣れた顧客の聴取体験からはかけ離れたものとなっている。

聴取体験の劣化は２つの原因に由来する。すなわち、制限された帯域幅での送信をする必要から又は保存の目的で小さくしたファイルサイズを補償するために圧縮された信号に対して起こる劣化と、顧客の劣悪な聴取環境によるものである。後者について言えば、インターネットからダウンロード中の音楽又はダウンロードされた音楽は、しばしば、顧客のコンピュータに付属するスピーカにより聴取され、一般にコンピュータが置かれたところには良い聴取環境を作るための注意が払われないからである。近年、チャンネルの帯域幅の制限に対する改善に努力が向けられているが、劣悪な聴取環境の問題についてはまだうまく解決を図る余地がある。したがって、制限された帯域幅からの通信により受信した音響信号を顧客が受け取り聴取する環境を改善する技術的な解決手段を提供することは、有利なことである。さらに、オーディオファイルを小さなファイルサイズに圧縮することからくる劣化を補償することができるシステムを提供することは有利なことである。

音楽の演奏は非常にたくさんの複雑で動的な音響ファイルから構成される。聴衆の構成員の聴取環境の定常的な変化と、音色、拍子および予想のつかない実況パーフォーマンスの強弱を伴うミュージシャンとが組み合わされてユニークで動的な音楽体験を作り出す。実況音場は、周囲音響に支えられた楽器と音声が、聴覚事象に基づく時間領域形式に合致したとき生成される。これらの要素は各々定常的に変化する。部屋の様式とノードがリスナーの位置を変化させ、音楽の動的特性が演奏者の意向を変化させ、さらにリスナーの頭の位置により刻々と体感が変化する。

デジタルレコーディングにおいてクリアな音声と単独の楽器の音を引き出すために様々な仕組みが用いられてきた。伝統的な改善技術における一般的な方法はハーモニックな変形を音響波形の高周波領域に付加することである（「エキサイタ（exciter）」）。しかしステレオ音場に人工的なひずみを与えることにより、やがてユーザに倦怠感や不快感を与える。「エキサイタ」型の処理に基づく改善技術は、しばしば高周波での調波を強調しすぎることにより細くなった音を補償するためにバスブーストを必要とする。

テレビジョンやカーステレオにおけるステレオ波形をより明瞭にするための他のやり方は、中間領域に時間遅れ回路を付加するとともに、低周波領域に時間遅れ回路を付加することである。このとき、両方の時間遅れ回路は高周波領域に対して固定の時間遅れポイントに固定される。この回路の目的は音響的な再現性を高めるためではなくスピーカを正常に働かせるためであり、増幅され音響的に伝送された音響波形における周波数に依存する位相のずれを生じさせるスピーカ回路のインピーダンスを補償することを意図している。このデザインにおいては、「テスト調整」レベル制御としてユーザによりあらかじめ設定され、それとともに、中・低周波数帯域幅の時間遅れ値のＲＭＳ合計値を計算した後に比率が動的に調整されるＶＣＡ制御電圧により高周波レベルを調整する。層状フェーズシフト技術は高周波調波を強調し、全体ミキシングの調波に高周波の「エッジ（edge）」を付加するものであるが、単独の楽曲や音声に深みと豊かさを与える第１の基本周波数をマスクしリスナーにこれを識別する能力を減らしてしまい、空虚で現実感のないものとしてしまうことがある。このスピーカ修正法の他の問題は、これはすべての変換形式に有用なものではなく、中・低周波数帯域幅の時間遅れのずれを公開し、この処理による時間修正回路に適合する形式の変換にのみ有用であることである。

ミキシングの明瞭さを改善させるために用いられる他のアプローチは、高周波レンジと比較して定型的な時間遅れポイントに、低周波数レンジの時間遅れ回路を付加することである。層状フェーズシフト技術は高周波調波を強調し、全体ミキシングに高周波の「エッジ（edge）」を付加するものであるが、単独の楽曲や音声に深みと豊かさを与える第１の基本周波数をマスクしリスナーにこれを識別する能力を減らしてしまい、空虚で現実感のないものとしてしまう。フェーズシフト技術の効果は、バスブースと回路の補償と結合したときの、高音域と低音域で単独の楽曲および音声基本周波数を強調しない「ラウドネスカーブ（loudness curve）」効果である。

圧縮装置および電圧制御増幅器（ＶＣＡｓ）は、信号のＲＭＳ値に基づくもとの音響に適用するひずみ量又はフェーズシフトされた素材の調整を行うためのさらに洗練されたバージョンの高周波ブースト回路に適用される。

ステレオミキシングにトラックを加算するのに先立ち各トラックに特別の効果を加えることは有用ではあるが、高周波ブースト（「エキサイタ」）処理は、職業的な品質の単独の楽曲や音声の基本周波数、及び、ステレオ音場の全体的なバランスに対して有害である。音楽波形の付加的な圧縮又はダウンサンプリング（downsampling）により、ひずみやフェーズシフトが信号強度の減少にあらかじめ付加されるとき、全く予期せぬ悪影響が現れることがある。音強度曲線を組み立てることは、低い聴取レベルにおいては効果的であるが、中程度又は高い聴取音量では、音響に耳障りでとげとげした音が混じり、リスナーに倦怠感と不満足感を与える。

したがって、これまでの方法で引き起こされる副作用なしにデジタル録音又は他の音源からのデジタル情報を、ユーザが正確に聴取するような実況パーフォーマンス感覚を正確に創り出す技術的信号処理方法が望まれる。

本出願により、改善された音響信号処理方法とシステムが開示される。開示される方法／システムは、圧縮される、及び／又は、圧縮された音響信号の音質を改善させるために用いられる。本システムは、音響信号の提供において異なった機能を実行する可変デジタル信号処理（ＤＳＰｓ）の配列を用いる。一実施の形態によれば、本方法／システムは、音響信号が小さなフォーマットに圧縮される前に、音響信号を「リップ（rip）」するために用いることができる。上述のとおり、音響信号の圧縮は制限された帯域幅のネットワーク接続を用いて信号を伝送するために必要となるかもしれない。圧縮はまた、ディスケット、ＣＤロム、フラッシュメモリ、及び磁気ドライブのような限られた保存スペースを持つ媒体に音響信号の複製を保存するために必要となるかもしれない。本方法／システムの他の実施の形態では、伸張した後の音響信号の改善に用いられる。例えば、本方法／システムは、音響信号がストリーミング受信器により伸張した後の音響信号の改善のために顧客が用意したストリーミング媒体受信器とともに用いてもよい。他の例では、本方法／システムは、制限された保存媒体から音響信号を読み出し伸張したときに音響信号を改善する。好ましい実施の形態においては、開示された方法／システムは音響ストリームの圧縮及び伸張の両端において用いられる。しかしながら、開示された方法／システムをもっぱら音響ストリームの圧縮又は伸張の一方の端に用いることは十分検討した。

本方法／システムの上流側（すなわち、圧縮端）での応用は、実時間より速いスピードでオーディオ信号を処理する「リッピング（ripping）」プログラムとなる。この「リッピング」プログラムは、電子的なオーディオ信号を圧縮し記録装置に保存する前にオーディオ信号ファイルを改善するために有用である。この「リッピング」プログラムが実時間より速い速度で動作するので、ファイルを圧縮するのに必要な時間が大幅に短縮する。本方法／システムの上流側での実施形態により、インターネットのような帯域幅が制限されたネットワークを利用して伝送する前にオーディオ信号を改善することができる。この実施の形態によれば、本方法／システムは、ネットワークを介して伝送される前の圧縮により発生したひずみを補償する。他の応用例は、公開された本方法／システムの下流側（すなわち、伸張端）での実施の形態である。下流側での実施の形態は、記録媒体から読み出され伸張されたオーディオ信号を改善するために用いられる。下流側での実施の形態は、ストリーミング・オーディオ信号を受信器で受信したときにこのオーディオ信号を改善するためにも用いられる。公開された本方法／システムは、実際の速度より速い速度で動作することができるので、時間遅れの影響を最小にしてオーディオ信号の伸張を効果的に改善することができる。

本出願に開示された発明によれば、動的に適応するタイプの処理により、ＦＳＭ（フラット・スペクトラ・モデリング（Flat Spectra Modeling））による音響的雰囲気モデリング技術を用いて元の実際の音楽パーフォーマンスに忠実な信頼性のある実況音場が作られる。ここに記載された処理技術は、音響が「実際の」レコーディングであろうと機械的に生成されたもの（例えばコンピュータ・ゲーム・サウンドトラック又は音響効果）であろうと、デジタル音楽レコーディング、音響効果、サウンドトラック、又はどんなデジタル音源の再生にも用いることができる。実況音楽は、予測できない、生き生きした動的で絶え間なく変化する活気をエミュレートする。動的に適応するタイプの処理は、デジタル音響の修復を行うために均衡の取れた生き物のようなアプローチである。ここに記載されたレコーディング環境模擬技術と結合することで、時間領域と周波数領域とで同時に音響波形が分析されて修正され、実況パーフォーマンスの予測モデルに基づき音楽の演奏が生成される。人工的に生成された又は「効果音の（「foley」）音場 ― 映画のサウンドトラックに見られるような ― 又はゲームに見られるような合成サウンドトラックとともに用いられるとき、この技術の使用は今まで実現されなかった写実主義の新しい様相を付加する。

公開された技術は、動的な激しさと全体的な音楽的写実主義と明瞭さを、広帯域幅の動的に適応するタイプの処理とフラット・スペクトラ・モデリングとの結合を通して、波形全体に付加する環境から生み出される信用できる音響仮想現実を創造する。これは、完成された３２ビット及び６４ビットの音響仮想現実エンジンの実現を通して達成される。ここでは対話ははっきりと表現され、空間は創造され操られ、ユーザは声と音の環境特性を簡単かつ完全に制御する。各楽器と音声に焦点が当てられて、各音楽の音色に基づく主要な要素となる基本周波数でさえも明瞭にされる。本発明にかかる動的に適応するタイプの処理におけるアプローチでは、とげとげしい過度なあるいは単なる調波の中心を付加することはない。本発明は全音場で明瞭さと「活力」とを再活性化する。鮮明度と中心点は、必要以上のあるいは不自然な調波の強調をどんな帯域においても行うことなく、すべての帯域幅で保持される。

動的に適応するタイプの処理とレコーディング環境シミュレーション技術は、２つの中心技術、すなわち、時を違えずに並んだいくつかのフィルターされた帯域幅と１つのフィルターされない帯域とを用いた音響波形の複数の経路と、壁のシミュレータと部屋のシミュレータとの相関性を必要とする。音響の波形は時間領域と周波数領域とで同時に分析されて修正され、そしてこれらの中心的な処理における処理パラメータを設定することにより、音響的表現における実況パーフォーマンスのあらかじめ予想できるモデルが生成される。

動的に適応するタイプの処理は、予測できない、生き生きした動的で絶え間なく変化する実況音響をエミュレートするために時間ビートを生成する。これは、時を違えずに並んではいるが音響特性の異なった多数のフィルターされた帯域又は音響経路及び１つのフィルターされていない帯域又は音響経路を用いて、達成される。音響特性におけるこれらの相違は、多数のフィルターされた帯域及び１つのフィルターされていない帯域の各々に異なった圧縮パラメータ（例えば、アタック、リリース、ゲインレシオ、及びターゲットレベル）を１つの開示された実施形態において導入される。例えば、フィルターされていない帯域に適用される圧縮は、中音域の帯域の圧縮が、スコアリング・ステージのようなもっと生き生きした環境から発せられる音響をシミュレートするために設定されるのに対して、サラウンド環境のない状態のステージから発せられる音響をシミュレートするような音響を提供するために設定される。このような違いにより、これらの違った経路からの出力音響で生成される時間ビートが生じ、これによりリスナーにさらに生き生きとしたあるいは動的なパーフォーマンスを与える。この時間ビートは、時間経路間での時間遅れを用いずに生成させることが好ましい。

公開された実施の形態における他の特徴は、音響に「尾部（tail）」を与える動的適応タイプでの処理にしたがって、壁、及び／又は、部屋効果を用いることである。壁／部屋は、音響に、早い、及び中間の、及び遅い反響成分を音響に与える処理に影響を与え、これにより仮想的な外郭又は演奏の周りの囲い面を創る。この外郭又は囲い面は創り出したい環境にしたがって様々に変化させることができる。

部屋ブロック（遅い反響）と結びついた壁ブロック（早い反響）と結びついたときの動的に適応するタイプによる処理により、音響環境のような比較的静的なシステム（音響波の衝突に起因する不調和と共に）と一緒になって音楽演奏のような乱雑なイベントのシミュレートすることができる。（壁及び部屋からの反響を通して）あらかじめ予想できる環境に（動的適応タイプの処理を通して）あらかじめ予想できないイベントを結合させることは独自なものであり、リスナーに実況音楽体験に類似した感覚を提供する。したがって、公開された技術は、デジタルレコーディングされた音楽、映画やゲームのサウンドトラック、又は他の音源を聞くユーザに実況パーフォーマンスの感触を創り出す。

実況イベントを適切にシミュレートする処理において信頼性を上げる他の要素は、リスニングレベル、リスニング空間のインパルス応答、及びリスニング空間とリスナーが使う変換器に関する時間情報と周波数情報に関する全体的な処理情報を与える、ユーザのリスニング環境についての特性を決定するための（マイクやスピーカなどの）機構を付加することである。この情報は、開示された実施形態の適切な操作に対して任意的なものであるが、システムの調整に用いることができる。

制限された帯域幅での伝送システム又は圧縮されたデジタルファイルを解してユーザに配信されたサウンドの質を改善させるための技術をここに開示する。開示されるのはとりわけ、ＣＤやポータブルプレーヤーやセットトップボックスなどのようなクライアント・デバイスにインターネット又は他の方法でストリーム又はダウンロードとして配信され、周囲のノイズ又は他の貧弱な音響条件の下での限られた忠実度を持ったコンピュータベースのサウンドシステムにより演奏されるようなサウンド・ファイルの、クライアント側での質の改善技術である。開示されるのはまた、オーディオ信号を制限された帯域幅を使用してブロードキャストすることができるように実時間より速い速度でオーディオ信号を圧縮する技術である。他の実施の形態には、ストリーミング・メディア受信器または電子オーディオファイルプレーヤー（すなわち、ＭＰ３プレーヤー）のような、オーディオ信号を伸張した後でオーディオ信号の質を改善するクライアントベースのアプリケーションが含まれる。したがって、ここで開示された方法／システムは以下のアプリケーションに用いることができる。

・実時間より速い速度で動作するサーバ側の「リッパー」
・プレ・リップしたサウンド・ファイルを必要としない、クライアント側の音質改善装置
・オーディオ信号の質を実時間で改善させるブロードキャスト・サーバー
・オーディオ信号の質を実時間で改善させる受信クライアント
・音の質と明瞭さをさらに改善させるためにクライアント側で圧縮ファイルが後でデコードされる、サーバ側の「リッパー」
・オーディオ信号が圧縮される前にサーバ側で音質を改善させ、さらに、伸張した後にクライアント側で音質を改善させるクライアント―サーバ構成
図１は、好ましい実施の形態による、圧縮したオーディオデータの質を改善させる先進的な技術のフローダイアグラムである。ステップ１０２において、オーディオデータはデジタル的にフォーマットされた信号としてコード化される。ここで、デジタル信号もまたこれに続く伝送の準備のために圧縮してよい。いったんデジタルフォーマットになると、ステップ１０４で、続く伝送時に失われたり壊れたりする周波数や活力を強調する様々な処理技術を用いてコード化されたオーディオ信号を改善させることができる。その後、ステップ１０６で、この音質を改善させたオーディオ信号が、狭いあるいは中程度の帯域幅の通信によりインターネットのようなネットワークに伝送される。クライアント側に到達した後は、ステップ１０８で、伝送されたオーディオ信号がデコードされる（必要なら、さらに伸張される）。最後に、ステップ１１０で、ここでは、デコードされたオーディオ信号が、伝送時に失われたり壊れたりする周波数や活力を改善させる処理の対象となる。

図２Ａは、好ましい実施の形態による、ネットワークのサーバ側（すなわち、ホスト・サイト）で質を改善させる処理を示す。ホスト・サイト２１０では、例えば保存されたファイルや実況伝送された音源２０２から音楽が選択される。この音源２０２とオーディオ・コーディック２０４とを仲介するのは音質改善処理要素２１２である。音質改善処理要素２１２は、オーディオ信号を伝送するオーディオ・コーディック２０４によりコード化されるに先立って、オーディオ信号の音質を改善させる。音質改善処理は、既知の、及び／又は、類似のリスニング環境で、ストリーミング・サーバ２０６がクライアントにブロードキャストしているときに有益である。ブロードキャストされた音楽のタイプが既知のタイプ、又は決められたタイプ、又は常に類似のタイプであるとき有益である。なぜなら音質改善処理は、特定の種類の音楽にもっとも効果があるような方法で調整することができるからである。

オーディオ・コーディック２０４の伝送により、クライアントのインターネット通信の帯域幅に適合するように音楽をフォーマットし圧縮するエンコーダを介して音楽の処理（すなわち、コーディック・ペアの半分の伝送）が行われる。

ここで説明に使われているコーディックとは、オーディオのデータ圧縮機能（エンコーダ）及びオーディオ／データの伸張機能である。データ圧縮／伸張コーディックはまた「圧伸器（compander）」としても知られている。ここでの開示では、「データ圧縮」は、データファイルのサイズを縮減するすべての処理を言い、「サウンドレベル圧縮」とは、オーディオ信号のダイナミックレンジを縮減するすべての処理を言う。普通に用いられるコーディックは、ソニー８トラック、ドルビーＡＣ３、及びＷＭＡ（ＵＰ３）である。

オーディオ・コーディック２０４の伝送を適用した後、ストリーミング・サーバ２０６はデータ圧縮されフォーマットされた音楽データを、インターネットへの出力接続端２１４を介して指定されたアドレスへ伝送する。この説明は、本来ストリーミングと音楽の質の改善についてのものであるが、同様にどんなオーディオ又はオーディオ／ビデオ材料にも適用できる。さらに、このシステムと技術は、例えばリアルオーディオ、ＭＰ３、及びウインドウズメディアを含む様々な音楽伝達プロトコールとともに用いることができる。

ここでは、「リアルタイム」とは、サーバが音楽をオーディオ・コーディック内で処理しているのと同時に実質的にリスニング・クライアントが音楽を聴くことを意味する。接続端から「リアルタイム」と考えるべきスピーカへは時間遅れがあるかもしれないが、音源での音の流れ同士と、クライアントが聞いているスピーカとスピーカで順番に連続する音楽の断片の順序とですべての音の断片に実質的なバッファを持たないことが好ましい。圧縮比はリアルタイム・ストリーミングに用いられる圧縮比より小さいかもしれないが、ダウンロードされたファイルはすべて保存され遅れ時間を持って演奏され、そしてストリーミング・ファイルと同じ方法で圧縮されることが好ましい。

図２Ｂは、他の好ましい実施の形態による、ネットワークのクライアント側での、質を改善させた処理（すなわち、「デコーダ・サイドの質改善」）を示すブロックダイアグラムである。このタイプの質改善処理はリスニング環境及び／又は音楽形式が多岐にわたるような条件で有益である。狭いか中間の帯域幅での接続端２２２であっても、質の工場がなされ、コード化された信号はクライアント・サイト２３０に届く。特に、信号２２２は、パーソナルコンピュータ２４４又は他の適切なプラットフォームに提供される。好ましい実施の形態において、パーソナルコンピュータ２４４にはモデム２４２、及び、受信したオーディオ・コーディック２４６と音質改善処理要素２５２とスピーカ・ドライバ２４８とスピーカ２５０とに結び付いたプロセッサが含まれる。サーバ・サイト２１０で提供される音質改善処理要素２１２と同様に、信号が受信器のオーディオ・コーディック２４４でデコードされた後に、音質改善処理要素２５２がデコードされた信号の音質改善に供されることが好ましい。

クライアントの受信コーディック２４６のプロセッサは、ＣＰＵ２４４と結びつき、おおむねサーバの伝送オーディオ・コーディック２４４の逆変換を行う。具体的には受信コーディック２４６はデータ・ストリームを直ちに利用可能な音楽フォーマットに変換し、音楽を可能な限り音源２０２での元の音質に近づけて保存するために復元する。受信オーディオ・コーディック２４４での処理は、ＣＰＵ２４４でのソフトウエアとして処理することもできるし、付加したサウンドカードを用いてハードウエアで処理することもできる。スピーカ・ドライバ２４８もサウンドカード又は組み込まれたソフトウエア内に見出すことができる。一般的なクライアントのリスニング環境におけるスピーカ２５０は、貧弱な音質から中間的な音質までの中音域のドライバにより成り立っていて、ウーハ及び／又はサブウーハが含まれることもある。クライアントとコンピュータのあるクライアント・サイト２３０は最小限のリスニング環境である。クライアント・サーバはそこから出てくる共鳴や周囲ノイズのようなスペクトル応答により認知されるサウンドの音質にかなりの影響を与えるからである。

伝送オーディオ・コーディック２０４及び受信オーディオ・コーディック２４６は、両者間の通信における帯域幅の制限が与えられて、実質的に入力信号に相似する出力を出すよう設計される。これらのコーディック（２０４、２４６）におけるデータ圧縮処理は、予期せぬアーティファクトや歪みをもたらすことがある。これらの圧縮処理は必ずしも以下に記載する先進的な技術により変化が加えられるわけではない。

図２Ｂ（及び図３）の構成において、音質改善処理要素２５２はプロセッサに組み込まれたソフトウエアであることが好ましい。しかし他の構成も別の実施形態として考えることができる。例えば、その場所又はそこに接続された装置の特別なデジタル信号処理装置で処理を行ってもよい。

図３は、他の好ましい実施の形態による、ネットワークのクライアント側での、音質を改善させる処理を示すブロックダイアグラムである。図２Ｂに描かれた実施形態と異なり、図３に描かれた実施形態ではクライアント・サイト３００にマイクロフォン３０２が含まれる。マイクロフォン３０２はカップリング３０６を介して音質改善処理要素２５２に接続され要素にフィードバック信号を送る。このフィードバック信号に基づき、音質改善処理要素２５２はスピーカ・ドライバ２４８の付加的な制御を行うことができる。

いくつかの改善及びテクニックが用いられ、控え目又は普通の電力のみを用いて並外れた処理効率が可能となる。このテクニックの１つは、強い入力リミッタの必要性を未然に防ぎ、切捨てエラーによるノイズを減らし、システムの広いダイナミックレンジを生み出すために拡張したビット深度を用いた音楽処理を行うことである。

あらゆる処理（例えば、信号のミキシング、イコライジング、圧縮、等）が元のデジタルデータを修正する程度は、データのビット分解能に反比例して変化する。説明のために、データ処理における６４ビットのサウンド・サンプルを用いる技術について以下に記述する。しかしながら、８ビット、１６ビット、及び３２ビットのような他のサンプリングサイズを用いることができるように考慮してある。

図４は、好ましい実施の形態による、オーディオ信号の音質を改善させる処理機能を示すブロックダイアグラムである。図４において、オーディオ信号４０５はアーティフィッシアル・インテリジェンス（ＡＩ）ダイナミクス圧縮装置４１０に送られる。ＡＩダイナミクス圧縮装置４１０は、入力したオーディオ信号４０５のダイナミックレンジを所望のレンジに改善するために、信号ライン４１２を経由してＡＩダイナミクス伸張装置４１５と直列に動作する。これらの２つの処理装置４１０，４１５は信号の全体としてのダイナミックレンジを広げる。ＡＩダイナミクス圧縮装置４１０により処理された後、オーディオ信号は並列におかれた二つの要素、すなわち高周波アーティファクト・マスキング処理装置４２０とクラリティ処理装置（中間音域）４２５により処理される。調節可能なフィルターと可変時間遅れ回路からなる高周波アーティファクト・マスキング処理装置４２０は、入力オーディオ信号からの不快なアーティファクトや不快なサウンドをマスクする効果を生み出す。同じく調節可能なフィルターと可変時間遅れ回路からなるクラリティ処理装置４２５は、入力オーディオ信号の不快な中間音域の周波数に対して再編成を行う効果を生み出す。これらの二つの要素によって処理された後、オーディオ信号は、ミキサー４２７により結合され３Ｄ／ライブ音質改善装置４３０に入力する。３Ｄ／ライブ音質改善装置４３０は、オーディオ信号の音場に奥行きと活力を与える。３Ｄ／ライブ音質改善装置４３０は、現れる信号処理の広がりを決定するために、３次元模型を用いる。オーディオ信号は、３Ｄ／ライブ音質改善装置４３０により処理された後、オーディオ信号に拡散、残響、深み、再生、及び部屋減衰を与えるレコーディング環境シミュレータ４３５により処理される。レコーディング環境シミュレータ４３５は、仮想レコーディングルームに反響モードとノードを与えないで、これらの効果を達成する。レコーディング環境シミュレータ４３５により処理された後、オーディオ信号は、オーディオ信号から音声トラックを効果的に除去する音声除去装置４４０により処理される。ほとんどの音声トラックは中央にあり全体オーディオ信号の中で比較的無味乾燥であることから、この機能を実行することができる。音声信号を除去した後、オーディオ信号は、オーディオ信号の音場により広いステレオの奥行きを付加する、広域ステレオ音質改善装置４４５により処理される。この点で、オーディオ信号は、全ダイナミックレンジのオーディオ信号を確かに復活させるための人工知能アルゴリズムを用いて処理するＡＩダイナミクス伸張装置４１５に入力する。ＡＩダイナミクス伸張装置４１５により処理された後、オーディオ信号は、信号を最適なゲインで実行されるまでレベル（すなわち、ボリューム）を調整するＡＩフェーダー及び歪み検出処理装置４５０により処理される。満足できる信号レベルを連続してリスナーに提供できるようにオーディオ信号のゲインをダイナミックに調整するために、ＡＩフェーダー及び歪み検出処理装置４５０をなじませる。この点にて、処理されたオーディオ信号４５５を、個人が信号を聞くことができるように１つのドライバ又は１組のドライバに送ってもよい。

図５は、好ましい実施の形態による、制限された帯域幅の音楽のクライアント側での音質の改善に関係する処理機能を示すブロックダイアグラムである。図５には１チャンネルの処理しか示されていないが、複数処理チャンネルもこのように用いられる。さらに、以下に説明するデコード処理及び音質改善処理はプロセッサ上で走るソフトウエアルーチンであることが好ましい。それゆえ、信号経路の意味も１つのルーチンから他のルーチンにデータを送る一般的なプログラム技術を意味する。したがって、好ましい実施の形態と整合が取れた形態において、信号の経路は物理的な接続を意味するものではない。しかし、個別の接続路も他の実施の形態として用いてもよい。

音質改善処理は、レセプション・コーディック（reception codec）２４６から出力されたオーディオ信号を受信するところから始まる。まず、この信号はチャンネル入力５０２を経由してリミッタ５０４に向かう。リミッタ５０４は、大きな音の部分がダイナミックレンジ不足によりその後の処理を押しつぶしてしまうことを防止する処理機能である、通常のオーディオリミッタであることが好ましい。サウンドレベルに応答して、リミッタ５０４は、「ポンピング（pumping）」や「クリッピング（clipping）」のような彩色効果（coloring effect）をサウンドに与えるゲインを変化させる。制限をかけること又は伸張の結果により起こるゲインの変化は、しばしばリスナーに注目され「ポンピング」と呼ばれる。「クリッピング」はシステムが可能とする最大値を信号が越えるときに起こる。

リミッタ５０４の出力は信号を４個の不連続の経路又は帯域に分割する。これらは全帯域幅経路５１０、低音域経路５２０、中音域経路５４０、及び高音域経路５６０と呼ばれる。各経路は独立に処理されることが好ましい。全帯域幅経路５１０は出力ミキサー５７８に全帯域幅サウンドを届けるためにある。以下に説明する様々なふるいをかけた帯域幅の処理に対して、全帯域幅経路５１０はサウンドレベルを伸張しないことが好ましい。低音域、中音域、及び高音域の経路（５２０，５４０，５６０）は信号にふるいをかけて重複のない周波数帯域幅にすることが好ましい。

経路はもっと多くしても少なくしてもよい。例えば、サブウーファーとして経路を追加してもよく、中間周波数帯域幅は２つの別々の中間周波数帯域幅に分けてもよい。代わりの実施の形態に用いる周波数帯域の数は非常に高く、フィルターは、ＡＲＢＩフィルターによるものが好ましい。例えば、リミッタ５０４はダイナミックフィルタリング、パラメトリックフィルタリングの３００のステレオチャンネルを持ったＡＲＢＩフィルター（したがって、３００のステレオチャンネルのサウンドレベル伸張と３００のステレオチャンネルの時間遅による整合も必要となる）でもよい。

処理の前に、全帯域の各入力、低音域、中音域、及び高音域の経路（５１０，５２０，５４０，５６０）は、増幅器５０６ａ〜ｄにより増幅される。処理の後、全帯域の各出力、低音域、中音域、及び高音域の経路（５１０，５２０，５４０，５６０）は、増幅器５０７ａ〜ｄにより増幅され、ミキサー５７８で混合される。

フィルターにより形成される各周波数帯域は図５に示され、以下の段落に記載した様々な処理要素により独立に処理される。

全帯域幅経路５１０を除いて、各帯域はパラメトリック・イコライゼイションのためのイコライザを有する。このようなパラメトリック・イコライザは、低音域経路、中音域経路、及び高音域経路として各々参照番号５２２，５４２，及び５６２で示されている。このようなパラメトリック・イコライザ（５２２，５４２，５６２）は、各々がゲイン、帯域幅又は「Ｑ」、及び中央周波数を持つ複数の狭帯域フィルターを提供する。イコライザ（５２２，５４２，５６２）は、サンプリング・アリアスに起因するスプリアスを減らすナイキスト補償フィルターを含んでもよい。

各周波数帯域に対するプログラマブルな具体的なエキスバンド又は圧縮は、各低音域、中音域、及び高音域の経路（５２０，５４０，５６０）に含まれるダイナミックな処理要素により実行される。このような処理要素は、エキスパンダ及び／又は圧縮装置と共に様々なフィルターを具備することが好ましい。低音域経路５２０は、エキスパンダ５３０及び圧縮装置５３２と共にハイ・シェルビングフィルター５２４、ローパスフィルター５２６、及びハイパスフィルター５２８を具備することが好ましい。中音域経路５４０は、エキスパンダ５４８及び圧縮装置５５０と共にハイ・シェルビングフィルター５４４、及びバンドパスフィルター５４６を具備することが好ましい。高音域経路５６０は、エキスパンダ５７０と共にハイ・シェルビングフィルター５６４、ローパスフィルター５６６、及びハイパスフィルター５６８を具備することが好ましい。全帯域経路は圧縮装置５１２に限定することが好ましい。各経路で用いられる処理要素は、他の設計的選択のみならず経路に関係する帯域の数とタイプにより変化することは評価されるべきである。

各帯域（全帯域幅５１０を含む）は、先の要素により生じた時間遅れ、又は、サーバ側でのレコーディングや処理により生じた時間遅れの相違を補償するために時間遅れ整合要素を提供することもまた好ましい。このような時間遅れ要素は、各々全帯域幅の各出力、低音域、中音域、及び高音域の経路（５１０，５２０，５４０，５６０）に対して参照番号５１４，５３４，５５２，及び５７２で示されている。一般に、適切に整合をとるための時間遅れはマイクロセカンド単位となる。

処理の後、各帯域の出力はミキサー５７８に接続される。このミキサー５７８は、４つの経路（５１０，５２０，５４０，５６０）間で信号のバランスをとり、混合した信号をマスター・イコライザ５８０に送る。

マスター・イコライザ５８０は、ミキサー５７８にある信号にパラメトリック・イコライジング処理を行う。これにより、広いスペクトル範囲で信号の最終的な成形が行われる。イコライズされた信号は、次いで（オプション的に）高度にイコライズした共鳴フィルターを通してサブウーファーと低音周波数域の強化がなされる。このようなフィルターは、ハイ・シェルビングフィルター５８２、ローパスフィルター５８４、及びハイパスフィルター５８６を具備することが好ましい。

壁シミュレータはハイパスフィルター５８６と結合することができる。壁シミュレータ５９０は、実際のステージからの反響をシミュレートする時間遅れを生成するために、ディフューズド・フィールド・マトリックス（ＤＦＭ）技術を用いる。このようなサウンドの反響環境をシミュレートすることで、共鳴による不快なピークを招くことなく、音楽に活力と残響を与えることができる。

一般的なＤＦＭ技術は、調和振動と共鳴のない波の反射についての数論によるアルゴリズムを用いる。例えば、M. R. Schroeder, Springer-Verlag, Berlinの「Number Theory in Science and Communication」1986年、第２版の１５．８節に記載された平方余剰と１３．９節に記載された原始根は、この文脈に適用することができる。これらの一般的な技術は、しかしながら、部屋の「残響」をシミュレートする時間の長い反響を与えるのみである。早期に反射してくるサウンド、すなわち直接のサウンドから５から３０ミリセカンド以内に反射するサウンドを提供するために、ディフューズド・フィールド・マトリックスＤＦＭ技術を用いることでSchroederによる方法を改良する、原始根の計算を適用することが好ましい。

壁シミュレータ５９０は、強い周期的な処理アーティファクト又は煩わしい周期的特徴を持つ不快な現象を破棄し、成形し又は取り除くための手助けをすることができる。このシミュレータ段階で用いられるＤＦＭ技術は、この処理要素の出力から入力へのフィードバックである再生信号を用いない。この処理の段階での制御パラメータには、大きさと壁からの距離が含まれる。

壁シミュレータ５９０の出力は部屋シミュレータ５９２に入力する。部屋シミュレータ５９２は、ＤＦＭ技術を用いて、部屋でのありのままの音響に類似する時間遅れと共鳴を生み出す。ＤＦＭ技術は壁シミュレータ５９０で用いる技術に似ているが、再生信号を用いる。部屋シミュレータ５９２は、ドライな音楽素材とぼんやりしたかすかなコーディックに起因する歪みを改善するために、残響と減衰を加えることができる。この処理段階における他のパラメータには、部屋の大きさ、部屋のアスペクト比、及びウエット／ドライミキサーが含まれる。部屋シミュレータ５９２の他の用途は、リスナーのリスニング環境における貧弱な部屋の音響を補償するために用いることである。ドライ信号に自然な部屋又はステージの音響を付加するために用いられる上述と同じＤＦＭ技術は、リスナーの部屋の共鳴を弱め又はふるいをかけるために、及び、部屋で感知されたノイズレベルを減少させるために用いることもできる。この目的のために、リスナーの部屋の音響は、リスナーが通常聞いている位置のそばに置かれ、図３に示すようにＣＰＵに機能的に接続されたマイクロフォンの使用により得られる。ＤＦＭ技術は、壁シミュレータ５９０と部屋シミュレータ５９２の中でのみ用いることが好ましい。ここでは、部屋シミュレータ５９２のみが再生成分を用いる。

部屋シミュレータ５９２により計測され補償される、クライアント・サイト又はリスニング・ルームの質に基づき種々のフィルターを適用することができる。１つのフィルターは、多数の共鳴を有する伝達関数、Ｒ（ω）、に基づき、リスニング・ルームの音響を補償することができる。もし部屋にカーペットやカーテンやクッションのような柔らかい表面を持つものが多数ある場合には、部屋伝達関数Ｒ（ω）は高周波域で減衰するであろう。しかしながら、もしリスニング・ルームに固い表面を持つものが多数あれば、部屋の伝達関数Ｒ（ω）の高周波端でそれほど減衰はないであろう。

部屋共鳴の補償を行うための最初のステップは、マイクロフォン３０２（図３参照）を用いてリスニング・ルームの音響を測定することである。部屋の音響は、スピーカ２５０（図３参照）を用いて既知の周波数スペクトルＮ_０（ω）を持つサウンドを発生させ、マイクロフォンを用いてスピーカにより生成されたサウンドに対する部屋での音響効果を観測することにより測定する。スピーカ２５０は、各周波数で同じエネルギーをもつ「白色ノイズ」のようなサウンドを生成する。マイクロフォンで変換されたスペクトルＮ_ｉ（ω）は、次いで、下式に従い部屋伝達関数Ｒ（ω）を計算するために用いられる。

Ｒ（ω）＝Ｎ_ｉ（ω）／［Ｎ_０（ω）Ｍ（ω）］

ここで、両方のスペクトルＮ_ｉ（ω）とＮ_０（ω）は、ＳＰＬＡスケールのデシベルで測定し、上述のとおり、Ｍ（ω）はマイクロフォンにより変換されてできた値である。又は、Ｎ_０（ω）が好ましい実施の形態に置けるような「フラットな」白色ノイズスペクトルであれば、

Ｒ（ω）＝Ｎ_ｉ（ω）／［ｋＭ（ω）］

一般に部屋フィルターの補償は部屋のスペクトルを逆にすることにより調整される。すなわち

Ｆ（ω）＝１／Ｒ（ω）

ここで、Ｆ（ω）はリスニング・ルームの補償フィルターである。フィルターＦ（ω）は、部屋シミュレータ５９２又はマスター・イコライザ５８０のどちらか一方又は両方の音質改善装置に導入することができる。

他のフィルターは、周囲ノイズを補償するために採用してもよい。周囲ノイズ補償は、周辺部屋ノイズのスペクトル帯域全体の帯域の特定の音楽を強調することにより得られる。このような強調により、ノイズに対する信号比が改善され、それにより、全体的なボリュームを上げることによらないで音楽の明瞭さが改善される。このノイズ低減技術は、ノイズスペクトルが本質的に変化しないときにうまく機能する。音響に対するフィルターと同様に、マイクロフォン３０２（図３参照）を、リスニング・ルーム内の周囲ノイズの計測に採用してもよい。サウンドから電気信号への変換はマイクロフォン伝達関数、Ｍ（ω）により記述される。したがって、元のサウンドのスペクトルからマイクロフォンにより変換された信号のスペクトルへの変換を表す式は以下で与えられる。

Ｍ（ω）・Ｔ（ω）＝Ｍ（ω）・Ｒ（ω）・Ｓ（ω）・Ｃ（ω）・Ｉ（ω）・Ｐ（ω）

リスナーが聞くサウンドはリスナーの位置のそばにマイクロフォン３０２を置くことにより最も正確に観測される。周囲ノイズを補償するためのフィルターのスペクトルは一般に周囲ノイズのスペクトルと同じ概略形状を持つ。このようなフィルターは、部屋シミュレータ５９２又はマスター・イコライザ５８０のどちらか一方又は両方の音質改善装置に導入することができる。

さらなる音質改善は、音楽が録音される環境又はシミュレートされた録音環境（実際に音楽が録音された環境とは異なってもよい）を補償することで得られる。クライアントには複数の録音環境が与えられる。好ましい実施の形態によれば、以下の６つのシミュレートされた録音環境がクライアントにより選択される。すなわち、スタジオ（Ａ，Ｂ）、ホール（Ａ，Ｂ）、及びスタジアムである。例えば、スタジオ環境では初期の反響の改善がなされる。又は、シミュレートされたスタジアムではかなり長い残響時間を持たせるのに対して、シミュレートされたホール環境では、短い残響となる。ある意味では、ユーザは、どのように音楽を録音するかをシミュレートする「プロデューサ」になる。あるいは、シミュレートされた録音環境のアプリケーションは、ユーザの好みよりむしろ、音楽が録音された実際の環境にのみに基づくようにしてもよい。この場合、システムは録音から不快なアーティファクトを修正してもよく、ダウンロードされたファイル又はストリーム中のファイルは、適切な録音ルーム音響を特定するＩＤ３タグやＭＰ３ファイルのようなタグを含んでもよい。

部屋シミュレータ５９２の出力は、カラオケ要素５９３に接続されている。カラオケ要素５９３には、両方のステレオチャンネルからのルーム・シミュレータからの入力がある。これらの左右のチャンネルの信号は比較され、両方のチャンネルで等しいエネルギーを持つ、声のような音の成分は、カラオケ効果を提供するために削除される。カラオケ要素５９３は元のステレオ信号を再導入しない点を除いて、以下に説明するように３Ｄ音質改善装置５９５と同じようにこれを行うことが好ましい。

カラオケ要素５９３の出力はワイド要素５９４に接続される。ワイド要素５９４では左右のチャンネルを比較し、知覚されたこれらの間の距離を変化させるために算術機能と時間遅れ機能とを２つのチャンネルに対して実行する。この効果により、音楽の広がりにおける知覚されたステレオ分解能を変化させる。広がりの質を改善させようとする他の試みにおいては、信号の低周波数成分の損失を招いたのに対して、ワイド要素５９４は、低周波数成分を実質的に変化させないで、この分解能を生み出すことができる。この効果をもたらす処理は、カリフォルニア州、サンフランシスコのドルビー・コーポレーションにより配布されたポジショニング・アルゴリズムである標準的なＰＬ−２処理に組み込まれる。具体的には、左右のチャンネル間で相互作用を必要とするカラオケ要素５９３、ワイド要素５９４、及び３Ｄ音質改善装置５９５（以下に説明する）は、両方のチャンネルを結合して使用することでＰＬ−２でのデコーディングを実行する。ワイド要素５９４の出力は、３Ｄ音質改善装置５９５に接続される。３Ｄ音質改善装置５９５は、ステレオ信号から「同一エネルギー」（コモン・モード）信号内容（普通はソロ音声及び楽器である）を削除し、それに時間遅れを持たせ、周波数領域関数と時間領域関数とを組み合わせを用いて生の信号と再混合する。これは、同一エネルギー素材の非局在化を行わずに、リスナーに対する音響ステージを広げることになる。

３Ｄ音質改善装置５９５の出力はレベリング増幅器５９６に接続される。次に、レベリング増幅器５９６は、ＡＩレベル・コントロール５９７に接続される。ＡＩレベル・コントロール５９７回路は、ピーク・イベントの期間オーディオレベルを低くし、ピーク・イベントが過ぎ去ると元に戻す働きをする。リスニング中又は録音時のサウンドの歪みを防止するために、人間工学的な設計により、感情を損なう楽器や音声のボリュームを下げる制御により常にボリュームを下げる。本質的に人間工学的シミュレートをすることによりＡＩレベル・コントロール５９７は、ピーク・イベントを特定するために、歪みや信号の過負荷についてデジタル信号を分析することでオーディオのレベルを急激に下げる。そして、ピーク・イベントが起こった後、好ましくないダイナミック端の損失と平坦なサウンドを招くようなオーディオ圧縮回路の「常時オン」の必要をなくして、元のボリューム設定値に戻す。

ＡＩレベル・コントロール５９７の出力は、マスター化されたステレオ信号のダイナミックレンジを選択的に増大するために用いられるマスター・エキスパンダ５９８に接続される。マスター・エキスパンダ５９８からの出力は増幅器５９９に接続される。

マスター・エキスパンダ５９８はシステムの最終出力のボリュームを制御する。これにより、リスナーはスピーカ駆動回路やスピーカのオーバードライブの心配をせずに好きなだけボリュームを高く設定することができる。この特徴は、サンプルの歪みを監視することによりオーバードライブするスピーカのピーク・サウンド・レベルを検出する処理により実行される。好ましい実施の形態によれば、クリッピングの量を集計するファジー・ロジックがボリューム・レベルを減少させなければならない程度を決定するために用いられる。あるいは、この処理において、音楽の流れを見越し、スピーカがオーバードライブするサウンドレベルの到来を予測してもよい。このようなサウンドレベルが到来した場合あるいは到来することが予測される場合、実際に人が使う減衰対時間をシミュレートする非線形の減衰対時間曲線を用いて、マスター・ゲインのレベルを自動的に下げる。

マスター・エキスパンダ５９８は音質改善処理の最終段階であり、スピーカ駆動回路に接続されたチャンネル出力５０４に、改善された信号が送られる。スピーカ駆動回路は、プロセッサからの音質改善されたデジタル形式の信号をハードウエアのアナログ信号に変換し、必要な増幅を行いスピーカに接続する。

ここで説明したサウンドレベルの伸張により、元のオーディオ・ソースのレコーディングから先のどんなときに行ったオーディオ信号の圧縮であっても、オーディオ信号の圧縮に対する修正の手助けを行い、音楽のダイナミックレンジを拡大する。一般に、音楽の録音と混合には、録音媒体のダイナミックレンジが制限されていることを利用するために多くのトラックでのサウンドレベルの圧縮が含まれる。また、インターネットによる配信における帯域幅を減らすために、ある形式の圧縮がなされることもある。後者のような圧縮は実質的に受信コーディックにより取り外されるが、修正が不十分であったり、あるいはその音楽の「活気」又は他の主観的な音質を改善するために更なるエキスパンションが必要であったりするかもしれない。強調すべき帯域で異なった時定数及びエキスパンション・ファクターを有するデュナーミック処理特性を採用することが好ましい。

図５に示した種々の処理要素は、どんな処理過程もバイパスすることができ、各処理におけるパラメータを特定することができるマスター制御プログラムにより制御される。「スキン」はクライアントがパラメータと事前の設定値を調整するためのインターフェースである。すなわち、「スキン」は、リスナーのＰＣ画面に表示される音質改善プログラムの視覚的な対話式部分である。フェーダー制御により、リスナーはシステムの各パラメータを設定することができ、「ラジオボタン」（すなわち、オン／オフ・スイッチ）により、前もって設定したパラメータのグループを選択することができる。改善パラメータは別々に調整してもよく、種々の事前の設定を選択してもよい。

システムは、個々の帯域プロセッサのパラメータを同時に調整する「ビッグネス（bigness）」制御を含んでもよい。「ビッグネス」パラメータの値が低い場合は、ダイナミック処理がほとんど行われず、サウンドレベルのダイナミックレンジは録音されたときの音楽のレンジと同等となる。「ビッグネス」パラメータの値が高い場合は、各帯域で処理されるデュナーミックが、録音された音楽のサウンドレベルのダイナミックレンジより増大する。

事前に設定されたパラメータのグループには、リスナーが決定するタイプと作りつけタイプの２つのタイプがある。リスナーはあらかじめ分類しておいたグループから事前の設定を選択することもできるし、作りつけ事前設定のメニューから選択することもできる。作りつけ事前設定は、帯域幅、コード化形式、リスナーのスピーカ、及び音楽のタイプを考慮して計画される。一旦リスナーが作りつけ事前設定を選択すると、リスナーは作り付け事前設定をカスタマイズするために個々のパラメータ又はパラメータのグループを調整することができる。調整されたパラメータのグループは、名前を付けて新しい事前設定として保存することができる。例えば、作りつけ事前設定が選択されると、リスナーは、引き続いて、作りつけ事前設定に適用することができる部屋補償パラメータのグループを選択することができる。

図６は、好ましい実施の形態による、３Ｄ改善装置のブロックダイアグラムである。他の要素と同様、この要素は左入力６０２と右入力６０４及び左出力６５０と右出力６５２を持つ。１つの混合器６４０は左出力６５０と関連付けられ、他の混合器６４２は右出力６５２と関連付けられる。左入力６０２に係る信号はローパスフィルター６０６とハイパスフィルター６０８を通り抜ける。同様に、右入力６０４に係る信号はローパスフィルター６１０とハイパスフィルター６１２を通り抜ける。ローパスフィルター６０６及び６１０の出力はそれぞれ増幅器６２２と増幅器６２８を通過し、これらの出力はそれぞれ混合器６４０と混合器６４２に入る。同様に、ハイパスフィルター６０８及び６１２の出力はそれぞれ増幅器６２４と増幅器６２６を通過し、これらの出力はそれぞれ混合器６４０と混合器６４２に入る。ハイパスフィルター６０８及び６１２の出力は加算器６３２で加算され増幅器６３４にはいる。増幅器６３４の出力は、混合器６４０に送られると共に、時間遅れ要素６３６にも送られ、その出力はさらに混合器６４２に送られる。

３Ｄ音質改善要素は、リスナーに拡張されたサウンドステージを提供するために適切に構成される。図１１に基づき以下に説明する空間音質改善要素に似ている３Ｄ音質改善要素は、ステレオ信号から「同一エネルギー」（コモン・モード）信号内容（普通はソロ音声及び楽器である）を削除し、それに時間遅れを持たせ、周波数領域関数と時間領域関数とを組み合わせを用いて生の信号と再混合する。これは、同一エネルギー材料の非局在化を行わずに、リスナーに対する音響ステージを広げることになる。

図７は、好ましい実施の形態による、広角要素のブロックダイアグラムである。他の要素と同様、この要素は左入力７０２と右入力７０４及び左出力７５０と右出力７５２を持つ。１つの混合器７４０は左出力７５０と関連付けられ、他の混合器７４２は右出力７５２と関連付けられる。左入力７０２に係る信号はハイパスフィルター７０６とローパスフィルター７０８を通り抜ける。同様に、右入力７０４に係る信号はハイパスフィルター７１０とローパスフィルター７１２を通り抜ける。ローパスフィルター７０８及び７１２の出力はそれぞれ混合器７４０と混合器７４２に入る。同様に、ハイパスフィルター７０６及び７１０の出力はそれぞれ時間遅れ要素７２４及び７２６を通過し、これらの出力はそれぞれ混合器７４０と混合器７４２に入る。時間遅れ要素７２４により与えられる時間遅れは、時間遅れ要素７２６により与えられる時間遅れより大きいことが好ましい。例えば時間遅れ要素７２６に関する時間遅れが０．５〜３０ミリセカンドとすることができるのに対して時間遅れ要素７２４に関する時間遅れが０．０５〜２．０ミリセカンドとすることができることとする。

左右のチャンネルにおける高周波情報の望ましい時間差を、ハイパスフィルター７０６／７１０でこの情報を処理するときに、生成するように広角要素を構成することが好ましい。各々の時間遅れ要素７２４／７２６は、時間遅れに望ましい差異を与えるために調整することができる。現実的な実施の形態において時間遅れの差は、ハース効果（又は先行音効果）の範囲に入る、５ミリセカンドと２２ミリセカンドとの間で、約２０ミリセカンドとするのが好ましい。動作時、１つの時間遅れ要素は固定の遅れ値に設定し、他の時間遅れ要素は好ましいハース効果を得るために変化させる。

図８は、開示された方法／システムによる音質改善処理装置のもう１つの実施の形態を示すブロックダイアグラムである。図８に示されたシステムには、図４に示されたものと同じ要素が多く含まれ、上述したのと同様の動作をする。しかしながら、図８には、以下の追加要素があることに注目すべきである。すなわち、低音デュナーミック処理装置９０２、時間遅れ要素９０５，９１８，及び９１９、ＤＦＭ壁シミュレータ９０９、オフセット装置９０７、波形発生装置９１５、ゲイン窓スレッシュホールド処理装置９１７、及び音声「ｓ」検出回路９１８である。図８にはまたスピーカ９１７（付属するダイナミック・アンプ９２０を含む）とマイクロフォン９２２が示されている。低音デュナーミック処理装置９０２は、強弱のある低音を改善するために、可変時間遅れ回路と圧縮装置とエキスパンダーブロックと結合した特別なフィルターを具備する。壁シミュレータ９０９は、前掲の図について説明したのと同じ機能を実行する。Ｘ８６と互換性のあるプロセッサ（ＰＣ及びそれに派生する装置）上で実行される実施形態において、波形発生装置９１５は、音のないときのインテルＦＰＵの「非正規（denormal）」運転を防止するために用いられる。オフセット装置９０７は、ＡＩデュナーミック圧縮装置９０１とＡＩデュナーミック伸張装置９１３巻での通信をさせるために用いられる。また、ＡＩフェーダー及び歪み検出装置９１６はリスニング環境９２３を監視し、出力信号に適切なゲインレベルが適用されるようフィードバックを行うために用いることができる。これはフレッチャー・マンソンの参照表を通じて実行される。

図９〜１６は、ユーザが再生するためのデジタル・オーディオ・ファイルを処理することのできるパーソナルコンピュータ又は他の装置のような、クライアント側の処理装置に組み込むことのできる本発明の様々な好ましい実施の形態の特徴を描いたものである。

図９は、好ましい実施の形態による、制限された帯域幅の音楽のクライアント側での改善に関する処理機能を描いたブロックダイアグラムである。実際の実施形態において、図９に示された構成９００は、ハードウエア、ソフトウエア、ファームウエア、又はそれらのあらゆる組み合わせにより実現される。図９にはただ１つの処理チャンネルのみ示されているが、複数の処理チャンネルを採用してもよい。例えば、単一のチャンネル、モノラルのチャンネル、又はステレオチャンネルがここに記載されていても、必要に応じ、追加の機能とサウンド処理を行うためにここに記載されているチャンネルを複数採用してもよい。さらに、チャンネル内で、具体的な数の経路がここに記載されていても、本発明の精神の範囲内でもっと少数のあるいは多数の経路を用いてもよい。

さらに、以下に記載するデコーディングと音質改善処理はプロセッサ上を走るソフトウエアルーチンであることが好ましく、したがって、信号経路とはあるルーチンから他のルーチンへデータを移す一般的なプログラミング技術を意味する。したがって、好ましい実施形態を満足していても、信号路又は経路は物理的な接続を意味するものではない。しかしながら、現実の実施の形態においては個別の接続を用いてもよい。

音質改善処理は、受信コーディックから出力されるオーディオ信号とともに始まる。最初は、信号はチャンネル入力９０２を通って圧縮装置９０４に入る。圧縮装置９０４は、標準的なオーディオリミッタ、すなわち、大きな音の部分がダイナミックの欠如により下流側の処理で押しつぶされることを防止する処理機能であることが好ましい。サウンドレベルに応答して、圧縮装置９０４は、「ポンピング（pumping）」や「クリッピング（clipping）」のような彩色効果（coloring effect）をサウンドに与えるゲインを変化させる。制限をかけること又は伸張の結果により起こるゲインの変化は、しばしばリスナーに注目され「ポンピング」と呼ばれる。「クリッピング」はシステムが可能とする最大値を信号が越えるときに起こる。

圧縮装置９０４の出力は、複数の不連続の経路又は帯域に分割し、そのうちの少なくとも１つは全帯域の信号に対応する。好ましい実施の形態において、圧縮装置９０４の出力は４つの流れに入る。これらは、全帯域経路９０６、低音域経路９０８、中音域経路９１０、及び高音域経路９１２と呼ばれる。各経路は独立に処理されることが好ましい。全帯域経路９０６は出力ミキサー９１３に全帯域サウンドを届けるためにある。以下に説明する種々のふるいをかけられた帯域の処理と対照的に、全帯域経路９０６はサウンドレベルを伸張したものでないことが好ましい。低音域、中音域、及び高音域の経路９０８／９１０／９１２は信号にふるいをかけて重複のない周波数帯域にすることが好ましい。

経路はもっと多くしても少なくしてもよい。例えば、サブウーファーとして経路を追加してもよく、中間周波数帯域は２つの別々の中間周波数帯域に分けてもよい。代わりの実施の形態に用いる周波数帯域の数は非常に高く、フィルターは、ＡＲＢＩフィルターによるものでもよい。例えば、圧縮装置９０４はダイナミックフィルタリング、パラメトリックフィルタリングの３００のステレオチャンネルを持ったＡＲＢＩフィルターでもよい。

処理の前に、全帯域、低音域、中音域、及び高音域の経路９０６／９０８／９１０／９１２の各々の入力は、それぞれ可変ゲイン増幅器９１４ａ〜ｄにより増幅される。実際の実施の形態においては、処理の基本概念９００で採用されている可変ゲイン増幅器の各々は、−３０ｄＢから＋２５ｄＢまで、調整分解能が０．１ｄＢの調整可能なゲインを持つ。動作時、増幅器９１４の可変ゲインの設定値も含めて、処理基本概念における多数の設定及び／又は可変特性は、本発明の動作に関連して実行されるここに記載された他の処理機能からの要求にしたがって決定してもよい。処理の後、全帯域、低音域、中音域、及び高音域の経路９０６／９０８／９１０／９１２は、可変増幅器９１６ａ−ｄにより増幅されミキサー９１３で混合される。

フィルターにより形成される各周波数帯域は、図９に示され、詳細を以下に記載した様々な処理要素により独立に処理される。各周波数帯域に対するプログラマブルな具体的なサウンドレベルのエキスバンド又は圧縮は、各低音域、中音域、及び高音域の経路９０８／９１０／９１２に含まれるダイナミックな処理要素により実行される。このような処理要素は、エキスパンダ及び／又は圧縮装置と共に様々なフィルターを具備することが好ましい。例えば、低音域経路９０８は、少なくともローパスフィルター９１８及び圧縮装置９２０を含むことが好ましい。中音域経路９１０は、少なくともバンドパスフィルター９２２及び圧縮装置９２４を含むことが好ましい。高音域経路９１２は、少なくともハイパスフィルター９２６及び圧縮装置９２８を含むことが好ましい。例示した実施の形態では、全帯域経路９０６は、圧縮装置９３０を含むがどんなフィルター要素も必要としない。各経路で用いられる処理要素は、他の設計的選択のみならず経路に関係する帯域の数とタイプにより変化することは評価されるべきである。

上述のように、各帯域の経路についての処理された信号はミキサー９１３の各入力となる。ミキサー９１３は４つの経路間での信号のバランスを取り、混合した信号９３２を選択可能な（すなわちバイパスできる）あるいは任意的な処理要素に送る。図９は、これらの処理要素の好ましい順序を示している。本発明の他の実施形態では、しかしながら、このような処理用を違った順序で用いてもよく、付加的な又は代わりの処理要素を採用してもよい。

例示した実施形態において、混合された信号９３２は、ステレオ波形中の単独の楽器又は音声素材の基本周波数に関連して周波数領域に付加的な彩色又はオーバートーン・アンバランシング（overtone unbalancing）を与えることなく音声や単独の楽器の音質改善に適切なように構成されている、ボーカル音質改善要素９３４への入力となる。ボーカル音質改善要素の一例を、図１０を参照してさらに詳細に説明する。ボーカル音質改善要素９３４の出力は、次に（任意的に）サブウーファーと低音域周波数を強化するために高度にイコライズされた共鳴フィルターを通過する。このようなフィルターは、ハイ・シェルビングフィルター９３６、ローパスフィルター９３８及びハイパスフィルター９４０を具備することが好ましい。ハイ・シェルビングフィルター９３６は与えられた「クロスオーバ」周波数以上の周波数範囲を強調する。クロスオーバ部の「急峻さ」は「Ｑ」又はフィルターのクォリティファクタを変えることにより調整できる。

フィルターされた出力は、リスナーに拡張されたサウンドステージをもたらすよう構成された空間改善要素９４２に入る。空間改善要素９４２は、ステレオ信号から「同一エネルギー」（コモン・モード）信号内容（普通はソロ音声及び楽器である）を削除し、それに時間遅れを持たせ、周波数領域関数と時間領域関数とを組み合わせを用いて生の信号と再混合する。これは、同一エネルギー素材の非局在化を行わずに、リスナーに対する音響ステージを広げることになる。

空間改善要素の一例を、図１１と関連させて以下に詳細に説明する。例示した実施形態において、空間改善要素９４２の出力は壁シミュレータ要素９４４への入力となる。壁シミュレータ要素９４４は、実際のステージからの反響をシミュレートする時間遅れを生成するために、ディフューズド・フィールド・マトリックス（ＤＦＭ）技術を用いる。このようなサウンドの反響環境をシミュレートすることで、共鳴による不快なピークを招くことなく、音楽に活力と残響を与えることができる。壁シミュレータ要素の一例を、図１２と関連させて以下に詳細に説明する。

一般的なＤＦＭ技術は、調和振動と共鳴のない波の反射についての数論によるアルゴリズムを用いる。例えば、M. R. Schroeder, Springer-Verlag, Berlinの「Number Theory in Science and Communication」1986年、第２版の１５．８節に記載された平方余剰と１３．９節に記載された原始根は、この文脈に適用することができる。これらの一般的な技術は、しかしながら、部屋の「残響」をシミュレートする時間の長い反響を与えるのみである。早期に反射してくるサウンド、すなわち直接のサウンドから５から３０ミリセカンド以内に反射するサウンドを提供するために、ディフューズド・フィールド・マトリックスＤＦＭ技術を用いることでSchroederによる方法を改良する、原始根の計算を適用することが好ましい。

壁シミュレータ要素９４４は、強い周期的な処理アーティファクト又は煩わしい周期的特徴を持つ不快な現象を破棄し、成形し又は取り除くための手助けをすることができる。このシミュレータ段階で用いられるＤＦＭ技術は、この処理要素の出力から入力へのフィードバックである再生信号を用いない。この処理の段階での制御パラメータには、大きさと壁からの距離が含まれる。

例示した実施形態において、壁シミュレータ９４４の出力は部屋シミュレータ９４６に入力する。壁シミュレータ要素の一例を、図１３と関連させて以下にさらに詳細に説明する。部屋シミュレータ要素９４６は、自然な部屋に似た時間遅れと共鳴を生成させるために、ＤＦＭ技術を用いる。ＤＦＭ技術は、再生成を行う点を除いて、壁シミュレータ要素９４４で用いられるものと似ている。部屋シミュレータ要素９４６は、無味乾燥の音楽素材とぼんやりしたかすかなコーディックに起因する歪みを改善するために、残響と減衰又は残響なしのＤＦＭを加えることができる。この処理段階における他のパラメータには、部屋の大きさ、部屋のアスペクト比、及びウエット／ドライミキサーが含まれる（ここで「ドライ」とはエフェクトの欠如を言い、「ウエット」とはエフェクトの使用を言う）。部屋シミュレータ要素９４６の他の用途は、リスナーのリスニング環境における貧弱な部屋の音響を補償するために用いることである。ドライ信号に自然な部屋又はステージの音響を付加するために用いられる上述と同じＤＦＭ技術は、リスナーの部屋の共鳴を弱め又はふるいをかけるために、及び、部屋で感知されたノイズレベルを減少させるために用いることもできる。

部屋シミュレータ９４６により計測され補償される、クライアント・サイト又はリスニング・ルームの質に基づき種々のフィルターを適用することができる。１つのフィルターは、多数の共鳴を有する伝達関数、Ｒ（ω）、に基づき、リスニング・ルームの音響を補償することができる。もし部屋にカーペットやカーテンやクッションのような柔らかい表面を持つものが多数ある場合には、部屋伝達関数Ｒ（ω）は高周波域で減衰するであろう。しかしながら、もしリスニング・ルームに固い表面を持つものが多数あれば、部屋の伝達関数Ｒ（ω）の高周波端でそれほど減衰はないであろう。

さらなる音質改善は、音楽が録音される環境又はシミュレートされた録音環境（実際に音楽が録音された環境とは異なってもよい）を補償することで得られる。クライアントには複数の録音環境が与えられる。好ましい実施の形態によれば、以下の１０のシミュレートされた録音環境がクライアントにより選択される。すなわち、スタジオ、ジャズセッション、ナイトクラブ、ゲームスペース、バスジャム、劇場、ロックコンサート、ソニックワイド、シンフォニー、又は大聖堂である。例えば、スタジオ環境では初期の反響の改善がなされる（ＤＦＭ）。又は、シミュレートされたスタジアムではかなり長い残響時間を持たせるのに対して、シミュレートされたホール環境では、短い残響となる。ある意味では、ユーザは、どのように音楽を録音するかをシミュレートする「プロデューサ」になる。あるいは、シミュレートされた録音環境のアプリケーションは、ユーザの好みよりむしろ、音楽が録音された実際の環境にのみに基づくようにしてもよい。この場合、システムは録音から不快なアーティファクトを修正してもよく、ダウンロードされたファイル又はストリーム中のファイルは、適切な録音ルーム音響を特定するＩＤ３タグやＭＰ３ファイルのようなタグを含んでもよい。

部屋シミュレータ９４６の出力は、信号の低音域を強化するために適切に構成されたサブソニック改善要素９４８に接続されている。サブソニック改善要素の一例を、図１４と関連させて以下にさらに詳細に説明する。

サブソニック改善要素９４８の出力は、自動予測ゲイン制御（ＡＧＣ）要素９５０に接続されている。自動予測ゲイン制御（ＡＧＣ）要素９５０は、全体の出力のダイナミックレンジを適切に制御するために構成されている。「予測」の語は、トランジエント又は「ポンピング」を出力にもたらすことなく、ゲインを滑らかに変化させるために十分な時間を制御増幅器に与える信号の遅れを意味する。この特性により、オーディオレベルはピーク時に下げられ、ピークが過ぎ去った後元に戻される。リスニング段階又は録音時、サウンドが歪まないようにするために、楽器や音声のボリューム制御を下方に動かすことにより、人であるエンジニアが常にボリュームを下げていた。原則的に人であるエンジニアをシミュレートすることにより、自動予測ゲイン制御（ＡＧＣ）要素９５０は、ピーク・イベントを特定するために歪みをもたらすデジタル信号の流れ及び信号の過負荷を分析し、オーディオのレベルを下げる。そして、ピーク・イベントが起こった後、好ましくないダイナミック端の損失と平坦なサウンドを招くようなオーディオ圧縮回路の「常時オン」の必要をなくして、元のボリューム設定値に戻す。

予測ＡＧＣ要素の一例を、図１５と関連させて以下にさらに詳細に説明する。予測ＡＧＣ要素９５０は、種々の処理要素により引き起こされる互いに異なる時間遅れ又はサーバ側での録音又は処理時に起こった互いに異なる時間遅れを補償する１以上の時間遅れ要素（図示せず）を含んでもよい。一般に、適切に整列させるための時間遅れはマイクロセカンドのオーダーである。

本例による実施の形態によれば、予測ＡＧＣ要素９５０は、音質改善処理の最終段階であり、スピーカ駆動回路に接続されたチャンネル出力９５２に、改善された信号が送られる。スピーカ駆動回路は、プロセッサからの音質改善されたデジタル形式の信号をハードウエアのアナログ信号に変換し、必要な増幅を行いスピーカに接続する。

これらの（ミキサー９１３とチャンネル出力９５２間の）各処理要素の好ましい順序を図９に示す。現実の実施の形態では、しかしながら、特別のアプリケーションの必要性に適合させたり、特別なリスナーの要求に合わせたりするためのような要素を、異なった順序に並べてもよい。さらに、付加的な、及び／又は、代わりの処理要素を採用してもよい。

ここで説明したサウンドレベルの伸張により、元のオーディオ・ソースのレコーディングから先のどんなときに行ったオーディオ信号の圧縮であっても、オーディオ信号の圧縮に対する修正の手助けを行い、音楽のダイナミックレンジを拡大する。一般に、音楽の録音と混合には、録音媒体のダイナミックレンジが制限されていることを利用するために多くのトラックでのサウンドレベルの圧縮が含まれる。また、インターネットによる配信における帯域幅を減らすために、ある形式の圧縮がなされることもある。後者のような圧縮は実質的に受信コーディックにより取り外されるが、修正が不十分であったり、あるいはその音楽の「活気」又は他の主観的な音質を改善するために更なるエキスパンションが必要であったりするかもしれない。強調すべき帯域で異なった時定数及びエキスパンション・ファクターを有するデュナーミックを採用することが好ましい。

図９に示した種々の処理要素は、どんな処理過程もバイパスすることができ、各処理におけるパラメータを特定することができるマスター制御プログラムにより制御される。「スキン」はクライアントがパラメータと事前の設定値を調整するためのインターフェースである。すなわち、「スキン」は、リスナーのＰＣ画面に表示される音質改善プログラムの視覚的な対話式部分である。フェーダー制御により、リスナーはシステムの各パラメータを設定することができ、「ラジオボタン」（すなわち、オン／オフ・スイッチ）により、前もって設定したパラメータのグループを選択することができる。改善パラメータは別々に調整してもよく、種々の事前の設定を選択してもよい。

システムは、個々の帯域プロセッサのパラメータを同時に調整する「ビッグネス（bigness）」制御を含んでもよい。「ビッグネス」パラメータの値が低い場合は、ダイナミック処理がほとんど行われず、サウンドレベルのダイナミックレンジは録音されたときの音楽のレンジと同等となる。「ビッグネス」パラメータの値が高い場合は、各帯域で処理されるデュナーミックが、録音された音楽のサウンドレベルのダイナミックレンジより増大する。

事前に設定されたパラメータのグループには、リスナーが決定するタイプと作りつけタイプの２つのタイプがある。リスナーはあらかじめ分類しておいたグループから事前の設定を選択することもできるし、作りつけ事前設定のメニューから選択することもできる。作りつけ事前設定は、帯域幅、コード化形式、リスナーのスピーカ、及び音楽のタイプを考慮して計画される。一旦リスナーが作りつけ事前設定を選択すると、リスナーは作り付け事前設定をカスタマイズするために個々のパラメータ又はパラメータのグループを調整することができる。調整されたパラメータのグループは、名前を付けて新しい事前設定として保存することができる。例えば、作りつけ事前設定が選択されると、リスナーは、引き続いて、作りつけ事前設定に適用することができる部屋補償パラメータのグループを選択することができる。

図１０は、図９に示した構成とともに用いるのに適したボーカル音質改善要素１０００の一例を示す概略図である。ボーカル音質改善要素１０００は、深みと豊かさを与える第１の基本周波数に悪い影響を与えずに、録音時における音声を明瞭にする。動作時、ボーカル音質改善要素１０００の多数の設定及び／又は可変特性は、本発明の動作に関連して実行されるここに記載された他の処理機能からの要求にしたがって決定してもよい。

ボーカル音質改善要素１０００はステレオ処理要素である。すなわち、左入力信号１００２と右入力信号１００４とを受け取り、対応する左出力信号１００６と対応する右出力信号１００８とを創り出す。左チャンネル入力信号１００２は、左入力信号１００２の絶対値を表す出力信号１０１２を生成する絶対値発生器１０１０に入力する。右チャンネル入力信号１００４は、右入力信号１００４の絶対値を表す出力信号１０１６を生成する絶対値発生器１０１４に入力する。言い換えれば、左右のチャンネル入力信号は、全波整流される。比較器１０１８は２つの出力信号１０１２／１０１６を受信し、この出力信号１０１６から出力信号１０１２を減算した信号を表す差信号１０２０を生成する。差信号１０２０の電圧は左右の入力の差に比例する。

生成された差電圧は第１トランジエントを除去するためにフィルターを通り、制御電圧になる。比較器１０１８の出力は可変抵抗器１０２２の１つの端に接続される。可変抵抗器１０２２の第２の端はノード１０２４に接続される（又は通信する）。他の可変抵抗器１０２６の第１の端もまたノード１０２４に接続される。可変抵抗器１０２６の第２の端は、可変キャパシタンス１０２８の第１の端に接続され、可変キャパシタンス１０２８の第２の端は、参照電圧つまり大地に接続される。可変抵抗器１０２２、可変抵抗器１０２６、及び、可変キャパシタンス１０２８は適切なレベルと適切なクロスオーバ周波数を与えるために独立に整定することができる。可変ローパスフィルターの構成に係るこれらの可変要素は、差信号１０２０をノード１０２４であらかじめ設定された適切な制御信号１０２９に調整する。

左入力信号１００２はまた第１の電圧制御増幅器１０３０の入力となり、右入力信号１００４はまた第２の電圧制御増幅器１０３２の入力となる。電圧制御増幅器の差特性により、左右の信号の振幅が等しくされる。制御信号１０２９は２つの電圧制御増幅器１０３０／１０３２のゲインを調整する。すなわち、電圧制御増幅器１０３０の出力信号１０３４は左入力信号１００２を増幅されたものを示し、電圧制御増幅器１０３２の出力信号１０３６は右入力信号１００４を増幅されたものを示す。これらの２つの出力信号１０３４／１０３６は、加算された出力信号１０４０を生成する加算器１０３８に入力される。加算器１０３８は、逆位相の素材を効果的に取り除き、合成された「ボーカル」又は「中央」チャンネルを生成する。これは、元の録音時多くのボーカルトラックは左右のチャンネルに同じエネルギーで混入されるという事実をうまく利用したものである。加算された出力信号１０４０は、適切な信号レベルを提供するために、可変ゲイン増幅器１０４２に入力する。増幅器１０４２の出力は、バンドパスフィルター処理１０４４により処理されてフィルターされた信号１０４６となる。バンドパスフィルター処理１０４４は、ボーカルの範囲外にある高音域及び低音域を除去する。

左入力信号１００２はまた加算器１０４８の入力となり、右入力信号１００４はまた加算器１０５０の入力となる。加算器１０４８は、左入力信号１００２とフィルターされた信号１０４６の和を生成し、この和は左出力信号１００６となる。加算器１０５０は、右入力信号１００４とフィルターされた信号１０４６の和を生成し、この和は右出力信号１００８となる。この和１０４８／１０５０はボーカル出力を元の左右のチャンネルの信号に混入し、かくして、音源素材中のボーカルが強調される。

空間改善要素は、ステレオ信号から共通に混合された素材を抜き取り、左チャンネルにそのまま戻し、右チャンネルには適切な時間遅れを持たせて戻すことにより、複雑な音場の音質改善を行う。低音域成分は処理前に元の信号から取り除かれ、「最終の」左右チャンネルのミキサーに再度入力され、このようにして、低周波数の低音域エネルギーが「除去」回路の効果を鈍らせることを防止している。図１１は、図９に示された基本概念で用いられるのに適した、空間音質改善要素１１００の一例を示した概念図である。動作時、空間音質改善要素１１００における多数の設定及び／又は可変特性は、本発明の動作に関連して実行されるここに記載された他の処理機能からの要求にしたがって決定してもよい。

空間音質改善要素１１００はステレオ処理要素である。すなわち、左入力信号１１０２と右入力信号１１０４とを受け取り、対応する左出力信号１１０６と対応する右出力信号１１０８とを創り出す。１つのミキサー１１１０は左出力信号１１０６に対応し、他のミキサー１１１２は右出力信号１１０８に対応する。

左入力信号１１０２は、ローパスフィルター１１１４とハイパスフィルター１１１６とを通過する。例示した実施形態において、ローパスフィルター１１１４は、普通約３００Ｈｚに設定される可変カットオフ周波数のセカンドオーダーフィルターとして実現される。このフィルターは、空間音質改善要素をアンバランスにしないように、又は、好ましくないアーティファクトを発生しないように、低周波数成分を隔離するために用いられる。例示した実施形態において、ハイパスフィルター１１１６は、普通約３００Ｈｚに設定される可変カットオフ周波数のセカンドオーダーフィルターとして実現される。同様に、右入力信号は、ローパスフィルター１１１８とハイパスフィルター１１２０とを通過する。好ましい実施の形態において、ローパスフィルター１１１８の特性は、ローパスフィルター１１１４の特性と一致し、ハイパスフィルター１１２０の特性は、ハイパスフィルター１１１６の特性と一致する。

ローパスフィルター１１１４と１１１８の出力は各々可変ゲイン増幅器１１２２と可変ゲイン増幅器１１２４を通り、その出力は各々ミキサー１１１０とミキサー１１１２に入力する。同様に、ハイパスフィルター１１１６と１１２０の出力は各々可変ゲイン増幅器１１２６と可変ゲイン増幅器１１２８を通り、その出力は各々ミキサー１１１０とミキサー１１１２に入力する。実際の実施の形態においては、空間音質改善要素１１００で採用されている可変ゲイン増幅器の各々は、−３０ｄＢから＋２５ｄＢまで、調整分解能が０．１ｄＢの調整可能なゲインを持つ。ハイパスフィルター１１１６及び１１２０は、減算器１１３０の入力としても使われる。減算器１１３０の出力は、ハイパスフィルター１１１６の出力からハイパスフィルター１１２０の出力を減算した出力を生成する。これが「除去された」信号を創る。減算器１１３０の出力は、次に、可変ゲイン増幅器１１３２に入力する。可変ゲイン増幅器１１３２の出力は、ミキサー１１１０のもう１つの入力として用いられると共に、時間遅れ要素１１３４の入力としても用いられる。

時間遅れ要素１１３４は、遅れ時間を０．０５ｍｓと３０ｍｓ（すなわち４８ｋHzのサンプリング周波数で１から１４４０サンプル）となるよう設定される。動作時、具体的な遅れ時間は、本発明の動作に関連して実行されるここに記載された他の処理機能からの要求にしたがって決定してもよい。この遅れ時間は、リスナーの左右の耳への距離に関して空間的な機能をシミュレートする。実際の実施形態において、時間遅れは約２．２ｍｓを越えてはいけない。１つの好ましい実施の形態において、時間遅れは約１．１ｍｓである。時間遅れ要素１１３４の出力はミキサー１１１２のもう１つの入力となる。

ミキサー１１１０は入力を結合する加算器として機能する。実際には、ミキシングすることは、もっと複雑な音場ともっと広いステレオイメージを持った変位を創る結果となる。このようにして、空間音質改善要素１１００は、別々の左右のチャンネル成分を強調してこの成分を元の信号成分と混合する。ミキサー１１１２も同様の機能を行う。ミキサー１１１０の出力は、可変ゲイン増幅器１１３６の入力となり、この出力は、左出力信号１１０６となる。左右の出力信号１１０６／１１０８は、壁効果要素９４４（図９参照）のような基本概念に用いられる付加的な処理要素に送信される。

壁効果要素は、信号に人工的な早期の反響を付加するのに用いられ、演奏源の傍に反射面があるときの効果をシミュレートする。この要素では再生成は用いられない。実施形態の一例においては、信号経路は以下のようにまとめてもよい。

・反射面のいたるところに、初期の発生源を計算することにより、あらかじめ「タップ（tap）」ポイントを時間遅れラインに創っておく。

・信号は、好ましい反射面からの周波数応答を近似するためにローパスフィルターを通したものである。

・フィルターを通った信号は時間遅れラインに入る。

・時間遅れラインの下流側にあるあらかじめ定めたタップポイントで、時間遅れを持った信号が「引き出」される。引き出された値は、反射面に沿って点からの距離での空気による減衰効果を近似するため振幅を小さくして加算される。

・合成された「ウエット」信号は、ブロック出力を出力させるために、元の「ドライ」信号と一定比率で混合される。

図１２は図９に示された基本概念で用いるのに適切な壁効果要素１２１０の一例を示す概念図である。壁効果要素１２１０は、実際のステージからの反響をシミュレートする時間遅れを生成するために、ディフューズド・フィールド・マトリックス（ＤＦＭ）技術を用いる。このようなサウンドの反響環境をシミュレートすることで、共鳴による不快なピークを招くことなく、音楽に活力を加えることができ、あるいは音楽に残響のない「活気のある」音質を加えるために、ディフューズド・フィールド・マトリックスによるエネルギーを与えることができる。

一般的なＤＦＭ技術は、調和振動と共鳴のない波の反射についての数論によるアルゴリズムを用いる。例えば、M. R. Schroeder, Springer-Verlag, Berlinの「Number Theory in Science and Communication」1986年、第２版の１５．８節に記載された平方余剰と１３．９節に記載された原始根は、この文脈に適用することができる。これらの一般的な技術は、しかしながら、部屋の「残響」をシミュレートする時間の長い反響を与えるのみである。早期に反射してくるサウンド、すなわち直接のサウンドから５から３０ミリセカンド以内に反射するサウンドを提供するために、ディフューズド・フィールド・マトリックスＤＦＭ技術を用いることでSchroederによる方法を改良する、原始根の計算を適用することが好ましい。

壁効果要素１２１０は、強い周期的な処理アーティファクト又は煩わしい周期的特徴を持つ不快な現象を破棄し、成形し又は取り除くための手助けをすることができる。このシミュレータ段階で用いられるＤＦＭ技術は、この処理要素の出力から入力へのフィードバックである再生信号を用いない。この処理の段階での制御パラメータには、大きさと壁からの距離が含まれる。

図１２を参照して、ここで壁効果要素１２１０の装置を以下に説明する。単一チャンネルでの壁効果処理が図１２に示されているが、ステレオ効果、２つのこのようなチャンネルに対しても使ってよいことがわかる。

チャンネルへの入力は、直接ウエット／ドライミキサーの一方の入力に入る経路と、フィルター、時間遅れ及び加算を行ない、その出力がウエット／ドライミキサーの他方の入力に入る経路の２つの経路に分かれる。壁効果要素１２１０の出力は、矢印１２１８で示すように、直接経路１２１２からの情報と処理がなされる経路１２１６からの情報とを異なる比率又は割合で出力するような調整を行うことができる。

経路１２１６に沿って、入力してきた各サンプルはローパスフィルター１２２２に入る。そしてフィルターされたサンプルは、周回遅延ライン１２２２に入る。図１２から分かるように、ｎ乗算器のタップは、加算を行うために、遅延ライン１２２２の異なった点に設けてよい。

ここで、タップの数はｘ＋１に等しく、D（ｎ）は時間遅れを持ったサンプルｎを表し、Ｓ（ｉ）は出力に加える係数を表す。ｘの値は、実際の装置における適用可能な処理電力量により決まる。このようにして、Ｄ＊Ｓの総和は乗算タップのすべての位置で計算される。動作の一部分として、乗算タップの位置指標は右にシフトされ、この位置指標は遅延ラインの終端を通り過ぎ、位置指標は遅延ライン１２２２の始点周辺で完了する。この加算動作の出力は総和「ｙ」となり、ウエット／ドライミキサー１２１４の一方の入力に入力する。

図１２で提供された壁効果要素１２１０の例において、周回遅延ラインの全長はサンプルレートＦｓ＝４８ｋＨｚにおいて９０ｍｓｅｃであり、６個（ｘ＝５）の乗算タップがある。また、最長の反射（Ｗ）は、サンプルレートＦｓ＝４８ｋＨｚにおいて３０ｍｓｅｃ以下である。Ｗ軸の長さは壁効果の「大きさ」に影響を与える。また、壁効果の「混合」は、（記号的に）矢印にて示したウエット／ドライ比の設定機能を意味する。図１２に示すように壁効果要素１２１０は、完全な畳み込みが行われないので有限インパルス応答フィルター（ＦＩＲ）ではない。

壁効果要素１２１０の出力は部屋効果要素１３１０に入力させてもよい。

図１３は、図９に示された基本概念で用いられるのに適した、部屋効果要素１３１０の一例を示した概念図である。図１３を参照して、ここで、部屋効果要素１３１０の装置を以下に説明する。部屋効果要素の装置の１つのセクションを図１３に示したが、２以上のこのようなセクションがステレオ又はマルチチャンネルの実施形態において用いられることを理解すべきである。

部屋効果要素１３１０は、ＤＦＭ技術を用い、自然な部屋の音響に類似する時間遅れと共鳴をもたらす。ＤＦＭ技術は、再生成を用いる点を除いて、壁効果要素１２１０で用いられるものに類似する。壁効果要素１２１０は、ドライな音楽素材とぼんやりしたかすかなコーディックに起因する歪みを改善するために、残響と減衰を加えることができる。この処理段階における他のパラメータには、部屋の大きさ、部屋のアスペクト比、及びウエット／ドライミキサーが含まれる。部屋効果要素１３１０は、本当の部屋環境における周囲の反響をシミュレートするために人工的な「遅延した」反響を付加するために用いられる。実施の形態による例では、８個のくし型フィルターを並列に接続したものと４個の全パスフィルターを直列に接続したものとの組み合わせを用いる。合成された反射の「ウエット」信号は、元の「ドライ」信号に定比で混合されて出力する。

さらなる音質改善は、音楽が録音される環境又はシミュレートされた録音環境（実際に音楽が録音された環境とは異なってもよい）を補償することで得られる。クライアントには複数の録音環境が与えられる。好ましい実施の形態によれば、以下の１０のシミュレートされた録音環境がクライアントにより選択される。すなわち、スタジオ、ジャズセッション、ナイトクラブ、ゲームスペース、バスジャム、劇場、ロックコンサート、ソニックワイド、シンフォニー、又は大聖堂である。例えば、スタジオ環境では初期の反響の改善がなされる。又は、「大聖堂」ではかなり長い残響時間を持たせるのに対して、「ナイトクラブ」環境では、短い残響となる。ある意味では、ユーザは、どのように音楽を録音するかをシミュレートする「プロデューサ」になる。あるいは、シミュレートされた録音環境のアプリケーションは、ユーザの好みよりむしろ、音楽が録音された実際の環境にのみに基づくようにしてもよい。この場合、システムは録音から不快なアーティファクトを修正してもよく、ダウンロードされたファイル又はストリーム中のファイルは、適切な録音ルーム音響を特定するＩＤ３タグやＭＰ３ファイルのようなタグを含んでもよい。

図１３に示された部屋効果要素１３１０の装置は、各々くし型フィルター１３１４ａ‐ｈにより処理される複数の並列経路（本例では各々８個の経路１３１２ａ‐ｈ）を採用する。これらの各くし型フィルター１３１４出力は、加算器１３１６で加算され、次いで、いくつかの全パスフィルター部１３１８，１３２０，１３２２，及び１３２４に入力する。各くし型フィルター１３１４は、従来の処理技術で普通に生じていた「金属的な」又は「小さな」アーティファクトの量を減らすための異なった改善量の残響を提供するためにパラメータ化される。実際の実施形態において、くし型フィルターと全パスフィルターは、好ましい出力信号を出力させるために経験のあるサウンドエンジニアが手で調整してもよい。

以下に部屋効果要素１３１０におけるサウンド信号の処理について説明する。この信号はサブソニック改善要素に入力する。

実施形態の一例によれば、サブソニック改善要素は信号の低音域改善のために可変Ｑローパスフィルターと圧縮装置との結合を用いる。サブソニック効果要素には、以下の特徴、及び／又は特性を持たせてもよい。

・周波数領域で平坦な又は「こぶのある」応答になるように、ローパスフィルターエッジ周波数及び「Ｑ」はどちらも可変とする。

・圧縮装置は、時間に対する振幅を追跡することで低音域の信号の平均エネルギーを上げる。こうエネルギー成分は制限され、低エネルギー成分は増幅され、平均エネルギーを上げる。

・フィルターのかかった「ウエット」信号はゲイン制御がなされ、元の「ドライ」信号に加算されて、ブロック出力の可変制御を行う。

図１４は、図９のサブソニック効果要素９４８の基本概念の機能ブロックを示す。図１４において、単一のチャンネルが描かれているが、ステレオ表現のためには２つのセクションが使われることがわかる。本発明の好ましい実施の形態において、サブソニック効果機能１４１０は、２つの経路すなわち、（１）元の入力信号が保たれるフィルターも圧縮もされない経路１４１２と、（２）好ましくは各々ローパスフィルター１４１６と圧縮装置１４１８によりフィルターされ圧縮される経路１４１４に伝達されるチャンネル入力信号の結合したもので組み立てられる。これらの２つの信号は、サブソニック効果要素１４１０のために出力チャンネルに出力するために加算要素１４２０に示したように加算されることが好ましい。加算要素１４２０において、矢印１４２２は、チャンネル入力信号の低周波成分の量を改善又は減らすために、フィルターされない／圧縮されない信号に対するフィルターされる／圧縮される信号の比を選択可能なように操作されることを示している。

ローパスフィルター１４１６のフィルター特性と圧縮装置１４１８の特性とは、本発明の動作に関連して実行されるここに記載された他の処理機能からの要求にしたがって決定してもよい。

上記に図９と関連して説明したように、予測ＡＧＣ要素９５０は、予測自動ゲイン制御機能を提供する。この特性により、オーディオレベルはピーク時に下げられ、ピークが過ぎ去った後元に戻される。リスニング段階又は録音時、サウンドが歪まないようにするために、耳障りな楽器や音声のボリューム制御を下方に動かすことにより、人であるエンジニアが常にボリュームを下げていた。原則的に人であるエンジニアをシミュレートすることにより、自動予測ゲイン制御（ＡＧＣ）要素９５０は、ピーク・イベントを特定するために歪みをもたらすデジタル信号の流れ及び信号の過負荷を分析し、オーディオのレベルを下げる。そして、ピーク・イベントが起こった後、好ましくないダイナミック端の損失と平坦なサウンドを招くようなオーディオ圧縮回路の「常時オン」の必要をなくして、元のボリューム設定値に戻す。実施形態の一例において、信号経路は以下のように要約される。

・信号は、周回遅延ラインに適用される。

・信号は全波整流され、その結果値は、「ターゲット」振幅に対して測定される（ターゲット振幅は好ましいダイナミックレンジに対する最大値を意味する）。

・整流された信号がターゲット値を越えたら、制御増幅器のゲインは、あらかじめ定めた「ネガティブランプ」値に従って減少してゆく。

・整流された信号がターゲット値より低い場合は、制御増幅器のゲインは、あらかじめ定めた「ポジティブランプ」値に従って増加してゆく。

・出力信号サンプルは遅延ラインの早い位置から取り出され、制御増幅器に適用される。増幅された信号はブロックの出力となる。

図１５は、予測ＡＧＣ要素９５０の装置を機能ブロックのレベルで示す。予測ＡＧＣ要素９５０は機能ブロックのレベルで示されているので、当業者は、ここに書かれた詳細な説明を踏まえて、これらの機能がソフトウエア、ハードウエア、ファームウエア、又はこれらの組み合わせで、本発明の精神を損なうことなく認識できるであろう。さらに、図１５では、単一のチャンネルが描かれているが、ステレオ表現のためには２つのセクションが使われるであろう。

予測ＡＧＣ装置１５１０は図１５に描かれており、チャンネンル入力信号は遅延ライン１５１２の入力で受信される。遅延ライン１５１２はデジタル遅延ラインが好ましく、サンプリング周波数が約４８ｋＨｚで千（１０００）サンプルのチャンネル入力を受け入れることができることが好ましい。遅延ライン１５１２の出力は電圧制御増幅器１５１４の入力となる。電圧制御増幅器の運転は、フィルター機能１５１６を遅延ライン１５１２殻のサンプルに適用することによって得られる信号レベルにより制御される。電圧制御増幅器１５１４の制御入力を標示するマイナス（−）記号で示されているとおり、フィルターされたサンプルレベルが増大すると、電圧制御増幅器１５１４のゲインは減少し、逆もまた同様とすることが好ましい。

フィルター機能１５１６はローパス機能であることが好ましく、遅延ライン１５１２の最初のブロックの出力とグランドのような参照電圧との間に接続されていて、可変抵抗１５２２と直列接続された可変キャパシタンス１５２０として図１５に示されている。このように、カットオフ周波数を越える周波数はそれに比例して影響が小さくなるのに対して、ローパス機能１５１６のカットオフ周波数を下回る周波数は電圧制御増幅器１５１４のゲイン調整に最大の影響を与える。当業者に知られているとおり、フィルター機能１５１６における可変キャパシタンスと可変抵抗の設定はフィルター機能の周波数特性に影響を与える。動作時のこれらの設定については、本発明の動作に関連して実行されるここに記載された他の処理機能からの要求にしたがって決定してもよい。

予測ＡＧＣ要素１５１０は、信号処理フローの出力端において、固有の時間遅れを与えることに注意すべきである。時間遅れ機能を処理フロー中のこの点に置くことは、信号フローの初期端の各チャンネルで時間遅れ要素を用いるのに比べて優れていることが本発明により見出された。このような構成の優位性の中でも、リスナーに届く前に波形の修正ができるバッファ機能が特筆される。

図１６ａは、図９の（コア処理と標示された）適応デュナーミックタイプの処理ブロックの装置の一例を示している。図１６ｂは図１６ａのサウンド経路の時間応答特性を示したものである。

入力信号は、ＡＩ（人工知能）デュナーミック・プレ圧縮装置の入力１６０２で受け取られる。この信号は、フルレンジバッファ増幅器１６１２、ローパスバッファ増幅器１６１１、バンドパスバッファ増幅器１６１０、及び、ハイパスバッファ増幅器１６０９に等しく分配される。

フルレンジストリームはフルレンジストリーム圧縮装置１６０１に入り、レシオ、エンベロープアタック及びエンベロープリリースに関して時間領域の修正が行われ、最大ターゲットレベルが設定される。次に、信号は、バッファ増幅器１６１３に入り、次いで、加算増幅器１６１７に入る。

ローパスレンジストリームは、バッファ増幅器１６１１に入り、ローパスフィルター１６０５を経由してローパスストリーム増幅器１６３２に入り、レシオ、エンベロープアタック及びエンベロープリリースに関して時間領域の修正が行われ、最大ターゲットレベルが設定される。次に、信号は、バッファ増幅器１６１４に入り、次いで、加算増幅器１６１７に入る。

バンドパスストリーム又は中間パスストリームは、バッファ増幅器１６１０に入り、バンドパスフィルター１６０６を経由し、レシオ、エンベロープアタック及びエンベロープリリースに関して時間領域の修正が行われ、最大ターゲットレベルが設定される。次に、信号は、バッファ増幅器１６１５に入り、次いで、加算増幅器１６１７に入る。

ハイパスストリームは、バッファ増幅器１６０９に入り、ハイパスフィルター１６０７を経由し、レシオ、エンベロープアタック及びエンベロープリリースに関して時間領域の修正が行われ、最大ターゲットレベルが設定される。次に、信号は、バッファ増幅器１６１６に入り、次いで、加算増幅器１６１７に入る。全ストリーム、ローストリーム、中間ストリーム、及びハイストリームを付け加えることで、部屋環境（音圧）の低周波デュナーミックと中間レンジのサウンド（波形＋音圧）と高周波サウンド（音響波形）とが結合してライブコンサートのリスナーの耳に与える実際のサウンドをシミュレートする。これらの波の総和により、必要なら過度の周波数における非線形性を除去するために周波数領域で正規化することのできる、時間領域での波形の組み合わせが創られる。

加算増幅器１６１７の出力１６３１は図９の音声改善ブロック９３４に入る。

公開された実施形態における一つの装置の実際の設定値が図１６ａに含まれている。これらの値から分かるように、各ストリーム中の圧縮装置ブロックに用いられるアタック、リリース、ゲインレシオ、及びターゲットレベルに明確な差異がある。上述のように、これらの各ストリームでの圧縮装置、フィルター、及びゲインブロックのパラメータの設定が異なっているのは、処理したサウンド信号に時間ビート又は思わぬ特性を生じさせようとするものである。

圧縮装置ブロックでのアタックパラメータは、サウンドレベルの増加率の変化させるためにどれだけ速くその経路が応答するかを決定する。アタックの設定を大きくすればするほど応答が速くなる。リリースパラメータは、圧縮装置の入力に適用するサウンド信号の下降に対して、圧縮装置の出力がどれだけ遅れるかを制御する。リリースの設定の大きさが大きいほど、遅れが大きくなる。ゲインレシオは、圧縮装置のターゲットレベルまでの入力信号対出力信号のエンベロープのダイナミック比である。ターゲットレベルは閾値として使われるのではなく、圧縮装置の出力として許容される（デジタル信号処理の意味において）最大のビット数として用いられる。

フィルターされないフルレンジストリーム経路［１６１２→１６０１→１６１３］の設定は全帯域を提供するためのものであり、サラウンディング環境のない舞台設定から期待されるサウンドの提供をシミュレートする高ＳＰＬを提供するためのものである。

ローストリーム経路［１６１１→１６３２→１６１４］の設定は低周波サウンドを扱うためのものであり、例えば、周囲から返ってくる中間周波又は高周波が非常に少ないような、「死んだ」環境から出てくることが期待されるサウンド特性をシミュレートするためのものである。

中間ストリーム経路［１６１０→１６０３→１６１５］の設定は中間周波サウンドを扱うためのものであり、「採点」ステージのような、もっと活気のある環境から出てくることが期待されるサウンド特性をシミュレートするためのものである。

ハイストリーム経路［１６０９→１６０７→１６１６］の設定は高周波サウンドを扱うためのものであり、「漆喰」壁のような、さらに活気のある環境から出てくることが期待されるサウンド特性をシミュレートするためのものである。

以下に図１６ａにおける各ストリームの通常のパラメータ設定の表を以下に記載する。

満足できる動作を行うもう１つのパラメータ設定は、

ここで図１６ｂを参照すると、左側のグラフは、異なるサウンド経路又はサウンドストリームについての、アタック、リリース、ターゲットレベル、及びゲインレシオ間の関係を示している。また、ストリーム間の応答特性の時間との関係を見ることができる。最後に、シートの右側のグラフは、処理を結合した応答特性を示している。したがって、これらの曲線から、周囲のデュナーミックは、ローストリームサウンド経路、中間ストリームサウンド経路及びハイストリームサウンド経路の各々から提供され、直接サウンドデュナーミックはフルレンジストリーム経路から提供されることがわかる。

この実施の形態において、フルレンジのストリーム経路は直接サウンドを補強し、ローレンジのストリーム経路は音圧を補強し、中間レンジのストリーム経路は波形と圧力の両方を補強し、ハイレンジのストリーム経路は、波形を補強する。

これらのストリームの各々についてのグラフは、時間の関数としてのストリームにおける、アタック、リリース、ゲインレシオ、及びターゲットレベル間の違いを描いていることに注意すべきである。このように、フルレンジストリームのエンベロープは、示されたベースラインに対して最大のエネルギーレベルを持ち、他のストリームよりも、鋭い上昇時間と下降時間を持つ。各曲線の時間ｔ１とｔ２の間の時間に関して、ハイストリームの経路は、そのエネルギーをｔ１とｔ２の間の中間部に集中させていることに注意すべきである。一方、ローレンジストリームのエネルギー分布は、ｔ１とｔ２の間の多くの時間を占め、さらにｔ１の前の点及びｔ２を越える点にも拡がっている。

図１６ａの参照を続けて、好ましい実施の形態には「近接制御（proximity control）」機能が含まれ、これによりリスナーは直接サウンドステージと反射してきた（又はシミュレートされた）サウンドステージとの割合を調整することができる。近接制御機能は、フルレンジストリーム圧縮装置１６０１のゲイン比要素に調整装置を用意することにより実施の形態例に組み込むことができる。このゲイン比を増やすと、リスナーが聞く出力信号は、反射成分が少なくなり事実上より直接的になる。反対に、このゲイン比を減らすと、リスナーが聞く出力信号は、反射成分が多くなり事実上より間接的になる。実際の実施の形態においては、このゲイン比は公称レンジが１．２から２．５とする、０．８から５．０までのレンジを持つ。

好ましい実施の形態が添付図に示され前記詳細な説明に記載されているが、本発明は、開示された実施の形態に限定されるものでなく、特許請求の範囲に述べられ定義される発明及びそれと同等なものの思想から外れることなく多くの再構成、改造及び置き換えが可能であることは理解されるであろう。

添付図を考慮し詳細な説明と特許請求の範囲を参照することで本発明をさらに十分に理解することができよう。
好ましい実施の形態による、圧縮したオーディオデータの音質を改善させる先進的な技術のフローダイアグラムである。 好ましい実施の形態による、ネットワークのサーバ側での、音質を改善させる処理を示すブロックダイアグラムである。 好ましい実施の形態による、ネットワークのクライアント側での、音質を改善させる処理を示すブロックダイアグラムである。 他の好ましい実施の形態による、ネットワークのクライアント側での、音質を改善させる処理を示すブロックダイアグラムである。 好ましい実施の形態による、オーディオ信号の音質を改善させる処理機能を示すブロックダイアグラムである。 好ましい実施の形態による、制限された帯域幅の音楽のクライアント側での音質の改善に関係する処理機能を示すブロックダイアグラムである。 他の好ましい実施の形態による、オーディオ信号の質を改善させる処理機能を示すブロックダイアグラムである。 他の好ましい実施の形態による、オーディオ信号の質を改善させる処理機能を示すブロックダイアグラムである。 他の好ましい実施の形態による、オーディオ信号の質を改善させる処理機能を示すブロックダイアグラムである。 好ましい実施の形態による、制限された帯域幅の音楽のクライアント側での質の改善に関係する処理機能を示すブロックダイアグラムである。 図１に描かれた基本設計概念とともに用いるために適したボーカルの質を改善する要素の例を示す概念図である。 図１０に描かれた基本設計概念とともに用いるために適した空間特性の質を改善する要素の例を示す概念図である。 図１０に描かれた基本設計概念とともに用いるために適した壁効果の要素の例を示す概念図である。 図１０に描かれた基本設計概念とともに用いるために適した部屋効果の要素の例を示す概念図である。 図１０に描かれた基本設計概念とともに用いるために適したサブソニック効果の要素の例を示す概念図である。 図１０に描かれた基本設計概念とともに用いるために適した予測ＡＧＣの要素の例を示す概念図である。 図１０の動的適応タイプの処理ブロック（コア処理に分類される）の実施例を示す図である。 図１６Ａのサウンド経路の時間応答特性を示す図である。

Claims (11)

1. オーディオ信号を改善するための方法であって、
   オーディオ信号を受信する段階と、
   前記オーディオ信号を不連続の帯域に対応する成分信号に分割する段階であって、該成分信号は全帯域幅成分信号、低音域成分信号、中音域成分信号、及び高音域成分信号からなることを特徴とする段階と、
   処理された信号成分を取得するために成分信号を個別の処理経路で処理する段階であって、該個別の処理経路には、サウンドレベルを伸張することなく全帯域幅成分信号を処理するための全帯域幅経路と、サウンドレベルを伸張して低音域成分信号を処理するための低音域経路と、サウンドレベルを伸張して中音域成分信号を処理するための中音域経路と、サウンドレベルを伸張して高音域成分信号を処理するための高音域経路とが含まれることを特徴とする段階と、
   前記処理された成分信号を１以上のチャンネルにおいて基準信号に統合する段階と、
   前記基準信号に付加的な後処理を行う段階と、
   を具備することを特徴とする、オーディオ信号を改善するための方法。
2. 前記オーディオ信号は圧縮されたオーディオ信号であることを特徴とする請求項１に記載の方法。
3. 前記後処理は、
   前記改善されたオーディオ信号の音場に奥行きと活力を与える３Ｄ／ライブ音質改善する段階と、
   前記改善されたオーディオ信号に拡散、残響、深み、再生、及び部屋減衰を与えるレコーディング環境シミュレーション段階と、
   前記改善されたオーディオ信号のボーカルを減少させるための音声削減段階と、
   前記改善されたオーディオ信号の音場に広いステレオの奥行きを付加する広いステレオ音質改善段階と、
   前記改善されたオーディオ信号の広いスペクトル形成をもたらすためのパラメトリック・イコライゼイション段階と、
   サブウーハ周波数とバス周波数とを強化するために前記改善されたオーディオ信号にフィルターをかける段階と、
   ステージからの反響をシミュレートする時間遅れを生じさせるための壁シミュレーション段階と、
   自然な部屋音響をシミュレートする時間遅れを生成するための部屋シミュレーション段階と、
   左右の信号チャンネルから同一エネルギー成分を除去するためのカラオケ改善段階と、
   ボーカル特性を明確にするボーカル改善段階と、
   前記改善されたオーディオ信号の低音域強化のためのサブソニック改善段階と、
   出力のダイナミックレンジを制御するための予測自動ゲイン制御段階と、
   のうちの少なくとも１つを具備することを特徴とする請求項１に記載の方法。
4. 送信されたオーディオデータを改善するための方法であって、
   オーディオデータをデジタル的にフォーマットされた信号にコード化する段階と、
   失われること又は歪むことが予想される周波数及びデュナーミックをプリエンファシスして改善されたオーディオ信号とする、デジタル的にフォーマットされた信号を改善する段階と、
   前記改善されたオーディオ信号を圧縮して、改善され圧縮されたオーディオ信号とする段階であって、送信する前に前記改善されたオーディオ信号を圧縮する段階には、該オーディオ信号内のサウンドストリーム間の時間ビートを生成することでオーディオ信号を補正し、補正されたオーディオ信号とする段階と、前記補正されたオーディオ信号に反響成分を挿入する段階とが含まれることを特徴とする段階と、
   前記改善されたオーディオ信号をクライアント・サイトに送信する段階と、
   前記改善され圧縮されたオーディオ信号を伸張する段階と、
   前記改善されたオーディオ信号に含まれるデータをデコーディングして、デコーディングされたオーディオ信号とする段階と、
   失われること又は歪むことが予想される周波数及びデュナーミックをプリエンファシスすることで保存した周波数及びデュナーミックを復元するために前記デコーディングされたオーディオ信号を処理する段階と、
   を具備することを特徴とする、送信されたオーディオデータを改善するための方法。
5. 前記補正する段階には、
   前記オーディオ信号に対して少なくとも第１のサウンドストリームと第２のサウンドストリームとを形成する段階と、
   前記第１のサウンドストリームと前記第２のサウンドストリームとの時間的整合性を維持した状態で、前記第２のサウンドストリーム中の前記オーディオ信号の特性を変化させる段階と、
   が含まれることを特徴とする請求項４に記載の方法。
6. 前記形成する段階には、第１の一組のパラメータに従って前記第１のサウンドストリームのオーディオ信号を圧縮する段階が含まれ、
   前記変化させる段階には、
   前記第２のサウンドストリームのオーディオ信号にフィルターをかけ、フィルターされたオーディオ信号にする段階と、
   前記フィルターされたオーディオ信号を、前記第１の一組のパラメータとは異なる第２の一組のパラメータに従って圧縮する段階と、
   が含まれることを特徴とする請求項５に記載の方法。
7. 選択された環境から放散されるサウンドの特性を持った前記第２のサウンドストリームからのオーディオ信号を変化させるために、前記第２の一組のパラメータを選択する段階が含まれることを特徴とする請求項６に記載の方法。
8. 前記補正する段階には、
   フルレンジ・サウンドストリームとローレンジ・サウンドストリームと中間レンジ・サウンドストリームとハイレンジ・サウンドストリームとを形成する段階と、
   ローパスフィルターがかけられたオーディオ信号を得るために、ローレンジ・サウンドストリーム中の前記オーディオ信号にローパスフィルターをかける段階と、
   「デッド」環境のパラメータの組に従って前記ローパスフィルターがかけられたオーディオ信号を圧縮する段階と、
   バンドパスフィルターがかけられたオーディオ信号を得るために、中間レンジ・サウンドストリーム中の前記オーディオ信号にバンドパスフィルターをかける段階と、
   「スコアリング」環境のパラメータの組に従って前記バンドパスフィルターがかけられたオーディオ信号を圧縮する段階と、
   ハイパスフィルターがかけられたオーディオ信号を得るために、ハイレンジ・サウンドストリーム中の前記オーディオ信号にハイパスフィルターをかける段階と、
   「漆喰壁」環境のパラメータの組に従って前記ハイパスフィルターがかけられたオーディオ信号を圧縮する段階と、
   が含まれることを特徴とする請求項４に記載の方法。
9. 前記デコーディングされたオーディオ信号を処理する段階には、
   前記オーディオ信号中のサウンドストリームのデュナーミックに偏差を生成することでオーディオ信号を補正し、補正されたオーディオ信号にする段階と、
   改善されたオーディオ信号を形成するために予測可能な環境特性を前記補正されたオーディオ信号に付加する段階と、
   前記改善されたオーディオ信号をリスナーに配信する段階と、
   が含まれることを特徴とする請求項４に記載の方法。
10. さらに、リスナーに代わりのリスニング音場の制御性を提供するために、前記改善されたオーディオ信号に音場を改善する機能を挿入する段階を含むことを特徴とする請求項９に記載の方法。
11. デジタル・オーディオ・ファイルを再生する装置であって、
    デジタル・オーディオ信号源と、
    前記デジタル・オーディオ信号源と結合された少なくとも１つのプロセッサであって、該少なくとも１つのプロセッサは、
    前記デジタル・オーディオ信号源からオーディオ信号を受信する段階と、
    前記オーディオ信号を不連続の帯域に対応する成分信号に分割する段階であって、該成分信号は全帯域幅成分信号、低音域成分信号、中音域成分信号、及び高音域成分信号からなることを特徴とする段階と、
    処理された成分信号を取得するために成分信号を個別の処理経路で処理する段階であって、該個別の処理経路には、サウンドレベルを伸張することなく全帯域幅成分信号を処理するための全帯域幅経路と、サウンドレベルを伸張して低音域成分信号を処理するための低音域経路と、サウンドレベルを伸張して中音域成分信号を処理するための中音域経路と、サウンドレベルを伸張して高音域成分信号を処理するための高音域経路とが含まれることを特徴とする段階と、
    前記処理された成分信号を１以上のチャンネルにおいて基準信号に統合する段階と、
    前記基準信号に付加的な後処理を行う段階と、
    を具備する方法を実行することを特徴とするプロセッサと、
    前記プロセッサに結合された１以上のスピーカ・ドライバであって、該１以上のスピーカ・ドライバは前記改善されたオーディオ信号の再生を行うための１以上のスピーカを駆動するために構成されていることを特徴とするスピーカ・ドライバと、
    を具備することを特徴とするデジタル・オーディオ・ファイルを再生する装置。

Images