JP6456847B2 - 利得決定のためにフィルタリングを実施するシステムおよび方法 - Google Patents

利得決定のためにフィルタリングを実施するシステムおよび方法 Download PDF

Info

Publication number
JP6456847B2
JP6456847B2 JP2015556929A JP2015556929A JP6456847B2 JP 6456847 B2 JP6456847 B2 JP 6456847B2 JP 2015556929 A JP2015556929 A JP 2015556929A JP 2015556929 A JP2015556929 A JP 2015556929A JP 6456847 B2 JP6456847 B2 JP 6456847B2
Authority
JP
Japan
Prior art keywords
audio signal
lsp
inter
frame
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015556929A
Other languages
English (en)
Other versions
JP2016511436A (ja
JP2016511436A5 (ja
Inventor
アッティ、ベンカトラマン・スリニバサ
クリシュナン、ベンカテシュ
ラジェンドラン、ビベク
ビレット、ステファン・ピエール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016511436A publication Critical patent/JP2016511436A/ja
Publication of JP2016511436A5 publication Critical patent/JP2016511436A5/ja
Application granted granted Critical
Publication of JP6456847B2 publication Critical patent/JP6456847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388Details of processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07Line spectrum pair [LSP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Description

本開示は、一般に信号処理に関する。
本出願は、その内容全体が参照により本明細書に明確に組み込まれる、同一出願人が所有する、2013年2月8日に出願された米国仮特許出願第61/762,807号、および2013年8月5日に出願された米国非仮特許出願第13/959,188号の優先権を主張する。
技術の進歩は、より小型でより強力なコンピューティングデバイスをもたらした。たとえば、現在、小型で、軽量で、ユーザによって容易に持ち運ばれる、ポータブルワイヤレス電話、携帯情報端末(PDA)、およびページングデバイスなど、ワイヤレスコンピューティングデバイスを含む、様々なポータブルパーソナルコンピューティングデバイスが存在する。より具体的には、セルラー電話およびインターネットプロトコル(IP)電話などのポータブルワイヤレス電話は、ワイヤレスネットワークを介して音声およびデータパケットを通信することができる。さらに、多くのそのようなワイヤレス電話は、その中に組み込まれた他のタイプのデバイスを含む。たとえば、ワイヤレス電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤをも含むことができる。
旧来の電話システム(たとえば、公衆交換電話網(PSTN))では、信号帯域幅が、300ヘルツ(Hz)〜3.4キロヘルツ(kHz)の周波数範囲に限定される。セルラーテレフォニーおよびボイスオーバーインターネットプロトコル(VoIP)など、広帯域(WB)適用例では、信号帯域幅が、50Hzから7kHzまでの周波数範囲にわたり得る。超広帯域(SWB)コーディング技法は、約16kHzまで拡張する帯域幅をサポートする。3.4kHzにおける狭帯域テレフォニーから16kHzのSWBテレフォニーに信号帯域幅を拡張することは、信号再構成の品質と、了解度(intelligibility)と、自然さとを改善し得る。
SWBコーディング技法は、一般に信号の(たとえば、50Hz〜7kHzの、「ローバンド(low-band)」とも呼ばれる)より低い周波数部分を符号化し、送信することを伴う。たとえば、ローバンドは、フィルタパラメータおよび/またはローバンド励起信号を使用して表され得る。しかしながら、コーディング効率を改善するために、信号の(たとえば、7kHz〜16kHzの、「ハイバンド(high-band)」とも呼ばれる)より高い周波数部分が十分に符号化されず、送信されないことがある。代わりに、受信機が、ハイバンドを予測するために信号モデリングを利用し得る。いくつかの実装形態では、ハイバンドに関連付けられたデータが、予測を支援するために受信機に与えられ得る。そのようなデータは、「サイド情報(side information)」と呼ばれることがあり、利得情報、線スペクトル周波数(LSF:line spectral frequency、線スペクトル対(LSP:line spectral pair)とも呼ばれる)などを含み得る。信号モデルを使用するハイバンド予測は、ローバンド信号がハイバンド信号に十分に相関させられるとき、受付け可能に正確であり得る。しかしながら、雑音の存在下で、ローバンドとハイバンドとの間の相関は弱いことがあり、信号モデルは、ハイバンドを正確に表すことがもはや可能でないことがある。これは受信機におけるアーティファクト(たとえば、ひずんだ音声)をもたらし得る。
オーディオコーディングシステムにおいて利得決定のためにオーディオ信号の条件付きフィルタリングを実施するシステムおよび方法が開示される。説明される技法は、送信のために符号化されるべきオーディオ信号が、オーディオ信号の再構成時に可聴アーティファクトをもたらし得る成分(たとえば、雑音)を含むかどうかを決定することを含む。たとえば、下にある信号モデルが、その雑音を音声データとして解釈し得、これは、オーディオ信号の誤った再構成をもたらし得る。説明される技法によれば、アーティファクト誘導(artifact-inducing)成分の存在下で、条件付きフィルタリングが、オーディオ信号のハイバンド部分に対して実施され得、フィルタされたハイバンド出力は、ハイバンド部分のための利得情報を生成するために使用され得る。フィルタされたハイバンド出力に基づく利得情報は、受信機におけるオーディオ信号の再構成時の低減された可聴アーティファクトにつながり得る。
特定の実施形態では、方法が、ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、オーディオ信号が、アーティファクト生成条件(artifact-generating condition)に対応する成分を含むことを決定することを含む。本方法は、フィルタされたハイバンド出力を生成するためにオーディオ信号のハイバンド部分をフィルタリングすることをも含む。本方法は、符号化された信号を生成することをさらに含む。符号化された信号を生成することは、アーティファクト生成条件の可聴効果を低減するために、フィルタされたハイバンド出力に対応する第1のエネルギーとローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定することを含む。
特定の実施形態では、方法が、オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔を少なくとも1つのしきい値と比較することを含む。本方法は、上記比較することに少なくとも部分的に基づく、フィルタされたハイバンド出力を生成するための、オーディオ信号のハイバンド部分の条件付きフィルタリングをも含む。本方法は、フィルタされたハイバンド出力に対応する第1のエネルギーとオーディオ信号のローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定することを含む。
別の特定の実施形態では、装置が、ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定するために構成された雑音検出回路を含む。本装置は、雑音検出回路に応答する、およびフィルタされたハイバンド出力を生成するためにオーディオ信号のハイバンド部分をフィルタリングするために構成された、フィルタリング回路を含む。本装置は、アーティファクト生成条件の可聴効果を低減するために、フィルタされたハイバンド出力に対応する第1のエネルギーとローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定するために構成された利得決定回路をも含む。
別の特定の実施形態では、装置が、ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定するための手段を含む。本装置は、フィルタされたハイバンド出力を生成するためにオーディオ信号のハイバンド部分をフィルタリングするための手段をも含む。本装置は、符号化された信号を生成するための手段を含む。符号化された信号を生成するための手段は、アーティファクト生成条件の可聴効果を低減するために、フィルタされたハイバンド出力に対応する第1のエネルギーとローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定するための手段を含む。
別の特定の実施形態では、非一時的コンピュータ可読媒体が、コンピュータによって実行されたとき、コンピュータに、ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定することと、フィルタされたハイバンド出力を生成するためにオーディオ信号のハイバンド部分をフィルタリングすることと、符号化された信号を生成することとを行わせる、命令を含む。符号化された信号を生成することは、アーティファクト生成条件の可聴効果を低減するために、フィルタされたハイバンド出力に対応する第1のエネルギーとローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定することを含む。
開示される実施形態のうちの少なくとも1つによって与えられる特定の利点は、アーティファクト誘導成分(たとえば、雑音)を検出することと、利得情報に影響を及ぼすためにそのようなアーティファクト誘導成分を検出したことに応答してフィルタリングを選択的に実施することとを行う能力を含み、これは、受信機におけるより正確な信号再構成と、より少数の可聴アーティファクトとをもたらし得る。本開示の他の態様、利点、および特徴は、以下のセクション、すなわち、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む、本出願全体の検討の後に明らかになろう。
フィルタリングを実施するために動作可能であるシステムの特定の実施形態を示すための図。 アーティファクト誘導成分と、アーティファクトを含む対応する再構成された信号と、アーティファクトを含まない対応する再構成された信号との例を示すための図。 適応重み付け係数(adaptive weighting factor)(γ)と線スペクトル対(LSP)間隔との間のマッピングの特定の実施形態を示すためのグラフ。 フィルタリングを実施するために動作可能であるシステムの別の特定の実施形態を示すための図。 フィルタリングを実施する方法の特定の実施形態を示すためのフローチャート。 フィルタリングを実施する方法の別の特定の実施形態を示すためのフローチャート。 フィルタリングを実施する方法の別の特定の実施形態を示すためのフローチャート。 図1〜図7のシステムおよび方法による、信号処理演算を実施するために動作可能なワイヤレスデバイスのブロック図。
図1を参照すると、フィルタリングを実施するために動作可能であるシステムの特定の実施形態が示されており、全体的に100と称される。特定の実施形態では、システム100は、(たとえば、ワイヤレス電話またはコーダ/デコーダ(コーデック)中の)符号化システムまたは装置に組み込まれ得る。
以下の説明では、図1のシステム100によって実施される様々な機能が、いくつかの構成要素またはモジュールによって実施されるものとして説明されることに留意されたい。しかしながら、構成要素およびモジュールのこの分割は説明のためのものにすぎない。代替実施形態では、特定の構成要素またはモジュールによって実施される機能が、代わりに、複数の構成要素またはモジュールの間で分割され得る。その上、代替実施形態では、図1の2つまたはそれ以上の構成要素またはモジュールが、単一の構成要素またはモジュールに組み込まれ得る。図1に示された各構成要素またはモジュールは、ハードウェア(たとえば、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、コントローラなど)、ソフトウェア(たとえば、プロセッサによって実行可能な命令)、またはそれらの任意の組合せを使用して実装され得る。
システム100は、入力オーディオ信号102を受信するために構成された分析フィルタバンク110を含む。たとえば、入力オーディオ信号102はマイクロフォンまたは他の入力デバイスによって与えられ得る。特定の実施形態では、入力オーディオ信号102は音声を含み得る。入力オーディオ信号は、約50ヘルツ(Hz)から約16キロヘルツ(kHz)までの周波数範囲内のデータを含む超広帯域(SWB)信号であり得る。分析フィルタバンク110は、周波数に基づいて入力オーディオ信号102をフィルタリングして複数の部分にし得る。たとえば、分析フィルタバンク110はローバンド信号122とハイバンド信号124とを生成し得る。ローバンド信号122とハイバンド信号124は、等しいまたは等しくない帯域幅を有し得、重複するかまたは重複しないことがある。代替実施形態では、分析フィルタバンク110は3つ以上の出力を生成し得る。
ローバンド信号122とハイバンド信号124は、重複しない周波数帯域を占有し得る。たとえば、ローバンド信号122とハイバンド信号124は、50Hz〜7kHzと7kHz〜16kHzとの重複しない周波数帯域を占有し得る。代替実施形態では、ローバンド信号122とハイバンド信号124は、50Hz〜8kHzと8kHz〜16kHzとの重複しない周波数帯域を占有し得る。また別の代替実施形態では、ローバンド信号122とハイバンド信号124は重複し得(たとえば、50Hz〜8kHzと7kHz〜16kHz)、これは、分析フィルタバンク110のハイパスフィルタとローパスフィルタとが滑らかなロールオフを有することを可能にし得、これは、設計を簡略化し、ローパスフィルタとハイパスフィルタとのコストを低減し得る。ローバンド信号122とハイバンド信号124とを重複させることは、受信機におけるローバンド信号とハイバンド信号との滑らかな混合をも可能にし得、これは、より少数の可聴アーティファクトをもたらし得る。
図1の例はSWB信号の処理を示しているが、これは説明のためのものにすぎないことに留意されたい。代替実施形態では、入力オーディオ信号102は、約50Hz〜約8kHzの周波数範囲を有する広帯域(WB)信号であり得る。そのような実施形態では、ローバンド信号122は、約50Hz〜約6.4kHzの周波数範囲に対応し得、ハイバンド信号124は、約6.4kHz〜約8kHzの周波数範囲に対応し得る。また、本明細書の様々なシステムおよび方法は、ハイバンド雑音を検出し、ハイバンド雑音に応答して様々な動作を実施することとして説明されることに留意されたい。しかしながら、これは例のためのものにすぎない。図1〜図7を参照しながら示される技法はローバンド雑音のコンテキストにおいても実施され得る。
システム100は、ローバンド信号122を受信するために構成されたローバンド分析モジュール130を含み得る。特定の実施形態では、ローバンド分析モジュール130はコード励起線形予測(CELP:code excited linear prediction)エンコーダの一実施形態を表し得る。ローバンド分析モジュール130は、線形予測(LP:linear prediction)分析およびコーディングモジュール132と、線形予測係数(LPC:linear prediction coefficient)−線スペクトル対(LSP)変換モジュール134と、量子化器136とを含み得る。LSPは線スペクトル周波数(LSF)と呼ばれることもあり、それら2つの用語は本明細書では互換的に使用され得る。LP分析およびコーディングモジュール132はローバンド信号122のスペクトルエンベロープをLPCのセットとして符号化し得る。LPCは、オーディオの各フレーム(たとえば、16kHzのサンプリングレートにおける320個のサンプルに対応する、オーディオの20ミリ秒(ms))、オーディオの各サブフレーム(たとえば、オーディオの5ms)、またはそれらの任意の組合せについて、生成され得る。各フレームまたはサブフレームについて生成されるLPCの数は、実施されるLP分析の「次数」によって決定され得る。特定の実施形態では、LP分析およびコーディングモジュール132は、10次LP分析に対応する11個のLPCのセットを生成し得る。
LPC−LSP変換モジュール134は、LP分析およびコーディングモジュール132によって生成されたLPCのセットを(たとえば1対1変換を使用して)LSPの対応するセットに変換し得る。代替的に、LPCのセットは、parcor係数、ログ面積比値、イミッタンススペクトル対(ISP:immittance spectral pair)、またはイミッタンススペクトル周波数(ISF:immittance spectral frequency)の対応するセットに1対1変換され得る。LPCのセットとLSPのセットとの間の変換は誤差なしに可逆的であり得る。
量子化器136は、変換モジュール134によって生成されたLSPのセットを量子化し得る。たとえば、量子化器136は、複数のエントリ(たとえば、ベクトル)を含む複数のコードブックを含むかまたはそれらに結合され得る。LSPのセットを量子化するために、量子化器136は、(たとえば、平均二乗誤差の最小二乗などのひずみ測度に基づいて)LSPのセット「に最も近い」コードブックのエントリを識別し得る。量子化器136は、コードブック中の識別されたエントリのロケーションに対応するインデックス値または一連のインデックス値を出力し得る。量子化器136の出力は、したがって、ローバンドビットストリーム142中に含まれるローバンドフィルタパラメータを表し得る。
ローバンド分析モジュール130はローバンド励起信号144をも生成し得る。たとえば、ローバンド励起信号144は、ローバンド分析モジュール130によって実施されたLPプロセス中に生成されたLP残差信号を量子化することによって生成された符号化された信号であり得る。LP残差信号は予測誤差を表し得る。
システム100は、分析フィルタバンク110からのハイバンド信号124とローバンド分析モジュール130からのローバンド励起信号144とを受信するために構成されたハイバンド分析モジュール150をさらに含み得る。ハイバンド分析モジュール150は、図4に関してさらに詳細に説明されるような、ハイバンド信号124、ローバンド励起信号144、またはハイバンドのフィルタされた出力168のうちの1つまたは複数に基づく、ハイバンドサイド情報172を生成し得る。たとえば、ハイバンドサイド情報172は、本明細書でさらに説明されるように、ハイバンドLSPおよび/または(たとえば、少なくともハイバンドエネルギーとローバンドエネルギーとの比に基づく)利得情報を含み得る。
ハイバンド分析モジュール150はハイバンド励起生成器160を含み得る。ハイバンド励起生成器160は、ローバンド励起信号144のスペクトルをハイバンド周波数範囲(たとえば、7kHz〜16kHz)に拡張することによってハイバンド励起信号を生成し得る。説明のために、ハイバンド励起生成器160は、ローバンド励起信号に変換(たとえば、絶対値または二乗演算などの非線形変換)を適用し得、ハイバンド励起信号を生成するために、変換されたローバンド励起信号を雑音信号(たとえば、ローバンド励起信号144に対応するエンベロープに従って変調された白色雑音)と混合し得る。ハイバンド励起信号は、ハイバンドサイド情報172中に含まれる1つまたは複数のハイバンド利得パラメータを決定するためにハイバンド利得決定モジュール162によって使用され得る。
ハイバンド分析モジュール150は、LP分析およびコーディングモジュール152と、LPC−LSP変換モジュール154と、量子化器156とをも含み得る。LP分析およびコーディングモジュール152と、変換モジュール154と、量子化器156との各々は、ローバンド分析モジュール130の対応する構成要素に関して上記で説明されたように機能するが、比較的低減された分解能において(たとえば各係数、LSPについてより少数のビットを使用して、など)機能し得る。別の例示的な実施形態では、ハイバンドLSP量子化器156は、LSP係数のサブセットが、あらかじめ定義されたビット数を使用して個々に量子化される、スカラー量子化を使用し得る。たとえば、LP分析およびコーディングモジュール152と、変換モジュール154と、量子化器156とは、ハイバンドサイド情報172中に含まれるハイバンドフィルタ情報(たとえば、ハイバンドLSP)を決定するためにハイバンド信号124を使用し得る。特定の実施形態では、ハイバンドサイド情報172はハイバンドLSPならびにハイバンド利得パラメータを含み得る。
ローバンドビットストリーム142とハイバンドサイド情報172は、出力ビットストリーム192を生成するためにマルチプレクサ(MUX)180によって多重化され得る。出力ビットストリーム192は、入力オーディオ信号102に対応する符号化されたオーディオ信号を表し得る。たとえば、出力ビットストリーム192は(たとえば、ワイヤード、ワイヤレス、または光チャネル上で)送信され、および/または記憶され得る。受信機において、オーディオ信号(たとえば、スピーカーまたは他の出力デバイスに与えられる入力オーディオ信号102の再構成されたバージョン)を生成するために、逆方向演算が、デマルチプレクサ(DEMUX)、ローバンドデコーダ、ハイバンドデコーダ、およびフィルタバンクによって実施され得る。ローバンドビットストリーム142を表すために使用されるビット数は、ハイバンドサイド情報172を表すために使用されるビット数よりも実質的に大きいことがある。したがって、出力ビットストリーム192中のビットの大部分がローバンドデータを表す。ハイバンドサイド情報172は、信号モデルに従ってローバンドデータからハイバンド励起信号を再生成するために受信機において使用され得る。たとえば、信号モデルは、ローバンドデータ(たとえば、ローバンド信号122)とハイバンドデータ(たとえば、ハイバンド信号124)との間の関係または相関の予想されるセットを表し得る。したがって、異なる信号モデルが異なる種類のオーディオデータ(たとえば、音声、音楽など)のために使用され得、使用中である特定の信号モデルは、符号化されたオーディオデータの通信より前に送信機と受信機とによってネゴシエートされ得る(または業界規格によって定義され得る)。その信号モデルを使用して、送信機におけるハイバンド分析モジュール150は、受信機における対応するハイバンド分析モジュールが、出力ビットストリーム192からハイバンド信号124を再構成するためにその信号モデルを使用することが可能であるように、ハイバンドサイド情報172を生成することが可能であり得る。
しかしながら、雑音の存在下で、ローバンドとハイバンドとの間の不十分な相関は、下にある信号モデルに、信頼できる信号再構成において準最適に機能することを行わせ得るので、受信機におけるハイバンド合成は顕著なアーティファクトにつながり得る。たとえば、信号モデルは、ハイバンドにおける雑音成分を音声として間違って解釈し得、したがって受信機においてその雑音を複製することを試みる利得パラメータの生成を引き起こし、顕著なアーティファクトにつながり得る。そのようなアーティファクト生成条件の例としては、限定はしないが、自動車クラクションおよびキーキーいうブレーキなどの高周波雑音がある。説明のために、図2中の第1のスペクトログラム210が、比較的大きい信号エネルギーを有するハイバンド雑音として示される、アーティファクト生成条件に対応する成分を有するオーディオ信号を示している。第2のスペクトログラム220が、利得パラメータの過大推定による再構成された信号における得られたアーティファクトを示している。
そのようなアーティファクトを低減するために、ハイバンド分析モジュール150は条件付きハイバンドフィルタリングを実施し得る。たとえば、ハイバンド分析モジュール150は、再生時に可聴アーティファクトをもたらす可能性がある、アーティファクト誘導成分、たとえば、図2の第1のスペクトログラム210に示されたアーティファクト誘導成分を検出するために構成されたアーティファクト誘導成分検出モジュール158を含み得る。そのような成分の存在下で、フィルタリングモジュール166は、アーティファクト生成成分を減衰させるためにハイバンド信号124のフィルタリングを実施し得る。ハイバンド信号124をフィルタリングすることは、図2の第2のスペクトログラム220に示されたアーティファクトがない(またはそれの低減されたレベルを有する)、図2の第3のスペクトログラム230による再構成された信号をもたらし得る。
オーディオ信号がアーティファクト生成条件を含むかどうかを評価するために1つまたは複数のテストが実施され得る。たとえば、第1のテストが、LSPのセット(たとえば、オーディオ信号の特定のフレームのためのLSP)中で検出された最小LSP間間隔を第1のしきい値と比較することを含み得る。LSP間の小さい間隔が、比較的狭い周波数範囲における比較的強い信号に対応する。特定の実施形態では、ハイバンド信号124が、第1のしきい値よりも小さい最小LSP間間隔を有するフレームをもたらすことを決定されたとき、アーティファクト生成条件は、オーディオ信号中に存在することを決定され、フィルタリングがそのフレームのために可能にされ得る。
別の例として、第2のテストが、複数の連続フレームのための平均最小LSP間間隔を第2のしきい値と比較することを含み得る。たとえば、オーディオ信号の特定のフレームが、第1のしきい値よりも大きいが第2のしきい値よりも小さい最小LSP間隔を有するとき、アーティファクト生成条件は、複数のフレームのための平均最小LSP間間隔(たとえば、特定のフレームを含む4つの直近のフレームのための最小LSP間間隔の重み付き平均)が第3のしきい値よりも小さい場合、依然として存在することを決定され得る。その結果、フィルタリングがその特定のフレームのために可能にされ得る。
別の例として、第3のテストが、特定のフレームが、オーディオ信号のフィルタされたフレームに続くかどうかを決定することを含み得る。特定のフレームが、フィルタされたフレームに続く場合、特定のフレームの最小LSP間間隔が第2のしきい値よりも小さいことに基づいて、フィルタリングが特定のフレームのために可能にされ得る。
3つのテストは例示の目的で説明された。フレームのためのフィルタリングは、それらのテストのいずれか1つまたは複数(またはそれらのテストの組合せ)が満たされたことに応答して、あるいは1つまたは複数の他のテストまたは条件が満たされたことに応答して、可能にされ得る。たとえば、特定の実施形態は、第2のテストまたは第3のテストのいずれをも適用することなしに、上記で説明された第1のテストなど、単一のテストに基づいてフィルタリングを可能にすべきか否かを決定することを含み得る。代替実施形態は、第1のテストまたは第3のテストのいずれをも適用することなしに第2のテストに基づいて、あるいは第1のテストまたは第2のテストのいずれをも適用することなしに第3のテストに基づいて、フィルタリングを可能にすべきか否かを決定することを含み得る。別の例として、特定の実施形態は、第3のテストを適用することなしに、第1のテストおよび第2のテストなど、2つのテストに基づいてフィルタリングを可能にすべきか否かを決定することを含み得る。代替実施形態は、第2のテストを適用することなしに第1のテストと第3のテストとに基づいて、あるいは第1のテストを適用することなしに第2のテストと第3のテストとに基づいて、フィルタリングを可能にすべきか否かを決定することを含み得る。
特定の実施形態では、アーティファクト誘導成分検出モジュール158は、オーディオ信号が、可聴アーティファクトをもたらすことになる成分を含むかどうかを決定するために、オーディオ信号からのパラメータを決定し得る。そのようなパラメータの例としては、最小LSP間間隔および平均最小LSP間間隔がある。たとえば、10次LPプロセスが、10個のLSPに変換される11個のLPCのセットを生成し得る。アーティファクト誘導成分検出モジュール158は、オーディオの特定のフレームのために、10個のLSPのうちのいずれか2つの間の最小(たとえば、最も小さい)間隔を決定し得る。一般に、自動車クラクションおよびキーキーいうブレーキなど、鋭く急激な雑音は、間隔が密なLSPをもたらす(たとえば、第1のスペクトログラム210中の「強い」13kHz雑音成分は、12.95kHzおよび13.05kHzにおけるLSPによって密に囲まれ得る)。アーティファクト誘導成分検出モジュール158は、アーティファクト誘導成分検出モジュール158によって実行されるかまたはそれによって実装され得る以下のC++スタイル擬似コードに示されているように、最小LSP間間隔と平均最小LSP間間隔とを決定し得る。
アーティファクト誘導成分検出モジュール158は、以下の擬似コードに従って重み付き平均最小LSP間間隔をさらに決定し得る。以下の擬似コードは、モード遷移に応答してLSP間間隔をリセットすることをも含む。そのようなモード遷移は、音楽および/または音声のための複数の符号化モードをサポートするデバイスにおいて発生し得る。たとえば、そのデバイスは、音声のための代数CELP(ACELP:algebraic CELP)モードと、オーディオコーディングモード、すなわち、音楽タイプの信号のための一般信号コーディング(GSC:generic signal coding)とを使用し得る。代替的に、いくつかの低レートシナリオでは、そのデバイスは、特徴パラメータ(たとえば、調性、ピッチドリフト、発声など)に基づいて、ACELP/GSC/修正離散コサイン変換(MDCT:modified discrete cosine transform)モードが使用され得ることを決定し得る。
最小LSP間間隔と平均最小LSP間間隔とを決定した後に、アーティファクト誘導成分検出モジュール158は、アーティファクト誘導雑音がオーディオのフレーム中に存在するかどうかを決定するために、以下の擬似コードに従って、決定された値を1つまたは複数のしきい値と比較し得る。アーティファクト誘導雑音が存在するとき、アーティファクト誘導成分検出モジュール158は、フィルタリングモジュール166に、ハイバンド信号124のフィルタリングを実施することを行わせ得る。
特定の実施形態では、条件付きフィルタリングモジュール166は、アーティファクト誘導雑音が検出されたとき、フィルタリングを選択的に実施し得る。フィルタリングモジュール166は、ハイバンドサイド情報172の1つまたは複数の利得パラメータの決定より前にハイバンド信号124をフィルタリングし得る。たとえば、フィルタリングは有限インパルス応答(FIR:finite impulse response)フィルタリングを含み得る。特定の実施形態では、フィルタリングは、LP分析およびコーディングモジュール152からの適応ハイバンドLPC164を使用して実施され得、ハイバンドのフィルタされた出力168を生成し得る。ハイバンドのフィルタされた出力168は、ハイバンドサイド情報172の少なくとも一部分を生成するために使用され得る。
特定の実施形態では、フィルタリングは、フィルタリング式に従って実施され得る。
上式で、aiはハイバンドLPCであり、LはLPC次数(たとえば、10)であり、γ(ガンマ)は重み付けパラメータである。特定の実施形態では、重み付けパラメータγは一定値を有し得る。他の実施形態では、重み付けパラメータγは適応可能であり得、LSP間間隔に基づいて決定され得る。たとえば、重み付けパラメータγの値が、図3のグラフ300によって示されるγとLSP間間隔との線形マッピングから決定され得る。図3に示されているように、LSP間間隔が狭いとき、γは小さく(たとえば、0.0001に等しい)、スペクトル白色化またはハイバンドのより強いフィルタリングをもたらし得る。しかしながら、LSP間が大きい場合、γも大きく(たとえば、1にほぼ等しい)、ほとんどフィルタリングをもたらさないことがある。特定の実施形態では、図3のマッピングは、アーティファクトがそれにおいて顕著であるサンプルレートおよび周波数、信号対雑音比(SNR)、LP分析の後の予測利得など、1つまたは複数のファクタに基づいて適応可能であり得る。
図1のシステム100は、したがって、入力信号中の雑音による可聴アーティファクトを低減または防止するためにフィルタリングを実施し得る。図1のシステム100は、したがって、音声コーディング信号モデルによって考慮されないアーティファクト生成雑音成分の存在下で、オーディオ信号のより正確な再生を可能にし得る。
図4に、ハイバンド信号をフィルタリングするために構成されたシステム400の一実施形態を示す。システム400は、図1のLP分析およびコーディングモジュール152と、LPC−LSP変換モジュール154と、量子化器156と、アーティファクト誘導成分検出モジュール158と、フィルタリングモジュール166とを含む。システム400は、合成フィルタ402と、フレーム利得計算器404と、時間利得計算器406とをさらに含む。特定の実施形態では、フレーム利得計算器404および時間利得計算器406は、図1の利得決定モジュール162の構成要素である。
ハイバンド信号124(たとえば、図1の入力信号102のハイバンド部分)はLP分析およびコーディングモジュール152において受信され、LP分析およびコーディングモジュール152は、図1に関して説明されたように、ハイバンドLPC164を生成する。ハイバンドLPC164は、LPC−LSP変換モジュール154においてLSPに変換され、LSPは、ハイバンドフィルタパラメータ450(たとえば、量子化されたLSP)を生成するために量子化器156において量子化される。
合成フィルタ402は、ローバンド励起信号144とハイバンドLPC164とに基づいてハイバンド信号の復号をエミュレートするために使用される。たとえば、ローバンド励起信号144は、ハイバンド励起信号440を生成するために、ハイバンド励起生成器160において変換され、被変調雑音信号と混合され得る。ハイバンド励起信号440は合成フィルタ402に入力として与えられ、これは、合成されたハイバンド信号442を生成するためにハイバンドLPC164に従って構成される。合成フィルタ402がハイバンドLPC164を受信するものとして示されているが、他の実施形態では、LPC−LSP変換モジュール154によって出力されたLSPが、変換されてLPCに戻され、合成フィルタ402に与えられ得る。代替的に、量子化器156の出力は、受信デバイスにおいて発生するLPCの再生をより正確にエミュレートするために、逆量子化され、変換されてLPCに戻り、合成フィルタ402に与えられ得る。
合成されたハイバンド信号442は、従来通り、ハイバンドサイド情報のための利得情報を生成するためにハイバンド信号124と比較され得るが、ハイバンド信号124がアーティファクト生成成分を含むとき、利得情報は、選択的にフィルタされたハイバンド信号446の使用によってアーティファクト生成成分を減衰させるために使用され得る。
例示のために、フィルタリングモジュール166は、アーティファクト誘導成分検出モジュール158から制御信号444を受信するために構成され得る。たとえば、制御信号444は、最も小さい検出されたLSP間間隔に対応する値を含み得、フィルタリングモジュール166は、フィルタされたハイバンド出力を選択的にフィルタされたハイバンド信号446として生成するために、最小の検出されたLSP間間隔に基づいてフィルタリングを選択的に適用し得る。別の例として、フィルタリングモジュール166は、図3に示されたマッピングなどに従って、重み付け係数γの値を決定するためにLSP間間隔の値を使用して、フィルタされたハイバンド出力を選択的にフィルタされたハイバンド信号446として生成するために、フィルタリングを適用し得る。その結果、選択的におよび/または適応的にフィルタされたハイバンド信号446は、アーティファクト生成雑音成分がハイバンド信号124中で検出されたときのハイバンド信号124と比較して低減された信号エネルギーを有し得る。
選択的におよび/または適応的にフィルタされたハイバンド信号446は、合成されたハイバンド信号442と比較され、および/またはフレーム利得計算器404における図1のローバンド信号122と比較され得る。フレーム利得計算器404は、受信機が、ハイバンド信号124の再構成中に、フィルタされたハイバンド信号446をより厳密に再生するためにフレーム利得を調整することを可能にするために、その比較(たとえば、フィルタされたハイバンド出力に対応する第1のエネルギーとローバンド信号に対応する第2のエネルギーとの比など、エネルギー値の符号化または量子化された比)に基づいてハイバンドフレーム利得情報454を生成し得る。ハイバンドフレーム利得情報を決定するより前にハイバンド信号124をフィルタリングすることによって、ハイバンド信号124中の雑音によるアーティファクトの可聴効果は減衰または除去され得る。
合成されたハイバンド信号442は時間利得計算器406にも与えられ得る。時間利得計算器406は、合成されたハイバンド信号に対応するエネルギーおよび/または図1のローバンド信号122に対応するエネルギーと、フィルタされたハイバンド信号446に対応するエネルギーとの比を決定し得る。その比は、サブフレーム利得推定値に対応するハイバンド時間利得情報452として符号化(たとえば、量子化)され、与えられ得る。ハイバンド時間利得情報は、受信機が、入力オーディオ信号のハイバンド対ローバンドエネルギー比をより厳密に再生するためにハイバンド利得を調整することを可能にし得る。
ハイバンドフィルタパラメータ450、ハイバンド時間利得情報452、およびハイバンドフレーム利得情報454は、まとめて図1のハイバンドサイド情報172に対応し得る。ハイバンドフレーム利得情報454など、サイド情報の一部は、フィルタされた信号446に少なくとも部分的に基づき、合成されたハイバンド信号442に少なくとも部分的に基づき得る。サイド情報の一部はフィルタリングによって影響を及ぼされないことがある。図4に示されているように、フィルタ166のフィルタされたハイバンド出力は、利得情報を決定するためにのみ使用され得る。例示のために、選択的にフィルタされたハイバンド信号466は、ハイバンド利得決定モジュール162にのみ与えられ、符号化のためにLP分析およびコーディングモジュール152に与えられない。その結果、LSP(たとえば、ハイバンドフィルタパラメータ450)は、ハイバンド信号124に少なくとも部分的に基づいて生成され、フィルタリングによって影響を及ぼされないことがある。
図5を参照すると、フィルタリングを実施する方法の特定の実施形態のフローチャートが示されており、全体的に500と称される。例示的な一実施形態では、方法500は、図1のシステム100または図4のシステム400において実施され得る。
方法500は、502において、再生されるべきオーディオ信号(たとえば、音声コーディング信号モデル)を受信することを含み得る。特定の実施形態では、オーディオ信号は、約50Hzから約16kHzまでの帯域幅を有し得、音声を含み得る。たとえば、図1では、分析フィルタバンク110は、受信機において再生されるべきである入力オーディオ信号102を受信し得る。
方法500は、504において、オーディオ信号に対応するスペクトル情報に基づいて、オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定することを含み得る。オーディオ信号は、LSP間間隔が、図1に対応する擬似コード中の「THR2」など、第1のしきい値よりも小さいことに応答して、アーティファクト生成条件に対応する成分を含むことを決定され得る。平均LSP間間隔が、上記フレームに関連付けられたLSP間間隔と、オーディオ信号の少なくとも1つの他のフレームに関連付けられた少なくとも1つの他のLSP間間隔とに基づいて決定され得る。オーディオ信号は、LSP間間隔が第2のしきい値よりも小さいことと、平均LSP間間隔が第3のしきい値よりも小さいこと、またはオーディオ信号の他のフレームに対応する利得減衰が可能にされること、上記他のフレームがオーディオ信号の上記フレームに先行する、のうちの少なくとも1つとに応答して、アーティファクト生成条件に対応する成分を含むことを決定され得る。
方法500は、506において、オーディオ信号をフィルタリングすることを含む。たとえば、オーディオ信号は、図1のローバンド信号122とハイバンド信号124など、ローバンド部分とハイバンド部分とを含み得る。オーディオ信号をフィルタリングすることは、ハイバンド部分をフィルタリングすることを含み得る。オーディオ信号は、ハイバンドのフィルタされた出力を生成するためにオーディオ信号のハイバンド部分に関連付けられた適応線形予測係数(LPC)を使用してフィルタリングされ得る。たとえば、LPCは、図1に関して説明されたように重み付けパラメータγとともに使用され得る。
一例として、オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔が、上記フレームの線形予測コーディング(LPC:linear predictive coding)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいものとして決定され得る。方法500は、LSP間間隔に基づいて適応重み付け係数を決定することと、適応重み付け係数を使用してフィルタリングを実施することとを含み得る。たとえば、適応重み付け係数は、図1に関して説明されたフィルタ式に関して説明されたように項(1−γ)iを線形予測係数aiに適用することなどによって、ハイバンド線形予測係数に適用され得る。
適応重み付け係数は、図3に示されたような、LSP間間隔値を適応重み付け係数の値に関連付けるマッピングに従って、決定され得る。マッピングは、LSP間間隔値の範囲と重み付け係数値の範囲との間に線形関係が存在するような、線形マッピングであり得る。代替的に、マッピングは非線形であり得る。マッピングは、静的であり得(たとえば、図3のマッピングはすべての動作条件の下で適用され得)、または適応可能であり得る(たとえば、図3のマッピングは動作条件に基づいて変動し得る)。たとえば、マッピングは、アーティファクト生成条件に対応するサンプルレートまたは周波数のうちの少なくとも1つに基づいて適応可能であり得る。別の例では、マッピングは信号対雑音比に基づいて適応可能であり得る。別の例では、マッピングは線形予測分析の後の予測利得に基づいて適応可能であり得る。
方法500は、508において、アーティファクト生成条件の可聴効果を低減するために、上記フィルタリングすることに基づいて、符号化された信号を生成することを含み得る。方法500は、510において、終了する。
方法500は、図1のシステム100または図4のシステム400によって実施され得る。たとえば、入力オーディオ信号102は分析フィルタバンク110において受信され得、ローバンド部分およびハイバンド部分は分析フィルタバンク110において生成され得る。ローバンド分析モジュール130は、ローバンド部分に基づいてローバンドビットストリーム142を生成し得る。ハイバンド分析モジュール150は、ハイバンド部分124、ローバンド部分に関連付けられたローバンド励起信号144、またはハイバンドのフィルタされた出力168のうちの少なくとも1つに基づいて、ハイバンドサイド情報172を生成し得る。MUX180は、符号化された信号に対応する出力ビットストリーム192を生成するためにローバンドビットストリーム142とハイバンドサイド情報172とを多重化し得る。
例示のために、図1のハイバンドサイド情報172は、図4のハイバンドフレーム利得情報454に関して説明されたような、ハイバンドのフィルタされた出力168とハイバンド部分とに少なくとも部分的に基づいて生成されたフレーム利得情報を含み得る。ハイバンドサイド情報172は、サブフレーム利得推定値に対応する時間利得情報をさらに含み得る。時間利得情報は、図4のハイバンド時間利得情報452に関して説明されたような、ハイバンド部分124とハイバンドのフィルタされた出力168とに少なくとも部分的に基づいて生成され得る。ハイバンドサイド情報172は、図4のハイバンドフィルタパラメータ450に関して説明されたような、ハイバンド部分124に少なくとも部分的に基づいて生成された線スペクトル対(LSP)を含み得る。
特定の実施形態では、図5の方法500は、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)、またはコントローラなどの処理ユニットのハードウェア(たとえば、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)など)を介して、ファームウェアデバイスを介して、またはそれらの任意の組合せを介して、実装され得る。一例として、図5の方法500は、図8に関して説明されるように、命令を実行するプロセッサによって実施され得る。
図6を参照すると、フィルタリングを実施する方法の特定の実施形態のフローチャートが示されており、全体的に600と称される。例示的な一実施形態では、方法600は、図1のシステム100または図4のシステム400において実施され得る。
オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔が、602において、少なくとも1つのしきい値と比較され、オーディオ信号は、604において、比較の結果に少なくとも部分的に基づいてフィルタリングされ得る。LSP間間隔を少なくとも1つのしきい値と比較することは、オーディオ信号中のアーティファクト生成成分の存在を示し得るが、その比較は、アーティファクト生成成分の実際の存在を示す必要がないか、検出する必要がないか、または要求する必要がない。たとえば、アーティファクト生成成分がオーディオ信号中に存在するときに利得制御が実施される、増加された可能性を与えると同時に、アーティファクト生成成分がオーディオ信号中に存在しない場合にフィルタリングが実施される、増加された可能性をも与えるために、その比較において使用される1つまたは複数のしきい値が設定され得る(たとえば、「フォールスポジティブ」)。したがって、方法600は、アーティファクト生成成分がオーディオ信号中に存在するかどうかを決定することなしにフィルタリングを実施し得る。
オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔が、上記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいものとして決定され得る。オーディオ信号は、LSP間間隔が第1のしきい値よりも小さいことに応答して、フィルタリングされ得る。別の例として、オーディオ信号は、LSP間間隔が第2のしきい値よりも小さいことと、平均LSP間間隔が第3のしきい値よりも小さいこと、平均LSP間間隔が、上記フレームに関連付けられたLSP間間隔と、オーディオ信号の少なくとも1つの他のフレームに関連付けられた少なくとも1つの他のLSP間間隔とに基づく、またはオーディオ信号の他のフレームに対応するフィルタリングが可能にされること、上記他のフレームがオーディオ信号の上記フレームに先行する、のうちの少なくとも1つとに応答して、フィルタリングされ得る。
オーディオ信号をフィルタリングすることは、ハイバンドのフィルタされた出力を生成するためにオーディオ信号のハイバンド部分に関連付けられた適応線形予測係数(LPC)を使用してオーディオ信号をフィルタリングすることを含み得る。フィルタリングすることは、適応重み付け係数を使用して実施され得る。たとえば、図3に関して説明された適応重み付け係数γなど、適応重み付け係数はLSP間間隔に基づいて決定され得る。例示のために、適応重み付け係数は、LSP間間隔値を適応重み付け係数の値に関連付けるマッピングに従って決定され得る。オーディオ信号をフィルタリングすることは、図1のフィルタ式に関して説明されたように項(1−γ)iを線形予測係数aiに適用することなどによって、適応重み付け係数をハイバンド線形予測係数に適用することを含み得る。
特定の実施形態では、図6の方法600は、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)、またはコントローラなどの処理ユニットのハードウェア(たとえば、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)など)を介して、ファームウェアデバイスを介して、またはそれらの任意の組合せを介して、実装され得る。一例として、図6の方法600は、図8に関して説明されるように、命令を実行するプロセッサによって実施され得る。
図7を参照すると、フィルタリングを実施する方法の別の特定の実施形態のフローチャートが示されており、全体的に700と称される。例示的な一実施形態では、方法700は、図1のシステム100または図4のシステム400において実施され得る。
方法700は、702において、オーディオ信号のフレームに関連付けられたLSP間間隔を決定することを含み得る。LSP間間隔は、上記フレームの線形予測コーディング中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいものであり得る。たとえば、LSP間間隔は、図1に対応する擬似コード中の「lsp_spacing」変数に関して示されているように決定され得る。
方法700は、704において、上記フレームに関連付けられたLSP間間隔と、オーディオ信号の少なくとも1つの他のフレームに関連付けられた少なくとも1つの他のLSP間間隔とに基づいて、平均LSP間間隔を決定することをも含み得る。たとえば、平均LSP間間隔は、図1に対応する擬似コード中の「Average_lsp_shb_spacing」変数に関して示されているように決定され得る。
方法700は、706において、LSP間間隔が第1のしきい値よりも小さいかどうかを決定することを含み得る。たとえば、図1の擬似コードでは、第1のしきい値は「THR2」=0.0032であり得る。LSP間間隔が第1のしきい値よりも小さいとき、方法700は、708において、フィルタリングを可能にすることを含み得、714において、終了し得る。
LSP間間隔が第1のしきい値よりも小さくないとき、方法700は、710において、LSP間間隔が第2のしきい値よりも小さいかどうかを決定することを含み得る。たとえば、図1の擬似コードでは、第2のしきい値は「THR1」=0.008であり得る。LSP間間隔が第2のしきい値よりも小さくないとき、方法700は、714において、終了し得る。LSP間間隔が第2のしきい値よりも小さいとき、方法700は、712において、平均LSP間間隔が第3のしきい値よりも小さいかどうか、または上記フレームがモード遷移を表す(または場合によってはそれに関連付けられる)かどうか、またはフィルタリングが、先行するフレームのために実施されたかどうかを決定することを含み得る。たとえば、図1の擬似コードでは、第3のしきい値は「THR3」=0.005であり得る。平均LSP間間隔が第3のしきい値よりも小さいか、または上記フレームがモード遷移を表すか、またはフィルタリングが、先行するフレームのために実施されたとき、方法700は、708において、フィルタリングを可能にし、次いで714において、終了する。平均LSP間間隔が第3のしきい値よりも小さくなく、上記フレームがモード遷移を表さず、フィルタリングが、先行するフレームのために実施されていないとき、方法700は、714において、終了する。
特定の実施形態では、図7の方法700は、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)、またはコントローラなどの処理ユニットのハードウェア(たとえば、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)など)を介して、ファームウェアデバイスを介して、またはそれらの任意の組合せを介して、実装され得る。一例として、図7の方法700は、図8に関して説明されるように、命令を実行するプロセッサによって実施され得る。
図8を参照すると、ワイヤレス通信デバイスの特定の例示的な実施形態のブロック図が示されており、全体的に800と称される。デバイス800は、メモリ832に結合されたプロセッサ810(たとえば、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)など)を含む。メモリ832は、図5〜図7の方法など、本明細書で開示される方法およびプロセスを実施するためにプロセッサ810および/またはコーダ/デコーダ(コーデック)834によって実行可能な命令860を含み得る。
コーデック834はフィルタリングシステム874を含み得る。特定の実施形態では、フィルタリングシステム874は、図1のシステム100の1つまたは複数の構成要素を含み得る。フィルタリングシステム874は、専用ハードウェア(たとえば、回路)を介して、1つまたは複数のタスクを実施するための命令を実行するプロセッサによって、またはそれらの組合せによって、実装され得る。一例として、メモリ832またはコーデック834中のメモリは、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT−MRAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読取り専用メモリ(CD−ROM)など、メモリデバイスであり得る。メモリデバイスは、コンピュータ(たとえば、コーデック834中のプロセッサおよび/またはプロセッサ810)によって実行されたとき、コンピュータに、オーディオ信号に対応するスペクトル情報に基づいて、オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定することと、オーディオ信号をフィルタリングすることと、上記フィルタリングすることに基づいて、符号化された信号を生成することとを行わせる、命令(たとえば、命令860)を含み得る。一例として、メモリ832、またはコーデック834中のメモリは、コンピュータ(たとえば、コーデック834中のプロセッサおよび/またはプロセッサ810)によって実行されたとき、コンピュータに、オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔を少なくとも1つのしきい値と比較することと、上記比較することに少なくとも部分的に基づいてオーディオ信号をフィルタリングすることとを行わせる、命令(たとえば、命令860)を含む非一時的コンピュータ可読媒体であり得る。
図8は、プロセッサ810とディスプレイ828とに結合されたディスプレイコントローラ826をも示している。コーデック834は、図示のようにプロセッサ810に結合され得る。スピーカー836およびマイクロフォン838はコーデック834に結合され得る。たとえば、マイクロフォン838は図1の入力オーディオ信号102を生成し得、コーデック834は、入力オーディオ信号102に基づいて受信機への送信のために出力ビットストリーム192を生成し得る。別の例として、スピーカー836は、図1の出力ビットストリーム192からコーデック834によって再構成された信号を出力するために使用され得、ここで、出力ビットストリーム192は送信機から受信される。図8は、ワイヤレスコントローラ840がプロセッサ810とワイヤレスアンテナ842とに結合され得ることをも示している。
特定の実施形態では、プロセッサ810、ディスプレイコントローラ826、メモリ832、コーデック834、およびワイヤレスコントローラ840は、システムインパッケージまたはシステムオンチップデバイス(たとえば、移動局モデム(MSM:mobile station modem))822中に含まれる。特定の実施形態では、タッチスクリーンおよび/またはキーパッドなどの入力デバイス830、ならびに電源844が、システムオンチップデバイス822に結合される。その上、特定の実施形態では、図8に示されているように、ディスプレイ828、入力デバイス830、スピーカー836、マイクロフォン838、ワイヤレスアンテナ842、および電源844は、システムオンチップデバイス822の外部にある。ただし、ディスプレイ828、入力デバイス830、スピーカー836、マイクロフォン838、ワイヤレスアンテナ842、および電源844の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス822の構成要素に結合され得る。
説明される実施形態とともに、オーディオ信号に対応するスペクトル情報に基づいて、オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定するための手段を含む装置が開示される。たとえば、決定するための手段は、図1もしくは図4のアーティファクト誘導成分検出モジュール158、図8のフィルタリングシステム874またはそれらの構成要素、オーディオ信号がそのような成分を含むことを決定するために構成された1つまたは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、あるいはそれらの任意の組合せを含み得る。
本装置は、決定するための手段に応答してオーディオ信号をフィルタリングするための手段をも含み得る。たとえば、フィルタリングするための手段は、図1もしくは図4のフィルタリングモジュール168、図8のフィルタリングシステム874、またはそれらの構成要素、信号をフィルタリングするために構成された1つまたは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、あるいはそれらの任意の組合せを含み得る。
本装置は、アーティファクト生成条件の可聴効果を低減するために、フィルタされたオーディオ信号に基づいて、符号化された信号を生成するための手段をも含み得る。たとえば、生成するための手段は、図1のハイバンド分析モジュール150、または図4のシステム400のより多くの構成要素、図8のフィルタリングシステム874、またはそれらの構成要素、フィルタされたオーディオ信号に基づいて、符号化された信号を生成するために構成された1つまたは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、あるいはそれらの任意の組合せを含み得る。
さらに、本明細書で開示される実施形態に関して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、ハードウェアプロセッサなどの処理デバイスによって実行されるコンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップは、上記では概して、それらの機能に関して説明された。そのような機能をハードウェアとして実装するか、実行可能ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。
本明細書で開示される実施形態に関して説明された方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT−MRAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読取り専用メモリ(CD−ROM)など、メモリデバイス中に常駐し得る。例示的なメモリデバイスは、プロセッサがメモリデバイスから情報を読み取り、メモリデバイスに情報を書き込むことができるように、プロセッサに結合される。代替として、メモリデバイスはプロセッサに一体化され得る。プロセッサおよび記憶媒体は特定用途向け集積回路(ASIC)中に常駐し得る。ASICは、コンピューティングデバイスまたはユーザ端末中に常駐し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として常駐し得る。
開示される実施形態の上記の説明は、開示される実施形態を当業者が作成または使用することを可能にするために与えられた。これらの実施形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示された実施形態に限定されるものではなく、特許請求の範囲によって定義される原理および新規の特徴に一致する可能な最も広い範囲を与えられるべきである。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、前記オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定すること、
フィルタされたハイバンド出力を生成するために前記オーディオ信号の前記ハイバンド部分をフィルタリングすること、および
符号化された信号を生成すること、を具備し、
前記符号化された信号を生成することは、前記アーティファクト生成条件の可聴効果を低減するために、前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記ローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定することを含む方法。
[C2]
前記フィルタされたハイバンド出力は、前記利得情報を決定することを除いては使用されないC1に記載の方法。
[C3]
前記オーディオ信号の前記ハイバンド部分をフィルタリングすることは、前記オーディオ信号の前記ハイバンド部分に関連付けられた線形予測係数(LPC)を用いて前記ハイバンド部分をフィルタリングすることを具備するC1に記載の方法。
[C4]
前記オーディオ信号を受信すること、
分析フィルタバンクにおいて前記オーディオ信号の前記ローバンド部分と前記オーディオ信号の前記ハイバンド部分とを生成すること、
前記ローバンド部分に基づいてローバンドビットストリームを生成すること、
前記ハイバンド部分、前記ローバンド部分に関連付けられたローバンド励起信号、または前記フィルタされたハイバンド出力のうちの少なくとも1つに基づいて、ハイバンドサイド情報を生成すること、および
前記符号化された信号に対応する出力ビットストリームを生成するために前記ローバンドビットストリームと前記ハイバンドサイド情報とを多重化することをさらに備えるC1に記載の方法。
[C5]
前記利得情報はフレーム利得情報を含み、前記ハイバンドサイド情報は前記フレーム利得情報を含むC4に記載の方法。
[C6]
前記フレーム利得情報は、前記ハイバンド部分にさらに基づいて生成され、
前記ハイバンドサイド情報は、
サブフレーム利得推定値に対応する時間利得情報であって、前記フィルタされたハイバンド出力に少なくとも部分的に基づいて生成される時間利得情報と、
前記ハイバンド部分に少なくとも部分的に基づいて生成された線スペクトル対(LSP)とをさらに含むC5に記載の方法。
[C7]
前記オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔を決定することをさらに具備するC1に記載の方法。
[C8]
前記LSP間間隔は、前記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいLSP間間隔であるC7に記載の方法。
[C9]
前記フィルタリングすることは、適応重み付け係数を用いて行われ、前記方法は、前記LSP間間隔に基づいて前記適応重み付け係数を決定することをさらに具備するC7に記載の方法。
[C10]
前記オーディオ信号の前記ハイバンド部分をフィルタリングすることは、前記適応重み付け係数をハイバンド線形予測係数に適用することを含むC9に記載の方法。
[C11]
前記適応重み付け係数の値は、LSP間間隔値を前記適応重み付け係数の値に関連付けるマッピングに従って決定されるC9に記載の方法。
[C12]
前記マッピングは、線形マッピングであるC11に記載の方法。
[C13]
前記マッピングは、前記アーティファクト生成条件に対応する周波数またはサンプルレートのうちの少なくとも1つに基づいて適応可能であるC11に記載の方法。
[C14]
前記マッピングは、信号対雑音比に基づいて適応可能であるC11に記載の方法。
[C15]
前記マッピングは、線形予測分析の後の予測利得に基づいて適応可能であるC11に記載の方法。
[C16]
前記オーディオ信号は、前記LSP間間隔が第1のしきい値よりも小さいことに応じて、前記成分を含むことを決定されるC7に記載の方法。
[C17]
前記フレームに関連付けられた前記LSP間間隔と、前記オーディオ信号の少なくとも1つの他のフレームに関連付けられた少なくとも1つの他のLSP間間隔とに基づいて、平均LSP間間隔を決定することをさらに具備するC7に記載の方法。
[C18]
前記オーディオ信号は、
前記LSP間間隔が第2のしきい値よりも小さいことと、
前記平均LSP間間隔が第3のしきい値よりも小さいこと、または前記オーディオ信号の前記他のフレームに対応するフィルタリングが可能にされること、のうちの少なくとも1つとに応じて前記成分を含むことを決定され、
前記他のフレームは、前記オーディオ信号の前記フレームに先行するC17に記載の方法。
[C19]
オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔と少なくとも1つのしきい値とを比較すること、
前記比較することに少なくとも部分的に基づいて、フィルタされたハイバンド出力を生成するために前記オーディオ信号のハイバンド部分をフィルタリングすること、および
前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記オーディオ信号のローバンド部分に対応する第2のエネルギーとの比に基づいて、利得情報を決定することを具備する方法。
[C20]
前記オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔を決定することをさらに具備し、
前記LSP間間隔が、前記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいLSP間間隔であるC19に記載の方法。
[C21]
前記オーディオ信号の前記ハイバンド部分は、前記LSP間間隔が第1のしきい値よりも小さいことに応じてフィルタされるC20に記載の方法。
[C22]
前記オーディオ信号の前記ハイバンド部分は、
前記LSP間間隔が第2のしきい値よりも小さいことと、
平均LSP間間隔が第3のしきい値よりも小さいこと、または前記オーディオ信号の他のフレームに対応するハイバンドフィルタリングが可能にされること、のうちの少なくとも1つとに応じてフィルタされ、
前記平均LSP間間隔は、前記フレームに関連付けられた前記LSP間間隔と、前記オーディオ信号の少なくとも1つの他のフレームに関連付けられた少なくとも1つの他のLSP間間隔とに基づき、
前記他のフレームは、前記オーディオ信号の前記フレームに先行するC20に記載の方法。
[C23]
前記ハイバンド部分をフィルタリングすることは、前記オーディオ信号の前記ハイバンド部分に関連付けられた線形予測係数(LPC)を用いて前記ハイバンド部分をフィルタリングすることを具備するC19に記載の方法。
[C24]
前記LSP間間隔に基づいて適応重み付け係数の値を決定することをさらに具備し、
前記フィルタリングすることは、前記適応重み付け係数の前記値を用いて行われるC19に記載の方法。
[C25]
前記ハイバンド部分をフィルタリングすることは、前記適応重み付け係数をハイバンド線形予測係数に適用することを含むC24に記載の方法。
[C26]
前記適応重み付け係数の前記値は、LSP間間隔値を前記適応重み付け係数の値に関連付けるマッピングに従って決定されるC24に記載の方法。
[C27]
ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、前記オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定する雑音検出回路と、
前記雑音検出回路に応答し、かつフィルタされたハイバンド出力を生成するために前記オーディオ信号の前記ハイバンド部分をフィルタリングするフィルタリング回路と、
前記アーティファクト生成条件の可聴効果を低減するために、前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記ローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定する利得決定回路とを具備する装置。
[C28]
前記オーディオ信号の前記ローバンド部分と前記オーディオ信号の前記ハイバンド部分とを生成する分析フィルタバンクと、
前記ローバンド部分に基づいてローバンドビットストリームを生成するローバンド分析モジュールと、
前記ハイバンド部分、前記ローバンド部分に関連付けられたローバンド励起信号、または前記フィルタされたハイバンド出力のうちの少なくとも1つに基づいて、ハイバンドサイド情報を生成するハイバンド分析モジュールと、
符号化された信号に対応する出力ビットストリームを生成するために、前記ローバンドビットストリームと前記ハイバンドサイド情報とを多重化するマルチプレクサと、をさらに具備するC27に記載の装置。
[C29]
前記利得情報はフレーム利得情報を含み、前記ハイバンドサイド情報は前記フレーム利得情報を含むC28に記載の装置。
[C30]
前記フレーム利得情報は、前記ハイバンド部分にさらに基づいて生成され、
前記ハイバンドサイド情報は、
サブフレーム利得推定値に対応する時間利得情報であって、前記フィルタされたハイバンド出力に少なくとも部分的に基づいて生成される時間利得情報と、
前記ハイバンド部分に少なくとも部分的に基づいて生成された線スペクトル対(LSP)とをさらに含むC29に記載の装置。
[C31]
前記雑音検出回路は、前記オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔を決定し、
前記LSP間間隔は、前記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいLSP間間隔であるC27に記載の装置。
[C32]
前記フィルタリング回路は、適応重み付け係数をハイバンド線形予測係数に適用し、前記適応重み付け係数は前記LSP間間隔に基づいて決定されるC31に記載の装置。
[C33]
ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、前記オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定する手段と、
フィルタされたハイバンド出力を生成するために前記オーディオ信号のハイバンド部分をフィルタリングする手段と、
符号化された信号を生成する手段と、を具備し、
前記符号化された信号を生成する手段は、前記アーティファクト生成条件の可聴効果を低減するために、前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記ローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定する手段を含む装置。
[C34]
前記オーディオ信号の前記ローバンド部分と前記オーディオ信号の前記ハイバンド部分とを生成する手段と、
前記ローバンド部分に基づいてローバンドビットストリームを生成する手段と、
前記ハイバンド部分、前記ローバンド部分に関連付けられたローバンド励起信号、または前記フィルタされたハイバンド出力のうちの少なくとも1つに基づいて、ハイバンドサイド情報を生成する手段と、
前記符号化された信号に対応する出力ビットストリームを生成するために、前記ローバンドビットストリームと前記ハイバンドサイド情報とを多重化する手段とをさらに具備するC33に記載の装置。
[C35]
前記利得情報はフレーム利得情報を含み、前記ハイバンドサイド情報は前記フレーム利得情報を含むC34に記載の装置。
[C36]
前記フレーム利得情報は、前記ハイバンド部分にさらに基づいて生成され、
前記ハイバンドサイド情報は、
サブフレーム利得推定値に対応する時間利得情報であって、前記フィルタされたハイバンド出力に少なくとも部分的に基づいて生成される時間利得情報と、
前記ハイバンド部分に少なくとも部分的に基づいて生成された線スペクトル対(LSP)とをさらに含むC35に記載の装置。
[C37]
前記決定する手段は、前記オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔を決定し、
、前記LSP間間隔は、前記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいLSP間間隔であるC33に記載の装置。
[C38]
コンピュータによって実行されたとき、前記コンピュータに、
ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、前記オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定すること、
フィルタされたハイバンド出力を生成するために前記オーディオ信号の前記ハイバンド部分をフィルタリングすること、
符号化された信号を生成することを行わせる命令を具備し、
前記符号化された信号を生成することは、前記アーティファクト生成条件の可聴効果を低減するために、前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記ローバンド部分に対応する第2のエネルギーとの比に基づいて利得情報を決定することを含む非一時的コンピュータ可読媒体。
[C39]
前記フィルタされたハイバンド出力は、前記利得情報を決定することを除いては使用されないC38に記載のコンピュータ可読媒体。
[C40]
前記コンピュータに前記オーディオ信号の前記ハイバンド部分をフィルタリングすることを行わせるための前記命令は、前記コンピュータに、前記オーディオ信号の前記ハイバンド部分に関連付けられた線形予測係数(LPC)を用いて前記ハイバンド部分をフィルタリングすることを行わせるための命令を具備するC38に記載のコンピュータ可読媒体。

Claims (13)

  1. ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、前記オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定すること、
    前記オーディオ信号の前記ハイバンド部分に関連付けられた線スペクトル対(LSP)間間隔のうちの最小のLSP間間隔と少なくとも1つのしきい値との比較結果に少なくも部分的に基づいて、フィルタされたハイバンド出力を生成するために前記オーディオ信号の前記ハイバンド部分をフィルタリングすること、および
    符号化された信号を生成すること、を具備し、
    前記符号化された信号を生成することは、前記アーティファクト生成条件の可聴効果を低減するために、前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記ローバンド部分または合成されたハイバンド信号の少なくとも1つに対応する第2のエネルギーとの比に基づいて前記ハイバンド出力に関する利得情報を決定することを含む方法。
  2. 前記オーディオ信号の前記ハイバンド部分をフィルタリングすることは、線形予測係数(LPCフィルタされたハイバンド部分を生成するために前記オーディオ信号の前記ハイバンド部分に関連付けられたLCを用いて前記ハイバンド部分をフィルタリングすることを具備する請求項1に記載の方法。
  3. 前記オーディオ信号のフレームに関連付けられたLSP間間隔を決定することをさらに具備する請求項1に記載の方法。
  4. 前記フレームに関連付けられた前記LSP間間隔は、前記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいLSP間間隔である請求項3に記載の方法。
  5. 前記フィルタリングすることは、適応重み付け係数を用いて行われ、前記方法は、前記フレームに関連付けられた前記LSP間間隔に基づいて前記適応重み付け係数を決定することをさらに具備し、前記オーディオ信号の前記ハイバンド部分をフィルタリングすることは、前記適応重み付け係数をハイバンド線形予測係数に適用することを含み得る請求項3に記載の方法。
  6. 前記フィルタリングすることは、適応重み付け係数を用いて行われ、前記適応重み付け係数の値は、LSP間間隔値を前記適応重み付け係数の値に関連付けるマッピングに従って決定される請求項1に記載の方法。
  7. 前記マッピングは、
    線形マッピングであるか、
    前記アーティファクト生成条件に対応する周波数またはサンプルレートのうちの少なくとも1つに基づいて適応可能であるか、
    信号対雑音比に基づいて適応可能であるか、
    線形予測分析の後の予測利得に基づいて適応可能であるか
    のうちの1つである請求項6に記載の方法。
  8. 前記オーディオ信号は、前記フレームに関連付けられた前記LSP間間隔が第1のしきい値よりも小さいことに応じて、前記成分を含むことを決定される請求項3に記載の方法。
  9. 前記フレームに関連付けられた前記LSP間間隔と、前記オーディオ信号の少なくとも1つの他のフレームに関連付けられた少なくとも1つの他のLSP間間隔とに基づいて、平均LSP間間隔を決定することをさらに具備する請求項3に記載の方法。
  10. オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔と少なくとも1つのしきい値とを比較すること、
    フィルタされたハイバンド出力を生成するために前記オーディオ信号のハイバンド部分をフィルタリングすること、前記フィルタリングすることは、前記比較の結果に少なくとも部分的に基づく
    記フィルタされたハイバンド出力に対応する第1のエネルギーと前記オーディオ信号のローバンド部分または合成されたハイバンド信号の少なくとも1つに対応する第2のエネルギーとの比に基づいて前記ハイバンド出力に関する利得情報を決定すること、および
    前記フレームに関連付けられた前記LSP間間隔を決定すること、前記フレームに関連付けられた前記LSP間間隔が、前記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいLSP間間隔である、を具備し、
    前記オーディオ信号の前記ハイバンド部分は、前記フレームに関連付けられた前記LSP間間隔が第1のしきい値よりも小さいことに応じてフィルタリングされる方法。
  11. オーディオ信号のフレームに関連付けられた線スペクトル対(LSP)間間隔と少なくとも1つのしきい値とを比較すること、
    フィルタされたハイバンド出力を生成するために前記オーディオ信号のハイバンド部分をフィルタリングすること、前記フィルタリングすることは、前記比較の結果に少なくとも部分的に基づく、
    前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記オーディオ信号のローバンド部分または合成されたハイバンド信号の少なくとも1つに対応する第2のエネルギーとの比に基づいて前記ハイバンド出力に関する利得情報を決定すること、および
    前記フレームに関連付けられた前記LSP間間隔を決定すること、前記フレームに関連付けられた前記LSP間間隔が、前記フレームの線形予測コーディング(LPC)中に生成された複数のLSPに対応する複数のLSP間間隔のうちの最も小さいLSP間間隔である、を具備し、
    前記オーディオ信号の前記ハイバンド部分は、前記フレームに関連付けられた前記LSP間間隔が
    第1のしきい値よりも小さいこと、または
    第2のしきい値よりも小さいことと、
    平均LSP間間隔が第3のしきい値よりも小さいこと、または
    前記オーディオ信号の他のフレームに対応するハイバンドフィルタリングが可能にされること、
    のうちの少なくとも1つと
    に応じてフィルタされ、
    前記平均LSP間間隔は、前記フレームに関連付けられた前記LSP間間隔と、前記オーディオ信号の少なくとも1つの他のフレームに関連付けられた少なくとも1つの他のLSP間間隔とに基づき、
    前記他のフレームは、前記オーディオ信号の前記フレームに先行する方法。
  12. ローバンド部分とハイバンド部分とを含むオーディオ信号に対応するスペクトル情報に基づいて、前記オーディオ信号が、アーティファクト生成条件に対応する成分を含むことを決定する手段と、
    前記オーディオ信号の前記ハイバンド部分に関連付けられた線スペクトル対(LSP)間間隔のうちの最小のLSP間間隔と少なくとも1つのしきい値との比較結果に少なくも部分的に基づいて、フィルタされたハイバンド出力を生成するために前記オーディオ信号の前記ハイバンド部分をフィルタリングする手段と、
    符号化された信号を生成する手段と、を具備し、
    前記符号化された信号を生成する手段は、前記アーティファクト生成条件の可聴効果を低減するために、前記フィルタされたハイバンド出力に対応する第1のエネルギーと前記ローバンド部分または合成されたハイバンド信号の少なくとも1つに対応する第2のエネルギーとの比に基づいて前記ハイバンド出力に関する利得情報を決定する手段を含む装置。
  13. コンピュータによって実行されたとき、前記コンピュータに、請求項1乃至11のうちのいずれか1項に記載の方法を実行することを行わせる命令を具備する非一時的コンピュータ可読媒体。
JP2015556929A 2013-02-08 2013-08-06 利得決定のためにフィルタリングを実施するシステムおよび方法 Active JP6456847B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361762807P 2013-02-08 2013-02-08
US61/762,807 2013-02-08
US13/959,188 US9711156B2 (en) 2013-02-08 2013-08-05 Systems and methods of performing filtering for gain determination
US13/959,188 2013-08-05
PCT/US2013/053806 WO2014123579A1 (en) 2013-02-08 2013-08-06 Systems and methods of performing filtering for gain determination

Publications (3)

Publication Number Publication Date
JP2016511436A JP2016511436A (ja) 2016-04-14
JP2016511436A5 JP2016511436A5 (ja) 2016-12-08
JP6456847B2 true JP6456847B2 (ja) 2019-01-23

Family

ID=51298066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556929A Active JP6456847B2 (ja) 2013-02-08 2013-08-06 利得決定のためにフィルタリングを実施するシステムおよび方法

Country Status (23)

Country Link
US (1) US9711156B2 (ja)
EP (1) EP2954523B1 (ja)
JP (1) JP6456847B2 (ja)
KR (1) KR101891872B1 (ja)
CN (1) CN104969291B (ja)
AU (1) AU2013377885B2 (ja)
BR (1) BR112015019040B1 (ja)
CA (1) CA2896814C (ja)
DK (1) DK2954523T3 (ja)
ES (1) ES2715847T3 (ja)
HK (1) HK1211377A1 (ja)
HU (1) HUE042387T2 (ja)
IL (1) IL239719A (ja)
MY (1) MY171188A (ja)
PH (1) PH12015501516A1 (ja)
PL (1) PL2954523T3 (ja)
PT (1) PT2954523T (ja)
RU (1) RU2643628C2 (ja)
SG (1) SG11201505067TA (ja)
SI (1) SI2954523T1 (ja)
UA (1) UA116371C2 (ja)
WO (1) WO2014123579A1 (ja)
ZA (1) ZA201506577B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301064B (zh) 2013-07-16 2018-05-04 华为技术有限公司 处理丢失帧的方法和解码器
CN104517611B (zh) * 2013-09-26 2016-05-25 华为技术有限公司 一种高频激励信号预测方法及装置
US9697843B2 (en) * 2014-04-30 2017-07-04 Qualcomm Incorporated High band excitation signal generation
CN106683681B (zh) 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
CN104217726A (zh) * 2014-09-01 2014-12-17 东莞中山大学研究院 一种无损音频压缩编码方法及其解码方法
US10049684B2 (en) * 2015-04-05 2018-08-14 Qualcomm Incorporated Audio bandwidth selection
US10020002B2 (en) 2015-04-05 2018-07-10 Qualcomm Incorporated Gain parameter estimation based on energy saturation and signal scaling
US9380150B1 (en) * 2015-09-16 2016-06-28 Captioncall, Llc Methods and devices for automatic volume control of a far-end voice signal provided to a captioning communication service
JP6734394B2 (ja) * 2016-04-12 2020-08-05 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム
GB2582749A (en) * 2019-03-28 2020-10-07 Nokia Technologies Oy Determination of the significance of spatial audio parameters and associated encoding
US11321047B2 (en) 2020-06-11 2022-05-03 Sorenson Ip Holdings, Llc Volume adjustments
CN114093391A (zh) * 2020-07-29 2022-02-25 华为技术有限公司 一种异常信号的过滤方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263307B1 (en) 1995-04-19 2001-07-17 Texas Instruments Incorporated Adaptive weiner filtering using line spectral frequencies
US6453289B1 (en) 1998-07-24 2002-09-17 Hughes Electronics Corporation Method of noise reduction for speech codecs
KR20000047944A (ko) * 1998-12-11 2000-07-25 이데이 노부유끼 수신장치 및 방법과 통신장치 및 방법
US7110953B1 (en) 2000-06-02 2006-09-19 Agere Systems Inc. Perceptual coding of audio signals using separated irrelevancy reduction and redundancy reduction
US7478042B2 (en) 2000-11-30 2009-01-13 Panasonic Corporation Speech decoder that detects stationary noise signal regions
KR100935961B1 (ko) * 2001-11-14 2010-01-08 파나소닉 주식회사 부호화 장치 및 복호화 장치
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
RU2404506C2 (ru) * 2004-11-05 2010-11-20 Панасоник Корпорэйшн Устройство масштабируемого декодирования и устройство масштабируемого кодирования
US8010353B2 (en) * 2005-01-14 2011-08-30 Panasonic Corporation Audio switching device and audio switching method that vary a degree of change in mixing ratio of mixing narrow-band speech signal and wide-band speech signal
US20080243496A1 (en) * 2005-01-21 2008-10-02 Matsushita Electric Industrial Co., Ltd. Band Division Noise Suppressor and Band Division Noise Suppressing Method
WO2006107837A1 (en) 2005-04-01 2006-10-12 Qualcomm Incorporated Methods and apparatus for encoding and decoding an highband portion of a speech signal
CN101185127B (zh) * 2005-04-01 2014-04-23 高通股份有限公司 用于编码和解码语音信号的高频带部分的方法和设备
WO2007000988A1 (ja) * 2005-06-29 2007-01-04 Matsushita Electric Industrial Co., Ltd. スケーラブル復号装置および消失データ補間方法
WO2007037361A1 (ja) * 2005-09-30 2007-04-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
DE102006022346B4 (de) 2006-05-12 2008-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalcodierung
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
US8682652B2 (en) 2006-06-30 2014-03-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
US8725499B2 (en) * 2006-07-31 2014-05-13 Qualcomm Incorporated Systems, methods, and apparatus for signal change detection
CA2678476A1 (fr) * 2007-02-20 2008-09-04 Airbus France Procede de realisation d'un revetement pour le traitement acoustique incorporant une structure alveolaire avec une forme complexe et revetement pour le traitement acoustique ainsiobtenu
US8554551B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
GB0822537D0 (en) * 2008-12-10 2009-01-14 Skype Ltd Regeneration of wideband speech
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
CN102725791B (zh) 2009-11-19 2014-09-17 瑞典爱立信有限公司 用于音频编解码中的响度和锐度补偿的方法和设备
DE112010005020B4 (de) * 2009-12-28 2018-12-13 Mitsubishi Electric Corporation Sprachsignal-Wiederherstellungsvorrichtung und Sprachsignal-Wiederherstellungsverfahren
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
EP2710590B1 (en) 2011-05-16 2015-10-07 Google, Inc. Super-wideband noise supression

Also Published As

Publication number Publication date
PH12015501516B1 (en) 2015-09-21
ES2715847T3 (es) 2019-06-06
US20140229171A1 (en) 2014-08-14
AU2013377885B2 (en) 2019-07-18
CN104969291A (zh) 2015-10-07
KR101891872B1 (ko) 2018-08-24
AU2013377885A1 (en) 2015-07-23
PT2954523T (pt) 2019-03-25
IL239719A0 (en) 2015-08-31
HUE042387T2 (hu) 2019-06-28
DK2954523T3 (en) 2019-03-25
CN104969291B (zh) 2018-10-26
EP2954523A1 (en) 2015-12-16
HK1211377A1 (en) 2016-05-20
BR112015019040B1 (pt) 2021-12-07
UA116371C2 (uk) 2018-03-12
ZA201506577B (en) 2018-08-29
IL239719A (en) 2016-11-30
RU2015138109A (ru) 2017-03-16
JP2016511436A (ja) 2016-04-14
RU2643628C2 (ru) 2018-02-02
US9711156B2 (en) 2017-07-18
CA2896814C (en) 2018-08-14
SI2954523T1 (sl) 2019-04-30
MY171188A (en) 2019-09-30
BR112015019040A2 (pt) 2017-07-18
EP2954523B1 (en) 2018-12-19
PL2954523T3 (pl) 2019-05-31
WO2014123579A1 (en) 2014-08-14
CA2896814A1 (en) 2014-08-14
PH12015501516A1 (en) 2015-09-21
KR20150116881A (ko) 2015-10-16
SG11201505067TA (en) 2015-08-28

Similar Documents

Publication Publication Date Title
JP6456847B2 (ja) 利得決定のためにフィルタリングを実施するシステムおよび方法
JP6185085B2 (ja) 利得制御を行うシステムおよび方法
JP6345780B2 (ja) ハイバンドコーディングにおける選択的位相補償
US10410652B2 (en) Estimation of mixing factors to generate high-band excitation signal
JP6538209B2 (ja) ノイズ変調とゲイン調整とを実行するシステムおよび方法
JP6262337B2 (ja) ハイバンド時間的特性の改善された追跡のための利得形状推定

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181219

R150 Certificate of patent or registration of utility model

Ref document number: 6456847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250