JP5165106B2 - ハーモニックな帯域拡張と非ハーモニックな帯域拡張との組合せを使用して、入力信号表示に基づいて帯域拡張信号の表示を生成するための装置と方法及びコンピュータプログラム - Google Patents

ハーモニックな帯域拡張と非ハーモニックな帯域拡張との組合せを使用して、入力信号表示に基づいて帯域拡張信号の表示を生成するための装置と方法及びコンピュータプログラム Download PDF

Info

Publication number
JP5165106B2
JP5165106B2 JP2011507945A JP2011507945A JP5165106B2 JP 5165106 B2 JP5165106 B2 JP 5165106B2 JP 2011507945 A JP2011507945 A JP 2011507945A JP 2011507945 A JP2011507945 A JP 2011507945A JP 5165106 B2 JP5165106 B2 JP 5165106B2
Authority
JP
Japan
Prior art keywords
patch
value
representation
spectral domain
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011507945A
Other languages
English (en)
Other versions
JP2011520146A (ja
Inventor
フレデリック ナーゲル
マックス ノイエンドルフ
ニコラウス リッテルバッハ
ジェレミ− ルコンテ
マルクス マルトラス
ベルンハルト グリル
サーシャ デッシュ
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2011520146A publication Critical patent/JP2011520146A/ja
Application granted granted Critical
Publication of JP5165106B2 publication Critical patent/JP5165106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Complex Calculations (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Stored Programmes (AREA)

Description

本発明の１つの実施形態は、入力信号表示に基づいて帯域拡張された信号の表示(又は表現)を生成する装置に関する。本発明の他の実施形態は、入力信号表示に基づいて帯域拡張された信号の表示を生成する方法に関する。本発明のさらに他の実施形態は、このような方法を実行するためのコンピュータプログラムに関する。
本発明のいくつかの実施形態は、スペクトル帯域複製における新規なパッチング方法に関する。
オーディオ信号の蓄積又は送信がビットレートの厳しい制限を受けることは、よくあることである。このような制限は、通常、信号の符号化によって克服されている。過去においては、有効なビットレートが非常に低い場合には、符号器は、送信するオーディオ帯域を劇的に減少させることを余儀なくされた。現代のオーディオ符号化においては、帯域拡張（ＢＷＥ）方法を使用することで、可聴帯域幅を保持することが可能となった。このような方法は、例えば特許文献１〜２及び非特許文献１〜１０により開示されている。ここで使用されるアルゴリズムは、高周波領域（ＨＦ）のパラメータ表示に基づくものであるが、このパラメータ表示は、復号化された信号の波形符号化された低周波領域（ＬＦ）からＨＦスペクトル領域への転位（「パッチング」）と、パラメータ主導の後処理の適用とを通じて生成されたものである。
当該技術では、スペクトル帯域複製（ＳＢＲ）等のような帯域拡張方法は、ＨＦＲ（高周波再構築）に基づく符号化において、高周波信号を生成するための効果的な方法として使用されている。
特許文献１に記載されたスペクトル帯域複製は、略して「ＳＢＲ」と呼ばれるが、直交ミラー・フィルタバンク（ＱＭＦ）を使用してＨＦ情報を生成する。所謂「パッチング」処理を活用し、低いＱＭＦ帯域は高い（周波数）位置へとコピーされ、その結果、ＨＦ部分の中にＬＦ部分の情報を複写する。その後、生成されたＨＦは、(例えば包絡フォーマットを使用して)スペクトル包絡及び調性(tonality)を取り入れる(又は調整する)パラメータを使用して、オリジナルＨＦ部分に対して適合させられる。
標準的なＳＢＲでは、パッチングは常に、ＱＭＦドメイン内におけるコピー操作によって実行される。しかし、このコピー操作が原因で聴覚的アーチファクトが引き起こされる場合もあることが認識されてきた。特に、ＬＦ部分と生成されたＨＦ部分との境界において、正弦波(sinusoids)同士が互いに近接する位置にコピーされた場合に、アーチファクトが発生しやすいことが分かってきた。従って、標準的なＳＢＲは聴覚的アーチファクトの問題を含むと言うことができる。帯域拡張のいくつかの構成では、比較的複雑な演算を必要とする。また、帯域拡張のいくつかの構成では、高いパッチ(高い伸張係数)に関してスペクトルが非常に疎らな状態となり、結果として望ましくない(可聴の)オーディオ・アーチファクトをもたらしてしまうかもしれない。
米国特許出願08/951,029, Ohmori , et al. Audio band width extending system andmethod. 米国特許第6895375, Malah, D & Cox, R. V.: System for bandwidth extensionof Narrow-band speech.
M. Dietz, L. Liljeryd, K. Kjorling and O. Kunz, "Spectral BandReplication, a novel approach in audio coding," in 112th AES Convention,Munich, May 2002. S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digitalbroadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention,Munich, May 2002. T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 withSBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AESConvention, Munich, May 2002. International Standard ISO/IEC 14496-3:2001/FPDAM 1, "BandwidthEx-tension," ISO/IEC, 2002. Speech bandwidth extension method and apparatusVasu Iyengar et al. E. Larsen, R. M. Aarts, and M. Danessis. Efficient high-frequencybandwidth extension of music and speech. In AES 112th Convention, Munich,Germany, May 2002. R. M. Aarts, E. Larsen, and O. Ouweltjes. A unified approach to low-and highfrequency bandwidth extension. In AES 115th Convention, New York, USA,October 2003. K. Kayhko. A Robust Wideband Enhancement for Narrowband Speech Signal.Research Report, Helsinki University of Technology, Laboratory of Acoustics andAudio Signal Processing, 2001. E. Larsen and R. M. Aarts. Audio Bandwidth Extension - Application topsychoacoustics, Signal Processing and Loudspeaker Design. John Wiley &Sons, Ltd, 2004. E. Larsen, R. M. Aarts, and M. Danessis. Efficient high-frequencybandwidth extension of music and speech. In AES 112th Convention, Munich,Germany, May 2002. J. Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEETransactions on Audio and Electroacoustics, AU-21(3), June 1973. Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension methodfor audio codecs," ICASSP International Conference on Acoustics, Speech andSignal Processing, IEEE CNF, Taipei, Taiwan, April 2009. The international standard ISO/IEC 14496-3:2005(e), part 3: audio,subpart 4: general audio coding (GA)-AAC, Twin VQ, BSAC. The international standard ISO/IEC 14496-3:2005(e), part 3, subpart 4,section 4.6.18 "SBR tool".
上述した背景を踏まえ、本発明の目的は、入力信号表示に基づいて帯域拡張された信号の表示を生成する概念を提供することであり、この概念は、演算の複雑性とオーディオ品質との相反関係における好都合な妥協点をもたらすものである。
本発明の実施形態は、入力信号表示に基づいて帯域拡張された信号の表示を生成する装置を提供する。この装置は、入力信号表示に基づき、帯域拡張された信号の第１パッチのスペクトルドメイン表示の値を取得する位相ボコーダを備える。また、この装置は、位相ボコーダにより提供された第１パッチのスペクトルドメイン表示の値のセットをコピーして、第２パッチのスペクトルドメイン表示の値のセットを取得するための、値コピー手段をさらに備える。第２パッチは第１パッチよりも高い周波数に関連する。この装置は、第１パッチのスペクトルドメイン表示の値と、第２パッチのスペクトルドメイン表示の値とを使用して、帯域拡張された信号の表示を取得するよう構成されている。
本発明の鍵となる考え方は、演算の複雑性と帯域拡張された信号のオーディオ品質との相反関係において、特に好都合な妥協点は、以下の方法で位相ボコーダと値コピー手段とを組み合わせることにより見出すことができるという考え方である。即ち、帯域拡張された信号の第１パッチを位相ボコーダによって取得し、且つ、この第１パッチを基にして値コピー手段を使用することで、帯域拡張された信号の第２パッチを取得するという方法である。従って、第１パッチの内容は、入力信号表示により表示された入力信号の低周波数部分（ＬＦ）の内容のハーモニックに転位されたバージョンであり、第２パッチは、第１パッチの信号内容の非ハーモニックに周波数シフトされたバージョンである（又はバージョンを表示する）。そのため、第２パッチは演算の複雑性が比較的低くても取得できる。なぜなら、値のコピーは位相ボコーダの操作よりも演算的には単純だからである。さらに、第２パッチ内に大きなスペクトルの穴があくことも防ぐことができる。なぜなら、第１パッチのスペクトル値は、典型的には十分にデータを持ち（即ち非ゼロの値を有し）、その結果、もしも第２パッチが疎らな状態でしか形成されなかった場合には、時折引き起こされたであろう可聴アーチファクトが低減又は回避されるからである。
要約すれば、本発明の概念は、従来のパッチング方法に比較して有意な長所をもたらす。なぜなら、位相ボコーダを使用するハーモニックな帯域拡張は、第１パッチ、即ちスペクトルのより低域部分のスペクトルドメイン表示の値を取得するためだけに適用されるのであり、他方、第２のパッチのスペクトルドメイン表示の値を取得するために行なう第１パッチのスペクトルドメイン表示の値のコピー操作に依存する非ハーモニックな帯域拡張は、より高い周波数に対して適用される。従って、クロスオーバー周波数を上回る周波数領域である拡張周波数領域の（「第１パッチ」とも呼ぶ）低い領域は、基本周波数領域のハーモニックな拡張として提供される。ここで基本周波数領域とは、入力信号の周波数領域内であって拡張周波数部分の周波数よりも低い周波数をカバーする領域、例えばクロスオーバー周波数よりも低い周波数領域を意味し、帯域拡張された信号の良好な聴覚的印象をもたらすものである。また、拡張周波数部分の（「第２パッチ」とも呼ぶ）より高い領域のスペクトルドメイン表示の値を値コピー手段を用いて単純に生成しても、大した聴覚的アーチファクトをもたらさないことが分かってきた。なぜなら、人間の聴覚は、拡張周波数部分のより高い領域（第２パッチ）のスペクトルの詳細に対しては、特に敏感ではないからである。
端的に言えば、本発明の概念は、演算の複雑さにおいては比較的低い状態で、良好な聴覚的印象をもたらすものである。
本発明の好適な実施形態においては、位相ボコーダは、入力スペクトル表示の複数の所定の周波数サブ領域に関連する絶対値のセットをコピーして、第１パッチの対応する周波数サブ領域に関連する絶対値のセットを取得し、この時、入力スペクトル表示の所定の周波数サブ領域と第１パッチの対応する周波数サブ領域との対が、基本周波数とその基本周波数のハーモニック（例えばその基本周波数の第１のハーモニック）との対をカバーする。位相ボコーダはまた、好適には入力スペクトル表示の複数の所定の周波数サブ領域に関連する位相値を所定の係数（例えば２）で乗算して、第１パッチの対応する周波数サブ領域に関連する位相値を取得する。さらに好適には、値コピー手段は、第１パッチの複数の所定の周波数サブ領域に関連する値のセットをコピーすることで、第２パッチの対応する周波数サブ領域に関連する値のセットを取得する。値コピー手段はまた、好適には、コピー操作の中では位相値を変化させない。位相ボコーダは、少なくとも近似的にハーモニックな転位を実行し、他方、値コピー手段は、非ハーモニックな周波数シフト操作を実行する。周波数サブ領域は、例えば高速フーリエ変換（又はこれに匹敵する何れかの変換）の係数に関連した周波数領域であっても良い。代わりに、周波数サブ領域は、ＱＭＦフィルタバンクの個別の信号に関連した周波数領域であっても良い。典型的には、この周波数サブ領域の幅は中央周波数領域と比較して小さく、つまり、周波数サブ領域は、終点周波数と始点周波数との間の周波数比が２：１よりも有意に小さい周波数範囲をカバーする。換言すれば、例えばＦＦＴ係数の形式又はＱＭＦフィルタバンクの信号の形式を持つ入力スペクトル表示の周波数サブ領域と、第１パッチの周波数サブ領域とは、互いに正確にハーモニックである必要はないが、しかし、入力スペクトル表示の例えば周波数指数ｋを有する周波数サブ領域と、第１パッチの対応する例えば周波数指数２ｋを有する周波数サブ領域との間には、ある関連性を有することが可能である。その結果、第１パッチの周波数サブ領域（２ｋ）は、少なくとも近似的には、入力スペクトル表示の対応する周波数サブ領域（ｋ）のハーモニックな周波数を表すと言うことができる。
上述のように、ハーモニックな転位は、位相スケーリングを用いて処理された位相値を考慮に入れながら、位相ボコーダによって実行される。対照的に、値コピー手段は、単に（少なくとも近似的に）非ハーモニックな周波数シフト操作を実行するだけである。
本発明の好適な実施例では、値コピー手段は、第１パッチの値から第２パッチの値への通常のスペクトルシフト（又は周波数シフト）を達成する。
本発明の好適な実施例では、第１パッチのスペクトルドメイン表示の値が、入力信号表示の基本周波数領域（例えば、所謂クロスオーバー周波数よりも低い基本周波数領域）のハーモニックに変換されたバージョンを表示するように、位相ボコーダは第１パッチのスペクトルドメイン表示の値を得る。好適には、第２パッチのスペクトルドメイン表示の値が第１パッチの周波数シフトされたバージョンを表示するように、値コピー手段は第２パッチのスペクトルドメイン表示の値を得る。このような構成を持つことで、上述した長所を達成できる。具体的には、構成は単純であるにも関わらず、良好な聴覚的印象を得ることができる。
本発明の装置の好適な実施例は、パルス符号変調済（ＰＣＭ）の入力オーディオデータを受け取り、このパルス符号変調済の入力オーディオデータをダウンサンプルして、ダウンサンプルされたパルス符号変調済オーディオデータを得るように構成される。またこの装置は、ダウンサンプルされたパルス符号変調済オーディオデータにウインドウ化（窓関数掛け合わせ）を実行してウインドウ化済入力データを取得し、さらにこのウインドウ化済入力データを周波数ドメインへと変換又は転換して、入力信号表示を取得するよう構成される。またこの装置は、好適には（値αkを用いても示される）絶対値ａkと、入力信号表示の周波数ｂｉｎであるｋ（但しｋは周波数ｂｉｎの指数である）を表す位相値φkとを計算し、かつその絶対値ａkをコピーして、（値αskを用いても示される）コピーされた絶対値ａskを取得する。この値ａskは、第１パッチの周波数ｂｉｎ指数ｓｋを有する周波数ｂｉｎを表しており、この時ｓは伸長係数であって、ｓ＝２である。さらに本発明の装置は、好適には、入力信号表示の周波数ｂｉｎ指数ｋを有する周波数ｂｉｎに関連した、位相値φkをコピー及びスケールし、その結果、第１パッチの、周波数指数ｓｋを有する周波数ｂｉｎに関連した、コピー及びスケールされた位相値φskを取得する。さらにこの装置は、好適には、第１パッチのスペクトルドメイン表示の周波数ｂｉｎであるk-iζ
に関連した値βk-iζをコピーし、第２パッチのスペクトルドメイン表示の値βkを取得する。さらにこの装置は、好適には、第１パッチのスペクトルドメイン表示と第２パッチのスペクトルドメイン表示とを含む帯域拡張された信号の表示を時間ドメインへと変換することで、時間ドメイン表示を取得し、さらにこの時間ドメイン表示に対し、合成ウインドウ（合成窓関数）を適用する。上述の概念を使用すれば、帯域拡張された信号は、演算の複雑さにおいては容易に取得することが可能となる。この帯域拡張は周波数ドメイン内で実行され、例えばＦＦＴドメイン又はＱＭＦドメイン等のスペクトルドメインへの変換が実行されても良い。
本発明の装置の好適な実施例は、例えば高速フーリエ変換手段又はＱＭＦフィルタバンク等の時間ドメインからスペクトルドメインへの変換器を備え、この変換器は、入力信号表示として、入力されたオーディオ信号の（例えば高速フーリエ変換係数又はＱＭＦサブバンド信号等の）スペクトルドメイン表示の値を提供するか、或いは、例えばオーディオコア復号器から提供されたパルス符号変調済の信号等の入力されたオーディオ信号の（例えばダウンサンプル及び／又はウインドウ化等の）前処理を施されたバージョンの値を提供する。また、この装置は、好適には、例えば逆高速フーリエ変換手段又はＱＭＦ合成手段等のスペクトルドメインから時間ドメインへの変換器を備え、この変換器は、第１パッチの例えばＦＦＴ係数又はＱＭＦサブバンド信号等のスペクトルドメイン表示の値と、第２パッチの例えばＦＦＴ係数又はＱＭＦサブバンド信号等のスペクトルドメイン表示の値とを使用して、帯域拡張された信号の時間ドメイン表示を提供する。このスペクトルドメインから時間ドメインへの変換器は、好適には次のように構成される。即ち、スペクトルドメインから時間ドメインへの変換器が受け取るＦＦＴｂｉｎやＱＭＦ帯域等の様々なスペクトル値の数は、高速フーリエ変換手段やＱＭＦフィルタバンク等の時間ドメインからスペクトルドメインへの変換器が提供する、ＦＦＴ周波数ｂｉｎの数やＱＭＦ帯域の数などの様々なスペクトル値の数よりも大きくなるように構成されている。その結果、スペクトルドメインから時間ドメインへの変換器は、時間ドメインからスペクトルドメインへの変換器よりも、より多くの数の高速フーリエ変換周波数ｂｉｎやＱＭＦ周波数バンド等の周波数ｂｉｎを処理する。このように、スペクトルドメインから時間ドメインへの変換器が、時間ドメインからスペクトルドメインへの変換器よりも多くの周波数ｂｉｎを持つという事実によって、帯域拡張が達成される。
本発明の装置の好適な実施例は、時間ドメインの入力オーディオ信号をウインドウ化する分析ウインドウ化手段を備え、時間ドメイン入力オーディオ信号のウインドウ化済バージョンを取得する。このバージョンは、入力信号表示を得るための基礎となるものである。また、本発明の装置は、帯域拡張された信号の時間ドメイン表示の一部をウインドウ化する合成ウインドウ化手段を備えており、これにより、帯域拡張された信号の時間ドメイン表示のウインドウ化済の部分を取得する。その結果、帯域拡張された信号のアーチファクトが低減されるか又は回避される。
本発明の装置の好適な実施例は、帯域拡張された信号の時間ドメイン表示の、時間的にオーバーラップしている、複数の時間シフトされたウインドウ化済部分を取得するために、時間ドメイン入力オーディオ信号の時間的にオーバーラップしている、複数の時間シフトされた部分を処理する。時間ドメイン入力オーディオ信号の時間的に隣接する時間シフトされた部分同士の時間オフセットは、分析ウインドウのウインドウ長の４分の１以下である。現在までに、次のようなことが発見されてきた。即ち、時間ドメイン入力オーディオ信号の隣接する時間シフトされた部分同士の時間的オーバーラップが比較的大きい場合には（及び／又は帯域拡張された信号の時間ドメイン表示の時間的に隣接する時間シフトされた部分同士の時間的オーバーラップが比較的大きい場合には）、結果として得られる帯域拡張は、良好な聴覚的印象をもたらすことが分かってきた。なぜなら、比較的大きな時間的オーバーラップのために、信号の非定常性が考慮されているからである。
本発明の装置の好適な実施例は、（入力信号表示によって表示された）入力信号内の過渡の存在を示す情報を提供する過渡情報提供手段を備えている。この装置はまた、入力信号表示のある非過渡部分を基にして、ある帯域拡張された信号部分の表示を提供する第１の処理分枝を備え、さらに、入力信号表示のある過渡部分を基にして、ある帯域拡張された信号部分の表示を提供する第２の処理分枝を備える。入力信号の第１の処理分枝により処理されるスペクトルドメイン表示に比較して、第２の処理分枝は、入力信号のより高いスペクトル分解能を有するスペクトルドメイン表示を処理する。従って、過渡を有する信号部分はより高いスペクトル分解能で処理され、その結果、過渡が存在する場合には可聴アーチファクトを回避できる。他方、非過渡信号部分に対しては、即ち過渡情報提供手段が過渡を認識しない信号部分に対しては、低いスペクトル分解能を使用することができる。そのため、演算効率は高く保持され、有益な効果が得られる時だけ（例えば過渡の近傍でより良好な聴覚的印象をもたらす時だけ）、高いスペクトル分解能が使用される。
本発明の装置の好適な実施例は、入力信号の時間的に拡張された過渡部分を取得するために、入力信号の過渡部分をゼロ・パッドするよう構成された、時間ドメインのゼロ・パッド手段を備えている。この場合、第１の処理分枝は、入力信号の非過渡部分に関連した第１の数のスペクトルドメイン値を提供するための、時間ドメインから周波数ドメインへの（第１の）変換器を備え、さらに、第２の処理分枝は、入力信号の時間的に拡張された過渡部分に関連した第２の数のスペクトルドメイン値を提供するための、時間ドメインから周波数ドメインへの（第２の）変換器を備える。このスペクトルドメイン値の第２の数は、スペクトルドメイン値の第１の数よりも少なくとも１．５倍大きい。その結果、良好な過渡処理が達成できる。
本発明の好適な実施例では、第２の処理分枝は、入力信号の時間的に拡張された過渡部分を基にして得られる帯域拡張された信号部分から、複数のゼロ値を除去するように構成されたゼロ・ストリッパを備えている。これにより、ゼロ・パッドがもたらした入力信号の時間的拡張は元に戻される。
本発明の装置の好適な実施例は、入力信号の時間ドメイン表示をダウンサンプルするためのダウンサンプル手段を備える。もし、入力信号がパルス符号変調済サンプル入力ストリームのナイキスト帯域幅全体をカバーしない場合には、入力信号をダウンサンプルすることで、演算効率を向上させることができる。
本発明の他の実施例では、値コピー手段と位相ボコーダによる処理の順番が逆転した装置を実現することができる。この場合、入力信号表示（１１０；３８３）に基づく帯域拡張された信号の表示を生成する装置は、入力信号表示の値のセットをコピーするための値コピー手段を備え、第１パッチのスペクトルドメイン表示の値のセットを取得する。このとき、第１パッチは入力信号表示よりも高い周波数に関連している。この装置は、位相ボコーダ（１３０；４０６）をさらに備え、この位相ボコーダは、第１パッチのスペクトルドメイン表示の値(β4/3ζ・・・β2ζ)を基にして、帯域拡張された信号の第２パッチのスペクトルドメイン表示の値(β2ζ・・・β3ζ)を取得するよう構成されている。このとき、第２パッチは第１パッチよりも高い周波数に関連する。この装置は、第１パッチのスペクトルドメイン表示の値と、第２パッチのスペクトルドメイン表示の値とを使用して、帯域拡張された信号の表示（１２０；４２６）を取得するよう構成されている。
この装置は、演算の複雑性においては比較的低く、帯域拡張された信号を取得することができる一方で、その帯域拡張された信号は良好な聴覚的印象を達成できる。コピー操作の後で位相ボコーダ操作を行うことで、位相ボコーダの操作は、比較的小さな周波数比率（ボコーダ出力周波数とボコーダ入力周波数との間の比率）を用いて実行できる。その結果、良好なスペクトル充填が得られ、大きなスペクトル穴が存在しなくなる。さらに、この方法を使用すれば、第１パッチ（低い周波数パッチ）がコピー操作により取得され、第２パッチ（高い周波数パッチ）だけが位相ボコーダ操作を用いて取得されるのであるが、位相ボコーダの操作を用いずに単にコピー操作に依存する方法に比べ、より良好な聴覚的印象が得られることが分かってきた。さらに、位相ボコーダを用いて全てのパッチを生成するシステムに比べ、演算の複雑性が低く、かつ、そのようなシステムに比べ、スペクトル穴は減少する。
当然ながら、この実施例は本件明細書に説明する機能のうちのいずれの機能により補足されても良い。
本発明の他の実施例では、入力信号表示に基づいて帯域拡張された信号の表示を生成する方法を提供する。この方法は、上述の装置と同じ考え方に基づいている。
本発明の他の実施例では、この方法を実行するためのコンピュータプログラムを提案する。
次に、本発明の好適な実施の形態を、添付の図面を参照しながら説明する。
入力信号表示に基づいて帯域拡張された信号の表示を生成する、本発明のある実施例に係る装置の概要ブロック図である。 本発明に係る帯域拡張の概念の概要を示す。 入力信号表示に基づいて帯域拡張された信号の表示を生成する、本発明の一実施例に係るオーディオ復号器の一部を示す詳細な概要ブロック図である。 図３ａに示すオーディオ復号器の残部の詳細な概要ブロック図である。 入力信号表示に基づいて帯域拡張された信号の表示を生成する、本発明の一実施例に係る方法のフローチャートである。 第１の比較例に係るオーディオ復号器の一部の概要ブロック図である。 図５ａに示すオーディオ復号器の残部の概要ブロック図である。 第２の比較例に係るオーディオ復号器の一部の概要ブロック図である。 図６ａに示すオーディオ復号器の残部の概要ブロック図である。
１．図１に係る実施例
図１は、入力信号表示に基づいて帯域拡張された信号の表示を生成する装置１００の概要ブロック図である。この装置１００は、入力信号表示１１０を受け取り、これを基にして帯域拡張された信号１２０を出力する。装置１００は、入力信号表示１１０に基づき、帯域拡張された信号１２０の第１パッチのスペクトルドメイン表示１３２の値を取得する位相ボコーダ１３０を備える。第１パッチのスペクトルドメイン表示の値は、例えばβζ〜β2ζで示す。また、この装置１００は、位相ボコーダ１３０により提供された第１パッチのスペクトルドメイン表示１３２の値のセットをコピーして、第２パッチのスペクトルドメイン表示１４２の値のセットを取得するための、値コピー手段１４０をさらに備える。このとき、第２パッチは第１パッチよりも高い周波数に関連する。第２パッチのスペクトルドメイン表示１４２の値は、例えばβ2ζ〜β3ζで示す。この装置１００は、第１パッチのスペクトルドメイン表示１３２の値βζ〜β2ζと、第２パッチのスペクトルドメイン表示１４２の値β2ζ〜β3ζとを使用して、帯域拡張された信号の表示１２０を取得するよう構成されている。例えば、帯域拡張された信号の表示１２０は、第１パッチのスペクトルドメイン表示１３２と第２パッチのスペクトルドメイン表示１４２との両方を含んでも良い。さらに、帯域拡張された信号の表示１２０は、例えば入力信号表示１１０によって示される入力信号のスペクトルドメイン表示の値を含んでいても良い。しかし、帯域拡張された信号の表示１２０はまた、時間ドメイン表示であっても良く、この時間ドメイン表示は、第１パッチのスペクトルドメイン表示１３２と、第２パッチのスペクトルドメイン表示１４２とに基づいていても良い。さらに、任意ではあるが、例えば入力信号のスペクトルドメイン表示１１６の値及び／又は追加的なパッチのスペクトルドメイン表示に基づいていても良い。
入力信号表示に基づいて帯域拡張された信号の表示を生成するための、本発明の概念の概要を示す図２を参照しながら、装置１００の機能及び操作を、以下に詳細に説明する。
１番目のグラフ２００は、入力信号表示１１０によって示される入力信号の、位相ボコーダ１３０によって実行されるハーモニックな転位を示す。このグラフから分かるように、入力信号は、例えば絶対値αkのセットを用いて表示される。この指数ｋは、例えば高速フーリエ変換の指数ｋを有するｂｉｎか、又はＱＭＦ変換の指数ｋを有する周波数帯域のようなスペクトルｂｉｎを示す。入力信号表示１１０は、例えばｋ＝1〜ｋ＝ζを満たす絶対値αkを含んでいても良く、ここで、ζは所謂クロスオーバー周波数ｂｉｎを示し、帯域拡張の開始周波数(frequency
onset)を表している。基本周波数領域は、例えば位相値φkにより示され、ここで、上述したようにｋは周波数ｂｉｎ指数である。
同様に、第１パッチは、例えば値βkのようなスペクトルドメイン表示の値のセットによって示され、ここで、ｋはζと2ζとの間の値である。代わりに、第１パッチは、絶対値αk及び位相値φkにより表示されても良く、ここで、周波数ｂｉｎ指数ｋは、ζと2ζとの間の値である。
上述したように、位相ボコーダ１３０は、入力信号表示１１０に基づいてハーモニックな転位を実行し、第１パッチのスペクトルドメイン表示１３２を取得する。この目的で、位相ボコーダ１３０は、（周波数ｂｉｎ）指数２ｋを有する周波数ｂｉｎの絶対値α2kの値を、（周波数ｂｉｎ）指数ｋを有する周波数ｂｉｎの絶対値αkの値に等しくなるよう設定しても良い。さらに、位相ボコーダ１３０は、指数２ｋを有する周波数ｂｉｎの位相値φ2kを、指数ｋを有する周波数ｂｉｎに関連した位相値φkの２倍に等しくなるよう設定しても良い。この場合には、指数ｋを有する周波数ｂｉｎは、入力信号表示１１０の周波数ｂｉｎであっても良く、指数２ｋを有する周波数ｂｉｎは、第１パッチのスペクトルドメイン表示１３２の周波数ｂｉｎであっても良い。さらに、指数２ｋを有する周波数ｂｉｎは、指数ｋを有する周波数ｂｉｎの中に含まれた１つの周波数の第１ハーモニックである、周波数を含んでも良い。このようにして、絶対値α2kと位相値φ2kとが取得されても良く、これらの値は、第１パッチのスペクトルドメイン表示１３２の値であり、ここで、２ｋはζ〜2ζの範囲を有し、α2k＝αkであり、φ2k＝2φkである。同等の代替方法として、第１パッチのスペクトルドメイン表示１３２の値である値β2kが、ζ〜2ζの範囲の２ｋのために、β2k＝αkｅj2Φkとなるよう取得されても良い。
要約すれば、例えば高速フーリエ変換表示の周波数ｂｉｎか又はＱＭＦドメイン表示の周波数帯域等である、指数ｋ（又は同様に、指数２ｋなど）を有する周波数ｂｉｎが、周波数において線形的に間隔が保たれた場合には、ハーモニックな転位が位相ボコーダ１３０により達成される。その結果、例えばｋ又は２ｋなどの周波数ｂｉｎ指数は、それぞれの周波数ｂｉｎ内に含まれる周波数、例えばｋ番目の高速フーリエ変換周波数ｂｉｎの中央周波数か、又はｋ番目のＱＭＦ帯域の中央周波数に対し、少なくとも近似的に比例するようになる。
他方、第２パッチのスペクトルドメイン表示１４２の値は、値コピー手段１４０によって取得され、このコピー手段は、第１パッチのスペクトルドメイン表示の値１３２の非ハーモニックなコピーを実行する。
次に、グラフ２５０を参照して、非ハーモニックなコピーを簡単に説明する。このグラフから分かるように、第１パッチは値βζ〜β2ζにより、又は同等の代替手段として、絶対値αζ〜α2ζ及び位相値φζ〜φ2ζにより表示される。第２パッチのスペクトルドメイン表示１４２の値β2ζ〜β3ζ、又は同様に絶対値α2ζ〜α3ζ及び位相値φ2ζ〜φ3ζは、値コピー手段１４０による非ハーモニックなコピー操作により取得される。例えば、第２パッチのスペクトルドメイン表示１４２の複素スペクトル値β2ζ〜β3ζは、第１パッチのスペクトルドメイン表示１３２の対応する値βζ〜β2ζに基づき、2ζ〜3ζの値ｋについて、βk＝βk-ζに従って取得されても良い。同等の代替手段として、第２パッチのスペクトルドメイン表示１４２の絶対値α2ζ〜α3ζは、第１パッチのスペクトルドメイン表示１３２の絶対値に基づき、2ζ〜3ζの値ｋについて、αk＝αk-ζに従って取得されても良い。この場合、第２パッチのスペクトルドメイン表示１４２の位相値φ2ζ〜φ3ζは、第１パッチのスペクトルドメイン表示１３２の位相値φζ〜φ2ζに基づき、2ζ〜3ζの値ｋについて、φk＝φk-ζに従って取得されても良い。
このようにして、第２パッチのスペクトルドメイン表示１４２の値は、第１パッチのスペクトルドメイン表示１３２の値によって表示される信号に対して非ハーモニックに（即ち線形的に）周波数シフトされた信号を表示する。
帯域拡張された信号の表示１２０を得るために、第１パッチのスペクトルドメイン表示１３２の値βζ〜β2ζと、第２パッチのスペクトルドメイン表示１４２の値β2ζ〜β3ζとの両方が使用されても良い。条件によるが、帯域拡張された信号の表示１２０は、スペクトルドメイン表示でも時間ドメイン表示でも良い。もし時間ドメイン表示を得ることが必要な場合には、周波数ドメインから時間ドメインへの変換器を使用し、第１パッチのスペクトルドメイン表示１３２の値βζ〜β2ζと、第２パッチのスペクトルドメイン表示１４２の値β2ζ〜β3ζとに基づき、時間ドメイン表示を導出しても良い。代わりに（かつ同等手段として）、値αζ〜α2ζと、値φζ〜φ2ζと、値α2ζ〜α3ζと、値φ2ζ〜φ3ζとを使用して、帯域拡張された信号のスペクトルドメイン又は時間ドメインにおける表示１２０を導出しても良い。
上述したように、図１及び図２を参照して説明した概念は、良好な聴覚的印象をもたらす一方で、演算の複雑さは比較的低い。複数のパッチ（例えば第１パッチ及び第２パッチ）が使用されるが、位相ボコーダによる操作はただ１度だけ必要となる。さらに、もし第２パッチを得るために追加的な位相ボコーダを使用した場合には発生したであろう、第２パッチの中に大きなスペクトル穴が開くという現象を回避できる。従って、本発明の概念は、演算の複雑さと達成可能な聴覚的印象との相反関係において、非常に好都合な妥協点を提供する。
加えて、本発明のいくつかの実施例においては、第１パッチのスペクトルドメイン表示１３２の値を基にして、さらに追加的なパッチを取得しても良いことに注目すべきである。例えば、本発明の概念の任意の発展例において、第１パッチのスペクトルドメイン表示１３２の値を基にして、さらに追加的な値コピー手段を使用して、第３のパッチのスペクトルドメイン表示の値を取得しても良い。これについては、後段において図３を参照しながら詳細に説明する。
図１及び図２に係る実施例（さらに他の実施例も含む）は、様々な方法で修正可能である。例えば、第１パッチは位相ボコーダを使用して取得し、第２，第３，第４のパッチはスペクトル値のコピー操作によって取得することもできる。他の方法として、第１及び第２パッチは位相ボコーダを使用して取得し、第３及び第４のパッチはスペクトル値のコピー操作によって取得することもできる。当然ながら、位相ボコーダによる操作とコピー操作との別の組合せも適用できる。
また別の方法として、入力信号表示のスペクトル値のコピー操作（値コピー手段）を使用して第１パッチを取得し、第２パッチは、値コピー手段を用いて取得されたコピー済の第１パッチの値を基にして、位相ボコーダを使用して取得することもできる。
２．図３に係る実施例
以下に、図３を参照しながら、オーディオ復号器３００について説明する。図３は、入力信号表示に基づいて帯域拡張された信号の表示を生成するための装置を含む、オーディオ復号器３００の詳細な概要ブロック図である。
２．１ オーディオ復号器の概要
オーディオ復号器３００は、データストリーム３１０を受け取り、かつそれを基にして、オーディオ波形３１２を提供するよう構成されている。オーディオ復号器３００は、データストリーム３１０を基にして、パルス符号変調済のデータ（「ＰＣＭデータ」）３２２を提供する、コア復号器３２０を備えている。コア復号器３２０は、例えば非特許文献１２に記載されているようなオーディオ復号器であっても良い。コア復号器３２０は、この非特許文献１２に記載され、かつ当業者には公知である、いわゆる高圧縮オーディオ符号化（ＡＡＣ）のコア復号器であっても良い。パルス符号変調済のオーディオデータ３２２は、データストリーム３１０を基にして、コア復号器３２０によって提供される。パルス符号変調済のオーディオデータ３２２は、例えば、１０２４個のサンプルからなるフレーム長を持っていても良い。
また、オーディオ復号器３００は、例えば１０２４個のサンプルのフレーム長を持つパルス符号変調済のオーディオデータ３２２を受け取り、かつそれを基にして、オーディオ波形３１２を提供するよう構成された、帯域拡張部（又は帯域拡張手段）３３０を備えている。また、この帯域拡張部（又は帯域拡張手段）３３０は、ある制御データ３３２をデータストリーム３１０から受け取る。帯域拡張部３３０は、パルス符号変調済のオーディオデータ３２２を受け取り、かつそれを基にして、パッチ済のＱＭＦデータ３４２を提供する、パッチ済ＱＭＦデータの準備部（又はパッチ済ＱＭＦデータ準備手段）３４０を備える。また、帯域拡張部３３０は、パッチ済のＱＭＦデータ３４２と包絡フォーマット制御データ３４６とを受け取り、かつそれを基にして、包絡フォーマットされたパッチ済ＱＭＦデータ３４８を提供する、包絡フォーマット部（又は包絡フォーマット手段）３４４をさらに備える。また、帯域拡張部３３０は、包絡フォーマットされたパッチ済ＱＭＦデータ３４８を受け取り、かつそれを基にして、ＱＭＦ合成を実行することで波形３１２を提供する、ＱＭＦ合成部（又はＱＭＦ合成器）３５０をさらに備える。
２．２ パッチ済ＱＭＦデータの準備３４０
２．２．１ パッチ済ＱＭＦデータの準備−概要−
（ハードウエアの構成内の中のパッチ済ＱＭＦデータ準備手段３４０により実行されても良い）パッチ済ＱＭＦデータの準備部３４０は、２つのモード、即ち、スペクトル帯域複製（ＳＢＲ）パッチングを実行する第１のモードと、ハーモニックな帯域拡張（ＨＢＥ）パッチングを実行する第２のモードとの間で切替可能であっても良い。例えば、パルス符号変調済のオーディオデータ３２２は、遅延器３６０により遅延されて、遅延されたパルス符号変調済のオーディオデータ３６２が取得され、この遅延されたパルス符号変調済のオーディオデータ３６２は、３２帯域ＱＭＦ分析器３６４を用いてＱＭＦドメインへと変換されても良い。３２帯域ＱＭＦ分析器３６４の出力は、例えば、遅延されたパルス符号変調済のオーディオデータ３６２の３２帯域のＱＭＦドメイン（即ちスペクトルドメイン）表示３６５であるが、ＳＢＲパッチ手段３６６とハーモニック帯域拡張パッチ手段３６８とに提供されても良い。
ＳＢＲパッチ手段３６６は、例えばスペクトル帯域複製パッチングを実行しても良く、このパッチングは、例えば非特許文献１３に説明されている通りである。その結果、ＳＢＲパッチ手段３６６は６４帯域のＱＭＦドメイン表示３７０を提供しても良い。
代替的又は追加的に、ハーモニック帯域拡張パッチ手段３６８は６４帯域のＱＭＦドメイン表示３７２を提供しても良く、この表示はＰＣＭオーディオデータ３２２の帯域拡張された表示である。データストリーム３１０から抽出された帯域拡張制御データ３３２により制御される切替器３７４が使用され、パッチ済のＱＭＦデータ３４２を取得するために、スペクトル帯域複製パッチング３６６又はハーモニック帯域拡張パッチング３６８のどちらを適用すべきかを決定しても良い。即ち、パッチ済のＱＭＦデータ３４２は、切替器３７４の状態により、６４帯域のＱＭＦドメイン表示３７０か、６４帯域のＱＭＦドメイン表示３７２かのどちらかに等しくなる。
２．２．２ パッチ済ＱＭＦデータの準備―ハーモニック帯域拡張部３６８
以下に、（少なくとも部分的な）ハーモニック帯域拡張パッチング３６８についてより詳細に説明する。ハーモニック帯域拡張パッチング３６８はある信号経路を備え、この信号経路内においては、パルス符号変調済のオーディオデータ３２２又はその前処理済のバージョンが、スペクトルドメイン（例えば高速フーリエ変換係数ドメイン或いはＱＭＦドメイン）へと変換され、ハーモニック帯域拡張がこのスペクトルドメイン内で実行され、かつ、結果として得られた帯域拡張された信号のスペクトルドメイン表示又はそれから導出されるある表示が、ハーモニック帯域拡張パッチングに使用される。
図３の実施例においては、パルス符号変調済のオーディオデータ３２２は、ダウンサンプル手段３８０において、例えば係数２によってダウンサンプルされ、その結果、ダウンサンプルされたパルス符号変調済オーディオデータ３８１が得られる。ダウンサンプルされたパルス符号変調済オーディオデータ３８１は、次に、例えば５１２サンプルのウインドウ長を備えていても良い、ウインドウ化手段３８２によってウインドウ化される。ここで注目すべきは、このウインドウは、後続の処理ステップにおいて、例えばダウンサンプルされたパルス符号変調済オーディオデータ３８１の６４サンプル分だけシフトされ、その結果、ダウンサンプルされたパルス符号変調済オーディオデータのウインドウ化済部分３８３における比較的大きなオーバーラップが達成されるという点である。
オーディオ復号器３００は、パルス符号変調済のオーディオデータ３２２内の過渡を検出する過渡検出器３８４をさらに備える。過渡検出器３８４は、ＰＣＭオーディオデータ３２２それ自身に基づくか、或いはデータストリーム３１０に含まれるサイド情報に基づいて、過渡の存在を検出しても良い。
ダウンサンプルされたＰＣＭオーディオデータ３８１のウインドウ化済部分３８３は、第１の処理分枝３８６又は第２の処理分枝３８８の一方を選択的に使用して、処理されることができる。第１の処理分枝３８６は、ダウンサンプルされたＰＣＭオーディオデータのうち、非過渡のウインドウ化済部分３８３（即ち過渡検出器３８４が過渡の存在を否定した部分）を処理するために使用され、第２の処理分枝３８８は、ダウンサンプルされたＰＣＭオーディオデータのうち、過渡のウインドウ化済部分３８３（即ち過渡検出器３８４が過渡の存在を指摘した部分）を処理するために使用されても良い。
第１の処理分枝３８６は、非過渡のウインドウ化済部分３８３を受け取り、かつそれを基にして、ウインドウ化済部分３８３の帯域拡張された表示３８７，４３４を提供する。同様に、第２の処理分枝３８８は、ダウンサンプルされたＰＣＭオーディオデータ３８１の過渡のウインドウ化済部分３８３を受け取り、かつそれを基にして、（過渡の）ウインドウ化済部分３８３の帯域拡張された表示３８９を提供する。上述したように、過渡検出器３８４は、現時点のウインドウ化済部分３８３が、非過渡のウインドウ化済部分であるか又は過渡のウインドウ化済部分であるかを決定し、その結果により、現時点のウインドウ化済部分３８３の処理は、第１の処理分枝３８６又は第２の処理分枝３８８のどちらかを使用して実行される。従って、異なるウインドウ化済部分３８３は異なる分枝３８６及び３８８によって処理されても良く、この時、時間的に連続するウインドウ化済部分３８３同士の間にはかなりの時間的オーバーラップがあることから、連続するウインドウ化済部分３８３の連続する帯域拡張された表示３８７，３８９の間には、かなりの時間的オーバーラップがある。
ハーモニック帯域拡張部３６８は、（時間的に連続する）異なるウインドウ化済部分３８３にそれぞれ関連する帯域拡張された異なる表示３８７，３８９を、オーバーラップさせ且つ加算するオーバーラップ及び加算器３９０をさらに備える。オーバーラップ及び加算の増分は、例えば２５６サンプルに設定されても良い。このようにして、オーバーラップされ且つ加算された信号３９２が取得される。
ハーモニック帯域拡張３６８は、オーバーラップされ加算された信号３９２を受け取り、かつそれに基づいて６４帯域のＱＭＦドメイン信号３９６を提供する６４帯域ＱＭＦ分析器３９４をさらに備える。この６４帯域ＱＭＦドメイン信号３９６は、例えば３２帯域ＱＭＦ分析器３６４によって提供される３２帯域ＱＭＦドメイン信号３６５よりも、広い周波数領域を表示しても良い。
ハーモニック帯域拡張部３６８は、３２帯域ＱＭＦ分析器３６４によって提供される３２帯域ＱＭＦドメイン信号と、６４帯域ＱＭＦドメイン信号３９６との両方を受け取り、かつこれらの信号を結合させる結合器３９８をさらに備えている。例えば、６４帯域ＱＭＦドメイン信号３９６の低周波領域（又は基本周波数領域）成分は、３２帯域ＱＭＦ分析器３６４によって提供される３２帯域ＱＭＦドメイン信号３６５によって置換されるか、又は信号３６５と結合され、その結果、例えば６４帯域のＱＭＦドメイン信号３７２の３２個の低周波領域（又は基本周波数領域）成分は、３２帯域ＱＭＦ分析器３６４によって決定され、かつ、６４帯域のＱＭＦドメイン信号３７２の３２個の高周波領域成分は、６４帯域ＱＭＦドメイン信号３９６の３２個の高周波領域成分によって決定されるようにしても良い。
当然ながら、ＱＭＦドメイン信号の成分の数は、各具体例の条件に従って変化しても良い。当然ながら、低周波領域とも呼ばれる基本周波数領域と、高周波領域とも呼ばれる帯域拡張周波数領域との間の転位の周波数位置は、クロスオーバー周波数に依存しても良いし、又は、パルス符号変調済のオーディオデータ３２２により表示されるオーディオ信号の帯域幅に依存しても良い。
次に、第１の処理分枝３８６に係る詳細を説明する。第１の分枝３８６は時間ドメインから周波数ドメインへの変換器４００を備え、この変換器４００は、例えばダウンサンプルされたパルス符号変調済オーディオデータ３８１の５１２個の時間ドメインサンプルのウインドウ化済部分３８３を基にして、５１２個の高速フーリエ変換係数を提供する高速フーリエ変換手段として実現されても良い。この場合、高速フーリエ変換周波数ｂｉｎは、１からＮ＝５１２までの範囲を持つ、連続的な整数の周波数ｂｉｎの指数ｋを用いて示される。
第１の分枝３８６は、高速フーリエ変換係数の絶対値αkを提供する絶対値提供器４０２をさらに備える。また、第１の分枝３８６は、高速フーリエ変換係数の位相値φkを提供する位相値提供器４０４をさらに備える。
第１の分枝３８６は、位相ボコーダ４０６をさらに備え、この位相ボコーダ４０６は、絶対値αkと位相値φkとを入力信号表示として受け取り、上述した位相ボコーダ１３０のような機能を備えていても良い。この場合、位相ボコーダ４０６は、第１パッチのスペクトルドメイン表示の値β2kを、βζ〜β2ζの間の範囲内で出力しても良い。値β2kは符号４０８で示されるが、第１パッチのスペクトルドメイン表示１３２の値に等しくても良い。第１の分枝３８６は値コピー手段４１０をさらに備え、この値コピー手段４１０は、上述した値コピー手段１４０と同じ機能を備え、かつ値β2kを例えばβζ〜β2ζの範囲内で入力情報として受け取っても良い。この場合、第１の値コピー手段４１０は、値βkをβ2ζ〜β3ζの範囲内で提供しても良く、この値βkは符号４１２で示され、第２パッチのスペクトルドメイン表示１４２の値β2ζ〜β3ζと同じでも良い。加えて、第１の分枝３８６は（任意ではあるが）第２の値コピー手段４１４をさらに備え、この値コピー手段４１４は、位相ボコーダ４０６によって提供される（符号４０８でも示される）値βζとβ2ζを受け取り、且つそれに基づいて、コピー操作を使用してスペクトル値β3ζ〜β4ζを提供するように構成されている。このコピー操作は、（符号４０８でも示される）βζ〜β2ζの値によって示されるスペクトルの非ハーモニックな周波数シフトという効果的な結果をもたらす。この場合、第２の値コピー手段４１４は、符号４１６で示される第３のパッチのスペクトルドメイン表示のスペクトル値β3ζ〜β4ζを提供する。
第１の分枝３８６は、任意の補間器４２０をさらに備え、この補間器４２０は、第２パッチ及び第３のパッチのスペクトルドメイン表示の値４１２及び４１６を（任意ではあるが、第１パッチのスペクトルドメイン表示の値４０８も追加して）受け取り、且つ、第２及び第３のパッチの（任意ではあるが、第１パッチも追加した）スペクトルドメイン表示の補間された値４２２を提供しても良い。
第１の分枝３８６は、ゼロ・パッド手段４２４をさらに備え、このゼロ・パッド手段４２４は、第２及び第３のパッチの（任意ではあるが、第１パッチも追加した）スペクトルドメイン表示の補間された値４２２（又は、代替的に元の値４１２,４１６）を受け取り、且つ、それを基にして、スペクトルドメイン表示の値のゼロ・パッドされたバージョンを取得するように構成されても良い。このバージョンは、スペクトルドメインから時間ドメインへの変換器４２８の大きさに適合させるためにゼロ・パッドされたものである。
スペクトルドメインから時間ドメインへの変換器４２８は、例えば逆高速フーリエ変換器として構成されても良い。例えば、逆高速フーリエ変換器４２８は、２０４８個の任意に補間及びゼロ・パッドされたスペクトル値からなるセットを受け取り、且つ、それを基にして、帯域拡張された信号部分の時間ドメイン表示４３０を提供しても良い。第１の分枝３８６は合成ウインドウ化手段４３２をさらに備え、この合成ウインドウ化手段４３２は、帯域拡張された信号部分の時間ドメイン表示４３０を受け取り、且つ合成ウインドウ化を適用し、その結果、帯域拡張された信号部分の時間ドメイン表示４３０の合成ウインドウ化済バージョンを取得する。
オーディオ復号器３００はまた、第１の処理経路３８６と非常に良く似た処理を実行する第２の処理経路３８８を備える。第２の処理経路３８８は、ダウンサンプルされたパルス符号変調済オーディオデータ３８１のウインドウ化済の過渡部分３８３を受け取り、このウインドウ化済部分３８３からゼロ・パッド済のバージョン４３９を導出する時間ドメインのゼロ・パッド手段４３８を備える。これにより、ゼロ・パッド済部分４３９の始点と終点とはゼロを用いてパッドされ、且つ、過渡はゼロ・パッド済部分４３９の中央領域（ゼロ・パッド済の始点のサンプルとゼロ・パッド済の終点のサンプルとの間の領域）に配置されるようになる。
第２の処理経路３８８は、時間ドメインから周波数ドメインへの変換器４４０を備え、この変換器４４０は、例えば高速フーリエ変換器又はＱＭＦ（直交ミラー・フィルタバンク）である。この時間ドメインから周波数ドメインへの変換器４４０は、典型的には、第１の分枝の時間ドメインから周波数ドメインへの変換器４００よりも多数の周波数ｂｉｎ（例えば高速フーリエ変換周波数ｂｉｎ又はＱＭＦ帯域）を備える。例えば、高速フーリエ変換器４４０は、１０２４個の時間ドメインサンプルからなるゼロ・パッド済部分４３９から、１０２４個の高速フーリエ変換係数を導出しても良い。
第２の処理分枝３８８は、絶対値提供器４４２及び位相値提供器４４４をさらに備える。これらの提供器は、第１の分枝３８６の対応する手段４０２及び４０４と同じ機能を備えていても良いが、Ｎ＝１０２４の増大した大きさを持っている。同様に、第２の処理分枝３８８は、位相ボコーダ４４６と、第１の値コピー手段４５０と、第２の値コピー手段４５４と、任意の補間器４６０と、任意のゼロ・パッド手段４６４とを備え、これらの手段も、第１の分枝３８６の対応する手段と同じ機能を備えていても良いが、増大した大きさを持っている。特に、クロスオーバー帯域の指数ζは、第１の分枝３８６内よりも第２の処理分枝３８８内の方が、例えば２倍高くても良い。
この場合、例えば４０９６個の高速フーリエ変換係数を持つスペクトルドメイン表示を逆高速フーリエ変換器４６８へと提供しても良く、次にこの逆高速フーリエ変換器４６８は、４０９６個のサンプルを有する時間ドメイン信号４７０を提供しても良い。
第２の処理分枝３８８は、帯域拡張された信号部分の時間ドメイン表示４７０のウインドウ化済バージョンを提供する合成ウインドウ化手段４７２をさらに備える。
第２の処理分枝３８８は、帯域拡張された信号部分の時間ドメイン表示のウインドウ化済で短縮されたバージョン４７８を提供する、ゼロ除去器(zero-stripper)４７６をさらに備える。このウインドウ化済で短縮されたバージョン４７８は、例えば２０４８個のサンプルを持っていても良い。
上述のように、時間ドメイン表示３８７は、パルス符号変調済のオーディオデータ３２２の非過渡部分（例えばオーディオフレーム）のために使用され、時間ドメイン表示４７８は、パルス符号変調済のオーディオデータ３２２の過渡部分のために使用される。従って、過渡部分は、第２の処理分枝３８８においてより高いスペクトルドメイン分解能を用いて処理され、他方、非過渡部分は、第１の処理分枝３８６においてより低いスペクトル分解能を用いて処理される。
２．３ 包絡フォーマット部３４４
以下に、包絡フォーマット部３４４について簡単に要約する。加えて、本願明細書の導入部分内の各記述は、本発明の概念にも適用できるので、参照されたい。
６４帯域のＱＭＦドメイン信号３９６に基づいて得られたパッチ済ＱＭＦデータ３４２は、包絡フォーマット部３４４により処理されて信号表示３４８が取得され、次にＱＭＦ合成器３５０へと入力される。包絡フォーマット部は、例えばパッチ済ＱＭＦデータ３４２のＱＭＦドメイン帯域信号を受け取り、ノイズ充填、欠損したハーモニックの再構築、及び／又は逆フィルタリングを実行する。ノイズ充填と、欠損したハーモニックの挿入と、逆フィルタリングとは、例えばデータストリーム３１０から抽出されるサイド情報３４６によって制御されても良い。さらに詳細な説明のためには、非特許文献１３に記載されたＳＢＲ装置についての説明を参照されたい。他にも、各条件に従って包絡フォーマットの様々な概念を適用することができる。
３． 様々な解決策についての説明と比較
次に、本発明が提示する解決策についての簡単な説明と要約を述べる。
本発明に係る実施例、例えば図１に示す装置１００及び図３に示すオーディオ復号器３００は、スペクトル帯域複製（ＳＢＲ）内の新たなパッチングアルゴリズムを含む。様々な信号特性や、ソフト或いはハードウエアの条件によって課せられる様々な制限に応えるために、様々な形式のスペクトルドメインパッチングを使用することができる。
標準的なＳＢＲでは、パッチングは常にＱＭＦドメイン内のコピー操作によって実行される。この操作は、時折、聴覚的アーチファクトを発生させる場合があり、特に、ＬＦ部分と生成されたＨＦ部分との境界において、正弦波同士が互いに近接する位置にコピーされた場合に発生させやすい。そのため、位相ボコーダの使用によるいくつかの問題を回避する、新たなパッチングアルゴリズムが導入されてきた（例えば非特許文献１１を参照）。このアルゴリズムは、図５の中で比較例として説明する。
標準的なＳＢＲは聴覚的アーチファクトの問題を含む。非特許文献１１に提示された位相ボコーダの手法は、特に計算すべき高速フーリエ変換の数が多いことから複雑である。加えて、高いパッチ(高い伸張係数)についてはスペクトルが非常に疎らな状態となり、結果として、望ましくないオーディオ・アーチファクトをもたらしてしまう。
様々なパッチの生成を時間ドメインから周波数ドメインへと移すことで、多数の高速フーリエ変換を回避する２つの例を提示する。図６は、高速フーリエ変換を使用して周波数ドメインへの変換を達成する例を示す。高速フーリエ変換の代わりに、他の時間・周波数変換も使用可能である。
図３は、図６に示すアルゴリズムの、ＳＢＲパッチングのための混成型の解決策を示している。第１パッチだけが位相ボコーダアルゴリズム（例えば第１の分枝３８６のブロック４０６と第２の分枝３８８のブロック４４６）により生成され、他方、それ以上のパッチ（例えば第２パッチや第３パッチ）は、例えば第１の分枝３８６の値コピー手段４１０，４１４及び／又は第２の分枝３８８の値コピー手段４５０，４５４を使用して、第１パッチをコピーすることで生成される。この方法は、粗さが少ないスペクトルをもたらす。
以下に、図６に示すオーディオ復号器に実装された比較例のアルゴリズムと、図３に示すオーディオ復号器に実装された本発明のアルゴリズムを、簡単に説明する。
図６に示すオーディオ復号器に実装された比較例のアルゴリズム又は参照アルゴリズムは、以下のステップを備える。
１． 信号のダウンサンプリング（もしナイキスト基準に差し支えない場合）
２． 信号がウインドウ化され（ここでは「ハン窓」を提案するが、他のウインドウ形状も使用可能である）、且つ、長さＮのいわゆる粒子(grains)（例えばウインドウ化済信号部分３８３）が信号から取り出される。ウインドウはホップサイズＨで信号上においてシフトされる。Ｎ／Ｈ＝８倍のオーバーラップを提案する。
３． もし、粒子（例えばウインドウ化済信号部分３８３）が端部に過渡イベントを含んでいた場合は、その過渡イベントは、例えばゼロ・パッド手段４３８によりゼロでパッドされ、その結果、周波数ドメインにおけるオーバーサンプリングをもたらす。
４． 粒子は、例えば時間ドメインからスペクトルドメインへの変換器４００，４４０を使用して、周波数ドメインへと変換される。
５． 周波数ドメインの粒子は、パッチングアルゴリズムの所望の出力長さへと（任意に）パッドされる。
６． 絶対値と位相が例えば手段４０２，４０４，４４２，４４４を使用して計算される。
７． 周波数ｂｉｎのコンテンツｎが伸張係数ｓに応じた位置ｓｎにコピーされる。位相は伸張係数ｓにより乗算される。この計算は（所望のパッチをカバーするスペクトル内の領域についてだけ）全ての伸張係数ｓについて実行される。
（ａ） ζ・(s-1)/s≦n≦ζ 又は（ｂ） ζ/s≦n≦ζ
であり、パッチがオーバーラップすることから、（ｂ）は（ａ）よりも緻密なスペクトルをもたらす。ζはＬＦ部分の最高周波数、即ち所謂クロスオーバー周波数を示す。一般的に、新たなサンプル位置（例えば周波数位置）に対して位相が修正されるが、この修正は、ここで説明するアルゴリズム又は他の適切なアルゴリズムを使用して達成される。
８． コピー操作により何もデータが得られない周波数ドメインｂｉｎは、例えば補間器４２０，４６０を使用して補間機能を適用することで、満たすことができる。
９． 粒子は、例えば逆高速フーリエ変換器４２８，４６８を使用して、時間ドメインへと逆変換される。
１０． 時間ドメイン粒子は、例えば合成ウインドウ化手段４３２，４７２を使用して、合成ウインドウと乗算される（再度「ハン窓」を提案する）。
１１． ステップ３でゼロ・パッドが実行された場合には、例えばゼロ除去器４７６を用いてゼロが除去される。
１２． 例えば信号３９２などの帯域拡張された信号又はフレームが、例えばオーバーラップ及び加算器３９０を用いてオーバーラップ及び加算（ＯＬＡ）を実行することで、それぞれ生成される。
他の実施例において個々のステップの順序が入れ替わっても良いし、また、他の実施例においていくつかのステップを単一のステップにまとめても良い。
図３に示すオーディオ復号器で実施される本発明のアルゴリズムは、次のステップを備える。
１． 信号のダウンサンプリング（もしナイキスト基準に差し支えない場合）
２． 信号がウインドウ化され（ここでは「ハン窓」を提案するが、他のウインドウ形状も使用可能である）、且つ、長さＮのいわゆる粒子（例えばウインドウ化済信号部分３８３）が信号から取り出される。ウインドウはホップサイズＨで信号上においてシフトされる。Ｎ／Ｈ＝８倍のオーバーラップを提案する。
３． もし、粒子（例えばウインドウ化済信号部分３８３）が端部に過渡イベントを含んでいた場合は、その過渡イベントは、例えばゼロ・パッド手段４３８によりゼロでパッドされ、その結果、周波数ドメインにおけるオーバーサンプリングをもたらす。
４． 粒子は、例えば時間ドメインからスペクトルドメインへの変換器４００，４４０を使用して、周波数ドメインへと変換される。
５． 周波数ドメインの粒子は、パッチングアルゴリズムの所望の出力長さへと（任意に）パッドされる。
６． 絶対値と位相が例えば手段４０２，４０４，４４２，４４４を使用して計算される。
７．ａ）周波数ｂｉｎのコンテンツｎが位置２ｎにコピーされる。位相は２で乗算される。
（ａ） ζ・(s-1)/s≦n≦ζ 又は（ｂ） ζ/s≦n≦ζ (上述の説明を参照)
７． ｂ）周波数ｂｉｎのコンテンツ２ｎが、s＞2の全ての伸張係数ｓについて1≦n≦ζの範囲で位置ｓｎにコピーされる。
８． コピー操作により何もデータが得られない周波数ドメインｂｉｎは、例えば補間器４２０，４６０を使用して補間機能を適用することで、満たすことができる。
９. 粒子は、例えば逆高速フーリエ変換器４２８，４６８を使用して、時間ドメインへと逆変換される。
１０. 時間ドメイン粒子は、例えば合成ウインドウ化手段４３２，４７２を使用して、合成ウインドウと乗算される（再度「ハン窓」を提案する）。
１１．ステップ３でゼロ・パッドが実行された場合には、例えばゼロ除去器４７６を用いてゼロが除去される。
１２. 例えば信号３９２などの帯域拡張された信号又はフレームが、例えばオーバーラップ及び加算器３９０を用いてオーバーラップ及び加算（ＯＬＡ）を実行することで、それぞれ生成される。
他の実施例において個々のステップの順序が入れ替わっても良いし、また、他の実施例においていくつかのステップを単一のステップにまとめても良い。
このように、（図６に示すオーディオ復号器で実施される）参照アルゴリズムと、（図３に示すオーディオ復号器で実施される）本発明のアルゴリズムとを比較すれば、ステップ７を除いて全てのステップが同一である。即ち、図６のステップ７は、図３では次のように置き換えられている。
７．ａ）周波数ｂｉｎのコンテンツｎが位置２ｎにコピーされる。位相は２で乗算される。
（ａ） ζ・(s-1)/s≦n≦ζ 又は（ｂ） ζ/s≦n≦ζ (上述の説明を参照)
７．ｂ）周波数ｂｉｎのコンテンツ２ｎが、s＞2の全ての伸張係数ｓについて1≦n≦ζの範囲で位置ｓｎにコピーされる。
要約すれば、図１，図２，図３，図４に従う実施例（及び図６に示すオーディオ復号器）は、上述した従来の解決策と比較して、第１に、複雑さを劇的に減少させている。第２に、これらの実施例は、標準的なＳＢＲ又は図５に示す例（例えば非特許文献１１を参照）とは異なり、様々なスペクトル修正を可能にする。
例えば、図１，図２，図３，図４に従う装置，オーディオ復号器及び方法によって実行されるアルゴリズムは、スピーチ信号に対して利益をもたらす可能性がある。なぜなら、スピーチ信号に典型的なパルス列構造は、非特許文献１１に提示された手法よりも良好に保持されるからである。
本発明に係る実施例の最も重要な適用例は、携帯機器内に構成され、従って電池の電力で作動するオーディオ復号器である。
４． 図４における方法
入力信号表示に基づいて帯域拡張された信号の表示を生成するための方法４００を、そのフローチャートを示す図４を参照しながら以下に説明する。この方法４００は、帯域拡張された信号の第１パッチのスペクトル・ドメイン表示の値を、入力信号表示に基づき、位相ボコーダを使用して取得するステップ４１０を備える。この方法４００はまた、第１パッチのスペクトルドメイン表示の値のセットをコピーする、ステップ４２０をさらに備える。これら第１パッチの値は位相ボコーダを用いて取得され、この第１パッチの値は第２パッチのスペクトルドメイン表示の値のセットを取得するために使用され、第２パッチは第１パッチよりも高い周波数に関連する。この方法４００はまた、第１パッチのスペクトルドメイン表示の値と、第２パッチのスペクトルドメイン表示の値とを使用して、帯域拡張された信号の表示を取得するステップ４３０をさらに備える。
本発明の方法４００には、本発明の装置に関して説明した、いかなる手段及び機能によっても補足することができる。
５． その他の実施例
これまでいくつかの態様を装置に関して説明してきたが、これらの態様は、対応する方法の説明でもあることは明らかであり、各ブロック又は装置は、方法ステップの各ステップ又は特徴に対応している。同様に、方法ステップに関して説明する態様もまた、対応する装置の対応するブロック，項目又は特徴を説明するものである。方法ステップのいくつか又は全ては、例えばマイクロプロセッサ，プログラム可能なコンピュータ又は電子回路などの、ハードウエア装置により（又はハードウエア装置を使用して）実行されても良い。ある実施例では、最も重要な方法ステップのうちの１つ又は複数のステップが、そのような装置により実行されても良い。
実施条件によるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成される。この構成は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ブルーレイ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ又はフラッシュメモリなどを使用して実行することができる。従って、これらデジタル記憶媒体はコンピュータ読取可能であっても良い。
本発明のいくつかの実施形態は、本発明の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読出し可能な制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の１つを実行するプログラムコードを有する、コンピュータプログラム製品として実現することができる。このプログラムコードは、例えば機械読出し可能なキャリアに記憶されても良い。
本発明の他の実施形態は、機械読出し可能なキャリアに記憶され、本発明の方法の１つを実行するためのコンピュータプログラムを備えている。
換言すれば、本発明の方法のある実施形態は、コンピュータプログラムがコンピュータ上で作動するときに、本発明の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の方法の他の実施形態は、本発明の方法の１つを実行するためのコンピュータプログラムを記憶した、データキャリア又はデジタル記憶媒体或いはコンピュータ読出し可能な媒体である。
本発明の方法の他の実施形態は、本発明の方法の１つを実行するためのコンピュータプログラムを表示する、データストリーム又は信号のシーケンスである。このデータストリーム又は信号のシーケンスは、例えばインターネット等のように、データ通信網を介して伝送されるよう構成されても良い。
本発明の他の実施形態は、本発明の方法の１つを実行するよう構成されるか又は実行するのに適合した、例えばコンピュータ又はプログラム可能な論理回路として構成された、ある処理手段を備える。
本発明の他の実施形態は、本発明の方法の１つを実行するコンピュータプログラムがインストールされた、コンピュータを備える。
本発明の方法のいくつかの実施形態は、本発明の方法のいくつか又は全ての機能を実行するために、例えば書換え可能ゲートアレイ等のプログラム可能な論理回路を使用しても良い。本発明の方法のいくつかの実施形態では、本発明のある方法を実行するために、書換え可能ゲートアレイはマイクロプロセッサと協働しても良い。一般的に、本発明の方法は、いかなるハードウエア装置によっても実行できることが好ましい。
上述した実施の形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について、修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、以下に添付する特許請求の範囲の技術的範囲によってのみ限定されるものであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。
６． 図５における比較例
以下に、図５を参照しながら、ある比較例について説明する。図５に係る比較例の機能は、図３に係るオーディオ復号器の機能に類似しており、よって、各手段及び機能の説明は省略する。しかし、図５の比較例は、各処理分枝において、３つの位相ボコーダ５９０，５９２，５９４又は５９６，５９７，５９８を使用する。図５に示すように、それぞれ個別の逆高速フーリエ変換器、合成ウインドウ化手段、オーバーラップ及び加算器が、それぞれ個別の位相ボコーダに対して関連付けられている。さらに、サブ分枝のいくつかにおいて、個別のダウンサンプリング（↓ファクタ）及び個別の遅延（z-samples）が使用される。従って、図５に係る装置５００は、図３に係る装置３００と同等の演算効率は得られない。しかし、図５に係る装置５００は、従来のいくつかのオーディオ復号器と比較して、有意な改善をもたらす。
７． 図６における比較例
図６は、さらに他の比較例に係る他のオーディオ復号器６００を示す。この図６に係るオーディオ復号器６００は、図３，図５に係るオーディオ復号器３００，５００に類似している。しかし、このオーディオ復号器６００は、各処理分枝において、複数の位相ボコーダ６９０，６９２，６９４又は６９６，６９７，６９８を使用し、これに起因して、図３に係る装置３００よりも複雑な演算が必要となり、且つ、可聴アーチファクトが発生する場合も起こり得る。しかしながら、図６に係る装置６００は、従来のいくつかのオーディオ復号器と比較すれば、有意な改善をもたらす。
８． まとめ
上述の説明から分かるように、図１に係る装置１００，図３に係る装置３００，図４に係る方法４００は、図５及び図６を参照しながら簡単に説明した比較例に比べ、いくつかの利点をもたらす。
本発明の概念は、幅広い適用範囲を有し、多数の修正方法が可能である。特に、高速フーリエ変換はＱＭＦフィルタバンクで置換されても良いし、逆高速フーリエ変換はＱＭＦ合成器によって置換されても良い。
さらに、いくつかの実施形態においては、処理ステップのうちのいくつか又は全てのステップを、単一のステップにまとめることも可能である。例えば、ＱＭＦ合成と後続のＱＭＦ分析とを含む処理のシーケンスは、この反復する変換を省略することで簡素化しても良い。

Claims (17)

  1. 入力信号表示（１１０；３８３）に基づいて帯域拡張された信号の表示（１２０；４２６）を生成する装置（１００；３８６）であって、
    前記入力信号表示に基づいて、帯域拡張された信号の第１パッチのスペクトルドメインの値（βζ・・・β2ζ, ４０８）を取得する位相ボコーダ（１３０；４０６）と、
    前記位相ボコーダにより提供された前記第１パッチのスペクトルドメイン表示の値のセット（βζ・・・β2ζ, ４０８）をコピーして、第２パッチのスペクトルドメイン表示の値のセット（β2ζ・・・β3ζ,４０８）を取得する値コピー手段（１４０；４１０，４１６）とを備え、
    前記第２パッチは前記第１パッチよりも高い周波数に関連し、
    前記第１パッチのスペクトルドメイン表示の値と、前記第２パッチのスペクトルドメイン表示の値とを使用して、前記帯域拡張された信号の表示（１２０；４２６）を取得することを特徴とする装置（１００；３８６）。
  2. 前記位相ボコーダ（１３０；４０６）は、複数の所定の周波数サブ領域に関連する前記入力信号表示（１１０；３８３）の絶対値のセット(αζ/2・・・αζ)をコピーして、対応する周波数サブ領域に関連した前記第１パッチの絶対値のセット(αζ・・・α2ζ)を取得し、
    前記入力信号表示の所定の周波数サブ領域と、前記第１パッチの対応する周波数サブ領域との対が、基本周波数と、その基本周波数のハーモニックとの対をカバーし、
    前記位相ボコーダ（１３０；４０６）は、前記複数の所定の周波数サブ領域に関連した前記入力信号表示の位相値(φζ/2・・・φζ)に所定の係数を乗算することで、対応する周波数サブ領域に関連した前記第１パッチの位相値(φζ・・・φ2ζ)のセットを取得し、
    前記値コピー手段（１４０；４１０）は、複数の所定の周波数サブ領域に関連した前記第１パッチの値のセット(βζ・・・β2ζ)をコピーして、対応する周波数サブ領域に関連した前記第２パッチの値のセット(β2ζ・・・β3ζ)を取得し、
    前記値コピー手段は、コピー操作の中では位相値を変化させないことを特徴とする、請求項１に記載の装置（１００；３８６）。
  3. 前記値コピー手段（１４０；４１０）は、前記第１パッチの値 (βζ・・・β2ζ)と、前記第２パッチの対応する値 (β2ζ・・・β3ζ)との間に、通常のスペクトルシフトを達成するような方法で値コピーを実行することを特徴とする、請求項２に記載の装置（１００；３８６）。
  4. 前記位相ボコーダ（１３０；４０６）は、前記第１パッチのスペクトルドメイン表示の値が前記入力信号表示（１１０；３８３）の基本周波数領域のハーモニックに変換されたバージョンを表示するように、前記第１パッチのスペクトルドメイン表示（１３２；４０８）の値（βζ・・・β2ζ）を取得し、
    前記値コピー手段（１４０；４１０）は、前記第２パッチのスペクトルドメイン表示の値が、前記第１パッチのオーディオコンテンツの周波数シフトされたバージョンを表示するように、前記第２パッチのスペクトルドメイン表示（１４２；４１２）の値（β2ζ・・・β3ζ）を取得することを特徴とする、請求項１乃至３のいずれか１項に記載の装置（１００；３８６）。
  5. 請求項１乃至４のいずれか１項に記載の装置（１００；３８０，３８２，３８６）であって、
    入力オーディオデータ（３２２）を受け取り、
    前記入力オーディオデータ（３２２）をダウンサンプル（３８０）して、ダウンサンプルされたオーディオデータ（３８１）を取得し、
    前記ダウンサンプルされたオーディオデータ（３８１）をウインドウ化して（３８２）、ウインドウ化済の入力データ（３８３）を取得し、
    前記ウインドウ化済の入力データ（３８３）をスペクトルドメインへと変換（４００）又は転換して、スペクトルドメイン表示（４０１）の形式の前記入力信号表示（３８３）を取得し、
    指数ｋを有する周波数ｂｉｎを表示する前記入力信号表示（３８３）の絶対値αk及び位相値φkを演算（４０２，４０４）し、
    前記入力信号表示（３８３）の周波数ｂｉｎ指数ｋを有する周波数ｂｉｎを表示する複数の絶対値αkを使用（１３０；４０６）して、周波数ｂｉｎ指数ｓｋを有する周波数ｂｉｎを表示する第１パッチの絶対値α2kを取得し（但しｓは１．５〜２．５の間の伸張係数）、
    周波数ｂｉｎ指数ｋを有する周波数ｂｉｎに関連した前記入力信号表示（３８３）の位相値φkをコピー及びスケール（１３０；４０６）して、周波数ｂｉｎ指数２ｋを有する周波数ｂｉｎに関連したコピー及びスケール済の第１パッチの位相値φ2k＝sφkを取得し、
    周波数ｂｉｎ指数k-iζを有する周波数ｂｉｎに関連した前記第１パッチのスペクトルドメイン表示（１３２；４０８）の値βk-iζをコピー（１４０；４１０）して、第２パッチのスペクトルドメイン表示（１４２；４１２）の値βkを取得し、
    前記帯域拡張された信号の表示（４２６）を時間ドメインへと変換（４２８）することで、時間ドメイン表示（４３０）を取得し、
    前記時間ドメイン表示に対して合成ウインドウを適用（４３２）する、
    ように構成されたことを特徴とする装置。
  6. 請求項１乃至５のいずれか１項に記載の装置（１００；３８６）であって、
    入力オーディオ信号（３２２）のスペクトルドメイン表示の値か、又は前記入力オーディオ信号（３２２）の前処理済のバージョン（３８３）のスペクトルドメイン表示の値を、前記入力信号表示（４０１）として提供する、時間ドメインからスペクトルドメインへの変換器（４００）と、
    前記第１パッチのスペクトルドメイン表示の値(βζ・・・β2ζ，４０８)及び前記第２パッチのスペクトルドメイン表示の値(β2ζ・・・β3ζ,４１２)を使用して、前記帯域拡張された信号の時間ドメイン表示（４３０）を提供する、スペクトルドメインから時間ドメインへの変換器（４２８）と、をさらに備え、
    前記スペクトルドメインから時間ドメインへの変換器（４２８）が受け取る様々なスペクトル値（４２６）の数（Ｎ＝２０４８）が、前記時間ドメインからスペクトルドメインへの変換器（４００）が提供する様々なスペクトル値（４０１）の数（Ｎ＝５１２）よりも大きく、その結果、前記スペクトルドメインから時間ドメインへの変換器（４２８）が、前記時間ドメインからスペクトルドメインへの変換器（４００）よりも多数の周波数ｂｉｎを処理することを特徴とする装置（１００；３８６）。
  7. 請求項１乃至６のいずれか１項に記載の装置（１００；３８２，３８６）であって、
    前記時間ドメインの入力オーディオ信号（３２２）をウインドウ化して、前記入力信号表示のスペクトルドメイン表示（４０１）を取得するための基礎となる前記時間ドメインの入力オーディオ信号のウインドウ化済バージョン（３８３）を取得する、分析ウインドウ化手段（３８２）と、
    前記帯域拡張された信号の時間ドメイン表示（４３０）の一部をウインドウ化して、前記帯域拡張された信号の時間ドメイン表示のウインドウ化済の部分（４３４）を取得する合成ウインドウ化手段（４３２）と、をさらに備えることを特徴とする装置（１００；３８２，３８６）。
  8. 請求項７に記載の装置（１００；３８２，３８６）であって、
    この装置は、前記時間ドメインの入力オーディオ信号（３２２）の時間的にオーバーラップしている複数の時間シフトされた部分を処理して、前記帯域拡張された信号の時間ドメイン表示の時間的にオーバーラップしている複数の時間シフトされたウインドウ化済部分（４３４）を取得し、
    前記時間ドメイン入力オーディオ信号（３２２）の時間的に隣接する時間シフトされた部分同士の時間オフセット（Ｉｎｃ＝６４）は、前記分析ウインドウ化手段（３８２）のウインドウ長（５１２）の４分の１以下であることを特徴とする装置（１００；３８２，３８６）。
  9. 請求項１乃至８のいずれか１項に記載の装置（１００；３８２，３８６）であって、
    前記入力信号（３２２）内における過渡の存在を示す情報を提供する過渡情報提供器（３８４）と、
    前記入力信号表示（３８３）の非過渡部分に基づいて帯域拡張された信号の一部分の表示（４３４）を提供するための第１の処理分枝（３８６）、及び、前記入力信号表示（３８３）の過渡部分に基づいて帯域拡張された信号の他の部分の表示（４７８）を提供するための第２の処理分枝（３８８）と、をさらに備え、
    前記第１の処理分枝（３８６）によって処理された前記入力信号のスペクトルドメイン表示（４０１）と比較して、前記第２の処理分枝（３８８）の方がより高いスペクトル分解能（Ｎ＝１０２４）を持って前記入力信号のスペクトルドメイン表示（４４１）を処理することを特徴とする装置（１００；３８２，３８６）。
  10. 請求項９に記載の装置（１００；３８２，３８６）であって、
    前記第２の処理分枝（３８８）は、前記入力信号表示（３８３）の過渡を含む部分をゼロ・パッドし、前記入力信号の時間的に拡張された過渡を含む部分（４３９）を取得する、時間ドメインのゼロ・パッド手段（４３８）を備え、
    前記第１の分枝（３８６）は、前記入力信号表示（３８３）の非過渡部分に関連した第１の数（Ｎ＝５１２）のスペクトルドメイン値（４０１）を提供する、時間ドメインから周波数ドメインへの変換器（４００）を備え、
    前記第２の処理分枝（３８８）は、前記入力信号の時間的に拡張された過渡を含む部分（４３９）に関連した第２の数（Ｎ＝１０２４）のスペクトルドメイン値（４４１）を提供する、時間ドメインから周波数ドメインへの変換器（４４０）を備え、
    前記第２の数（Ｎ＝１０２４）のスペクトルドメイン値は、前記第１の数（Ｎ＝５１２）のスペクトルドメイン値よりも多く、少なくとも１．５倍以上の数であることを特徴とする装置（１００；３８２，３８６）。
  11. 前記第２の処理分枝は、前記入力信号の時間的に拡張された過渡を含む部分（４３９）に基づいて取得した帯域拡張された信号部分（４７４）から、複数のゼロ値を除去するゼロ除去器（４７６）をさらに備えることを特徴とする、請求項１０に記載の装置（１００；３８２，３８６）。
  12. 前記入力信号の時間ドメイン表示（３２２）をダウンサンプルするダウンサンプル手段（３８０）をさらに備えることを特徴とする、請求項１乃至１１のいずれか１項に記載の装置（１００；３８０，３８２，３８６）。
  13. 請求項１乃至１２のいずれか１項に記載の装置（１００；３８６）を備える、オーディオ復号器（３００）。
  14. 入力信号表示に基づいて帯域拡張された信号の表示を生成する方法（４００）であって、
    位相ボコーダ操作を使用して、前記入力信号表示に基づいて帯域拡張された信号の第１パッチのスペクトルドメインの値を取得するステップ（４１０）と、
    前記位相ボコーダ操作により提供された前記第１パッチのスペクトルドメイン表示の値のセットをコピーして、第２パッチのスペクトルドメイン表示の値のセットを取得するステップであって、前記第２パッチは前記第１パッチよりも高い周波数に関連するコピーステップ（４２０）と、
    前記第１パッチのスペクトルドメイン表示の値と、前記第２パッチのスペクトルドメイン表示の値とを使用して、前記帯域拡張された信号の表示を取得するステップ（４３０）と、
    を備える方法（４００）。
  15. 入力信号表示（１１０；３８３）に基づく帯域拡張された信号の表示（１２０；４２６）を生成する装置（１００；３８６）において、
    前記入力信号表示の値のセット(β1・・・βζ)をコピーして、前記入力信号表示よりも高い周波数に関連した第１パッチのスペクトルドメイン表示の値のセット(βζ・・・β2ζ)を取得する値コピー手段と、
    前記第１パッチのスペクトルドメイン表示の値(β4/3ζ・・・β2ζ)に基づき、前記帯域拡張された信号の第２パッチのスペクトルドメイン表示の値のセット(β2ζ・・・β3ζ)を取得する位相ボコーダ（１３０；４０６）であって、この第２パッチは前記第１パッチよりも高い周波数に関連した位相ボコーダ（１３０；４０６）と、を備え、
    前記第１パッチのスペクトルドメイン表示の値と、前記第２パッチのスペクトルドメイン表示の値とを使用して、前記帯域拡張された信号の表示（１２０；４２６）を取得することを特徴とする装置（１００；３８６）。
  16. 入力信号表示に基づいて帯域拡張された信号の表示を生成する方法において、
    前記入力信号表示の値をコピーして、前記入力信号表示に基づいて帯域拡張された信号の第１パッチのスペクトルドメイン表示の値を取得するステップであって、この第１パッチは前記入力信号表示よりも高い周波数に関連したコピーステップと、
    前記第１パッチのスペクトルドメイン表示の値のセットに基づき、位相ボコーダ操作を使用して、第２パッチのスペクトルドメイン表示の値のセットを取得するステップであって、この第１パッチのスペクトルドメイン表示の値は前記コピーステップにより取得されたものであり、この第２パッチは前記第１パッチよりも高い周波数に関連している、取得ステップと、
    前記第１パッチのスペクトルドメイン表示の値と、前記第２パッチのスペクトルドメイン表示の値とを使用して、前記帯域拡張された信号の表示を取得するステップ（４３０）と、を備えた方法。
  17. コンピュータ上で使用された時、請求項１４又は１６に記載の方法を実行する、コンピュータプログラム。
JP2011507945A 2009-04-02 2010-04-01 ハーモニックな帯域拡張と非ハーモニックな帯域拡張との組合せを使用して、入力信号表示に基づいて帯域拡張信号の表示を生成するための装置と方法及びコンピュータプログラム Active JP5165106B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US16612509P 2009-04-02 2009-04-02
US61/166,125 2009-04-02
US16806809P 2009-04-09 2009-04-09
US61/168,068 2009-04-09
EP09181008A EP2239732A1 (en) 2009-04-09 2009-12-30 Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
EP09181008.5 2009-12-30
PCT/EP2010/054422 WO2010112587A1 (en) 2009-04-02 2010-04-01 Apparatus, method and computer program for generating a representation of a bandwidth-extended signal on the basis of an input signal representation using a combination of a harmonic bandwidth-extension and a non-harmonic bandwidth-extension

Publications (2)

Publication Number Publication Date
JP2011520146A JP2011520146A (ja) 2011-07-14
JP5165106B2 true JP5165106B2 (ja) 2013-03-21

Family

ID=42123165

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011507945A Active JP5165106B2 (ja) 2009-04-02 2010-04-01 ハーモニックな帯域拡張と非ハーモニックな帯域拡張との組合せを使用して、入力信号表示に基づいて帯域拡張信号の表示を生成するための装置と方法及びコンピュータプログラム
JP2011529585A Active JP5227459B2 (ja) 2009-04-09 2010-04-01 合成オーディオ信号を生成する装置及び方法並びにオーディオ信号を符号化する装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011529585A Active JP5227459B2 (ja) 2009-04-09 2010-04-01 合成オーディオ信号を生成する装置及び方法並びにオーディオ信号を符号化する装置及び方法

Country Status (21)

Country Link
US (2) US9697838B2 (ja)
EP (3) EP2239732A1 (ja)
JP (2) JP5165106B2 (ja)
KR (2) KR101207120B1 (ja)
CN (2) CN102177545B (ja)
AR (3) AR076199A1 (ja)
AT (1) ATE534119T1 (ja)
AU (2) AU2010233858B9 (ja)
BR (1) BRPI1003636B1 (ja)
CA (2) CA2734973C (ja)
CO (1) CO6311123A2 (ja)
EG (1) EG26400A (ja)
ES (2) ES2396686T3 (ja)
HK (1) HK1159842A1 (ja)
MX (2) MX2011002419A (ja)
MY (2) MY151346A (ja)
PL (2) PL2351025T3 (ja)
RU (1) RU2501097C2 (ja)
SG (1) SG174113A1 (ja)
TW (2) TWI492222B (ja)
WO (2) WO2010112587A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2452044C1 (ru) * 2009-04-02 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
AU2011208899B2 (en) 2010-01-19 2014-02-13 Dolby International Ab Improved subband block based harmonic transposition
AU2015203065B2 (en) * 2010-01-19 2017-05-11 Dolby International Ab Improved subband block based harmonic transposition
EP2362376A3 (en) * 2010-02-26 2011-11-02 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using envelope shaping
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
RU2527735C2 (ru) * 2010-04-16 2014-09-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство, способ и компьютерная программа для выработки широкополосного сигнала с использованием управляемого расширения ширины полосы и слепого расширения ширины полосы
MX2012001696A (es) 2010-06-09 2012-02-22 Panasonic Corp Metodo de extension de ancho de banda, aparato de extension de ancho de banda, programa, circuito integrado, y aparato de descodificacion de audio.
US12002476B2 (en) 2010-07-19 2024-06-04 Dolby International Ab Processing of audio signals during high frequency reconstruction
EP4016527B1 (en) * 2010-07-19 2023-02-22 Dolby International AB Processing of audio signals during high frequency reconstruction
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
DK3407352T3 (da) * 2011-02-18 2022-06-07 Ntt Docomo Inc Taleafkoder, talekoder, taleafkodningsfremgangsmåde, talekodningsfremgangsmåde, taleafkodningsprogram og talekodningsprogram
BR112013033900B1 (pt) * 2011-06-30 2022-03-15 Samsung Electronics Co., Ltd Método para gerar um sinal estendido de largura de banda para decodificação de áudio
DE102011106034A1 (de) * 2011-06-30 2013-01-03 Zte Corporation Verfahren und Vorrichtung zur Spektralbandreplikation und Verfahren und System zur Audiodecodierung
US20130006644A1 (en) * 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
US9530424B2 (en) 2011-11-11 2016-12-27 Dolby International Ab Upsampling using oversampled SBR
RU2601188C2 (ru) 2012-02-23 2016-10-27 Долби Интернэшнл Аб Способы и системы для эффективного восстановления высокочастотного аудиоконтента
EP2682941A1 (de) 2012-07-02 2014-01-08 Technische Universität Ilmenau Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne
ES2549953T3 (es) 2012-08-27 2015-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para la reproducción de una señal de audio, aparato y método para la generación de una señal de audio codificada, programa de ordenador y señal de audio codificada
EP2709106A1 (en) 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
PL3067890T3 (pl) 2013-01-29 2018-06-29 Fraunhofer Ges Forschung Koder audio, dekoder audio, sposób dostarczania zakodowanej informacji audio, sposób dostarczania zdekodowanej informacji audio, program komputerowy i zakodowana reprezentacja, wykorzystujące adaptacyjne względem sygnału powiększanie szerokości pasma
CN103971693B (zh) * 2013-01-29 2017-02-22 华为技术有限公司 高频带信号的预测方法、编/解码设备
SG11201505925SA (en) * 2013-01-29 2015-09-29 Fraunhofer Ges Forschung Decoder for generating a frequency enhanced audio signal, method of decoding, encoder for generating an encoded signal and method of encoding using compact selection side information
CN117275495A (zh) 2013-04-05 2023-12-22 杜比国际公司 音频信号的解码方法和解码器、介质以及编码方法
CN104217727B (zh) * 2013-05-31 2017-07-21 华为技术有限公司 信号解码方法及设备
JP6305694B2 (ja) 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
BR112016009563B1 (pt) 2013-10-31 2021-12-21 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Extensão de largura de banda de áudio através da inserção de ruído temporal pré- formado no domínio de frequência
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
KR20230042410A (ko) 2013-12-27 2023-03-28 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
KR102244612B1 (ko) * 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
EP2963645A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Calculator and method for determining phase correction data for an audio signal
KR102306537B1 (ko) 2014-12-04 2021-09-29 삼성전자주식회사 소리 신호를 처리하는 방법 및 디바이스.
TWI771266B (zh) * 2015-03-13 2022-07-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016149085A2 (en) * 2015-03-13 2016-09-22 Psyx Research, Inc. System and method for dynamic recovery of audio data and compressed audio enhancement
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックＩｐマネジメント株式会社 音声信号復号装置及び音声信号復号方法
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
CN109036457B (zh) 2018-09-10 2021-10-08 广州酷狗计算机科技有限公司 恢复音频信号的方法和装置
TWI742486B (zh) * 2019-12-16 2021-10-11 宏正自動科技股份有限公司 輔助歌唱系統、輔助歌唱方法及其非暫態電腦可讀取記錄媒體
GB202203733D0 (en) * 2022-03-17 2022-05-04 Samsung Electronics Co Ltd Patched multi-condition training for robust speech recognition

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5127054A (en) 1988-04-29 1992-06-30 Motorola, Inc. Speech quality improvement for voice coders and synthesizers
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH10124088A (ja) 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE9700772D0 (sv) 1997-03-03 1997-03-03 Ericsson Telefon Ab L M A high resolution post processing method for a speech decoder
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6549884B1 (en) 1999-09-21 2003-04-15 Creative Technology Ltd. Phase-vocoder pitch-shifting
US7742927B2 (en) 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
US6584438B1 (en) * 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
SE0001926D0 (sv) 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
US20020016698A1 (en) * 2000-06-26 2002-02-07 Toshimichi Tokuda Device and method for audio frequency range expansion
JP2002082685A (ja) 2000-06-26 2002-03-22 Matsushita Electric Ind Co Ltd 音声帯域拡張装置及び音声帯域拡張方法
SE0004818D0 (sv) * 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
US20020128839A1 (en) 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
CN1272911C (zh) 2001-07-13 2006-08-30 松下电器产业株式会社 音频信号解码装置及音频信号编码装置
JP2003108197A (ja) * 2001-07-13 2003-04-11 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置およびオーディオ信号符号化装置
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
DE60214027T2 (de) 2001-11-14 2007-02-15 Matsushita Electric Industrial Co., Ltd., Kadoma Kodiervorrichtung und dekodiervorrichtung
JP3926726B2 (ja) 2001-11-14 2007-06-06 松下電器産業株式会社 符号化装置および復号化装置
DE60202881T2 (de) 2001-11-29 2006-01-19 Coding Technologies Ab Wiederherstellung von hochfrequenzkomponenten
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
TWI288915B (en) * 2002-06-17 2007-10-21 Dolby Lab Licensing Corp Improved audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
US20040138876A1 (en) 2003-01-10 2004-07-15 Nokia Corporation Method and apparatus for artificial bandwidth expansion in speech processing
KR100917464B1 (ko) 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
FI119533B (fi) 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
WO2006049204A1 (ja) 2004-11-05 2006-05-11 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、符号化方法及び復号化方法
JP2006243041A (ja) 2005-02-28 2006-09-14 Yutaka Yamamoto 高域補間装置及び再生装置
US7953605B2 (en) * 2005-10-07 2011-05-31 Deepen Sinha Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension
KR20070115637A (ko) 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8417532B2 (en) 2006-10-18 2013-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoding an information signal
EP1970900A1 (en) 2007-03-14 2008-09-17 Harman Becker Automotive Systems GmbH Method and apparatus for providing a codebook for bandwidth extension of an acoustic signal
CN101276587B (zh) * 2007-03-27 2012-02-01 北京天籁传音数字技术有限公司 声音编码装置及其方法和声音解码装置及其方法
DK2186089T3 (en) * 2007-08-27 2019-01-07 Ericsson Telefon Ab L M Method and apparatus for perceptual spectral decoding of an audio signal including filling in spectral holes
CN101393743A (zh) * 2007-09-19 2009-03-25 中兴通讯股份有限公司 一种可配置参数的立体声编码装置及其编码方法
JP5098569B2 (ja) 2007-10-25 2012-12-12 ヤマハ株式会社 帯域拡張再生装置
EP2220646A1 (en) 2007-11-06 2010-08-25 Nokia Corporation Audio coding apparatus and method thereof
WO2009059633A1 (en) 2007-11-06 2009-05-14 Nokia Corporation An encoder
US9275648B2 (en) 2007-12-18 2016-03-01 Lg Electronics Inc. Method and apparatus for processing audio signal using spectral data of audio signal
AU2009267525B2 (en) 2008-07-11 2012-12-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio signal synthesizer and audio signal encoder
WO2010036061A2 (en) 2008-09-25 2010-04-01 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
BR122019023704B1 (pt) 2009-01-16 2020-05-05 Dolby Int Ab sistema para gerar um componente de frequência alta de um sinal de áudio e método para realizar reconstrução de frequência alta de um componente de frequência alta
EP2211339B1 (en) 2009-01-23 2017-05-31 Oticon A/s Listening system
US8781844B2 (en) 2009-09-25 2014-07-15 Nokia Corporation Audio coding
US9508351B2 (en) * 2009-12-16 2016-11-29 Dobly International AB SBR bitstream parameter downmix

Also Published As

Publication number Publication date
KR20110005865A (ko) 2011-01-19
AU2010233858B2 (en) 2013-05-16
JP2011520146A (ja) 2011-07-14
ES2377551T3 (es) 2012-03-28
US20130090934A1 (en) 2013-04-11
EG26400A (en) 2013-10-09
BRPI1001239A2 (pt) 2022-11-22
CN102177545B (zh) 2013-03-27
MX2011002419A (es) 2011-04-05
CA2734973A1 (en) 2010-10-14
EP2239732A1 (en) 2010-10-13
WO2010112587A1 (en) 2010-10-07
RU2011109670A (ru) 2012-09-27
EP2269189A1 (en) 2011-01-05
BR122021012290A2 (pt) 2023-01-03
BR122021012125A2 (pt) 2023-01-03
CN102177545A (zh) 2011-09-07
CN102027537B (zh) 2012-10-03
RU2501097C2 (ru) 2013-12-10
ATE534119T1 (de) 2011-12-15
CN102027537A (zh) 2011-04-20
EP2269189B1 (en) 2011-11-16
AR076199A1 (es) 2011-05-26
MY151346A (en) 2014-05-15
TW201044379A (en) 2010-12-16
KR101207120B1 (ko) 2012-12-03
PL2351025T3 (pl) 2013-04-30
CA2734973C (en) 2016-10-18
US9076433B2 (en) 2015-07-07
TW201044378A (en) 2010-12-16
AU2010233858B9 (en) 2013-05-30
ES2396686T3 (es) 2013-02-25
BR122021012145A2 (pt) 2023-01-03
BR122021012137A2 (pt) 2023-01-03
AU2010233858A1 (en) 2010-10-14
BRPI1003636A2 (pt) 2019-07-02
MX2010012343A (es) 2011-02-23
CA2721629A1 (en) 2010-10-07
AU2010230129A1 (en) 2010-10-07
AU2010230129B2 (en) 2011-09-29
WO2010115845A1 (en) 2010-10-14
CA2721629C (en) 2015-10-13
KR101248321B1 (ko) 2013-03-27
AR097531A2 (es) 2016-03-23
PL2269189T3 (pl) 2012-04-30
KR20110081292A (ko) 2011-07-13
JP2012504781A (ja) 2012-02-23
CO6311123A2 (es) 2011-08-22
JP5227459B2 (ja) 2013-07-03
EP2351025B1 (en) 2012-11-14
MY153798A (en) 2015-03-31
US9697838B2 (en) 2017-07-04
AR076237A1 (es) 2011-05-26
BRPI1003636B1 (pt) 2020-11-24
HK1159842A1 (en) 2012-08-03
BR122021012115A2 (pt) 2023-01-03
US20120010880A1 (en) 2012-01-12
SG174113A1 (en) 2011-10-28
TWI416507B (zh) 2013-11-21
TWI492222B (zh) 2015-07-11
EP2351025A1 (en) 2011-08-03

Similar Documents

Publication Publication Date Title
JP5165106B2 (ja) ハーモニックな帯域拡張と非ハーモニックな帯域拡張との組合せを使用して、入力信号表示に基づいて帯域拡張信号の表示を生成するための装置と方法及びコンピュータプログラム
JP5588025B2 (ja) パッチ境界整合を用いてオーディオ信号を処理するための装置および方法
US10909994B2 (en) Apparatus, method and computer program for generating a representation of a bandwidth-extended signal on the basis of an input signal representation using a combination of a harmonic bandwidth-extension and a non-harmonic bandwidth-extension
JP2023053242A (ja) 高周波再構成の際のオーディオ信号処理
JP5192053B2 (ja) オーディオ信号の帯域拡張のための装置及び方法
JP5243620B2 (ja) 帯域拡張方法、帯域拡張装置、プログラム、集積回路およびオーディオ復号装置
EP2291842B1 (en) Apparatus and method for generating a bandwidth extended signal
KR101341115B1 (ko) 적응식 오버샘플링을 사용하는 고주파수 오디오 신호를 발생시키기 위한 장치 및 방법
JP2024103487A (ja) サブバンドブロックに基づく高調波移調の改善
JP2012521574A (ja) オーディオ信号を操作するための装置および方法
BR122021012115B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BRPI1001239B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012145B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012290B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012125B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica
BR122021012137B1 (pt) Equipamento, mídia não transitória e método para a geração de uma representação de um sinal de banda larga estendida com base em uma representação do sinal de entrada usando uma combinação de uma extensão de largura de banda harmônica e uma extensão de largura de banda não harmônica

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5165106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250