JP5227459B2 - 合成オーディオ信号を生成する装置及び方法並びにオーディオ信号を符号化する装置及び方法 - Google Patents

合成オーディオ信号を生成する装置及び方法並びにオーディオ信号を符号化する装置及び方法 Download PDF

Info

Publication number
JP5227459B2
JP5227459B2 JP2011529585A JP2011529585A JP5227459B2 JP 5227459 B2 JP5227459 B2 JP 5227459B2 JP 2011529585 A JP2011529585 A JP 2011529585A JP 2011529585 A JP2011529585 A JP 2011529585A JP 5227459 B2 JP5227459 B2 JP 5227459B2
Authority
JP
Japan
Prior art keywords
frequency band
patching
spectral
audio signal
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011529585A
Other languages
English (en)
Other versions
JP2012504781A (ja
Inventor
フレデリック ナーゲル
マルクス マルトラス
ジェレミ− ルコンテ
ステファン バイエル
ギローム フッファス
ヨハネス ヒルペルト
ジュリアン ロビラード
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2012504781A publication Critical patent/JP2012504781A/ja
Application granted granted Critical
Publication of JP5227459B2 publication Critical patent/JP5227459B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Complex Calculations (AREA)
  • Stored Programmes (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)

Description

本発明は、オーディオ信号処理に関し、特に、合成オーディオ信号を生成する装置及び方法と、オーディオ信号を符号化する装置及び方法と、符号化されたオーディオ信号とに関する。
オーディオ信号の記憶や伝送は、多くの場合、厳しいビットレートの制限を受ける。そのような制限は通常、信号の中間的な符号化によって克服される。過去においては、非常に低いビットレートしか使用できない場合、符号器は伝送されるオーディオ帯域を思い切って減少させることを余儀なくされた。現代のオーディオコーデックにおいては、特許文献１〜３及び非特許文献１〜１２に示されるように、帯域幅拡張方法（ＢＷＥ）を使用して広帯域信号を符号化することができる。
上述の文献におけるアルゴリズムは高周波帯域（ＨＦ）コンテンツのパラメトリック表示に依存している。この表示は、復号化された信号の低周波部分（ＬＦ）から、ＨＦスペクトル領域への転位（「パッチング」）とパラメータ主導の後処理の適用という手段を用いて生成される。
このような技術分野においては、スペクトル帯域複製（ＳＢＲ）などの帯域幅拡張方法が、ＨＦＲ（高周波再構築）に基づくコーデックにおいて、高周波信号の効率的な生成方法として使用されている。
非特許文献１に開示されたスペクトル帯域複製（ＳＢＲ）は、ＨＦ情報を生成するために、直行ミラーフィルタバンク（ＱＭＦ）を使用している。所謂「パッチング」を使用して低いＱＭＦ帯域信号が高いＱＭＦ帯域へとコピーされ、その結果、ＬＦ部分の情報がＨＦ部分において複製される。生成されたＨＦ部分は、その後、スペクトル包絡及び調性を調整するパラメータの助けを借りて、元のＨＦ部分に対して適合される。
ＨＥ−ＡＡＣで標準化されたように、ＳＢＲにおいては、単純なコピーによるパッチングも含む全ての操作が、常にＱＭＦドメインの中で実行される。しかし、他の異なるパッチング方法は、ＦＦＴドメインや時間ドメインなどのような異なるドメインで実行可能である。従って、ＱＭＦドメインの代わりにＦＦＴドメイン又は時間ドメインで作動し、かつＱＭＦ分析ステップへと供給するための追加的な変換を必要とするパッチングアルゴリズムを、ＳＢＲが選択できるようにすることも可能であろう。
単純なＳＢＲでは、特別なハードウエア又はソフトウエアの必要事項や信号特性を考慮しない、単一のアルゴリズムだけが使用可能である。そのため、ＳＢＲがパッチングアルゴリズムを適合させることはできない。そこで、２つの異なるパッチングアルゴリズムの間で単純に選択できるようにすることも可能であろう。しかし、それら２つのパッチング方法が異なるドメインで作動するため、過渡領域でブロッキングアーチファクトが発生しやすくなり、両方のパッチング方法の間における繊細な切替は実質的に不可能となる。
特許文献４は、スペクトル包絡調整と組み合わせた、スペクトル帯域複製における転位方法を開示している。
特許文献５は、信号がパルス列状又は非パルス列状のいずれかに分類できることを教示し、この分類に基づいて、適応型の切替転位器を提案している。この切替転位器は２つのパッチングアルゴリズムを並行して実行し、ミキシングユニットは（パルス列状か非パルス列状かの）分類に依存して両方のパッチ済信号を結合させる。転位器間の実際の切替又はミキシングは、包絡及び制御データに応じて包絡調整フィルタバンクの中で実行される。さらに、パルス列状の信号については、基本信号がフィルタバンクドメインへと変換され、周波数置換処理が実行され、その周波数置換の結果に対する包絡調整が実行される。これらの処理は、パッチングと追加的処理が結合した工程である。非パルス列状の信号については、周波数ドメイン転位器（ＦＤ転位器）が設けられ、この周波数ドメイン転位器の結果は次にフィルタバンクドメインへと変換され、ここで包絡調整が実行される。つまりこの文献は、一つの選択肢としてパッチングと追加的処理との結合手法を備え、他の選択肢として包絡調整が実行されるフィルタバンク以外に配置された周波数ドメイン転位器を備える方法を開示しているが、その手法の柔軟性及び構成の可能性に関して問題がある。
米国特許第５，４５５，８８８号公報 米国特許出願第０８／９５１，０２９号 米国特許第６，８９５，３７５号公報 ＷＯ９８／５７４３６ ＷＯ０２／０５２５４５
M Dietz, L. Liljeryd, K. Kjorling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding" in 112th AES Convention, Munich, May 2002 S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, May 2002 T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002 International Standard ISO/IEC 14496-3:2001 FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002 E. Larsen, R. M. Aarts, and M. Danessis. "Efficient high-frequency bandwidth extension of music and speech" in AES 112th Convention, Munich, Germany, May 2002 R.M. Aarts, E. Larsen, and O. Ouweltjes. "A unified approach to low-and high frequency bandwidth extension" in AES 115th Convention, New York, USA, October 2003 K. Kayhko. "A Robust Wideband Enhancement for Narrowband Speech Signal" Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001 E. Larsen and R.M. Aarts. "Audio Bandwidth Extension Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004 E. Larsen, R.M. Aarts, and M. Danessis. "Efficient high-frequency bandwidth extension of music and speech" in AES 112th Convention, Munich, Germany, May 2002 J. Makhoul. "Spectral Analysis of Speech by Linear Prediction". IEEE Transactions of Audio and Electroacoustics, AU-21(3), June 1973 Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs," ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009
本発明の目的は、改良されたオーディオ品質を提供しかつ効率的な構成を可能にする、合成オーディオ信号生成の概念を提供することである。
前記目的は、請求項１に係る合成オーディオ信号を生成する装置、請求項１０に係るオーディオ信号を符号化する装置、請求項１２に係る生成方法、請求項１３に係る符号化方法、請求項１４に係る符号化されたオーディオ信号又は請求項１５に係るコンピュータプログラムによって達成できる。
本発明は、上述のような改良された品質及び／又は効率的な構成は、以下のような場合に達成されるという基本的知見に基づいている。即ち、オーディオ信号のある時間部分をスペクトル表現へと変換した後、複数の異なるスペクトルドメイン・パッチングアルゴリズムを実行し、各パッチングアルゴリズムは前記オーディオ信号のコア周波数帯域(core frequency band)の対応するスペクトル成分から導出された高周波帯域(upper frequency band)のスペクトル成分を含む修正済スペクトル表現を生成する。そして、パッチング制御信号に従って、第１の時間部分のための第１のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択し、かつ第２の異なる時間部分のための第２のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択することで、前記修正済スペクトル表現を取得する。この方法によれば、異なるドメインの２つのパッチングアルゴリズム間での切替に起因した品質及び／又は柔軟性の低下を防止することができ、従って、知覚的な品質を維持しながら処理の複雑性を低減することもできる。
本発明の一実施形態に従えば、パッチング制御信号を使用して合成オーディオ信号を生成する装置は、第１の変換器とスペクトルドメイン・パッチ生成器と高周波再構築処理器と結合器とを備える。第１の変換器は、オーディオ信号のある時間部分をスペクトル表現へと変換する。スペクトルドメイン・パッチ生成器は、複数の異なるスペクトルドメイン・パッチングアルゴリズムを実行し、各パッチングアルゴリズムは、オーディオ信号のコア周波数帯域の対応するスペクトル成分から導出された高周波数帯域のスペクトル成分を含む、修正済スペクトル表現を生成する。スペクトルドメイン・パッチ生成器はさらに、パッチング制御信号に従って、第１の時間部分のための第１のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択し、かつ第２の異なる時間部分のための第２のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択することで、前記修正済スペクトル表現を取得する。高周波再構築処理器は、スペクトル帯域複製パラメータに従って、前記修正済スペクトル表現又はその修正済スペクトル表現から導出された信号を処理し、帯域幅拡張信号を取得する。結合器は、コア周波数帯域にスペクトル成分を持つオーディオ信号又はそのオーディオ信号から導出された信号と、前記帯域幅拡張信号とを結合し、合成オーディオ信号を取得する。
本発明の他の実施形態に従えば、オーディオ信号を符号化する装置は、コア符号器とパラメータ抽出器とパラメータ計算器とを備える。オーディオ信号はコア周波数帯域と高周波数帯域とを含む。コア符号器は、コア周波数帯域内のオーディオ信号を符号化する。パラメータ抽出器はオーディオ信号からパッチング制御信号を抽出し、そのパッチング制御信号は複数の異なるスペクトルドメイン・パッチングアルゴリズムの中から選択された１つのパッチングアルゴリズムを示し、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される。パラメータ計算器は、高周波数帯域からスペクトル帯域複製パラメータを計算する。
本発明のさらに他の実施形態に従えば、符号化されたオーディオ信号のデータストリームは、コア周波数帯域内で符号化された符号化済オーディオ信号と、複数の異なるスペクトルドメイン・パッチングアルゴリズムの中から選択された１つのパッチングアルゴリズムを示すパッチング制御信号であって、その選択されたパッチングアルゴリズムは帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される、パッチング制御信号と、オーディオ信号の高周波数帯域から計算されたスペクトル帯域複製パラメータと、を備える。
つまり、本発明の実施形態は、スペクトルドメインのパッチングアルゴリズムのグループの中の少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムの間で切り替える概念に関連する。前記スペクトルドメインのパッチングアルゴリズムのグループは、単相ボコーダ（single phase vocoder）に基づくハーモニックな転位と非ハーモニックなコピー操作のＳＢＲ機能とを持つ第１パッチングアルゴリズムと、多相ボコーダ(multiple phase vocoder)に基づくハーモニックな転位を持つ第２パッチングアルゴリズムと、非ハーモニックなコピー操作のＳＢＲ機能を持つ第３パッチングアルゴリズムと、非線形歪み操作(non-linear distortion)を持つ第４パッチングアルゴリズムと、を含んでも良い。さらに、帯域幅拡張は、帯域幅拡張信号の高周波数帯域がコア周波数帯域のクロスオーバー周波数の少なくとも４倍の最大周波数を持つように実行されても良い。
結果として、スペクトルドメインにおいて少なくとも２つの異なるパッチングアルゴリズムの間で切替を行うことで、帯域幅拡張のシナリオの中で同等の知覚的品質を持ちながら複雑さを低減できる。
本発明の別の実施形態は、修正済スペクトル表現から導出された時間ドメイン信号をスペクトルドメインへと変換するための時間／周波数変換器を含まない装置に関連する。従って、本発明の実施形態では、高周波再構築処理器が、修正済スペクトル表現に対して直接的に処理することもでき、この場合、異なるドメインで処理可能なパッチングと追加的処理との組合せの手法のように、時間ドメインからスペクトルドメインへの（例えばＱＭＦ分析のような）追加的変換を必要としない。
本発明のさらに別の実施形態は、複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを決定する、パラメータ抽出器に関する。ここで、前記選択されたパッチングアルゴリズムとは、オーディオ信号又はそのオーディオ信号から導出されたある信号と、スペクトルドメインで複数のパッチングアルゴリズムを実行し且つオーディオ信号のある時間部分の修正済スペクトル表現を処理することで取得された複数の帯域幅拡張信号と、の間の比較に基づくものである。従って、本発明のこの実施形態は、帯域幅拡張復号器において合成オーディオ信号を生成するための最適なパッチングアルゴリズムを選択する方法を提供する。
制御パラメータは、どのパッチングが最適かを決定するために使用されても良い。その目的で、「合成による分析(analysis by synthesis)」ステージを使用しても良い。即ち、全てのパッチを適用し、ある目標に従った最適なパッチを選択しても良い。本発明の好適なモードにおいては、その目標とは、知覚的品質における原状回復の最高レベルを得ることである。他のモードにおいては、目標関数を最適化する必要がある。例えば、その目標とは、オリジナルＨＦのスペクトル平坦度にできるだけ近い状態に維持することでも良い。
一つの方法では、パッチングの選択は、オリジナル信号、合成信号又はその両方を考慮することにより、符号器だけで実行できる。この決定（パッチング制御信号）はその後に復号器へと送られる。他の方法では、パッチングの選択は、合成信号のコア帯域だけを考慮しながら符号器と復号器との両側において同期的に実行されても良い。この後者の方法では追加的なサイド情報を生成する必要がない。
以下に、添付の図面を参照しながら本発明の実施例を説明する。
パッチング制御信号を使用して合成オーディオ信号を生成する装置の実施例を示すブロック図である。 図１ａのスペクトルドメイン・パッチ生成器の構成を示すブロック図である。 合成オーディオ信号を生成する他の実施例の装置を示すブロック図である。 帯域幅拡張スキームの概略図である。 第１パッチングアルゴリズムの例示的な概略図である。 第２パッチングアルゴリズムの例示的な概略図である。 第３パッチングアルゴリズムの例示的な概略図である。 第４パッチングアルゴリズムの例示的な概略図である。 図１ａの実施例においてスペクトルドメイン・パッチ生成器の後に時間／周波数変換器が配置されていない場合を示すブロック図である。 図１ａの実施例において第２の変換器（周波数／時間変換器）を伴う場合を示すブロック図である。 オーディオ信号を符号化する装置の一実施例を示すブロック図である。 オーディオ信号を符号化する装置の他の実施例を示すブロック図である。 周波数ドメインにおけるパッチング・スキームの実施例の全体図である。
図１ａは、本発明の実施例に従い、パッチング制御信号１１９を使用して合成オーディオ信号１４５を生成する装置１００を示すブロック図である。装置１００は、第１変換器１１０とスペクトルドメイン・パッチ生成器１２０と高周波数再構築処理器１３０と結合器１４０とを備える。第１変換器１１０はオーディオ信号１０５のある時間部分をスペクトル表現１１５へと変換する。スペクトルドメイン・パッチ生成器１２０は、複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１を実行し、この各パッチングアルゴリズムはオーディオ信号１０５のコア周波数帯域の対応するスペクトル成分から導出された高周波帯域のスペクトル成分を含む修正済スペクトル表現１２５を生成する。図１ｂに示すように、スペクトルドメイン・パッチ生成器１２０は、パッチング制御信号１１９に従って、第１の時間部分１０７−１のための第１スペクトルドメイン・パッチングアルゴリズム１１７−２を複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１から選択し、かつ第２の異なる時間部分１０７−２のための第２スペクトルドメイン・パッチングアルゴリズム１１７−３を複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１から選択することで、修正済スペクトル表現１２５を取得する。
高周波再構築処理器１３０は、スペクトル帯域複製パラメータ１２７に従って、修正済スペクトル表現１２５又はその修正済スペクトル表現１２５から導出された信号を処理し、帯域幅拡張信号１３５を取得する。その修正済スペクトル表現１２５から導出された信号とは、例えばＱＭＦドメインの信号であって、修正済スペクトル表現１２５に基づく修正済時間ドメイン信号に対してＱＭＦ分析を適用した後に得られる信号であっても良い。結合器１４０は、コア周波数帯域にスペクトル成分を持つオーディオ信号１０５又はそのオーディオ信号１０５から導出された信号と帯域幅拡張信号１３５とを結合し、合成オーディオ信号１４５を取得する。ここで、そのオーディオ信号１０５から導出された信号とは、例えば復号化された低周波数信号であって、符号化済のオーディオ信号をコア周波数帯域内で復号化した後に得られる信号であっても良い。
図１ａから分かるように、装置１００のスペクトルドメイン・パッチ生成器１２０は、時間ドメインではなくスペクトルドメインで作動する。
図２ａは、合成オーディオ信号１４５を生成する他の実施例である装置２００を示すブロック図である。ここでは、図２ａにおける装置２００の構成要素であって図１ａにおける装置１００の構成要素と同じものは、説明及び図示を省略する。図２ａにおける実施例では、装置２００のスペクトルドメイン・パッチ生成器１２０は、スペクトルドメイン・パッチングアルゴリズムのグループ２０３の中から少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムを実行する。スペクトルドメイン・パッチングアルゴリズムのグループ２０３は、単相ボコーダに基づくハーモニックな転位と非ハーモニックなコピー操作のＳＢＲ機能とを持つ第１のパッチングアルゴリズム２０５−１と、多相ボコーダに基づくハーモニックな転位を持つ第２のパッチングアルゴリズム２０５−２と、非ハーモニックなコピー操作のＳＢＲ機能を持つ第３のパッチングアルゴリズム２０５−３と、非線形歪み操作を持つ第４のパッチングアルゴリズム２０５−４と、を含んでいる。
図２ｂに示すように、装置２００は、帯域幅拡張信号１３５の高周波数帯域２２０がコア周波数帯域２１０のクロスオーバー周波数２１５の少なくとも４倍の最大周波数２２５を持つように、帯域幅拡張を実行しても良い。ＳＢＲにおいては、コア周波数帯域２１０の最高周波数として定義されるクロスオーバー周波数２１５の典型的は値は、例えば４ｋＨｚ，５ｋＨｚ又は６ｋＨｚ以下の領域にある。その結果、高周波数帯域２２０の最大周波数２２５は、例えば約１６ｋＨｚ，２０ｋＨｚ又は２４ｋＨｚということになる。
図３は、第１パッチングアルゴリズム２０５−１の例示的な概略図である。詳しくは、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第１パッチングアルゴリズム２０５−１を含む。この第１パッチングアルゴリズム２０５−１は、コア周波数帯域２１０から抽出されたソース周波数帯域３１０から第１の目標周波数帯域３１０’への変換を制御するための係数２の帯域幅拡張ファクタ（σ）を持つ単相ボコーダ３０５に基づいた、ハーモニックな転位を含む。ここで、ソース周波数帯域３１０内のスペクトル成分の位相は、第１の目標周波数帯域３１０’がクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、帯域幅拡張ファクタ（σ）により乗算される。第１パッチングアルゴリズム２０５−１は非ハーモニックなコピー操作のＳＢＲ機能３１５をさらに備え、このＳＢＲ機能３１５は、第１コピー操作を用いて、第２の目標周波数帯域３２０’がクロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、第１の目標周波数帯域３１０’のスペクトル成分を第２の目標周波数帯域３２０’へと変換し、さらに、第２コピー操作を用いて、第３の目標周波数帯域３３０’が高周波数帯域２２０に含まれるクロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、第２の目標周波数帯域３２０’のスペクトル成分を第３の目標周波数帯域３３０’へと変換する。この場合、高周波数帯域２２０は、第１の目標周波数帯域３１０’と、第２の目標周波数帯域３２０’と、第３の目標周波数帯域３３０’とを含む。特に、図３に示すように、帯域幅拡張信号１３５はコア周波数帯域２１０から生成された高周波数帯域２２０を含み、この高周波数帯域２２０はクロスオーバー周波数（ｆx）の４倍の最大周波数を持つ。
図４は、第２パッチングアルゴリズム２０５−２の例示的な概略図である。詳しくは、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第２パッチングアルゴリズム２０５−２を含む。この第２パッチングアルゴリズム２０５−２は、コア周波数帯域２１０から抽出された第１ソース周波数帯域４１０から第１の目標周波数帯域４１０’への変換を制御するための係数２の第１帯域幅拡張ファクタ（σ1）を持つ多相ボコーダ４０５に基づいた、ハーモニックな転位を含む。ここで、第１ソース周波数帯域４１０内のスペクトル成分の位相は、第１の目標周波数帯域４１０’がクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、第１帯域幅拡張ファクタ（σ1）により乗算される。第２パッチングアルゴリズム２０５−２は、コア周波数帯域２１０から抽出された第２ソース周波数帯域４２０−１，４２０−２から第２の目標周波数帯域４２０’，４２０''への変換を制御するための係数３の第２帯域幅拡張ファクタ（σ2）をさらに備える。ここで、第２ソース周波数帯域４２０−１，４２０−２内のスペクトル成分の位相は、第２の目標周波数帯域４２０’，４２０''が、クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域、又はクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数をそれぞれ持つように、第２帯域幅拡張ファクタ（σ2）により乗算される。最後に、第２パッチングアルゴリズム２０５−２は、コア周波数帯域２１０から抽出された第３ソース周波数帯域４３０−１，４３０−２から第３の目標周波数帯域４３０’，４３０''への変換を制御するための係数４の第３帯域幅拡張ファクタ（σ3）をさらに備える。ここで、第３ソース周波数帯域４３０−１，４３０−２内のスペクトル成分の位相は、第３の目標周波数帯域４３０’，４３０''が、クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域、又はクロスオーバー周波数（ｆx）から高周波数帯域２２０に含まれるこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数をそれぞれ持つように、第３帯域幅拡張ファクタ（σ3）により乗算される。図３に示す第１パッチングアルゴリズム２０５−１の中と同様に、帯域幅拡張信号１３５の高周波数帯域２２０は、第１の目標周波数帯域４１０’と、第２の目標周波数帯域４２０’，４２０''と、クロスオーバー周波数（ｆx）の４倍の最大周波数を持つ第３の目標周波数帯域４３０’ ，４３０''とを含む。
図５は、第３パッチングアルゴリズム２０５−３の例示的な概略図である。図５の実施例においては、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第３パッチングアルゴリズム２０５−３を含む。この第３パッチングアルゴリズム２０５−３は、非ハーモニックなコピー操作のＳＢＲ機能５０５を備え、このＳＢＲ機能５０５は、第１コピー操作を用いて、第１の目標周波数帯域５１０’がクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、コア周波数帯域２１０であるソース周波数帯域５１０のスペクトル成分を第１の目標周波数帯域５１０’へと変換する。さらに、第１の目標周波数帯域５１０’内のスペクトル成分は、第２コピー操作を用いて、第２の目標周波数帯域５２０’がクロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、第２の目標周波数帯域５２０’へと変換される。最後に、第２の目標周波数帯域５２０’内のスペクトル成分は、第３コピー操作を用いて、第３の目標周波数帯域５３０’が高周波数帯域２２０に含まれるクロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、第３の目標周波数帯域５３０’へと変換される。この場合も、帯域幅拡張信号１３５の高周波数帯域２２０は、第１の目標周波数帯域５１０’と、第２の目標周波数帯域５２０’と、クロスオーバー周波数（ｆx）の４倍の最大周波数を持つ第３の目標周波数帯域５３０’とを含む。
図６は、第４パッチングアルゴリズム２０５−４の例示的な概略図である。図６の実施例においては、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第４パッチングアルゴリズム２０５−４を含む。この第４パッチングアルゴリズム２０５−４は、クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の４倍までの周波数領域を持つ高周波数帯域２２０内のスペクトル成分を生成する、非線形的な歪み操作を含む。
一般的に、上述した図３〜図６における実施例では、スペクトルドメイン・パッチングアルゴリズム２０５−１；２０５−２；２０５−３；２０５−４はスペクトルドメイン・パッチ生成器１２０を用いて実行される。この生成器１２０は、コア周波数帯域２１０から導出されたイニシャル帯域３１０，３１０’，３２０’；４１０，４２０−１，４２０−２，４３０−１，４３０−２；５１０，５１０’，５２０’か又はコア周波数帯域２１０内には含まれないある高周波数帯域を、高周波数帯域２２０内の目標スペクトル成分へと変換するが、この場合、その目標スペクトル成分が各スペクトルドメイン・パッチングアルゴリズムについて異なるように変換する。
特にスペクトルドメイン・パッチ生成器１２０は、コア周波数帯域２１０或いは高周波数帯域２２０からイニシャル帯域を抽出するための帯域通過フィルタを備えても良く、その帯域通過フィルタの帯域通過特性は、イニシャル帯域が図３〜図６に示すように対応する目標周波数帯域３１０’，３２０’，３３０’；４１０’，４２０’，４２０''，４３０'，４３０''； ５１０’，５２０’，５３０'へと変換されるように、選択されても良い。
上述の異なるスペクトルドメイン・パッチングアルゴリズム２０５−１；２０５−２；２０５−３；２０５−４は、図２ｂの帯域拡張スキームで必要とされたような方法で実行されても良い。
具体的には、例えば図３又は図４において示すような単相又は多相ボコーダをそれぞれ使用することで、周波数構造はハーモニック的に正確に高周波数領域へと拡張される。なぜなら、基本帯域（例えばコア周波数帯域２１０）は、一定の乗算（例えばσ1＝２，σ2＝３，σ3＝４）によってスペクトル的に伸張されるからであり、基本帯域内のスペクトル成分は新たに生成されたスペクトル成分と結合されるからである。
位相ボコーダに基づくパッチングアルゴリズムは、基本帯域が帯域幅において既に厳しい制限を受けている場合、例えば非常に低いビットレートを使用するため高周波数成分の再構築が比較的低い周波数から開始するような場合には、有利である。この場合、典型的なクロスオーバー周波数は約５ＫＨｚ未満であり、４ＫＨｚ未満であってもよい。この領域では、人間の耳は不正確に配置されたハーモニックから起こる不協和音に対して非常に敏感である。その結果、「不自然」なトーンという印象を与える可能性もある。加えて、（約３０Ｈｚ〜３００Ｈｚのスペクトル不協和音を持つ）スペクトル的に近接したトーン同士はきめの粗いトーンとして知覚される。基本帯域の周波数構成のハーモニックな継続性により、これらの不正確で不快な聴覚的印象を回避できる。
さらに、例えば図５に示すような非ハーモニックなコピー操作のＳＢＲ機能を使用することで、スペクトル領域は、高周波数領域又は複製されるべき領域へとサブバンド単位でコピーされる。全てのパッチング方法にとって言えることであるが、コピー操作も、高周波数信号のスペクトル特性が多くの点で基本帯域信号の特性に類似するという認識の上に成り立っている。２つの特性間のずれは非常に小さいとされる。加えて、人間の耳は典型的には（典型的には約５ＫＨｚから始まる）高周波数においてはあまり敏感ではなく、特に精密でないスペクトルマッピングに関して顕著ではない。実際、この点がスペクトル帯域複製全般において鍵となる考え方である。コピー操作は特に、容易且つ高速で実行できるという長所を持つ。コピー操作のパッチングアルゴリズムはまた、パッチの境界部分について高い柔軟性を持つ。なぜなら、スペクトルのコピーはいかなるサブバンド境界でも実行できる可能性があるからである。
最後に、非線形の歪み操作を用いたパッチングアルゴリズム（図６を参照）は、クリッピング(clipping)、制限法(limiting)、二乗法(squaring)などを用いたハーモニクスの生成を含んでも良い。例えば、（上述の位相ボコーダ・パッチングアルゴリズムを適用した後などのように）もし伸張された信号のスペクトル的な占有率が非常に低い場合には、その伸張されたスペクトルは、望ましくない周波数の穴を回避するために、歪み操作された信号によって任意の追加的補足を受けることもできる。
パッチングアルゴリズムのグループ２０３（図２ａ参照）からの上述したパッチングアルゴリズムの他に、スペクトルミラーリングのような、スペクトルドメインにおける他のパッチングアルゴリズムを実行しても良い。
図７の実施例においては、装置７００は、時間／周波数変換器を含まないように示されている。つまり、この実施例では、高周波数再構築処理器１３０は、修正済スペクトル表現１２５をその入力として受け取る。
上述の構成は、次の点で有利である。即ち、この場合では、高周波数再構築処理器１３０により実行される修正済スペクトル表現１２５の追加的な処理が、例えばＦＦＴ又はＱＭＦドメインなど、スペクトルドメイン・パッチ生成器１２０により実行されるパッチングアルゴリズムと同じドメインにおいて、容易に実行できるからである。従って、時間ドメインから（例えばＱＭＦ分析など）スペクトルドメインへの変換のような異なるドメイン間での追加的な変換は必要でなくなり、より簡素な構成が可能となる。
図８の実施例においては、装置８００は、修正済スペクトル表現１２５を時間ドメインへと変換するための第２の変換器８１０をさらに備える。ここでも、図８の装置８００における構成要素であって図１ａの装置１００における構成要素に対応するものは、説明を省略する。図８に示すように、第１の変換器１１０により適用された分析に適合する合成が、第２の変換器８１０に適用されても良い。ここで、第１の変換器１１０は第１の変換長１１１を有する変換を実行し、他方、第２の変換器８１０は第２の変換長を有する変換を実行する。特に、高周波数帯域２２０内の最大周波数（ｆmax）とコア周波数帯域２１０内のクロスオーバー周波数（ｆx）との比率と、第１変換長１１１とが考慮されるという点において、第２の変換長は帯域幅拡張特性に依存していても良い。
本発明の一実施例においては、第１の変換器１１０は、例えば高速フーリエ変換（ＦＦＴ）、短時間フーリエ変換（ＳＴＦＴ）、離散フーリエ変換（ＤＦＴ）、ＱＭＦ分析などを実行しても良く、他方、第２の変換器８１０は、例えば逆高速フーリエ変換（ＩＦＦＴ）、逆短時間フーリエ変換（ＩＳＴＦＴ）、逆離散フーリエ変換（ＩＤＦＴ）、ＱＭＦ合成などを実行しても良い。
具体的には、第２の変換長は、ｆmax／ｆxの比率に第１の変換長１１１を乗算した値に等しくなるように選択されても良い。このように、第２の変換長又は第２の変換器８１０により適用された周波数分解能は、図２ｂに示す帯域幅拡張スキームの帯域幅拡張特性に対して容易に適合させることができる。なぜなら、帯域幅拡張特性は本質的に、ナイキスト原理に従うさらに効果的なサンプリングレートに応じた上述の比率（ｆmax／ｆx）によって支配されるからである。
図９は、オーディオ信号１０５を符号化するための装置９００の一実施例のブロック図である。オーディオ信号１０５は、コア周波数帯域２１０と高周波数帯域２２０とを有する。特に、符号化装置９００は、コア符号器９１０とパラメータ抽出器９２０とパラメータ計算器９３０とを備える。コア符号器９１０はコア周波数帯域２１０内でオーディオ信号１０５を符号化し、コア周波数帯域２１０内で符号化された符号化済オーディオ信号９１５を取得する。さらに、パラメータ抽出器９２０はオーディオ信号１０５からパッチング制御信号１１９を抽出し、そのパッチング制御信号１１９は、複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１の中から選択された１つのパッチングアルゴリズムを指示するものである。具体的には、選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行されても良い。最後に、パラメータ計算器９３０は、高周波数帯域２２０からＳＢＲパラメータ１２７を計算する。高周波数帯域２２０から計算されたＳＢＲパラメータ１２７と、選択されたパッチングアルゴリズムを指示するパッチング制御信号１１９と、コア周波数帯域２１０内で符号化された符号化済オーディオ信号９１５とは、ビットストリームの中に記憶され又は伝送されるべき符号化済のオーディオ信号９３５を構成しても良い。
図９に示す実施例においては、パラメータ抽出器９２０はオーディオ信号１０５又はそのオーディオ信号１０５から導出された信号を分析し、その分析信号の信号特性に基づいてパッチング制御信号１１９を決定する。例えば、パッチング制御信号１１９は、分析信号の「スピーチ」としての特性を持つ第１時間部分１０７−１については第１パッチングアルゴリズムを指示し、分析信号の「静的な音楽」としての特性を持つ第２時間部分１０７−２については第２パッチングアルゴリズムを指示する。
従って、スピーチ信号の場合には、ＬＰＣ（線形予測符号化）ドメインにおける処理のようなスピーチソースモデル又は情報生成モデルに基づく処理が使用されても良く、他方、静的な音楽の場合には、静的ソースモデル又は情報シンクモデルが使用されても良い。前者の場合には、音声を生成する人間のスピーチ／音声生成システムが表現され、後者の場合には、音声を受け取る人間の音響システムが表現される。
加えて、信号に依存する処理スキームは、過渡イベントを含む時間部分のためのハーモニックな転位と、過渡イベントを含まない時間部分のための非ハーモニックなコピー操作との間の切り替えにより構成されても良い。
開ループに対応する上述の処理は、オーディオ信号１０５又はこのオーディオ信号１０５から導出された信号の信号特性に関する直接的な分析に基づいている。代替的に、パラメータ抽出器９２０は、「合成による分析」の構成に対応する閉ループにおいて操作可能であっても良い。
図１０に示す実施例では、「合成による分析」構成においてオーディオ信号１０５を符号化する装置１０００を示す。具体的には、符号化装置１０００のパラメータ抽出器９２０は、複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１から選択された１つのパッチングアルゴリズムを決定する。ここで、選択されたパッチングアルゴリズムとは、オーディオ信号１０５又はそのオーディオ信号１０５から導出されたある信号と、スペクトルドメインで複数のパッチングアルゴリズム１１７−１を実行し且つオーディオ信号１０５のある時間部分の修正済スペクトル表現１２５を処理することで得られた複数の帯域幅拡張済信号１００５と、の間の比較に基づくものである。この比較は、例えばパッチングアルゴリズム選択ユニット１０１０により実行され、複数の帯域幅拡張信号１００５からのスペクトル平坦度（ＳＦＭ）のパラメータ（ＳＦＭ1005）及びオーディオ信号１０５からのスペクトル平坦度のパラメータ（ＳＦＭref）を計算し、その計算されたＳＦＭパラメータであるＳＦＭ1005及びＳＦＭrefを比較し、かつその比較されたＳＦＭパラメータにおける偏差が最小となる特定の（最適な）パッチングアルゴリズムを複数のパッチングアルゴリズム１１７−１から選択する、ことを含む。最後に、選択された最適なパッチングアルゴリズムは、パラメータ抽出器９２０の出力にあるパッチング制御信号１１９により指示されても良い。
図１１は、周波数ドメインにおけるパッチングスキームのための一実施例の全体図である。特に、図２ｂに示す帯域幅拡張スキームなどにおいて帯域幅拡張信号を生成する装置１１００を説明するものである。図１１の実施例では、オーディオ信号１０５は、１０２４サンプルのフレーム長（frame:1024）を持つＰＣＭ（パルス符号変調）データ１１０１により表現されている。このＰＣＭデータ１１０１は、例えば、符号化済のオーディオ信号９３５から導出された基本帯域を含む、復号化済の低周波信号であってもよく、その符号化済のオーディオ信号９３５は符号器９００のような符号化装置から伝送されたものである。次に、ＰＣＭデータ１１０１を例えば係数２でダウンサンプリングしてダウンサンプリング済の信号１１１５を取得する、ダウンサンプラ１１１０を使用しても良い。ダウンサンプリング済の信号１１１５は、「ウインドウ」と記載したブロックにより示す分析ウインドウ化器１１２０に供給されても良く、この分析ウインドウ化器１１２０は、オーディオサンプルの複数のブロックであって互いにオーバーラップするようにウインドウ化された連続的なブロックを生成しても良い。ここで、その複数の連続的なブロックのうちの各ブロックは、例えば５１２個のオーディオサンプルを含んでも良い。加えて、オーディオサンプルの２つの連続するブロック間の第１の時間的距離は、例えば「Ｉｎｃ＝６４」で示すように、６４サンプルに対応するように調整されても良い。さらに、オーディオサンプルの２つの連続するブロック間のオーバーラップは、分析ウインドウ化器１１２０により適用される複数の異なる分析ウインドウ関数から１つの適切な（最適な）分析ウインドウ関数を選択することで制御されても良い。オーディオ信号１０５のある時間部分１１２５は、オーディオサンプルの複数の連続的なブロックのうちの１つの連続的なブロックに対応し、次に第１変換器１１０へと供給されても良く、この変換器は、例えばＮ＝５１２の第１変換長１１１を持つＦＦＴ処理器１１３０として構成されても良い。ＦＦＴ処理器１１３０は、時間部分１１２５を、例えば極形式１１３５−１の構成を持つスペクトル表現１１５へと変換しても良い。特に、このスペクトル表現１１３５−１は、振幅情報１１３５−２と位相情報１１３５−３とを含み、これらの情報は、次に図２ａのスペクトルドメインパッチ生成器１２０に対応するスペクトルドメインパッチ生成器１１４１により処理される。図１１のスペクトルドメイン・パッチ生成器１１４１は、第１パッチングアルゴリズム２０５−１に対応しかつ「位相ボコーダ＋コピー操作」と示す第１パッチングアルゴリズム１１４１−１と、第２パッチングアルゴリズム２０５−２に対応しかつ「位相ボコーダ」と示す第２パッチングアルゴリズム１１４３−１と、第３パッチングアルゴリズム２０５−３に対応しかつ「ＳＢＲのような機能」と示す第３パッチングアルゴリズム１１４５−１と、図２ａに示されたパッチングアルゴリズムのグループ２０３の中の第４パッチングアルゴリズム２０５−４に対応しかつ「例えば非線形歪み操作などの他の機能」と示す第４パッチングアルゴリズム１１４７−１と、を含んでも良い。
図２ａの説明の中で上述したように、第１パッチングアルゴリズム１１４１−１は、単相ボコーダ１１４１−２と非ハーモニックなコピー操作の機能１１４１−３及び１１４１−４とを含む。さらに、第２のパッチングアルゴリズム１１４３−１は多相ボコーダ操作に基づいており、第１位相ボコーダ１１４３−２と第２位相ボコーダ１１４３−３と第３位相ボコーダ１１４３−４とを含む。さらに、第３パッチングアルゴリズム１１４５−１は非ハーモニックなコピー操作のＳＢＲ機能を持ち、第１コピー操作１１４５−２と第２コピー操作１１４５−３と第３コピー操作１１４５−４を実行する。最後に、第４パッチングアルゴリズム１１４７−１は、非線形歪み操作の機能を持つ。
特に、図１１の実施例においては、パッチングアルゴリズムのブロック１１４１−１，１１４３−１，１１４５−１及び１１４７−１のサブ成分は、図２ａにおけるパッチングアルゴリズムのブロック２０５−１，２０５−２，２０５−３及び２０５−４の各成分に対応していても良い。また、シンボルζ（クロスオーバー帯域）は、クロスオーバー周波数（ｆx）に対応していても良い。
さらに、パッチ選択器１１５０は、スペクトルドメイン・パッチ生成器１１４１を制御するためのパッチング制御信号１１９に対応したパッチング制御信号１１５５を供給しても良く、それによって、パッチングアルゴリズムのグループ１１４１−１，１１４３−１，１１４５−１，１１４７−１から少なくとも２つの異なるスペクトルドメイン・パッチアルゴリズムが実行され、修正済スペクトル表現１２５に対応する修正スペクトル表現１１４９が得られる。
任意ではあるが、修正スペクトル表現１１４９を後続の補間器１１６０により処理し、補間された修正済スペクトル表現１１６５を得ても良い。その補間された修正済スペクトル表現１１６５は、次に第２変換器８１０へと供給されても良く、この第２変換器はＮ＝２０４８の第２変換長を持つＩＦＦＴ処理器１１７０として構成されても良い。ここで、図８の説明と同様に、Ｎ＝２０４８の第２変換長はＮ＝５１２の第１変換長の正に４倍に調整されている。上述したように、異なるスペクトルドメイン・パッチングアルゴリズムを用いて実行される帯域幅拡張スキームの帯域幅拡張特性が考慮されても良い。
ＩＦＦＴ処理器１１７０は、補間された修正済スペクトル表現１１６５を、図８の修正済時間ドメイン信号８１５に対応する修正済時間ドメイン信号１１７５へと変換しても良い。修正済時間ドメイン信号１１７５は、次に合成ウインドウ化器１１８０へと供給され、ここで、この修正済時間ドメイン信号１１７５に対してある合成ウインドウ関数が適用され、修正されたウインドウ化済時間ドメイン信号１１８５が取得される。ここで、合成ウインドウ関数は、分析ウインドウ関数を適用したことで生じた影響が合成ウインドウ関数を適用することで補償されるように、分析ウインドウ関数に対して適合される。
帯域幅拡張により、修正されたウインドウ化済時間ドメイン信号１１８５を、オリジナルサンプリングレート（例えば８ｋＨｚ）よりも高い有効サンプリングレート（例えば３２ｋＨｚ）でサンプリングしなければならないので、修正されたウインドウ化済時間ドメイン信号１１８５は、最後に、「オーバーラップと加算」と記述したブロック１１９０においてオーバーラップ−加算されてもよい。つまり、このブロック１１９０により適用され「Ｉｎｃ＝２５６」と記述したように例えば２５６サンプルを持つ第２時間距離と、分析ウインドウ化器１１２０により適用され例えば６４サンプルを持つ第１時間距離との間の比率（例えば比率＝４）が、前記高い有効サンプリングレートとオリジナルサンプリングレートとの間の比率に等しくなっても良い。このように、出力信号１１９５は、オリジナル（ダウンサンプリングされた）信号１１１５と同じオーバーラップ特性を持つように取得されてもよい。装置１１００により供給される出力信号１１９５には、図１ａに示す周波数再構築処理器１３０から始まる更なる処理を施し、帯域幅が拡張された複製信号を最終的に取得しても良い。
図１１に示す実施例では、異なるパッチングアルゴリズムの全てが同じドメイン、例えば周波数ドメインにおいて実行されることに注意すべきである。このドメインは、ＳＢＲの場合のようにＱＭＦドメインであっても良く、又はフーリエ変換された場合のように他のいずれのドメインであっても良い。実際のパッチデータ生成は異なるドメインで実行されても良く、しかしその場合には、全体のパッチングは常に同じドメインで実行される。
さらに、選択の対象となるパッチングに対して様々なソースモデルを関連させることができる。例えば、非特許文献１２に示されたスピーチ帯域幅拡張において使用されるスピーチソースモデルをスピーチ信号のために選択し、他方、静的な音楽のためには静的なソースモデルを適合させても良い。同様に、上述したように、過渡についてはパッチングのために独自のモデルを用いても良い。
さらに、時間−周波数変換のためのオーバーラップする分析及び合成ウインドウを用いることで、異なるパッチング・スキームの間のスムーズな転位が保証される。代替的に、より低いオーバーラップを可能にするために、分析及び合成のための特別なウインドウを使用することもできる。
要約すれば、図１１の実施例においては、パッチング方法は、隣接する周波数部分の単純なコピー操作と、位相ボコーダに基づくハーモニックな転位のスキームと、隣接する周波数部分のコピー操作を含む位相ボコーダに基づくハーモニックな転位のスキームと、の間から選択することができる。
本発明はこれまでブロック図を用いて説明し、各ブロックが現実又は論理的なハードウエア要素を示してきたが、本発明はまたコンピュータに実装された方法によって実行されても良い。この場合には、各ブロックはそれぞれ対応する方法ステップを示し、それらのステップは対応する論理的又は実体的ハードウエアのブロックにより実行される機能を示す。
上述した実施の形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について、修正及び変更が可能であることは当業者にとって明らかである。従って、本発明は、以下に添付する特許請求の範囲の技術的範囲によってのみ限定されるものであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。
本発明の方法の所定の実施条件に依るが、本発明の方法は、ハードウエア又はソフトウエアにおいて実行可能である。この方法は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働する、デジタル記憶媒体、特にディスク，ＤＶＤ，又はＣＤなどを使用して実行することができる。本発明は一般的に、機械読出し可能なキャリアに記憶されたプログラムコードを有する、コンピュータプログラム製品として構成することができ、このプログラムコードは、当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法を実行するよう作動するものである。換言すれば、本発明の方法は、当該コンピュータプログラムがコンピュータ上で作動するときに、本発明の方法の少なくとも１つを実行するためのプログラムコードを有する、コンピュータプログラムである。本発明の符号化されたオーディオ信号は、デジタル記憶媒体など、いかなる機械読出し可能な記憶媒体にも記憶されることができる。
本発明の各実施例は、帯域幅拡張において、音声とハードウエアと信号特性とをパッチング処理のために考慮可能にする。最適なパッチングの決定は、開ループ又は閉ループの中で実行できる。従って、復元品質は制御及び強化可能である。
本発明の概念は、異なるパッチングアルゴリズム間でのスムーズな転位が容易に達成できるという利点があり、信号に基づく帯域幅拡張の高速で正確な適用を可能にする。
本発明の特徴を最も顕著に示すアプリケーションは、携帯機器の中に構成され、従って電池からの電力供給で作動する、オーディオ復号器である。

Claims (15)

  1. パッチング制御信号（１１９；１１５５）を使用して合成オーディオ信号（１４５）を生成する装置（１００；２００；７００；８００；１１００）であって、
    オーディオ信号（１０５；１１０１）のある時間部分（１０７−１；１０７−２；１１２５）をスペクトル表現（１１５：１１３５−１）へと変換する第１の変換器（１１０；１１３０）と、
    複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）を実行するスペクトルドメイン・パッチ生成器（１２０；１１４１）であって、各パッチングアルゴリズムは、前記オーディオ信号（１０５；１１０１）のコア周波数帯域（２１０）の対応するスペクトル成分から導出された高周波数帯域（２２０）のスペクトル成分を含む修正済スペクトル表現（１２５；１１４９）を生成するものであり、前記パッチング制御信号（１１９；１１５５）に従って、第１の時間部分（１０７−１）のための第１スペクトルドメイン・パッチングアルゴリズム（１１７−２）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択し、かつ第２の異なる時間部分（１０７−２）のための第２スペクトルドメイン・パッチングアルゴリズム（１１７−３）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択することで、前記修正済スペクトル表現（１２５；１１４９）を取得する、スペクトルドメイン・パッチ生成器（１２０；１１４１）と、
    スペクトル帯域複製パラメータ（１２７）に従って、前記修正済スペクトル表現（１２５；１１４９）又はその修正済スペクトル表現（１２５；１１４９）から導出された信号を処理し、帯域幅拡張信号（１３５）を取得する、高周波再構築処理器（１３０）と、
    前記コア周波数帯域（２１０）にスペクトル成分を持つ前記オーディオ信号（１０５；１１０１）又はそのオーディオ信号（１０５；１１０１）から導出された信号と、前記帯域幅拡張信号（１３５）とを結合し、前記合成オーディオ信号（１４５）を取得する結合器（１４０）と、
    を備えることを特徴とする装置。
  2. 請求項１に記載の装置（１００；２００；７００；８００；１１００）であって、
    前記スペクトルドメイン・パッチ生成器（１２０；１１４１）は、スペクトルドメインで作動し時間ドメインでは作動しないことを特徴とする装置。
  3. 請求項１又は２に記載の装置（２００）であって、
    前記スペクトルドメイン・パッチ生成器（１２０）は、スペクトルドメインのパッチングアルゴリズムのグループ（２０３）の中から少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムを実行し、
    前記パッチングアルゴリズムのグループ（２０３）は、単相ボコーダに基づくハーモニックな転位と非ハーモニックなコピー操作のスペクトル帯域複製機能とを持つ第１パッチングアルゴリズム（２０５−１）と、多相ボコーダに基づくハーモニックな転位を持つ第２パッチングアルゴリズム（２０５−２）と、非ハーモニックなコピー操作のスペクトル帯域複製機能を持つ第３パッチングアルゴリズム（２０５−３）と、非線形歪み操作を持つ第４パッチングアルゴリズム（２０５−４）とを含み、
    前記帯域幅拡張信号（１３５）の高周波数帯域（２２０）がコア周波数帯域（２１０）のクロスオーバー周波数（２１５；ｆx）の少なくとも４倍の最大周波数（２２５；ｆmax）を持つように、帯域幅拡張を実行することを特徴とする装置。
  4. 請求項３に記載の装置であって、
    前記スペクトルドメイン・パッチ生成器（１２０）は前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第１パッチングアルゴリズム（２０５−１）を含み、
    この第１パッチングアルゴリズム（２０５−１）は、コア周波数帯域（２１０）から抽出されたソース周波数帯域（３１０）から第１の目標周波数帯域（３１０’）への変換を制御するための係数２の帯域幅拡張ファクタ（σ）を持つ単相ボコーダ（３０５）に基づいたハーモニックな転位を含み、前記第１の目標周波数帯域（３１０’）が前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、前記ソース周波数帯域（３１０）内のスペクトル成分の位相を前記帯域幅拡張ファクタ（σ）により乗算し、
    前記第１パッチングアルゴリズム（２０５−１）は非ハーモニックなコピー操作のスペクトル帯域複製機能（３１５）をさらに備え、このスペクトル帯域複製機能（３１５）は、第１コピー操作を用いて、第２の目標周波数帯域（３２０’）が前記クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、前記第１の目標周波数帯域（３１０’）のスペクトル成分を前記第２の目標周波数帯域（３２０’）へと変換し、さらに、第２コピー操作を用いて、第３の目標周波数帯域（３３０’）が前記高周波数帯域（２２０）に含まれる前記クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、前記第２の目標周波数帯域（３２０’）のスペクトル成分を前記第３の目標周波数帯域（３３０’）へと変換し、
    前記高周波数帯域（２２０）は、前記第１の目標周波数帯域（３１０’）と前記第２の目標周波数帯域（３２０’）と前記第３の目標周波数帯域（３３０’）とを含むことを特徴とする装置。
  5. 請求項３に記載の装置であって、
    前記スペクトルドメイン・パッチ生成器（１２０）は前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは前記第２パッチングアルゴリズム（２０５−２）を含み、
    この第２パッチングアルゴリズム（２０５−２）は、前記コア周波数帯域（２１０）から抽出された第１ソース周波数帯域（４１０）から第１の目標周波数帯域（４１０’）への変換を制御するための係数２の第１帯域幅拡張ファクタ（σ1）を持つ多相ボコーダ（４０５）に基づいた、ハーモニックな転位を含み、前記第１の目標周波数帯域（４１０’）が前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、前記第１ソース周波数帯域（４１０）内のスペクトル成分の位相を前記第１帯域幅拡張ファクタ（σ1）により乗算し、
    前記第２パッチングアルゴリズム（２０５−２）は、前記コア周波数帯域（２１０）から抽出された第２ソース周波数帯域（４２０−１，４２０−２）から第２の目標周波数帯域（４２０’，４２０''）への変換を制御するための係数３の第２帯域幅拡張ファクタ（σ2）をさらに備え、前記第２の目標周波数帯域（４２０’ ，４２０''）が前記クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域、又は前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、前記第２ソース周波数帯域（４２０−１，４２０−２）内のスペクトル成分の位相を前記第２帯域幅拡張ファクタ（σ2）により乗算し、
    前記第２パッチングアルゴリズム（２０５−２）は、前記コア周波数帯域（２１０）から抽出された第３ソース周波数帯域（４３０−１，４３０−２）から第３の目標周波数帯域（４３０’，４３０''）への変換を制御するための係数４の第３帯域幅拡張ファクタ（σ3）をさらに備え、前記第３の目標周波数帯域（４３０’ ，４３０''）が前記クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域、又は前記クロスオーバー周波数（ｆx）から前記高周波数帯域（２２０）に含まれるこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、前記第３ソース周波数帯域（４３０−１，４３０−２）内のスペクトル成分の位相を前記第３帯域幅拡張ファクタ（σ3）により乗算し、
    前記高周波数帯域（２２０）は、前記第１の目標周波数帯域（４１０’）と第２の目標周波数帯域（４２０’ ，４２０''）と第３の目標周波数帯域（４３０’ ，４３０''）とを含むことを特徴とする装置。
  6. 請求項３に記載の装置であって、
    前記スペクトルドメイン・パッチ生成器（１２０）は、前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第３パッチングアルゴリズム（２０５−３）を含み、
    この第３パッチングアルゴリズム（２０５−３）は、非ハーモニックなコピー操作のスペクトル帯域複製機能（５０５）を備え、このスペクトル帯域複製機能（５０５）は、第１コピー操作を用いて、第１の目標周波数帯域（５１０’）が前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、前記コア周波数帯域（２１０）であるソース周波数帯域（５１０）のスペクトル成分を第１目標周波数帯域（５１０’）へと変換し、第２コピー操作を用いて、第２の目標周波数帯域（５２０’）が前記クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、前記第１の目標周波数帯域（５１０’）内のスペクトル成分を前記第２の目標周波数帯域（５２０’）へと変換し、さらに、第３コピー操作を用いて、第３の目標周波数帯域（５３０’）が前記高周波数帯域（２２０）に含まれる前記クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、前記第２の目標周波数帯域（５２０’）内のスペクトル成分を前記第３の目標周波数帯域（５３０’）へと変換し、
    前記高周波数帯域（２２０）は、前記第１の目標周波数帯域（５１０’）と第２の目標周波数帯域（５２０’）と第３の目標周波数帯域（５３０’）とを含むことを特徴とする装置。
  7. 請求項３に記載の装置であって、
    前記スペクトルドメイン・パッチ生成器（１２０）は、前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第４パッチングアルゴリズム（２０５−４）を含み、
    この第４パッチングアルゴリズム（２０５−４）は、前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つ前記高周波数帯域（２２０）内のスペクトル成分を生成するための非線形的な歪み操作を含むことを特徴とする装置。
  8. 請求項１乃至７のいずれか１項に記載の装置（７００）であって、
    前記修正済スペクトル表現（１２５）から導出されたある時間ドメイン信号をスペクトルドメインへと変換するための、時間／周波数変換器を含まないことを特徴とする装置。
  9. 請求項１乃至８のいずれか１項に記載の装置（８００）であって、
    前記修正済スペクトル表現（１２５）を時間ドメインへと変換するための第２の変換器（８１０）をさらに備え、前記第１の変換器（１１０）により適用された分析に適合する合成を前記第２の変換器（８１０）が適用し、前記第１の変換器（１１０）は第１の変換長（１１１）を有する変換を実行し、前記第２の変換器（８１０）は第２の変換長を有する変換を実行し、前記高周波数帯域（２２０）内の前記最大周波数（ｆmax）と前記コア周波数帯域（２１０）内の前記クロスオーバー周波数（ｆx）との比率と、前記第１変換長（１１１）とが考慮されるという点において、前記第２の変換長は帯域幅拡張特性に依存していることを特徴とする装置。
  10. コア周波数帯域（２１０）と高周波数帯域（２２０）とを含むオーディオ信号（１０５）を符号化する装置（９００；１０００）において、
    前記オーディオ信号（１０５）を前記コア周波数帯域（２１０）内で符号化するコア符号器（９１０）と、
    前記オーディオ信号（１０５）からパッチング制御信号（１１９）を抽出するパラメータ抽出器（９２０）であって、このパッチング制御信号（１１９）は、複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択された１つのパッチングアルゴリズムを指示するものであり、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される、パラメータ抽出器（９２０）と、
    前記高周波数帯域（２２０）からスペクトル帯域複製パラメータ（１２７）を計算するためのパラメータ計算器（９３０）と、
    を含むことを特徴とする符号化装置。
  11. 請求項１０に記載の符号化する装置（１０００）であって、
    前記パラメータ抽出器（９２０）は、前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から前記選択されたパッチングアルゴリズムを決定し、前記選択されたパッチングアルゴリズムは、前記オーディオ信号（１０５）又はそのオーディオ信号（１０５）から導出されたある信号と、スペクトルドメインで前記複数のパッチングアルゴリズム（１１７−１）を実行し且つ前記オーディオ信号（１０５）のある時間部分の修正済スペクトル表現（１２５）を処理することで取得された複数の帯域幅拡張済信号（１００５）と、の間の比較に基づくものであることを特徴とする符号化装置。
  12. パッチング制御信号（１１９；１１５５）を使用して合成オーディオ信号（１４５）を生成する方法（１００；２００；７００；８００；１１００）であって、
    オーディオ信号（１０５；１１０１）のある時間部分（１０７−１；１０７−２；１１２５）をスペクトル表現（１１５：１１３５−１）へと変換するステップ（１１０；１１３０）と、
    複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）を実行するステップ（１２０；１１４１）であって、各パッチングアルゴリズムは、前記オーディオ信号（１０５；１１０１）のコア周波数帯域（２１０）の対応するスペクトル成分から導出された高周波数帯域（２２０）のスペクトル成分を含む修正済スペクトル表現（１２５；１１４９）を生成するものであり、パッチング制御信号（１１９；１１５５）に従って、第１の時間部分（１０７−１）のための第１スペクトルドメイン・パッチングアルゴリズム（１１７−２）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択し、かつ第２の異なる時間部分（１０７−２）のための第２スペクトルドメイン・パッチングアルゴリズム（１１７−３）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択することで、前記修正済スペクトル表現（１２５；１１４９）を取得するステップ（１２０；１１４１）と、
    スペクトル帯域複製パラメータ（１２７）に従って、前記修正済スペクトル表現（１２５；１１４９）又はその修正済スペクトル表現（１２５；１１４９）から導出された信号を処理し、帯域幅拡張信号（１３５）を取得する処理ステップ（１３０）と、
    前記コア周波数帯域（２１０）にスペクトル成分を持つ前記オーディオ信号（１０５；１１０１）又はそのオーディオ信号（１０５；１１０１）から導出された信号と、前記帯域幅拡張信号（１３５）とを結合し、前記合成オーディオ信号（１４５）を取得する結合ステップと、
    を備えることを特徴とする方法。
  13. コア周波数帯域（２１０）と高周波数帯域（２２０）とを含むオーディオ信号（１０５）を符号化する方法（９００；１０００）において、
    前記オーディオ信号（１０５）を前記コア周波数帯域（２１０）内で符号化するステップ（９１０）と、
    前記オーディオ信号（１０５）からパッチング制御信号（１１９）を抽出するステップ（９２０）であって、このパッチング制御信号（１１９）は、複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択された１つのパッチングアルゴリズムを指示するものであり、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される、抽出ステップ（９２０）と、
    前記高周波数帯域（２２０）からスペクトル帯域複製パラメータ（１２７）を計算するステップ（９３０）と、
    を含むことを特徴とする符号化方法。
  14. 符号化されたオーディオ信号（９３５）を記録したコンピュータ読み取り可能な記憶媒体であって、前記符号化されたオーディオ信号（９３５）は、
    コア周波数帯域（２１０）内で符号化された符号化済オーディオ信号（９１５）と、
    複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択された１つのパッチングアルゴリズムを指示するパッチング制御信号（１１９）であり、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号（１４５）を生成するためにスペクトルドメインで実行される、パッチング制御信号（１１９）と、
    オーディオ信号（１０５）の高周波数帯域（２２０）から計算されたスペクトル帯域複製パラメータ（１２７）と、
    を含むことを特徴とする、記憶媒体。
  15. コンピュータに請求項１３又は１４に係る方法を実行させるためのコンピュータプログラム。
JP2011529585A 2009-04-09 2010-04-01 合成オーディオ信号を生成する装置及び方法並びにオーディオ信号を符号化する装置及び方法 Active JP5227459B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16806809P 2009-04-09 2009-04-09
US61/168,068 2009-04-09
EP09181008.5 2009-12-30
EP09181008A EP2239732A1 (en) 2009-04-09 2009-12-30 Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
PCT/EP2010/054434 WO2010115845A1 (en) 2009-04-09 2010-04-01 Apparatus and method for generating a synthesis audio signal and for encoding an audio signal

Publications (2)

Publication Number Publication Date
JP2012504781A JP2012504781A (ja) 2012-02-23
JP5227459B2 true JP5227459B2 (ja) 2013-07-03

Family

ID=42123165

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011507945A Active JP5165106B2 (ja) 2009-04-02 2010-04-01 ハーモニックな帯域拡張と非ハーモニックな帯域拡張との組合せを使用して、入力信号表示に基づいて帯域拡張信号の表示を生成するための装置と方法及びコンピュータプログラム
JP2011529585A Active JP5227459B2 (ja) 2009-04-09 2010-04-01 合成オーディオ信号を生成する装置及び方法並びにオーディオ信号を符号化する装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011507945A Active JP5165106B2 (ja) 2009-04-02 2010-04-01 ハーモニックな帯域拡張と非ハーモニックな帯域拡張との組合せを使用して、入力信号表示に基づいて帯域拡張信号の表示を生成するための装置と方法及びコンピュータプログラム

Country Status (21)

Country Link
US (2) US9697838B2 (ja)
EP (3) EP2239732A1 (ja)
JP (2) JP5165106B2 (ja)
KR (2) KR101207120B1 (ja)
CN (2) CN102027537B (ja)
AR (3) AR076199A1 (ja)
AT (1) ATE534119T1 (ja)
AU (2) AU2010233858B9 (ja)
BR (1) BRPI1003636B1 (ja)
CA (2) CA2721629C (ja)
CO (1) CO6311123A2 (ja)
EG (1) EG26400A (ja)
ES (2) ES2396686T3 (ja)
HK (1) HK1159842A1 (ja)
MX (2) MX2011002419A (ja)
MY (2) MY151346A (ja)
PL (2) PL2269189T3 (ja)
RU (1) RU2501097C2 (ja)
SG (1) SG174113A1 (ja)
TW (2) TWI492222B (ja)
WO (2) WO2010112587A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013525833A (ja) * 2010-04-16 2013-06-20 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2452044C1 (ru) * 2009-04-02 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
AU2015203065B2 (en) * 2010-01-19 2017-05-11 Dolby International Ab Improved subband block based harmonic transposition
PL3564955T3 (pl) 2010-01-19 2021-04-19 Dolby International Ab Ulepszona transpozycja harmonicznych opierająca się na bloku pod-pasma
EP2362376A3 (en) * 2010-02-26 2011-11-02 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using envelope shaping
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5243620B2 (ja) 2010-06-09 2013-07-24 パナソニック株式会社 帯域拡張方法、帯域拡張装置、プログラム、集積回路およびオーディオ復号装置
PL3544007T3 (pl) * 2010-07-19 2020-11-02 Dolby International Ab Przetwarzanie sygnałów audio podczas rekonstrukcji wysokiej częstotliwości
US12002476B2 (en) 2010-07-19 2024-06-04 Dolby International Ab Processing of audio signals during high frequency reconstruction
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
PL3567589T3 (pl) * 2011-02-18 2022-06-06 Ntt Docomo, Inc. Koder mowy i sposób kodowania mowy
DE102011106034A1 (de) * 2011-06-30 2013-01-03 Zte Corporation Verfahren und Vorrichtung zur Spektralbandreplikation und Verfahren und System zur Audiodecodierung
TWI576832B (zh) * 2011-06-30 2017-04-01 三星電子股份有限公司 產生帶寬延伸訊號的裝置與方法
US20130006644A1 (en) * 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
US9530424B2 (en) 2011-11-11 2016-12-27 Dolby International Ab Upsampling using oversampled SBR
CN104541327B (zh) * 2012-02-23 2018-01-12 杜比国际公司 用于高频音频内容的有效恢复的方法及***
EP2682941A1 (de) * 2012-07-02 2014-01-08 Technische Universität Ilmenau Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne
ES2549953T3 (es) * 2012-08-27 2015-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para la reproducción de una señal de audio, aparato y método para la generación de una señal de audio codificada, programa de ordenador y señal de audio codificada
EP2709106A1 (en) * 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
CN103971693B (zh) * 2013-01-29 2017-02-22 华为技术有限公司 高频带信号的预测方法、编/解码设备
KR101798126B1 (ko) 2013-01-29 2017-11-16 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 주파수 향상 오디오 신호를 생성하는 디코더, 디코딩 방법, 인코딩된 신호를 생성하는 인코더, 및 컴팩트 선택 사이드 정보를 이용한 인코딩 방법
EP3054446B1 (en) 2013-01-29 2023-08-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension
EP3742440B1 (en) 2013-04-05 2024-07-31 Dolby International AB Audio decoder for interleaved waveform coding
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
CN104217727B (zh) * 2013-05-31 2017-07-21 华为技术有限公司 信号解码方法及设备
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
WO2015041070A1 (ja) 2013-09-19 2015-03-26 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
WO2015063227A1 (en) * 2013-10-31 2015-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio bandwidth extension by insertion of temporal pre-shaped noise in frequency domain
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
BR112016014476B1 (pt) 2013-12-27 2021-11-23 Sony Corporation Aparelho e método de decodificação, e, meio de armazenamento legível por computador
KR102244612B1 (ko) * 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
EP2963648A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using vertical phase correction
KR102306537B1 (ko) 2014-12-04 2021-09-29 삼성전자주식회사 소리 신호를 처리하는 방법 및 디바이스.
TWI758146B (zh) 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016149085A2 (en) * 2015-03-13 2016-09-22 Psyx Research, Inc. System and method for dynamic recovery of audio data and compressed audio enhancement
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックＩｐマネジメント株式会社 音声信号復号装置及び音声信号復号方法
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
CN109036457B (zh) 2018-09-10 2021-10-08 广州酷狗计算机科技有限公司 恢复音频信号的方法和装置
TWI742486B (zh) * 2019-12-16 2021-10-11 宏正自動科技股份有限公司 輔助歌唱系統、輔助歌唱方法及其非暫態電腦可讀取記錄媒體
GB202203733D0 (en) * 2022-03-17 2022-05-04 Samsung Electronics Co Ltd Patched multi-condition training for robust speech recognition

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5127054A (en) 1988-04-29 1992-06-30 Motorola, Inc. Speech quality improvement for voice coders and synthesizers
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH10124088A (ja) 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE9700772D0 (sv) * 1997-03-03 1997-03-03 Ericsson Telefon Ab L M A high resolution post processing method for a speech decoder
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6549884B1 (en) 1999-09-21 2003-04-15 Creative Technology Ltd. Phase-vocoder pitch-shifting
US7742927B2 (en) 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
US6584438B1 (en) * 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
SE0001926D0 (sv) 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
JP2002082685A (ja) * 2000-06-26 2002-03-22 Matsushita Electric Ind Co Ltd 音声帯域拡張装置及び音声帯域拡張方法
US20020016698A1 (en) * 2000-06-26 2002-02-07 Toshimichi Tokuda Device and method for audio frequency range expansion
SE0004818D0 (sv) 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
US20020128839A1 (en) 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
WO2003007480A1 (fr) 2001-07-13 2003-01-23 Matsushita Electric Industrial Co., Ltd. Dispositif de decodage de signaux audio et dispositif de codage de signaux audio
JP2003108197A (ja) * 2001-07-13 2003-04-11 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置およびオーディオ信号符号化装置
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
DE60214027T2 (de) 2001-11-14 2007-02-15 Matsushita Electric Industrial Co., Ltd., Kadoma Kodiervorrichtung und dekodiervorrichtung
JP3926726B2 (ja) * 2001-11-14 2007-06-06 松下電器産業株式会社 符号化装置および復号化装置
EP1423847B1 (en) * 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
TWI288915B (en) * 2002-06-17 2007-10-21 Dolby Lab Licensing Corp Improved audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
US20040138876A1 (en) 2003-01-10 2004-07-15 Nokia Corporation Method and apparatus for artificial bandwidth expansion in speech processing
KR100917464B1 (ko) 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
FI119533B (fi) 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
JP4977471B2 (ja) 2004-11-05 2012-07-18 パナソニック株式会社 符号化装置及び符号化方法
JP2006243041A (ja) 2005-02-28 2006-09-14 Yutaka Yamamoto 高域補間装置及び再生装置
US7953605B2 (en) * 2005-10-07 2011-05-31 Deepen Sinha Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension
KR20070115637A (ko) 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8417532B2 (en) 2006-10-18 2013-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoding an information signal
EP1970900A1 (en) 2007-03-14 2008-09-17 Harman Becker Automotive Systems GmbH Method and apparatus for providing a codebook for bandwidth extension of an acoustic signal
CN101276587B (zh) * 2007-03-27 2012-02-01 北京天籁传音数字技术有限公司 声音编码装置及其方法和声音解码装置及其方法
ES2704286T3 (es) * 2007-08-27 2019-03-15 Ericsson Telefon Ab L M Método y dispositivo para la descodificación espectral perceptual de una señal de audio, que incluyen el llenado de huecos espectrales
CN101393743A (zh) * 2007-09-19 2009-03-25 中兴通讯股份有限公司 一种可配置参数的立体声编码装置及其编码方法
JP5098569B2 (ja) 2007-10-25 2012-12-12 ヤマハ株式会社 帯域拡張再生装置
RU2483368C2 (ru) 2007-11-06 2013-05-27 Нокиа Корпорейшн Кодер
EP2220646A1 (en) 2007-11-06 2010-08-25 Nokia Corporation Audio coding apparatus and method thereof
JP5400059B2 (ja) 2007-12-18 2014-01-29 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置
RU2491658C2 (ru) 2008-07-11 2013-08-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Синтезатор аудиосигнала и кодирующее устройство аудиосигнала
EP2169670B1 (en) 2008-09-25 2016-07-20 LG Electronics Inc. An apparatus for processing an audio signal and method thereof
CA2748003C (en) 2009-01-16 2016-05-24 Dolby International Ab Cross product enhanced harmonic transposition
DK2211339T3 (en) 2009-01-23 2017-08-28 Oticon As listening System
US8781844B2 (en) 2009-09-25 2014-07-15 Nokia Corporation Audio coding
KR101370870B1 (ko) * 2009-12-16 2014-03-07 돌비 인터네셔널 에이비 Ｓｂｒ 비트스트림 파라미터 다운믹스

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013525833A (ja) * 2010-04-16 2013-06-20 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム

Also Published As

Publication number Publication date
AR076237A1 (es) 2011-05-26
CA2721629A1 (en) 2010-10-07
BR122021012137A2 (pt) 2023-01-03
BR122021012290A2 (pt) 2023-01-03
AU2010233858A1 (en) 2010-10-14
CO6311123A2 (es) 2011-08-22
CA2734973A1 (en) 2010-10-14
CN102027537B (zh) 2012-10-03
PL2269189T3 (pl) 2012-04-30
TWI492222B (zh) 2015-07-11
ES2396686T3 (es) 2013-02-25
AR097531A2 (es) 2016-03-23
WO2010112587A1 (en) 2010-10-07
KR101248321B1 (ko) 2013-03-27
RU2501097C2 (ru) 2013-12-10
BR122021012145A2 (pt) 2023-01-03
EP2239732A1 (en) 2010-10-13
AU2010230129A1 (en) 2010-10-07
PL2351025T3 (pl) 2013-04-30
ES2377551T3 (es) 2012-03-28
BRPI1003636A2 (pt) 2019-07-02
HK1159842A1 (en) 2012-08-03
ATE534119T1 (de) 2011-12-15
US20130090934A1 (en) 2013-04-11
BR122021012115A2 (pt) 2023-01-03
MX2010012343A (es) 2011-02-23
BRPI1001239A2 (pt) 2022-11-22
CA2721629C (en) 2015-10-13
CN102027537A (zh) 2011-04-20
CA2734973C (en) 2016-10-18
EP2269189A1 (en) 2011-01-05
SG174113A1 (en) 2011-10-28
US20120010880A1 (en) 2012-01-12
AU2010230129B2 (en) 2011-09-29
MX2011002419A (es) 2011-04-05
WO2010115845A1 (en) 2010-10-14
CN102177545A (zh) 2011-09-07
TWI416507B (zh) 2013-11-21
JP2011520146A (ja) 2011-07-14
BR122021012125A2 (pt) 2023-01-03
KR20110081292A (ko) 2011-07-13
JP5165106B2 (ja) 2013-03-21
EP2351025A1 (en) 2011-08-03
AU2010233858B9 (en) 2013-05-30
EP2351025B1 (en) 2012-11-14
BRPI1003636B1 (pt) 2020-11-24
AR076199A1 (es) 2011-05-26
KR20110005865A (ko) 2011-01-19
MY151346A (en) 2014-05-15
US9076433B2 (en) 2015-07-07
CN102177545B (zh) 2013-03-27
TW201044379A (en) 2010-12-16
JP2012504781A (ja) 2012-02-23
RU2011109670A (ru) 2012-09-27
US9697838B2 (en) 2017-07-04
AU2010233858B2 (en) 2013-05-16
EG26400A (en) 2013-10-09
EP2269189B1 (en) 2011-11-16
TW201044378A (en) 2010-12-16
KR101207120B1 (ko) 2012-12-03
MY153798A (en) 2015-03-31

Similar Documents

Publication Publication Date Title
JP5227459B2 (ja) 合成オーディオ信号を生成する装置及び方法並びにオーディオ信号を符号化する装置及び方法
US8386268B2 (en) Apparatus and method for generating a synthesis audio signal using a patching control signal
JP5329714B2 (ja) 帯域拡張符号化装置、帯域拡張復号化装置及び位相ボコーダ
JP5244971B2 (ja) オーディオ信号合成器及びオーディオ信号符号器
JP2015526769A (ja) 音声信号を再生するための装置および方法、符号化音声信号を生成するための装置および方法、コンピュータプログラム、および符号化音声信号
US10909994B2 (en) Apparatus, method and computer program for generating a representation of a bandwidth-extended signal on the basis of an input signal representation using a combination of a harmonic bandwidth-extension and a non-harmonic bandwidth-extension
AU2013207549B2 (en) Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
AU2014201331B2 (en) Bandwidth extension encoder, bandwidth extension decoder and phase vocoder

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5227459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250