JP6363683B2 - 高周波数領域の符号化及び復号化の方法並びに装置 - Google Patents

高周波数領域の符号化及び復号化の方法並びに装置 Download PDF

Info

Publication number
JP6363683B2
JP6363683B2 JP2016237817A JP2016237817A JP6363683B2 JP 6363683 B2 JP6363683 B2 JP 6363683B2 JP 2016237817 A JP2016237817 A JP 2016237817A JP 2016237817 A JP2016237817 A JP 2016237817A JP 6363683 B2 JP6363683 B2 JP 6363683B2
Authority
JP
Japan
Prior art keywords
signal
frequency
frequency component
unit
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016237817A
Other languages
English (en)
Other versions
JP2017068276A (ja
Inventor
チュー，ギ−ヒョン
ポロフ，アントン
オー，ウン−ミ
キム，ジュン−フェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017068276A publication Critical patent/JP2017068276A/ja
Application granted granted Critical
Publication of JP6363683B2 publication Critical patent/JP6363683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

本発明は、音声信号または音楽信号のようなオーディオ信号を符号化したり復号化する方法並びに装置に係り、さらに詳細には、オーディオ信号のうち、高周波数領域に該当する信号を符号化したり復号化する方法並びに装置に関する。
高周波数領域に該当する信号は、低周波数領域に該当する信号に比べて、人間が声として認識するのに重要性に劣るのが一般的である。従って、オーディオ信号を符号化するにおいて、可用ビットに対する制約があり、コーディングの効率を上げねばならない場合、低周波数領域に該当する信号には、多くのビットを割り当てて符号化するが、これに比べて、高周波数領域に該当する信号には、少ないビットを割り当てて符号化する。
しかし、場合によって、高周波数領域に該当する信号にも、人間が認識するのに重要な部分がありうる。この場合には、高周波数領域に該当する信号を正確に符号化せず、復号化端で、復号化された信号の音質が低下しうるという問題点を有する。
本発明がなそうとする技術的課題は、既設定の周波数より高い領域に該当する信号から重要な周波数成分を検出して符号化し、検出された周波数成分が含まれたバンド（band）を復元するために、信号のエネルギー値を符号化する方法並びに装置を提供することである。
本発明がなそうとする他の技術的課題は、重要な周波数成分が含まれたバンドを復元するために、信号を、重要な周波数成分のエネルギー値を考慮して調節することによって復号化する方法並びに装置を提供することである。
前記課題をなすための本発明による高周波数領域の符号化方法は、既設定の周波数より高い領域に該当する信号から、既設定の基準によって、周波数成分を検出して符号化する段階、及び前記検出された周波数成分が含まれたバンドを復元するために、信号のエネルギー値を符号化する段階を含むことを特徴とする。
前記課題をなすための本発明による高周波数領域の復号化方法は、既設定の周波数より高い領域に含まれる周波数成分を復号化する段階と、前記復号化された周波数成分が含まれたバンドを復元するために、信号のエネルギー値を復号化する段階と、前記バンドを復元するために信号を生成する段階と、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、前記生成された信号のエネルギー値を調節する段階と、前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含むことを特徴とする。
前記課題をなすための本発明による高周波数領域の復号化方法は、既設定の周波数より高い領域に含まれる周波数成分を復号化する段階と、既設定の周波数より低い領域に該当する信号を利用し、既設定の周波数より高い領域に該当する信号を復号化する段階と、前記復号化された周波数成分のエネルギー値を考慮し、前記復号化された信号のエネルギー値を調節する段階と、前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含むことを特徴とする。
前記課題をなすための本発明による記録媒体は、既設定の周波数より高い領域に該当する信号から、既設定の基準によって、周波数成分を検出して符号化する段階、及び前記検出された周波数成分が含まれたバンドを復元するために、信号のエネルギー値を符号化する段階を含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体である。
前記課題をなすための本発明による記録媒体は、既設定の周波数より高い領域に含まれた周波数成分を復号化する段階と、前記復号化された周波数成分が含まれたバンドを復元するために、信号のエネルギー値を復号化する段階と、前記バンドを復元するために信号を生成する段階と、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、前記生成された信号のエネルギー値を調節する段階と、前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体である。
前記課題をなすための本発明による記録媒体は、既設定の周波数より高い領域に含まれた周波数成分を復号化する段階と、既設定の周波数より低い領域に該当する信号を利用し、既設定の周波数より高い領域に該当する信号を復号化する段階と、前記復号化された周波数成分のエネルギー値を考慮し、前記復号化された信号のエネルギー値を調節する段階と、前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体である。
前記課題をなすための本発明による高周波数領域の符号化装置は、既設定の周波数より高い領域に該当する信号から、既設定の基準によって、周波数成分を検出して符号化する周波数成分符号化部、及び前記検出された周波数成分が含まれたバンドを復元するために、信号のエネルギー値を符号化するエネルギー値符号化部を含むことを特徴とする。
前記課題をなすための本発明による高周波数領域の復号化装置は、既設定の周波数より高い領域に含まれた周波数成分を復号化する周波数成分復号化部と、前記復号化された周波数成分が含まれたバンドを復元するために、信号のエネルギー値を復号化するエネルギー値復号化部と、前記バンドを復元するために信号を生成する信号生成部と、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、前記生成された信号のエネルギー値を調節する信号調節部と、前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する信号合成部とを含むことを特徴とする。
前記課題をなすための本発明による高周波数領域の復号化装置は、既設定の周波数より高い領域に含まれた周波数成分を復号化する周波数成分復号化部と、既設定の周波数より低い領域に該当する信号を利用し、既設定の周波数より高い領域に該当する信号を復号化する帯域幅拡張復号化部と、前記復号化された周波数成分のエネルギー値を考慮し、前記復号化された信号のエネルギー値を調節する信号調節部と、前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する信号合成部とを含むことを特徴とする。
本発明による符号化装置の一実施形態を図示したブロック図である。 本発明による復号化装置の一実施形態を図示したブロック図である。 本発明による復号化装置に含まれる信号調節部の一実施形態を図示したブロック図である。 図２に図示された信号生成部で、単数の信号だけを利用して信号を生成する場合、利得値を適用する一実施形態を図示した図である。 図２に図示された信号生成部で、複数の信号を利用して信号を生成する場合、利得値を適用する一実施形態を図示した図である。 本発明による符号化装置の他の実施形態を図示したブロック図である。 本発明による復号化装置の他の実施形態を図示したブロック図である。 本発明による符号化装置の他の実施形態を図示したブロック図である。 本発明による復号化装置の他の実施形態を図示したブロック図である。 本発明による符号化方法に係わる一実施形態を図示したフローチャートである。 本発明による復号化方法に係わる一実施形態を図示したフローチャートである。 本発明による復号化方法に含まれた第１１４０段階に係わる一実施形態を図示したフローチャートである。 本発明による符号化方法に係わる他の実施形態を図示したフローチャートである。 本発明による復号化方法に係わる他の実施形態を図示したフローチャートである。 本発明による符号化方法に係わる他の実施形態を図示したフローチャートである。 本発明による復号化方法に係わる他の実施形態を図示したフローチャートである。
以下、添付された図面を参照しつつ、本発明による符号化及び復号化の方法並びに装置について詳細に説明する。
図１は、本発明による符号化装置の一実施形態をブロック図で図示したものであり、前記符号化装置は、領域分割部１００、低周波数信号符号化部１０５、高周波数信号符号化部１１０及び多重化部１４５を含んでなる。
領域分割部１００は、既設定の周波数を基準として、入力端子ＩＮを介して入力された信号を低周波数信号と高周波数信号とに分割する。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないものではない。
低周波数信号符号化部１０５は、領域分割部１００で分割された低周波数信号を、既設定の所定の符号化方式によって符号化する。低周波数信号符号化部１０５は、従来に開示されたいかなる符号化方式によっても符号化可能である。なぜならば、本発明による符号化装置は、高周波数信号を符号化するところに技術的特徴があるので、低周波数信号を符号化することと関連して、特定の符号化方式に限定して実施しなければならないものではない。低周波数信号符号化部１０５で符号化する方式の例として、ＡＡＣ（Advanced Audio Coding）方式や、入力された信号から重要な周波数成分だけを検出して符号化し、残りの残余周波数成分は、所定のノイズ信号として符号化する方式などがある。
高周波数信号符号化部１１０は、領域分割部１００で分割された高周波数信号から重要な周波数成分を検出して符号化し、重要な周波数成分が検出されたバンド（band）を復元するために、信号のエネルギー値を計算して符号化し、低周波数信号を利用し、重要な周波数成分が検出されていないバンドを復元するために、高周波数信号を符号化する。ここで、高周波数信号符号化部１１０は、周波数成分検出部１１５、周波数成分符号化部１２０、エネルギー値計算部１２５、エネルギー値符号化部１３０、帯域幅拡張符号化部１３５及びトーナリティ（tonality）符号化部１４０を含んでなる。
周波数成分検出部１１５は、領域分割部１００で分割された高周波数信号から、既設定の基準によって、重要な周波数成分であると判断される周波数成分を検出する。周波数成分検出部１１５で重要な周波数成分を判断するにおいて、次のような方法がある。第一に、ＳＭＲ（Signal to Masking Ratio）値を計算し、マスキングしきい値（threshold）より大きい信号を重要な周波数成分として選択する。第二に、所定の重み付け（weight）を考慮してスペクトルピークを抽出し、重要な周波数成分を選択する。第三に、各サブバンド（sub-band）別にＳＮＲ（Signal to Noise Ratio）値を計算し、ＳＮＲ値が低いサブバンドのうち、所定サイズ以上のピーク値を有する周波数成分を、重要周波数成分として選択する。前述の三種の方法は、それぞれ実施したり、互いに結合して組み合わせることによって実施することもでき、前述の方法は、単なる例に過ぎず、前述の方法に限定して実施しなければならないものではない。
周波数成分符号化部１２０は、周波数成分検出部１１５で検出された周波数成分と、周波数成分が込められた位置を示す情報とを符号化する。
エネルギー値計算部１２５は、周波数成分検出部１１５で検出された周波数成分が含まれたバンドを復元するために、信号に係わる各エネルギー値を計算する。ここでバンドは、帯域幅拡張符号化部１３５で符号化を遂行するにおいて適用する処理単位をいう。例えば、ＱＭＦ（Quadrature Mirror Filter）の場合、バンドは、１個のサブバンド、または１個のスケールファクタ・バンド（scale factor band）になりうる。
エネルギー値符号化部１３０は、エネルギー値計算部１２５で計算された各バンドのエネルギー値と、各バンドの位置を示す情報とを符号化する。
帯域幅拡張符号化部１３５は、低周波数信号を利用し、周波数成分検出部１１５で検出された周波数成分が含まれていないバンドを復元するために、信号を符号化する。帯域幅拡張符号化部１３５で信号を符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化する。
トーナリティ符号化部１４０は、周波数成分検出部１１５で検出された周波数成分が含まれたバンドを復元するために、高周波数信号に係わる各トーナリティを計算して符号化する。しかし、本発明では、トーナリティ符号化部１４０を必ずしも含んで実施しなければならないものではない。ただし、デコーダ（図示せず）で周波数成分を復元するために、バンドに信号を生成するにおいて、単数の信号を利用して生成するものではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ符号化部１４０が必要でありうる。例えば、デコーダ（図示せず）で任意に生成された信号と、パッチ（patch）された信号とをいずれも利用し、周波数成分が含まれたバンドを復元するために、信号を生成する場合に必要である。
多重化部１４５は、低周波数信号符号化部１０５で符号化された結果；周波数成分符号化部１２０で符号化された周波数成分、及び周波数成分がデコーダで復元される位置を示す情報；エネルギー値符号化部１３０で符号化された各バンドのエネルギー値、及び各バンドの位置を示す情報；帯域幅拡張符号化部１３５で符号化された低周波数信号を利用して高周波数信号を復号化する情報を含んで多重化し、出力端子ＯＵＴを介して、多重化されたビットストリームを出力する。所定の場合、多重化部１４５は、トーナリティ符号化部１４０で符号化されたトーナリティも含んで多重化できる。
図２は、本発明による復号化装置の一実施形態をブロック図で図示したものであり、前記復号化装置は、逆多重化部２００、低周波数信号復号化部２０５、高周波数信号復号化部２１０及び領域合成部２５５を含んでなる。
逆多重化部２００は、符号化端から入力端子ＩＮを介して、ビットストリームを入力されて逆多重化する。例えば、周波数成分及び周波数成分が復元される位置を示す情報、各バンドのエネルギー値、エンコーダ（図示せず）でエネルギー値が符号化されたバンドの位置、低周波数信号を利用して高周波数信号を復号化する情報、並びにトーナリティなどを逆多重化部２００で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが一般的であるが、必ずしも同じ値に設定して実施しなければならないものではない。
低周波数信号復号化部２０５は、低周波数信号を、既設定の所定の復号化方式によって復号化する。低周波数信号復号化部２０５は、従来に開示されたいかなる復号化方式によっても符号化可能である。なぜならば、本発明による復号化装置は、高周波数信号を復号化するところに技術的特徴があるので、低周波数信号を復号化することと関連して、特定の方式に限定して実施しなければならないものではない。低周波数信号復号化部２０５で復号化する方式の例として、ＡＡＣ方式や、所定の重要な周波数成分を復号化し、残りの残余周波数成分は、所定のノイズ信号として復号化したり生成する方式などがある。
高周波数信号復号化部２１０は、エンコーダ（図示せず）で高周波数信号のうち、重要な周波数成分を検出して符号化された周波数成分を復号化する。そして、重要な周波数成分が含まれたバンドの場合、高周波数信号復号化部２１０は、周波数成分が含まれたバンドを復元するために、信号のエネルギー値を復号化し、これを利用することによって、周波数成分が含まれたバンドの高周波数信号を復号化する。また、重要な周波数成分が含まれていないバンドの場合、高周波数信号復号化部２１０は、低周波数信号を利用し、高周波数信号を復号化する。ここで、高周波数信号復号化部２１０は、周波数成分復号化部２１５、同期化部２２０、エネルギー値復号化部２２５、信号生成部２３０、信号調節部２３５、帯域幅拡張復号化部２４０、信号合成部２４５及びトーナリティ復号化部２５０を含んでなる。
周波数成分復号化部２１５は、エンコーダ（図示せず）で、既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化する。
同期化部２２０は、周波数成分復号化部２１５で適用されるフレームと、帯域幅拡張復号化部２４０で適用されるフレームとが互いに一致しない場合、周波数成分復号化部２１５で適用されるフレームと、帯域幅拡張復号化部２４０で適用されるフレームとを同期化する。ここで、同期化部２２０は、周波数成分復号化部２１５で適用されるフレームを基に、帯域幅拡張復号化部２４０で適用されるフレームのうち、全部または一部を処理することが望ましい。
エネルギー値復号化部２２５は、周波数成分復号化部２１５で復号化された周波数成分が含まれたバンドを復元するために、信号のエネルギー値を復号化する。
信号生成部２３０は、周波数成分復号化部２１５で復号化された周波数成分が含まれたバンドを復元するための信号を生成する。
ここで、信号生成部２３０が信号を生成する方法として、次に記述された例がある。第一に、信号生成部２３０は、任意に高周波数信号を生成する。例えば、ランダムノイズ信号（random noise signal）がある。第二に、信号生成部２３０は、低周波数信号復号化部２０５で復号化された低周波数信号をコピーし、高周波数信号を生成できる。例えば、低周波数信号をパッチしたりフォールディング（folding）し、高周波数信号を生成できる。第三に、信号生成部２３０は、低周波数信号を利用して高周波数信号を生成できる。
信号調節部２３５は、エネルギー値復号化部２２５で復号化された各バンドのエネルギー値を基に周波数成分復号化部２１５で復号化された周波数成分のエネルギー値を考慮し、信号生成部２３０で生成された信号のエネルギーが調節されるように、信号生成部２３０で生成された信号を調節する。信号調節部２３５に係わるさらに詳細な一実施形態は、図３の説明と共に後述する。
帯域幅拡張復号化部２４０は、低周波数信号復号化部２０５で復号化された低周波数信号を利用し、高周波数信号のうち、周波数成分復号化部２１５で復号化された周波数成分を含まないバンドを復元するための信号を復号化する。
信号合成部２４５は、周波数成分復号化部２１５で復号化された周波数成分と、信号調節部２３５で調節された信号とを合成する。このように、信号合成部２４５で合成された信号は、周波数成分復号化部２１５で復号化された周波数成分が含まれたバンドを復元するので、信号合成部２４５は、残りのバンドに、帯域幅拡張復号化部２４０で復号化された信号を合成する。このように、信号合成部２４５で信号を合成することによって、信号合成部２４５は、最終的に高周波数信号を生成する。
トーナリティ復号化部２５０は、周波数成分復号化部２１５で復号化された周波数成分が含まれたバンドに込められた信号に係わるトーナリティを復号化する。しかし、本発明では、トーナリティ復号化部２５０を必ずしも含んで実施しなければならないものではない。ただし、信号生成部２３０で、単数の信号を利用して生成するものではなく、複数の信号を利用し、単数の信号を生成する場合に、トーナリティ復号化部２５０が必要でありうる。例えば、信号生成部２３０で任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分復号化部２１５で復号化された周波数成分が含まれたバンドを復元するための信号を生成する場合、必要でありうる。もし本発明でトーナリティ復号化部２５０を含んで実施する場合、信号調節部２３５は、トーナリティ復号化部２５０で復号化されたトーナリティまで考慮し、信号生成部２３０で生成された信号を調節する。
領域合成部２５５は、低周波数信号復号化部２０５で復号化された低周波数信号と、信号合成部２４５で合成された高周波数信号とを合成し、出力端子ＯＵＴを介して出力する。
図３は、本発明による復号化装置に含まれる信号調節部２３５の一実施形態をブロック図で図示したものであり、前記信号調節部２３５は、第１エネルギー計算部３００、第２エネルギー計算部３１０、利得値計算部３２０及び利得値適用部３３０を含んでなる。図２を参照しつつ、図３に図示された実施形態について説明する。
第１エネルギー計算部３００は、入力端子ＩＮ１を介して、信号生成部２３０で、周波数成分が含まれたバンドに生成された信号を入力され、各バンドを復元するための信号のエネルギー値を計算する。
第２エネルギー計算部３１０は、入力端子ＩＮ２を介して、周波数成分復号化部２１５で復号化された周波数成分を入力され、各周波数成分のエネルギー値を計算する。
利得値計算部３２０は、エネルギー値復号化部２２５から周波数成分が含まれたバンドのエネルギー値を入力端子ＩＮ３を介して入力され、第１エネルギー計算部３００で計算された各エネルギー値が、エネルギー値復号化部２２５から入力された各エネルギー値から、第２エネルギー計算部３１０で計算された各エネルギー値を減算した値になるように利得値を計算する。例えば、利得値計算部３２０は、次に記載された式（１）によって、利得値を計算できる。
Figure 0006363683
 ここで、
Figure 0006363683
 は、エネルギー値復号化部２２５から入力された各エネルギー値であり、
Figure 0006363683
 は、第２エネルギー計算部３１０で計算された各エネルギー値であり、
Figure 0006363683
 は、第１エネルギー計算部３００で計算された各エネルギー値をいう。
もし利得値計算部３２０で、トーナリティまで考慮して利得値を計算する場合、利得値計算部３２０は、エネルギー値復号化部２２５から周波数成分が含まれたバンドのエネルギー値を入力端子ＩＮ３を介して入力され、周波数成分が含まれたバンドに込められた信号に係わるトーナリティを入力端子ＩＮ４を介して入力され、入力された各エネルギー値、各トーナリティ、及び第２エネルギー計算部３１０で計算された各エネルギー値を利用することによって、利得値を計算する。
利得値適用部３３０は、入力端子ＩＮ１を介して、信号生成部２３０で周波数成分が含まれた各バンドに生成された信号に、利得値計算部３２０で計算された各バンドに係わる利得値を適用する。
図４は、図２に図示された信号生成部２３０で、単数の信号だけを利用して信号を生成する場合、利得値を適用する一実施形態を図示したものである。
利得値適用部３３０は、入力端子ＩＮ１を介して信号生成部２３０で周波数成分が含まれたバンドに生成された信号を入力され、利得値計算部３２０で計算された利得値を乗算する。
第１信号合成部４００は、利得値適用部３３０で利得値が乗算された信号に、入力端子ＩＮ２を介して周波数成分復号化部２１５で復号化された周波数成分を入力されて合成する。かような第１信号合成部４００は、図２に図示された信号合成部２４５に含まれる一部構成要素である。
図５は、図２に図示された信号生成部２３０で、複数の信号を利用して信号を生成する場合、利得値を適用する一実施形態を図示したものである。
まず、利得値適用部３３０は、信号生成部２３０で任意に生成された信号に、入力端子ＩＮ１を介して入力され、利得値計算部３２０で計算された第１利得値を乗算する。
また、利得値適用部３３０は、信号生成部２３０で、低周波数信号復号化部２０５で復号化された低周波数信号をコピーした信号、または低周波数信号を利用して生成された信号に、入力端子ＩＮ１’を介して入力されて利得値計算部３２０で計算された第２利得値を乗算する。
第２合成部５００は、利得値適用部３３０で第１利得値が乗算された信号と、利得値適用部３３０で第２利得値が乗算された信号とを合成する。
第３信号合成部５１０は、第２合成部５００で合成された信号に、入力端子ＩＮ２を介して、周波数成分復号化部２１５で復号化された周波数成分を入力されて合成する。かような第３信号合成部５１０は、図２に図示された信号合成部２４５に含まれる一部構成要素である。
図６は、本発明による符号化装置の一実施形態をブロック図で図示したものであり、前記符号化装置は、領域分割部６００、低周波数信号符号化部６０５、高周波数信号符号化部６１０及び多重化部６４５を含んでなる。
領域分割部６００は、既設定の周波数を基にして、入力端子ＩＮを介して入力された信号を、低周波数信号と高周波数信号とに分割する。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないものではない。
低周波数信号符号化部６０５は、領域分割部６００で分割された低周波数信号を、既設定の所定の符号化方式によって符号化する。低周波数信号符号化部６０５は、従来に開示されたいかなる符号化方式によっても符号化可能である。なぜならば、本発明による符号化装置は、高周波数信号を符号化するところに技術的特徴があるので、低周波数信号を符号化することと関連して、特定の符号化方式に限定して実施しなければならないものではない。低周波数信号符号化部６０５で符号化する方式の例として、ＡＡＣ方式や、入力された信号から重要な周波数成分だけを検出して符号化し、残りの残余周波数成分は、所定のノイズ信号として符号化する方式などがある。
高周波数信号符号化部６１０は、領域分割部６００で分割された高周波数信号から重要な周波数成分を検出して符号化し、重要な周波数成分が検出されたバンドを復元するための信号のエネルギー値を計算して符号化し、重要な周波数成分が検出されていないバンドを復元するための信号の包絡線のみを抽出して符号化する。ここで、高周波数信号符号化部６１０は、第１変換部６１１、第２変換部６１２、周波数成分選択部６１５、周波数成分符号化部６２０、エネルギー値計算部６２５、エネルギー値符号化部６３０、第３変換部６５０、帯域幅拡張符号化部６５５を含んでなる。
第１変換部６１１は、領域分割部６００で分割された高周波数信号を、第１変換方式によって、時間ドメインから周波数ドメインに変換する。
第２変換部６１２は、心理音響モデルを適用するために、第１変換方式以外の他の方式である第２変換方式によっても、高周波数信号を時間ドメインから周波数ドメインに変換する。
第１変換部６１１で変換された信号は、高周波数信号を符号化するのに利用され、第２変換部６１２で変換された信号は、高周波数信号に対して心理音響モデルを適用し、重要な周波数成分を選択するのに利用される。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
例えば、第１変換部６１１は、高周波数信号を、第１変換方式に該当するＭＤＣＴ（Modified Discrete Cosine Transform）によって周波数ドメインに変換し、実数部として表現し、第２変換部６１２は、高周波数信号を、第２変換方式に該当するＭＤＳＴ（Modified Discrete Sine Transform）によって周波数ドメインに変換し、虚数部として表現できる。ここで、ＭＤＣＴによって変換され、実数部として表現された信号は、高周波数信号を符号化するのに使われ、ＭＤＳＴによって変換され、虚数部として表現された信号は、高周波数信号に対して心理音響モデルを適用し、重要な周波数成分を選択するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴ（Discrete Fourier Transform）を遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチ（miss match）を解決できる。
周波数成分選択部６１５は、第１変換部６１１で変換された信号から、既設定の基準によって第２変換部６１２で変換された信号を利用して重要な周波数成分であると判断される周波数成分を選択する。周波数成分選択部６１５で重要な周波数成分を選択するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキングしきい値より大きい信号を重要な周波数成分として選択する。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を選択する。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定サイズ以上のピーク値を有する周波数成分を、重要周波数成分として選択する。前述の三種の方法は、それぞれ実施したり、互いに結合して組み合わせることによって実施することができ、前述の方法は、単なる例に過ぎず、前述の方法に限定して実施しなければならないものではない。
周波数成分符号化部６２０は、周波数成分選択部６１５で選択された第１変換部６１１で変換された信号の周波数成分と、周波数成分が込められた位置を示す情報とを符号化する。
エネルギー値計算部６２５は、周波数成分選択部６１５で選択された周波数成分が含まれたバンドに込められた信号に係わる各エネルギー値を計算する。ここでバンドは、帯域幅拡張符号化部６５５で符号化を遂行するにおいて適用する処理単位をいう。例えば、ＱＭＦの場合、バンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
エネルギー値符号化部６３０は、エネルギー値計算部６２５で計算された各バンドのエネルギー値と、各バンドの位置を示す情報とを符号化する。
第３変換部６５０は、分析フィルタバンク（analysis filterbank）によって領域分割部６００で分割された高周波数信号を、所定の周波数バンド別に時間ドメインによって示すようにドメインを変換する。例えば、第３変換部６５０では、ＱＭＦを適用してドメインを変換する。
帯域幅拡張符号化部６５５は、低周波数信号を利用し、周波数成分選択部６１５で選択された周波数成分が含まれていないバンドに込められた高周波数信号を符号化する。帯域幅拡張符号化部６５５で信号を符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化する。
多重化部６４５は、低周波数信号符号化部６０５で符号化された結果；周波数成分符号化部６２０で符号化された周波数成分、及び周波数成分が復元される位置を示す情報；エネルギー値符号化部６３０で符号化された各バンドのエネルギー値、及び各バンドの位置を示す情報；帯域幅拡張符号化部６５５で符号化された低周波数信号を利用して高周波数信号を復号化する情報を含んで多重化し、出力端子ＯＵＴを介して多重化されたビットストリームを出力する。
図７は、本発明による復号化装置の一実施形態をブロック図で図示したものであり、前記復号化装置は、逆多重化部７００、低周波数信号復号化部７０５、高周波数信号復号化部７１０及び領域合成部７５５を含んでなる。
逆多重化部７００は、符号化端から入力端子ＩＮを介してビットストリームを入力されて逆多重化する。例えば、周波数成分及び周波数成分が復元される位置を示す情報、各バンドのエネルギー値、エンコーダ（図示せず）でエネルギー値が符号化されたバンドの位置を示す情報、低周波数信号を利用して高周波数信号を復号化する情報などを逆多重化部７００で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが一般的であるが、必ずしも同じ値に設定して実施しなければならないものではない。
低周波数信号復号化部７０５は、低周波数信号を、既設定の所定の復号化方式によって復号化する。低周波数信号復号化部７０５は、従来に開示されたいかなる復号化方式によっても符号化可能である。なぜならば、本発明による復号化装置は、高周波数信号を復号化するところに技術的特徴があるので、低周波数信号を復号化することと関連して、特定の方式に限定して実施しなければならないものではない。低周波数信号復号化部７０５で復号化する方式の例として、ＡＡＣ方式や、所定の重要な周波数成分を復号化し、残りの残余周波数成分は、所定のノイズ信号として復号化したり生成する方式などがある。
高周波数信号復号化部７１０は、高周波数信号で重要な周波数成分を復号化し、重要な周波数成分が含まれたバンドを復元するための信号のエネルギー値を復号化し、低周波数信号を利用して高周波数信号を復号化する。ここで、高周波数信号復号化部７１０は、周波数成分復号化部７１５、同期化部７２０、エネルギー値復号化部７２５、信号生成部７３０、信号調節部７３５、帯域幅拡張復号化部７４０、信号合成部７４５、第１逆変換部７５０及び第３逆変換部７５３を含んでなる。
周波数成分復号化部７１５は、エンコーダ（図示せず）で、既設定の基準によって重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化する。
第１逆変換部７５０は、周波数成分復号化部７１５で復号化された周波数成分を、図６の第１変換部６１１で遂行する変換の逆過程で、周波数ドメインから時間ドメインに逆変換する。
同期化部７２０は、周波数成分復号化部７１５で適用されるフレームと、帯域幅拡張復号化部７４０で適用されるフレームとが互いに一致しない場合、周波数成分復号化部７１５で適用されるフレームと、帯域幅拡張復号化部７４０で適用されるフレームとを同期化する。ここで、同期化部７２０は、周波数成分復号化部７１５で適用されるフレームを基に、帯域幅拡張復号化部７４０で適用されるフレームのうち、全部または一部を処理することが望ましい。
エネルギー値復号化部７２５は、周波数成分復号化部７１５で復号化された周波数成分が含まれたバンドを復元するための信号のエネルギー値を復号化する。
信号生成部７３０は、周波数成分復号化部７１５で復号化された周波数成分が含まれたバンドに込められる信号を生成する。
ここで、信号生成部７３０が信号を生成する方法として、次に記述された例がある。第一に、信号生成部７３０は、任意に高周波数信号を生成する。例えば、ランダムノイズ信号がある。第二に、信号生成部７３０は、低周波数信号復号化部７０５で復号化された低周波数信号をコピーし、高周波数信号を生成できる。例えば、低周波数信号をパッチしたりフォールディングし、高周波数信号を生成できる。第三に、信号生成部７３０は、低周波数信号を利用して高周波数信号を生成できる。
信号調節部７３５は、エネルギー値復号化部７２５で復号化された各バンドのエネルギー値を基に、周波数成分復号化部７１５で復号化された周波数成分のエネルギー値を考慮し、信号生成部７３０で生成された信号のエネルギーが調節されるように、信号生成部７３０で生成された信号を調節する。信号調節部７３５に係わるさらに詳細な一実施形態は、図３の実施形態について説明しつつ述べた。
帯域幅拡張復号化部７４０は、低周波数信号復号化部７０５で復号化された低周波数信号を利用し、高周波数信号のうち、周波数成分復号化部７１５で復号化された周波数成分を含まないバンドを復元するための信号を復号化する。
第３逆変換部７５３は、図６の第３変換部６５０で遂行する変換の逆過程で、帯域幅拡張復号化部７４０で復号化された信号のドメインを、合成フィルタバンクを介して逆変換する。
信号合成部７４５は、第１逆変換部７５０で逆変換された周波数成分を、信号調節部７３５で調節された信号と合成する。このように、信号合成部７４５で合成された信号は、第１逆変換部７５０で逆変換された周波数成分が含まれたバンドだけを復元するので、信号合成部７４５は、残りのバンドに、帯域幅拡張復号化部７４０で復号化され、第３逆変換部７５３で逆変換された信号を合成する。このように、信号合成部７４５で信号を合成することによって、信号合成部７４５は、最終的に高周波数信号を生成する。
領域合成部７５５は、低周波数信号復号化部７０５で復号化された低周波数信号と、信号合成部７４５で合成された高周波数信号とを合成し、出力端子ＯＵＴを介して出力する。
図８は、本発明による符号化装置の一実施形態をブロック図で図示したものであり、前記符号化装置は、領域分割部８００、低周波数信号符号化部８０５、高周波数信号符号化部８１０及び多重化部８４５を含んでなる。
領域分割部８００は、既設定の周波数を基にして、入力端子ＩＮを介して入力された信号を、低周波数信号と高周波数信号とに分割する。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないものではない。
低周波数信号符号化部８０５は、領域分割部８００で分割された低周波数信号を、既設定の所定の符号化方式によって符号化する。低周波数信号符号化部８０５は、従来に開示されたいかなる符号化方式によっても符号化可能である。なぜならば、本発明による符号化装置は、高周波数信号を符号化するところに技術的特徴があるので、低周波数信号を符号化することと関連して、特定の符号化方式に限定して実施しなければならないものではない。低周波数信号符号化部８０５で符号化する方式の例として、ＡＡＣ方式や、入力された信号から重要な周波数成分だけを検出して符号化し、残りの残余周波数成分は、所定のノイズ信号として符号化する方式などがある。
高周波数信号符号化部８１０は、領域分割部８００で分割された高周波数信号から重要な周波数成分を検出して符号化し、低周波数信号を利用して高周波数信号を符号化する。ここで、高周波数信号符号化部８１０は、周波数成分検出部８１５、周波数成分符号化部８２０及び帯域幅拡張符号化部８３５を含んでなる。
周波数成分検出部８１５は、領域分割部８００で分割された高周波数信号から、既設定の基準によって、重要な周波数成分であると判断される周波数成分を検出する。周波数成分検出部８１５で重要な周波数成分を判断するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキングしきい値より大きい信号を重要な周波数成分として選択する。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を選択する。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定サイズ以上のピーク値を有する周波数成分を、重要周波数成分として選択する。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は、単なる例に過ぎず、前述の方法に限定して実施しなければならないものではない。
周波数成分符号化部８２０は、周波数成分検出部８１５で検出された周波数成分と、周波数成分が込められた位置を示す情報とを符号化する。
帯域幅拡張符号化部８３５は、低周波数信号を利用して高周波数信号を符号化する。帯域幅拡張符号化部８３５で信号を符号化するにおいて、低周波数信号を利用し、高周波数信号を復号化できる情報を生成して符号化する。
図１の帯域幅拡張符号化部１３５及び図６の帯域幅拡張符号化部６５５のように、高周波数信号をバンド別に分割し、重要な周波数成分が含まれていないバンドに対してのみ符号化するものではなく、帯域幅拡張符号化部８３５は、高周波数信号全てに対して低周波数信号を利用して符号化する。
多重化部８４５は、低周波数信号符号化部８０５で符号化された結果；周波数成分符号化部８２０で符号化された周波数成分、及び周波数成分が込められた位置を示す情報；帯域幅拡張符号化部８３５で符号化された低周波数信号を利用して高周波数信号を復号化する情報を含んで多重化し、出力端子ＯＵＴを介して、多重化されたビットストリームを出力する。
図９は、本発明による復号化装置の一実施形態をブロック図で図示したものであり、前記復号化装置は、逆多重化部９００、低周波数信号復号化部９０５、高周波数信号復号化部９１０及び領域合成部９５５を含んでなる。
逆多重化部９００は、符号化端から、入力端子ＩＮを介してビットストリームを入力されて逆多重化する。例えば、周波数成分及び周波数成分が込められた位置を示す情報や、低周波数信号を利用して高周波数信号を復号化する情報などを、逆多重化部９００で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが一般的であるが、必ずしも同じ値に設定して実施しなければならないものではない。
低周波数信号復号化部９０５は、低周波数信号を既設定の所定の復号化方式によって復号化する。低周波数信号復号化部９０５は、従来に開示されたいかなる復号化方式によっても符号化可能である。なぜならば、本発明による復号化装置は、高周波数信号を復号化するところに技術的特徴があるので、低周波数信号を復号化することと関連して、特定の方式に限定して実施しなければならないものではない。低周波数信号復号化部９０５で復号化する方式の例として、ＡＡＣ方式や、所定の重要な周波数成分を復号化し、残りの残余周波数成分は、所定のノイズ信号として復号化したり生成する方式などがある。
高周波数信号復号化部９１０は、低周波数信号を利用して高周波数信号を復号化し、高周波数信号で重要な周波数成分を復号化する。そして、高周波数信号復号化部９１０は、重要な周波数成分が含まれたバンドに込められた高周波数信号を調節した後、高周波数信号と重要な周波数成分とを合成する。ここで、高周波数信号復号化部９１０は、周波数成分復号化部９１５、エネルギー値計算部９２０、帯域幅拡張復号化部９３０、信号調節部９４０及び信号合成部９５０を含んでなる。
周波数成分復号化部９１５は、符号化端で、既設定の基準によって重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化する。
エネルギー値計算部９２０は、周波数成分復号化部９１５で復号化された各周波数成分のエネルギー値を計算する。
帯域幅拡張復号化部９３０は、低周波数信号復号化部９０５で復号化された低周波数信号を利用し、高周波数信号を復号化する。
信号調節部９４０は、帯域幅拡張復号化部９３０で復号化された信号のうち、周波数成分復号化部９１５で復号化された周波数成分が含まれたバンドに込められた信号を調節する。
信号調節部９４０で調節するバンドの信号に対するエネルギーが、帯域幅拡張復号化部９３０で復号化された信号のエネルギー値から、エネルギー値計算部９２０で計算された各バンドに含まれた周波数成分のエネルギー値を減算した値になるように、帯域幅拡張復号化部９３０で復号化された信号を調節する。
信号合成部９５０は、周波数成分復号化部９１５で復号化された周波数成分を、信号調節部９４０で調節された高周波数信号と合成する。
領域合成部９５５は、低周波数信号復号化部９０５で復号化された低周波数信号と、信号合成部９５０で合成された高周波数信号とを合成し、出力端子ＯＵＴを介して出力する。
図１０は、本発明による符号化方法に係わる一実施形態をフローチャートで図示したものである。
まず、既設定の周波数を基にして、入力された信号を低周波数信号と高周波数信号とに分割する（第１０００段階）。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないものではない。
第１０００段階で分割された低周波数信号を、既設定の所定の符号化方式によって符号化する（第１００５段階）。第１００５段階は、従来に開示されたいかなる符号化方式によっても符号化可能である。なぜならば、本発明による符号化方法は、高周波数信号を符号化するところに技術的特徴があるので、低周波数信号を符号化することと関連して、特定の符号化方式に限定して実施しなければならないものではない。第１００５段階で符号化する方式の例として、ＡＡＣ方式や、入力された信号から重要な周波数成分だけを検出して符号化し、残りの残余周波数成分は、所定のノイズ信号として符号化する方式などがある。
第１０００段階で分割された高周波数信号から、既設定の基準によって、重要な周波数成分であると判断される周波数成分を検出する（第１０１０段階）。第１０１０段階で重要な周波数成分を判断するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキングしきい値より大きい信号を重要な周波数成分として選択する。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を選択する。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定サイズ以上のピーク値を有する周波数成分を、重要周波数成分として選択する。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上方法を結合して組み合わせることによって実施することができ、前述の方法は、単なる例に過ぎず、前述の方法に限定して実施しなければならないものではない。
第１０１０段階で検出された周波数成分と、周波数成分が復元される位置を示す情報とを符号化する（第１０１５段階）。
第１０１０段階で選択された周波数成分が含まれたバンドに該当するか否かを判断する（第１０１８段階）。ここでバンドは、後述する第１０３５段階で、符号化を遂行するにおいて適用する処理単位をいう。例えば、ＱＭＦの場合、バンドは１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
もし第１０１０段階で選択された周波数成分が含まれたバンドに該当すると、第１０１８段階で判断されれば、第１０１５段階で検出された周波数成分が含まれたバンドを復元するための信号に係わる各エネルギー値を計算する（第１０２０段階）。
第１０２０段階で計算された各バンドのエネルギー値と、各バンドの位置を示す情報とを符号化する（第１０２５段階）。
第１０１０段階で検出された周波数成分が含まれたバンドを復元するための高周波数信号に対する各トーナリティを計算して符号化する（第１０３０段階）。しかし、本発明では、第１０３０段階を必ずしも含んで実施しなければならないものではない。ただし、デコーダ（図示せず）で周波数成分を含むバンドを復元するための信号を生成するにおいて、単数の信号を利用して生成するものではなく、複数の信号を利用して単数の信号を生成する場合に、第１０３０段階が必要でありうる。例えば、デコーダ（図示せず）で任意に生成された信号と、パッチされた信号とをいずれも利用し、周波数成分が含まれたバンドを復元するための信号を生成する場合、必要である。
もし第１０１０段階で選択された周波数成分が含まれていないバンドに該当すると、第１０１８段階で判断されれば、低周波数信号を利用し、第１０１０段階で検出された周波数成分が含まれていないバンドを復元するための信号を符号化する（第１０３５段階）。第１０３５段階で信号を符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化する。
第１００５段階で符号化された結果；第１０１５段階で符号化された周波数成分、及び周波数成分が込められた位置を示す情報；第１０２５段階で符号化された各バンドのエネルギー値、及び各バンドの位置を示す情報；第１０３０段階で符号化された低周波数信号を利用して高周波数信号を復号化する情報を含んで多重化する（第１０４０段階）。所定の場合、第１０４０段階では、第１０３０段階で符号化されたトーナリティも含んで多重化できる。
図１１は、本発明による復号化方法に係わる一実施形態をフローチャートで図示したものである。
まず、符号化端から、ビットストリームを入力されて逆多重化する（第１１００段階）。例えば、周波数成分及び周波数成分が込められた位置を示す情報、各バンドのエネルギー値、エンコーダ（図示せず）でエネルギー値が符号化されたバンドの位置、低周波数信号を利用して高周波数信号を復号化する情報及びトーナリティなどを、第１１００段階で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが一般的であるが、必ずしも同じ値に設定して実施しなければならないものではない。
低周波数信号を、既設定の所定の復号化方式によって復号化する（第１１０５段階）。第１１０５段階は、従来に開示されたいかなる復号化方式によっても符号化可能である。なぜならば、本発明による復号化装置は、高周波数信号を復号化するところに技術的特徴があるので、低周波数信号を復号化することと関連して、特定の方式に限定して実施しなければならないものではない。第１１０５段階で復号化する方式の例として、ＡＡＣ方式や、所定の重要な周波数成分を復号化し、残りの残余周波数成分は、所定のノイズ信号として復号化したり生成する方式などがある。
エンコーダで、既設定の基準によって重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化する（第１１１０段階）。
第１１１０段階で復号化された周波数成分を含んだバンドに該当するか否かを判断する（第１１１５段階）。
もし周波数成分を含んだバンドに該当すると、第１１１５段階で判断されれば、第１１１０段階で復号化された周波数成分に対して適用されるフレームと、低周波数信号を利用して高周波数信号を復号化する情報で適用されるフレームとが互いに一致するか否かを判断する（第１１２０段階）。
もしフレームが互いに一致しないと、第１１２０段階で判断されれば、第１１１０段階で復号化された周波数成分に対して適用されるフレームと、低周波数信号を利用して高周波数信号を復号化する情報で適用されるフレームとを同期化する（第１１２５段階）。第１１２５段階では、第１１１０段階で適用されるフレームを基に、低周波数信号を利用して高周波数信号を復号化する情報で適用されるフレームのうち、全てまたは一部を処理することが望ましい。
第１１１０段階で復号化された周波数成分が含まれたバンドに込められた信号のエネルギー値を復号化する（第１１３０段階）。
第１１１５段階で復号化された周波数成分が含まれたバンドに込められた信号に係わるトーナリティを復号化する（第１１３３段階）。しかし、本発明では、第１１３３段階を必ずしも含んで実施しなければならないものではない。ただし、第１１３５段階で、単数の信号を利用して生成するものではなく、複数の信号を利用して単数の信号を生成する場合に、第１１３３段階が必要でありうる。例えば、第１１３５段階で任意に生成された信号とパッチされた信号とをいずれも利用し、第１１１０段階で復号化された周波数成分が含まれたバンドを復元するための信号を生成する場合、必要でありうる。
第１１１０段階で復号化された周波数成分が含まれたバンドに込められる信号を生成する（第１１３５段階）。ここで、第１１３５段階で信号を生成する方法としては、次に記述された例がある。第一に、第１１３５段階では、任意に高周波数信号を生成する。例えば、ランダムノイズ信号がある。第二に、第１１３５段階では、第１１０５段階で復号化された低周波数信号をコピーし、高周波数信号を生成できる。例えば、低周波数信号をパッチしたりフォールディングし、高周波数信号を生成できる。第三に、第１１３５段階では、低周波数信号を利用して高周波数信号を生成できる。
第１１３０段階で復号化された各バンドのエネルギー値を基に、第１１１０段階で復号化された周波数成分のエネルギー値を考慮し、第１１３５段階で生成された信号のエネルギーが調節されるように、第１１３５段階で生成された信号を調節する（第１１４０段階）。第１１４０段階に係わるさらに詳細な一実施形態は、図３の説明で述べた。
もし本発明で、第１１３３段階を含んで実施する場合、第１１４０段階では、第１１３３段階で復号化されたトーナリティまで考慮し、第１１３３段階で生成された信号を調節する。
もし周波数成分を含まないバンドに該当すると、第１１１５段階で判断されれば、第１１０５段階で復号化された低周波数信号を利用し、高周波数信号のうち、第１１１０段階で復号化された周波数成分を含まないバンドを復元するための信号を復号化する（第１１４５段階）。
第１１１０段階で復号化された周波数成分を、第１１４０段階で調節された信号と合成する（第１１５０段階）。このように、第１１５０段階で合成された信号は、第１１１０段階で復号化された周波数成分が含まれたバンドだけを復元するので、第１１５０段階では、残りのバンドに、第１１４５段階で復号化された信号を合成する。このように、第１１５０段階で信号を合成することによって、第１１５０段階では、最終的に高周波数信号を生成する。
第１１０５段階で復号化された低周波数信号と、第１１５０段階で合成された高周波数信号とを合成する（第１１５５段階）。
図１２は、本発明による復号化方法に含まれた第１１４０段階に係わる一実施形態を、フローチャートで図示したものである。
まず、第１１３５段階で、周波数成分が含まれたバンドに生成された信号を入力され、各バンドに込められた信号のエネルギー値を計算する（第１２００段階）。
第１１１０段階で復号化された周波数成分を入力され、各周波数成分のエネルギー値を計算する（第１２０５段階）。
第１１３０段階で復号化された周波数成分が含まれたバンドのエネルギー値に対し、第１２００段階で計算された各エネルギー値が、第１１３０段階で入力された各エネルギー値から、第１２０５段階で計算された各エネルギー値を減算した値になるように、利得値を計算する（第１２１０段階）。例えば、第１２１０段階では、前記の数式１によって利得値を計算できる。
もし第１２１０段階で、トーナリティまで考慮して利得値を計算する場合、第１２１０段階では、第１２０５段階で復号化された周波数成分が含まれたバンドのエネルギー値を入力され、周波数成分が含まれたバンドに込められた信号に係わるトーナリティを入力され、入力された各エネルギー値、各トーナリティ、及び第１２０５段階で計算された各エネルギー値を利用することによって、利得値を計算する。
第１１３５段階で、周波数成分が含まれた各バンドに生成された信号に、第１２１０段階で計算された各バンドに係わる利得値を適用する（第１２１５段階）。
図１３は、本発明による符号化方法に係わる他の実施形態をフローチャートで図示したものである。
まず、既設定の周波数を基にして、入力された信号を、低周波数信号と高周波数信号とに分割する（第１３００段階）。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないものではない。
第１３００段階で分割された低周波数信号を、既設定の所定の符号化方式によって符号化する（第１３０５段階）。第１３０５段階は、従来に開示されたいかなる符号化方式によっても符号化可能である。なぜならば、本発明による符号化方法は、高周波数信号を符号化するところに技術的特徴があるので、低周波数信号を符号化することと関連して、特定の符号化方式に限定して実施しなければならないものではない。第１３０５段階で符号化する方式の例として、ＡＡＣ方式や、入力された信号から重要な周波数成分だけを検出して符号化し、残りの残余周波数成分は、所定のノイズ信号として符号化する方式などがある。
第１３００段階で分割された高周波数信号を、第１変換方式によって時間ドメインから周波数ドメインに変換する（第１３１０段階）。
心理音響モデルを適用するために、第１変換方式以外の他の方式の第２変換方式によっても、高周波数信号を、時間ドメインから周波数ドメインに変換する（第１３１５段階）。
第１３１０段階で変換された信号は、高周波数信号を符号化するのに利用され、第１３１５段階で変換された信号は、高周波数信号に対して心理音響モデルを適用し、重要な周波数成分を選択するのに利用される。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数的モデルをいう。
例えば、第１３１５段階では、高周波数信号を、第１変換方式に該当するＭＤＣＴによって周波数ドメインに変換して実数部として表現し、第１３２０段階では、高周波数信号を、第２変換方式に該当するＭＤＳＴによって周波数ドメインに変換し、虚数部として表現できる。ここで、ＭＤＣＴによって変換されて実数部として表現された信号は、高周波数信号を符号化するのに使われ、ＭＤＳＴによって変換されて虚数部として表現された信号は、高周波数信号に対して心理音響モデルを適用し、重要な周波数成分を選択するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
第１３１０段階で変換された信号から、既設定の基準によって、第１３１５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を選択する（第１３２０段階）。第１３２０段階で、重要な周波数成分を選択するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキングしきい値より大きい信号を重要な周波数成分として選択する。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を選択する。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定サイズ以上のピーク値を有する周波数成分を、重要周波数成分として選択する。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上方法を結合して組み合わせることによって実施することができ、前述の方法は、単なる例に過ぎず、前述の方法に限定して実施しなければならないものではない。
第１３２０段階で選択された第１３１０段階で変換された信号の周波数成分と、周波数成分が復元される位置を示す情報とを符号化する（第１３２５段階）。
第１３２０段階で選択された周波数成分が含まれたバンドに該当するか否かを判断する（第１３３０段階）。ここでバンドは、後述する第１３５０段階で符号化を遂行するにおいて適用する処理単位をいう。例えば、ＱＭＦの場合、バンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
もし第１３２０段階で選択された周波数成分が含まれたバンドに該当すると、第１３３０段階で判断されれば、第１３２０段階で選択された周波数成分が含まれたバンドに込められた信号に係わる各エネルギー値を計算する（第１３３５段階）。
第１３３５段階で計算された各バンドのエネルギー値と、各バンドの位置を示す情報とを符号化する（第１３４０段階）。
もし第１３２０段階で選択された周波数成分が含まれていないバンドに該当すると、第１３３０段階で判断されれば、分析フィルタバンクによって第１０００段階で分割された高周波数信号を、所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換する（第１３４５段階）。例えば、第１３４５段階では、ＱＭＦを適用してドメインを変換する。
低周波数信号を利用し、第１３２０段階で選択された周波数成分が含まれていないバンドを復元するための高周波数信号を符号化する（第１３５０段階）。第１３５０段階で、信号を符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化する。
第１３０５段階で符号化された結果；第１３２５段階で符号化された周波数成分、及び周波数成分が込められた位置を示す情報；第１３４０段階で符号化された各バンドのエネルギー値、及び各バンドの位置を示す情報；第１３５０段階で符号化された低周波数信号を利用して高周波数信号を復号化する情報を含んで多重化することによって、ビットストリームを出力する。
図１４は、本発明による復号化方法に係わる他の実施形態をフローチャートで図示したものである。
まず、符号化端から、ビットストリームを入力されて逆多重化する（第１４００段階）。例えば、周波数成分及び周波数成分が復元される位置を示す情報、各バンドのエネルギー値、エンコーダ（図示せず）でエネルギー値が符号化されたバンドの位置を示す情報、低周波数信号を利用して高周波数信号を復号化する情報などを、第１４００段階で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが一般的であるが、必ずしも同じ値に設定して実施しなければならないものではない。
第１４００段階後に、低周波数信号を既設定の所定の復号化方式によって復号化する（第１４０５段階）。第１４０５段階では、従来に開示されたいかなる復号化方式によっても符号化可能である。なぜならば、本発明による復号化方法は、高周波数信号を復号化するところに技術的特徴があるので、低周波数信号を復号化することと関連して、特定の方式に限定して実施しなければならないものではない。第１４０５段階で復号化する方式の例として、ＡＡＣ方式や、所定の重要な周波数成分を復号化し、残りの残余周波数成分は、所定のノイズ信号として復号化したり生成する方式などがある。
第１４０５段階後に、エンコーダ（図示せず）で、既設定の基準によって重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化する（第１４１０段階）。
第１４１０段階で復号化された周波数成分を含んだバンドに該当するか否かを判断する（第１４１５段階）。
もし周波数成分を含んだバンドに該当すると、第１４１５段階で判断されれば、第１４１０段階で復号化された周波数成分に対して適用されるフレームと、低周波数信号を利用して高周波数信号を復号化する情報で適用されるフレームとが互いに一致するか否かを判断する（第１４２０段階）。
もしフレームが互いに一致しないと、第１４２０段階で判断されれば、第１４１０段階で適用されるフレームと、後述する第１４４５段階で適用されるフレームとが互いに一致しない場合、第１４１０段階で適用されるフレームと、後述する第１４４５段階で適用されるフレームとを同期化する（第１４２５段階）。第１４２５段階では、第１４１０段階で適用されるフレームを基に、後述する第１４４５段階で適用されるフレームのうち、全てまたは一部を処理することが望ましい。
第１４１５段階で復号化された周波数成分が含まれたバンドを復元するための信号のエネルギー値を復号化する（第１４３０段階）。
第１４１５段階で復号化された周波数成分が含まれたバンドを復元するための信号を生成する（第１４３５段階）。
第１４３５段階で信号を生成する方法として、次に記述された例がある。第一に、第１４３５段階では、任意に高周波数信号を生成する。例えば、ランダムノイズ信号がある。第二に、第１４３５段階では、第１４０５段階で復号化された低周波数信号をコピーし、高周波数信号を生成できる。例えば、低周波数信号をパッチしたりフォールディングし、高周波数信号を生成できる。第三に、第１４３５段階では、低周波数信号を利用して高周波数信号を生成できる。
第１４３０段階で復号化された各バンドのエネルギー値を基に、第１４１０段階で復号化された周波数成分のエネルギー値を考慮し、第１４３５段階で生成された信号のエネルギーが調節されるように、第１４３５段階で生成された信号を調節する（第１４４０段階）。第１４４０段階に係わるさらに詳細な一実施形態は、図３の実施形態について説明しつつ述べた。
第１４０５段階で復号化された低周波数信号を利用し、高周波数信号のうち、第１４１０段階で復号化された周波数成分を含まないバンドを復元するための信号を復号化する（第１４４５段階）。
図１３の第１３４５段階で遂行する変換の逆過程によって、第１４４５段階で復号化された信号のドメインを、合成フィルタバンクを介して逆変換する（第１４５０段階）。
第１４１０段階で復号化された周波数成分を、第１４４０段階で調節された信号と合成する（第１４５５段階）。第１４５５段階で合成された信号は、第１４１０段階で復号化された周波数成分が含まれたバンドのみ復元するので、第１４５５段階では、残りのバンドに、第１４４５段階で復号化され、第１４５０段階で逆変換された信号を合成する。このように、第１４５５段階で信号を合成することによって、第１４５５段階では、最終的に高周波数信号を生成する。
第１４０５段階で復号化された低周波数信号と、第１４５５段階で合成された高周波数信号とを合成する（第１４６０段階）。
図１５は、本発明による符号化方法に係わる他の実施形態をフローチャートで図示したものである。
まず、既設定の周波数を基にして、入力された信号を、低周波数信号と高周波数信号とに分割する（第１５００段階）。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないものではない。
第１５００段階で分割された低周波数信号を、既設定の所定の符号化方式によって符号化する（第１５０５段階）。第１５０５段階では、従来に開示されたいかなる符号化方式によっても符号化可能である。なぜならば、本発明による符号化方法は、高周波数信号を符号化するところに技術的特徴があるので、低周波数信号を符号化することと関連して、特定の符号化方式に限定して実施しなければならないものではない。第１５０５段階で符号化する方式の例として、ＡＡＣ方式や、入力された信号から重要な周波数成分だけを検出して符号化し、残りの残余周波数成分は、所定のノイズ信号として符号化する方式などがある。
第１５００段階で分割された高周波数信号から、既設定の基準によって、重要な周波数成分であると判断される周波数成分を検出する（第１５１０段階）。第１５１０段階で、重要な周波数成分を判断するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキングしきい値より大きい信号を重要な周波数成分として選択する。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を選択する。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定サイズ以上のピーク値を有する周波数成分を、重要周波数成分として選択する。前述の三種の方法はそれぞれ実施したり、互いに結合して組み合わせることによって実施することができ、前述の方法は、単なる例に過ぎず、前述の方法に限定して実施しなければならないものではない。
第１５１０段階で検出された周波数成分と、周波数成分が込められた位置を示す情報とを符号化する（第１５１５段階）。
低周波数信号を利用して高周波数信号を符号化する（第１５２０段階）。第１５２０段階で信号を符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化する。
図１０の第１０３５段階及び図１３の第１３５０段階のように、高周波数信号をバンド別に分割し、重要な周波数成分が含まれていないバンドに対してのみ符号化するものではなく、第１５２０段階では、高周波数信号全てに対して低周波数信号を利用して符号化する。
第１５０５段階で符号化された結果；第１５１５段階で符号化された周波数成分、及び周波数成分が復元される位置を示す情報；第１５２０段階で符号化された低周波数信号を利用して高周波数信号を復号化する情報を含んで多重化することによって、ビットストリームを生成する（第１５２５段階）。
図１６は、本発明による復号化方法に係わる他の実施形態をフローチャートで図示したものである。
まず、符号化端から、ビットストリームを入力されて逆多重化する（第１６００段階）。例えば、周波数成分及び周波数成分が込められた位置を示す情報、並びに低周波数信号を利用し、高周波数信号を復号化する情報などを、第１６００段階で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より低い領域に該当する信号であり、高周波数信号は、既設定の第２周波数より高い領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが一般的であるが、必ずしも同じ値に設定して実施しなければならないものではない。
第１６００段階後に、低周波数信号を既設定の所定の復号化方式によって復号化する（第１６０５段階）。第１６０５段階では、従来に開示されたいかなる復号化方式によっても符号化可能である。なぜならば、本発明による復号化方法は、高周波数信号を復号化するところに技術的特徴があるので、低周波数信号を復号化することと関連して、特定の方式に限定して実施しなければならないものではない。第１６０５段階で復号化する方式の例として、ＡＡＣ方式や、所定の重要な周波数成分を復号化し、残りの残余周波数成分は、所定のノイズ信号として復号化したり生成する方式などがある。
第１６０５段階後に、符号化端で、既設定の基準によって重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化する（第１６１０段階）。
第１６１０段階で復号化された各周波数成分のエネルギー値を計算する（第１６１５段階）。
第１６０５段階で復号化された低周波数信号を利用し、高周波数信号を復号化する（第１６２０段階）。
第１６２０段階で復号化された周波数成分を含んだバンドに該当するか否かを判断する（第１６２５段階）。ここでバンドは、第１６２０段階で符号化を遂行するにおいて適用する処理単位をいう。例えば、ＱＭＦの場合、バンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
もし周波数成分を含んだバンドに該当すると、第１６２５段階で判断されれば、第１６２０段階で復号化された信号のうち、第１６１０段階で復号化された周波数成分が含まれたバンドを復元するための信号を調節する（第１６３０段階）。
第１６３０段階で調節するバンドに込められた信号に対するエネルギーが、第１６２０段階で復号化された信号のエネルギー値から、第１６１５段階で計算された各バンドに含まれた周波数成分のエネルギー値を減算した値になるように、第１６２０段階で復号化された信号を調節する（第１６３５段階）。
第１６１０段階で復号化された周波数成分を、第１６２５段階で調節された高周波数信号と合成する（第１６４０段階）。
このような過程によって、周波数成分を含んだバンドには、第１６４０段階で合成した信号として復元され、周波数成分を含まないバンドには、第１６２０段階で低周波数信号を利用して復号化した高周波数信号として復元される。
第１６０５段階で復号化された低周波数信号と、第１６５０段階で合成された高周波数信号とを合成する（第１６４５段階）。
本発明は、コンピュータで読取り可能な記録媒体にコンピュータ（情報処理機能を有する装置をいずれも含む）で読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録装置の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。
かような本発明に対する理解を助けるために、図面に図示された実施形態を参考に説明したが、それらは例示的なものに過ぎず、当分野で当業者ならば、それらから多様な変形及び均等な他実施形態が可能であるという点を理解することができるであろう。従って、本発明の真の技術的保護範囲は、特許請求の範囲によって決まるものである。
本発明による高周波数領域の符号化方法並びに装置によれば、既設定の周波数より高い領域に該当する信号から重要な周波数成分を検出して符号化し、検出された周波数成分が含まれたバンドとして復元された信号のエネルギー値を符号化する。また、本発明による高周波数領域の復号化方法並びに装置によれば、重要な周波数成分が含まれたバンドに込められた信号を、重要な周波数成分のエネルギー値を考慮して調節することによって、復号化する。
これにより、少ないビットを利用して符号化したり復号化するにもかかわらず、高周波数領域に該当する信号の音質を低下させないので、コーディング効率を極大化できる効果を収められる。
本発明の実施例に関し、更に、以下の項目を開示する。
（１）既設定の周波数より高い領域に該当する信号から、既設定の基準によって、周波数成分を検出して符号化する段階と、
前記検出された周波数成分が含まれたバンドを復元するための信号のエネルギー値を符号化する段階とを含むことを特徴とする高周波数領域の符号化方法。
（２）既設定の周波数より高い領域のうち、前記検出された周波数成分が含まれていないバンドを復元するための信号を、既設定の周波数より低い領域に該当する信号を利用して符号化する段階をさらに含むことを特徴とする（１）に記載の高周波数領域の符号化方法。
（３）既設定の周波数より高い領域のうち、前記検出された周波数成分が含まれたバンドに込められた信号に係わるトーナリティを符号化する段階をさらに含むことを特徴とする（１）に記載の高周波数領域の符号化方法。
（４）既設定の周波数より高い領域に含まれる周波数成分を復号化する段階と、
前記復号化された周波数成分が含まれたバンドを復元するための信号のエネルギー値を復号化する段階と、
前記バンドを復元するための信号を生成する段階と、
前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、前記生成された信号のエネルギー値を調節する段階と、
前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含むことを特徴とする高周波数領域の復号化方法。
（５）既設定の周波数より高い領域のうち、前記復号化された周波数成分が含まれていないバンドを復元するための信号を、既設定の周波数より低い領域に該当する信号を利用して復号化する段階をさらに含むことを特徴とする（４）に記載の高周波数領域の復号化方法。
（６）前記生成する段階で生成される信号は、
任意に生成された信号であることを特徴とする（４）に記載の高周波数領域の復号化方法。
（７）前記生成する段階で生成される信号は、
既設定の周波数より低い領域に該当する信号をコピーした信号であることを特徴とする（４）に記載の高周波数領域の復号化方法。
（８）前記生成する段階で生成される信号は、
既設定の周波数より低い領域に該当する信号を利用して生成した信号であることを特徴とする（４）に記載の高周波数領域の復号化方法。
（９）前記調節する段階は、
前記生成された信号のエネルギー値が前記復号化されたエネルギー値から、前記復号化された周波数成分のエネルギー値を減算した値になるように、調節することを特徴とする（４）に記載の高周波数領域の復号化方法。
（１０）既設定の周波数より高い領域のうち、前記復号化された周波数成分が含まれたバンドに込められた信号のトーナリティを復号化する段階をさらに含むことを特徴とする（４）に記載の高周波数領域の復号化方法。
（１１）前記調節する段階は、
前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値と、前記復号化されたトーナリティとを利用し、前記生成された信号のエネルギー値を調節することを特徴とする（１０）に記載の高周波数領域の復号化方法。
（１２）前記周波数成分を復号化する段階で利用されるフレームと、前記信号を利用して復号化する段階で利用されるフレームとが一致しない場合、フレームを同期化する段階をさらに含むことを特徴とする（５）に記載の高周波数領域の復号化方法。
（１３）既設定の周波数より高い領域に含まれる周波数成分を復号化する段階と、
既設定の周波数より低い領域に該当する信号を利用し、既設定の周波数より高い領域に該当する信号を復号化する段階と、
前記復号化された周波数成分のエネルギー値を考慮し、前記復号化された信号のエネルギー値を調節する段階と、
前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含むことを特徴とする高周波数領域の復号化方法。
（１４）前記調節する段階は、
前記復号化された信号のエネルギー値から、前記復号化された周波数成分のエネルギー値を減算した値になるように、前記復号化された信号のエネルギー値を調節することを特徴とする（１３）に記載の高周波数領域の復号化方法。
（１５）前記周波数成分を復号化する段階で利用されるフレームと、前記信号を復号化する段階で利用されるフレームとが一致しない場合、フレームを同期化する段階をさらに含むことを特徴とする（１３）に記載の高周波数領域の復号化方法。
（１６）既設定の周波数より高い領域に該当する信号から、既設定の基準によって、周波数成分を検出して符号化する段階と、
前記検出された周波数成分が含まれたバンドを復元するための信号のエネルギー値を符号化する段階とを含む発明を、コンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。
（１７）既設定の周波数より高い領域に含まれた周波数成分を復号化する段階と、
前記復号化された周波数成分が含まれたバンドを復元するための信号のエネルギー値を復号化する段階と、
前記バンドを復元するための信号を生成する段階と、
前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、前記生成された信号のエネルギー値を調節する段階と、
前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含む発明を、コンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。
（１８）既設定の周波数より高い領域に含まれた周波数成分を復号化する段階と、
既設定の周波数より低い領域に該当する信号を利用し、既設定の周波数より高い領域に該当する信号を復号化する段階と、
前記復号化された周波数成分のエネルギー値を考慮し、前記復号化された信号のエネルギー値を調節する段階と、
前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する段階とを含む発明を、コンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。
（１９）既設定の周波数より高い領域に該当する信号から、既設定の基準によって、周波数成分を検出して符号化する周波数成分符号化部と、
前記検出された周波数成分が含まれたバンドを復元するための信号のエネルギー値を符号化するエネルギー値符号化部とを含むことを特徴とする高周波数領域の符号化装置。
（２０）既設定の周波数より高い領域のうち、前記検出された周波数成分が含まれていないバンドを復元するための信号を、既設定の周波数より低い領域に該当する信号を利用して符号化する帯域幅拡張符号化部をさらに含むことを特徴とする（１９）に記載の高周波数領域の符号化装置。
（２１）既設定の周波数より高い領域のうち、前記検出された周波数成分が含まれたバンドに込められた信号のトーナリティを符号化するトーナリティ符号化部をさらに含むことを特徴とする（１９）に記載の高周波数領域の符号化装置。
（２２）既設定の周波数より高い領域に含まれた周波数成分を復号化する周波数成分復号化部と、
前記復号化された周波数成分が含まれたバンドを復元するための信号のエネルギー値を復号化するエネルギー値復号化部と、
前記バンドを復元するための信号を生成する信号生成部と、
前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、前記生成された信号のエネルギー値を調節する信号調節部と、
前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する信号合成部とを含むことを特徴とする高周波数領域の復号化装置。
（２３）既設定の周波数より高い領域のうち、前記復号化された周波数成分が含まれていないバンドを復元するための信号を、既設定の周波数より低い領域に該当する信号を利用して復号化する帯域幅拡張復号化部をさらに含むことを特徴とする（２２）に記載の高周波数領域の復号化装置。
（２４）前記信号生成部は、
任意に信号を生成することを特徴とする（２２）に記載の高周波数領域の復号化装置。
（２５）前記信号生成部は、
既設定の周波数より低い領域に該当する信号をコピーし、信号を生成することを特徴とする（２２）に記載の高周波数領域の復号化装置。
（２６）前記信号生成部は、
既設定の周波数より低い領域に該当する信号を利用し、信号を生成することを特徴とする（２２）に記載の高周波数領域の復号化装置。
（２７）前記信号調節部は、
前記生成された信号のエネルギー値が、前記復号化されたエネルギー値から、前記復号化された周波数成分のエネルギー値を減算した値になるように、調節することを特徴とする（２２）に記載の高周波数領域の復号化装置。
（２８）既設定の周波数より高い領域のうち、前記復号化された周波数成分が含まれたバンドを復元するための信号のトーナリティを復号化するトーナリティ復号化部をさらに含むことを特徴とする（２２）に記載の高周波数領域の復号化装置。
（２９）前記信号調節部は、
前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値と、前記復号化されたトーナリティとを利用し、前記生成された信号のエネルギー値を調節することを特徴とする（２８）に記載の高周波数領域の復号化装置。
（３０）前記周波数成分を復号化する段階で利用されるフレームと、前記信号を利用して復号化する段階で利用されるフレームとが一致しない場合、フレームを同期化する同期化部をさらに含むことを特徴とする（２２）に記載の高周波数領域の復号化装置。
（３１）既設定の周波数より高い領域に含まれた周波数成分を復号化する周波数成分復号化部と、
既設定の周波数より低い領域に該当する信号を利用し、既設定の周波数より高い領域に該当する信号を復号化する帯域幅拡張復号化部と、
前記復号化された周波数成分のエネルギー値を考慮し、前記復号化された信号のエネルギー値を調節する信号調節部と、
前記復号化された周波数成分と、前記エネルギー値が調節された信号とを合成する信号合成部とを含むことを特徴とする高周波数領域の復号化装置。
（３２）前記信号調節部は、
前記復号化された信号のエネルギー値から、前記復号化された周波数成分のエネルギー値を減算した値になるように、前記復号化された信号のエネルギー値を調節することを特徴とする（３１）に記載の高周波数領域の復号化装置。
（３３）前記周波数成分復号化部で利用されるフレームと、前記帯域幅拡張復号化部で利用されるフレームとが一致しない場合、フレームを同期化する同期化部をさらに含むことを特徴とする（３１）に記載の高周波数領域の復号化装置。

Claims (2)

  1. 音声または音楽信号で既設定の周波数より低い領域の信号を符号化する第１符号化部と、
    前記音声または音楽信号において前記既設定の周波数より高い領域の信号について既設定の基準によって、主要な周波数成分を検出し、前記既設定の周波数より高い領域の信号のうち、前記検出された主要な周波数成分が含まれたバンドの場合、前記検出された主要な周波数成分と前記主要な周波数成分が含まれたバンドのエネルギーに基づき符号化処理を行い、前記検出された主要な周波数成分が含まれていないバンドの場合、前記既設定の周波数より低い領域の信号に基づき符号化処理を行う第２符号化部と、を備えることを特徴とする音声または音楽信号の符号化装置。
  2. 既設定の周波数より低い領域の符号化された周波数成分を復号化する第１復号化部と、
    既設定の周波数より高い領域のうち、前記符号化された主要な周波数成分が含まれたバンドの場合、前記符号化された主要な周波数成分と前記主要な周波数成分が含まれたバンドのエネルギー値に基づき復号化処理を行い、前記符号化された主要な周波数成分が含まれていないバンドの場合、前記既設定の周波数より低い領域の符号化された周波数成分に基づき復号化処理を行う第２復号化部と、
    前記既設定の周波数より低い領域の復号化された結果と前記既設定の周波数より高い領域の処理結果とを合成する合成部と、を備えることを特徴とする音声または音楽信号の復号化装置。
JP2016237817A 2007-04-30 2016-12-07 高周波数領域の符号化及び復号化の方法並びに装置 Active JP6363683B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2007-0042035 2007-04-30
KR1020070042035A KR101355376B1 (ko) 2007-04-30 2007-04-30 고주파수 영역 부호화 및 복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012263597A Division JP2013061671A (ja) 2007-04-30 2012-11-30 高周波数領域の符号化及び復号化の方法並びに装置

Publications (2)

Publication Number Publication Date
JP2017068276A JP2017068276A (ja) 2017-04-06
JP6363683B2 true JP6363683B2 (ja) 2018-07-25

Family

ID=39888052

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2010506031A Expired - Fee Related JP5543334B2 (ja) 2007-04-30 2008-02-29 高周波数領域の符号化及び復号化の方法並びに装置
JP2012263597A Pending JP2013061671A (ja) 2007-04-30 2012-11-30 高周波数領域の符号化及び復号化の方法並びに装置
JP2016237817A Active JP6363683B2 (ja) 2007-04-30 2016-12-07 高周波数領域の符号化及び復号化の方法並びに装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2010506031A Expired - Fee Related JP5543334B2 (ja) 2007-04-30 2008-02-29 高周波数領域の符号化及び復号化の方法並びに装置
JP2012263597A Pending JP2013061671A (ja) 2007-04-30 2012-11-30 高周波数領域の符号化及び復号化の方法並びに装置

Country Status (8)

Country Link
US (2) US8560304B2 (ja)
EP (2) EP2998959B1 (ja)
JP (3) JP5543334B2 (ja)
KR (1) KR101355376B1 (ja)
CN (3) CN102750953A (ja)
ES (1) ES2711889T3 (ja)
TR (1) TR201901421T4 (ja)
WO (1) WO2008133400A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411900B1 (ko) * 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치
EP2294770B1 (en) * 2008-06-20 2013-08-07 Rambus, Inc. Frequency responsive bus coding
GB0822537D0 (en) 2008-12-10 2009-01-14 Skype Ltd Regeneration of wideband speech
US9947340B2 (en) * 2008-12-10 2018-04-17 Skype Regeneration of wideband speech
GB2466201B (en) * 2008-12-10 2012-07-11 Skype Ltd Regeneration of wideband speech
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5598536B2 (ja) * 2010-03-31 2014-10-01 富士通株式会社 帯域拡張装置および帯域拡張方法
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US9117459B2 (en) 2010-07-19 2015-08-25 Dolby International Ab Processing of audio signals during high frequency reconstruction
US12002476B2 (en) 2010-07-19 2024-06-04 Dolby International Ab Processing of audio signals during high frequency reconstruction
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
JP5552988B2 (ja) * 2010-09-27 2014-07-16 富士通株式会社 音声帯域拡張装置および音声帯域拡張方法
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5975243B2 (ja) * 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
EP2767977A4 (en) * 2011-10-21 2015-04-29 Samsung Electronics Co Ltd METHOD AND DEVICE FOR LOSS-FREE ENERGY CODING, AUDIO CODING METHOD AND DEVICE, METHOD AND APPARATUS FOR LOSS-FREE ENERGY DECODING AND AUDIO CODING METHOD AND DEVICE
EP2950308B1 (en) * 2013-01-22 2020-02-19 Panasonic Corporation Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method
BR112015017632B1 (pt) 2013-01-29 2022-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Aparelho e método para gerar um sinal melhorado da frequência utilizando nivelamento temporal de sub-bandas
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
CA3162763A1 (en) 2013-12-27 2015-07-02 Sony Corporation Decoding apparatus and method, and program
KR101864122B1 (ko) 2014-02-20 2018-06-05 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
MX356371B (es) 2014-07-25 2018-05-25 Fraunhofer Ges Forschung Dispositivo de codificacion de señal acustica, dispositivo de decodificacion de señal acustica, metodo para codificar una señal acustica y metodo para decodificar una señal acustica.
KR102318763B1 (ko) 2014-08-28 2021-10-28 삼성전자주식회사 기능 제어 방법 및 이를 지원하는 전자 장치
CN107294579A (zh) 2016-03-30 2017-10-24 索尼公司 无线通信***中的装置和方法以及无线通信***
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
CN113192517B (zh) * 2020-01-13 2024-04-26 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN113192523A (zh) * 2020-01-13 2021-07-30 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN113593586A (zh) * 2020-04-15 2021-11-02 华为技术有限公司 音频信号编码方法、解码方法、编码设备以及解码设备
CN113808596A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113808597A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113948094A (zh) * 2020-07-16 2022-01-18 华为技术有限公司 音频编解码方法和相关装置及计算机可读存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4956871A (en) * 1988-09-30 1990-09-11 At&T Bell Laboratories Improving sub-band coding of speech at low bit rates by adding residual speech energy signals to sub-bands
US5040217A (en) * 1989-10-18 1991-08-13 At&T Bell Laboratories Perceptual coding of audio signals
US5579404A (en) * 1993-02-16 1996-11-26 Dolby Laboratories Licensing Corporation Digital audio limiter
DE69924922T2 (de) 1998-06-15 2006-12-21 Matsushita Electric Industrial Co., Ltd., Kadoma Audiokodierungsmethode und Audiokodierungsvorrichtung
US20020009000A1 (en) * 2000-01-18 2002-01-24 Qdesign Usa, Inc. Adding imperceptible noise to audio and other types of signals to cause significant degradation when compressed and decompressed
SE0004163D0 (sv) * 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
SE0004187D0 (sv) 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
CN100395817C (zh) 2001-11-14 2008-06-18 松下电器产业株式会社 编码设备、解码设备和解码方法
JP3926726B2 (ja) 2001-11-14 2007-06-06 松下電器産業株式会社 符号化装置および復号化装置
WO2003046891A1 (en) * 2001-11-29 2003-06-05 Coding Technologies Ab Methods for improving high frequency reconstruction
JP2003255973A (ja) 2002-02-28 2003-09-10 Nec Corp 音声帯域拡張システムおよび方法
BRPI0306434B1 (pt) * 2002-09-19 2018-06-12 Nec Corporation Aparelho e método de decodificação de áudio
JP4168976B2 (ja) 2004-05-28 2008-10-22 ソニー株式会社 オーディオ信号符号化装置及び方法
KR100773539B1 (ko) * 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
DE102004036154B3 (de) 2004-07-26 2005-12-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur robusten Klassifizierung von Audiosignalen sowie Verfahren zu Einrichtung und Betrieb einer Audiosignal-Datenbank sowie Computer-Programm
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
KR20070005469A (ko) 2005-07-05 2007-01-10 엘지전자 주식회사 다채널 오디오 신호의 디코딩 장치 및 디코딩 방법
US7630882B2 (en) 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
KR100851970B1 (ko) 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
KR20070011100A (ko) 2005-07-18 2007-01-24 엘지전자 주식회사 다채널 오디오 코딩에서 오디오 신호의 에너지 보정방법 및그 보정을 위한 부호화된 오디오 신호 생성방법
JP4736812B2 (ja) 2006-01-13 2011-07-27 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
JP4918841B2 (ja) * 2006-10-23 2012-04-18 富士通株式会社 符号化システム
JP4967618B2 (ja) * 2006-11-24 2012-07-04 富士通株式会社 復号化装置および復号化方法
JP4984983B2 (ja) * 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
US8015368B2 (en) * 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication

Also Published As

Publication number Publication date
EP2998959A1 (en) 2016-03-23
USRE47824E1 (en) 2020-01-21
CN102750954A (zh) 2012-10-24
EP2153437A4 (en) 2011-07-13
ES2711889T3 (es) 2019-05-08
WO2008133400A1 (en) 2008-11-06
EP2153437A1 (en) 2010-02-17
JP2013061671A (ja) 2013-04-04
JP2017068276A (ja) 2017-04-06
CN101681623A (zh) 2010-03-24
EP2998959B1 (en) 2019-01-30
JP5543334B2 (ja) 2014-07-09
CN101681623B (zh) 2012-08-08
KR101355376B1 (ko) 2014-01-23
CN102750953A (zh) 2012-10-24
JP2010526331A (ja) 2010-07-29
KR20080096998A (ko) 2008-11-04
TR201901421T4 (tr) 2019-02-21
US8560304B2 (en) 2013-10-15
US20080270125A1 (en) 2008-10-30

Similar Documents

Publication Publication Date Title
JP6363683B2 (ja) 高周波数領域の符号化及び復号化の方法並びに装置
JP6386634B2 (ja) オーディオ信号の符号化及び復号化方法並びにその装置
JP7483792B2 (ja) 符号化オーディオ信号を復号する復号装置および復号方法
KR101373004B1 (ko) 고주파수 신호 부호화 및 복호화 장치 및 방법
KR101747918B1 (ko) 고주파수 신호 복호화 방법 및 장치
TWI303410B (en) Audio decoding apparatus and audio decoding method
JP5336522B2 (ja) 瞬間的事象を有する音声信号の操作装置および操作方法
KR101680953B1 (ko) 인지 오디오 코덱들에서의 고조파 신호들에 대한 위상 코히어런스 제어

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180628

R150 Certificate of patent or registration of utility model

Ref document number: 6363683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250