JP2004053895A - Device and method for audio decoding, and program - Google Patents

Device and method for audio decoding, and program Download PDF

Info

Publication number
JP2004053895A
JP2004053895A JP2002210946A JP2002210946A JP2004053895A JP 2004053895 A JP2004053895 A JP 2004053895A JP 2002210946 A JP2002210946 A JP 2002210946A JP 2002210946 A JP2002210946 A JP 2002210946A JP 2004053895 A JP2004053895 A JP 2004053895A
Authority
JP
Japan
Prior art keywords
frequency
signal
subband
phase correction
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002210946A
Other languages
Japanese (ja)
Other versions
JP4227772B2 (en
Inventor
Osamu Shimada
嶋田 修
Toshiyuki Nomura
野村 俊之
Yuichiro Takamizawa
高見沢 雄一郎
Masahiro Serizawa
芹沢 昌宏
Naoya Tanaka
田中 直也
Mineo Tsushima
津島 峰生
Takeshi Norimatsu
則松 武志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Panasonic Holdings Corp
Original Assignee
NEC Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Matsushita Electric Industrial Co Ltd filed Critical NEC Corp
Priority to JP2002210946A priority Critical patent/JP4227772B2/en
Publication of JP2004053895A publication Critical patent/JP2004053895A/en
Application granted granted Critical
Publication of JP4227772B2 publication Critical patent/JP4227772B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology and a device that reduce an operation quantity while maintaining high sound quality. <P>SOLUTION: A high-frequency phase correction part 106 is newly provided which corrects the phase of the output of a high-frequency generation part 105. A wide-band phase correction part 106 performs phase correcting processes which are different by subbands needed when a real number subband composition filter performs subband composition of signals divided into subbands by a complex composition subband dividing filter. Consequently, the real number subband composition filter whose operation quantity is small is usable instead of the complex subband composition filter to reduce a necessary operation quantity and a device scale while maintaining high sound quality. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、符号化されたオーディオ信号を復号するためのオーディオ復号装置および復号方法に関する。
【0002】
【従来の技術】
低ビットレートで高音質に符号化可能なオーディオ符号化・復号方式として、ISO/IECの国際標準方式であるMPEG−2 AAC(Advanced Audio Coding)が広く知られている。このMPEG−2 AACに代表される従来のオーディオ符号化復号方式では、まず、時間領域のPCM信号を複数サンプルまとめて1フレームとし、これをMDCT(Modified Discrete Cosine Transform)などの写像変換により周波数領域信号へと変換する。そして、この周波数領域信号を量子化およびハフマン符号化してビットストリームを形成する。量子化においては人間の聴覚特性を考慮して、周波数領域信号の中で知覚されやすい周波数成分については量子化精度を高く、そうでない周波数成分については量子化精度を低くすることにより、限られた符号量で高い音質を実現する。例えば、MPEG−2 AACでは96kbps程度のビットレートでCDと同等音質(44.1kHzサンプリング、ステレオ)を実現できる。
【0003】
これより低いビットレート、例えば48kbps程度のビットレートで44.1kHzサンプリングのステレオオーディオ信号を符号化しようとする場合、聴覚的に重要度が低い高域周波数成分を符号化対象から外す(量子化値を零とする)ことで限られたビットレートでの主観的音質が最高となるようにする。しかしながらこの場合、高域周波数成分が符号化されていないために音質が劣化し、一般的にはこもった感じの音となってしまう。
【0004】
このような低ビットレートでの音質劣化を解決する技術として帯域拡張技術が注目を集めている。帯域拡張技術では、MPEG−2 AACなどの方式で低ビットレートに符号化した低域ビットストリームに、僅かな符号量(一般に数kbps程度)の補助情報である高域ビットストリームを付加してビットストリームを構成する。オーディオ復号装置(デコーダ)では、まず、MPEG−2 AACなどの復号方法で低域ビットストリームを復号して、高域周波数成分が含まれていない低域オーディオ信号を得る。そして、帯域拡張技術により、高域ビットストリームが示す補助情報に従った加工を低域オーディオ信号に施して高域周波数成分を生成する。
【0005】
こうして得られた高域周波数成分と、低域ビットストリームを復号して得られた低域オーディオ信号を合成して高域周波数成分を含む復号オーディオ信号を得る。
【0006】
帯域拡張技術を用いた従来のオーディオ復号装置の一例として、MPEG−2AAC復号装置にSBRと呼ばれる帯域拡張技術を組み合わせた例が、ETSIが発行する「Digital Radio Mondiale(DRM);System Specification」(ETSI TS 101 980V1.1.1)の5.6.2節に記述されている。ここに記述されているような帯域拡張技術を用いた従来のオーディオ復号装置を図4および図5に示す。
【0007】
図4に示す従来のオーディオ復号装置は、ビットストリーム分離部100、低域復号部101、複素サブバンド分割部402、帯域拡張部403、複素サブバンド合成部404から構成される。また、帯域拡張部403は、高域生成部105と振幅調整部107から構成される。
【0008】
ビットストリーム分離部100は、入力されたビットストリームを分離して低域復号部101と帯域拡張部403へ出力する。ビットストリームには低域信号がMPEG−2 AACなどの符号化方式で符号化されている低域ビットストリームと、帯域拡張部が高域信号を生成するために必要な情報を含む高域ビットストリームが多重化されている。低域ビットストリームは低域復号部101へ、高域ビットストリームは帯域拡張部403へ出力される。
【0009】
低域復号部101は、入力された低域ビットストリームを復号して低域オーディオ信号を生成し、複素サブバンド分割部402へ出力する。低域復号部101はMPEG−2 AACなど既存のオーディオ復号方式を用いて低域ビットストリームを復号する。
【0010】
複素サブバンド分割部402は、入力された低域オーディオ信号を複素サブバンド分割フィルタによって帯域分割する。帯域分割された低域サブバンド信号は帯域拡張部403および複素サブバンド合成部404へ出力される。複素サブバンド分割フィルタについては、例えば、従来から広く知られている32バンド複素QMF(Quadrature Mirror Filter:直交鏡像フィルタ)フィルタバンクなどを用いることができる。この場合、32サブバンドに帯域分割された複素数の低域信号(低域サブバンド信号)が帯域拡張部403および複素サブバンド合成部404へ出力される。32バンド複素分析QMFフィルタバンクの計算式は下記の式402.1、402.2のようになる。
【0011】
【数1】

Figure 2004053895
【0012】
ここで、X(n)は低域オーディオ信号を表し、Xk(m)はkバンド目の低域サブバンド信号を表し、h(n)は分析用低域通過フィルタを表す。本例ではK1=64である。
【0013】
帯域拡張部403は、入力された高域ビットストリームと低域サブバンド信号から高域のオーディオ信号を表す高域サブバンド信号を生成してサブバンド合成部404へ出力する。帯域拡張部403は、高域生成部105と振幅調整部107から構成される。
【0014】
高域生成部105は、低域サブバンド信号と高域ビットストリームを入力とし、低域サブバンド信号の中から高域ビットストリームが指定する帯域の信号を高域サブバンドへと複写する。また、この複写の際には高域ビットストリームが指定する信号加工を施す場合もある。例えば、周波数が低い順にサブバンド0からサブバンド63まで64個のサブバンドを仮定し、低域サブバンド信号としてサブバンド0からサブバンド19までの複素数のサブバンド信号が複素サブバンド分割部402から供給されているとする。また高域ビットストリームには、サブバンドA(A>19)をどの低域サブバンド(サブバンド0から19)から信号を複写して生成するかを表す複写情報、および、複写の際に施す信号加工方法(フィルタリングなどあらかじめ定められた数種類の手段から選択して用いられる)を示す信号加工情報が含まれているとする。高域生成部105の処理は、高域のサブバンドの複素信号(複写加工サブバンド信号と名付ける)を複写情報が示す低域のサブバンドの複素信号と同一とする。さらに、音質向上のために信号加工情報が何らかの信号加工の必要性を表している場合は、複写加工サブバンド信号に信号加工情報が示す信号加工を施す。このようにして生成された複写加工サブバンド信号は振幅調整部107に出力される。
【0015】
振幅調整部107は、入力された複写加工サブバンド信号の振幅に対して、高域ビットストリームが指定する補正を施して高域サブバンド信号を生成する。つまり、符号化前のオーディオ信号の高域信号エネルギと、帯域拡張部403が生成する信号の高域信号エネルギが等価となるような振幅補正を複写加工サブバンド信号に対して施す。そのために、高域ビットストリームには符号化前のオーディオ信号の高域信号エネルギを表す情報が含まれている。生成された高域サブバンド信号は複素サブバンド合成部404へ出力される。
【0016】
複素サブバンド合成部404は、入力された低域サブバンド信号と高域サブバンド信号を複素サブバンド合成フィルタによって帯域合成する。この帯域合成により生成されたオーディオ信号がオーディオ復号装置の出力となる。複素サブバンド合成フィルタは、複素サブバンド分割部402で用いられている複素サブバンドフィルタに対応したものが用いられる。つまり、ある信号を複素サブバンド分割フィルタで帯域分割し、これを複素サブバンド合成フィルタで帯域合成すると元の信号(複素サブバンド分割フィルタの入力信号)が完全に再構成できるように選ばれる。例えば、複素サブバンド合成フィルタとして式402.1に示したような32バンド複素QMF分割フィルタバンク(K1=64)が用いられている場合、
【0017】
【数2】
Figure 2004053895
【0018】
を用いることができる。ここで、f(n)は合成用低域通過フィルタを表す。本例ではK2=64である。
【0019】
また、帯域拡張技術によって低域復号部101が出力するオーディオ信号のサンプリング周波数よりも複素サブバンド合成部404が出力するオーディオ信号のサンプリング周波数が高い場合は、複素サブバンド合成部404が出力するオーディオ信号の低域部(ダウンサンプリングした結果)が低域復号部101が出力するオーディオ信号と等しくなるように選ばれる。複素サブバンド合成部404では64バンド複素QMF合成フィルタバンク(式404.1においてK2=128)を用いることができる。なお、この場合、低域側32バンドには32バンド複素分析QMFフィルタバンクの出力が信号値として用いられる。
【0020】
図5に示す従来のオーディオ復号装置は、図4と比較して、帯域拡張部503にトーン・ノイズ付加部208が追加されている点で異なっている。
【0021】
トーン・ノイズ付加部208は、高域ビットストリームに含まれているトーン情報とノイズ情報を入力とし、トーン・ノイズ信号を振幅調整部207へ出力する。トーン情報は、どの周波数帯域にトーン音(正弦波)を付加するかを表す。一般に高域のトーン音はその低域信号から高音質に生成するのが難しいため、このような別手段で付加するとよい。また、ノイズ情報には、どの周波数にどのエネルギの白色雑音を付加するかを表している。トーン・ノイズ付加部208はトーン情報とノイズ情報を元にトーン音と白色雑音を発生させ、これをトーン・ノイズ信号として振幅調整部207へ出力する。
【0022】
振幅調整部207では、高域生成部105から入力された複写加工サブバンド信号に、トーン・ノイズ付加部208から入力されたトーン・ノイズ信号を加算し、そのエネルギが所望のものとなるように、振幅調整部107と同様に高域ビットストリームが指定する補正を施して高域サブバンド信号を生成する。生成された高域サブバンド信号は複素サブバンド合成部404へ出力される。
【0023】
【発明が解決しようとする課題】
上述した従来のオーディオ復号装置では、演算量が大きい複素サブバンド分割部および複素サブバンド合成部を有するため、必要演算量・装置規模が大きいという問題点があった。
【0024】
本発明の目的は、高音質を維持しつつ演算量を低減した帯域拡張技術、およびこれを用いたオーディオ復号装置、オーディオ復号方法およびオーディオ復号用プログラムを提供することにある。
【0025】
【課題を解決するための手段】
上記目的を達成するために、本発明のオーディオ復号装置は、ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離部と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号部と、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割部と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成部と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正部と、
前記位相補正複写加工サブバンド信号の信号エネルギを前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整部と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成部と、から構成されることを特徴とする。
【0026】
また、本発明の他のオーディオ復号装置は、ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離部と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号部と、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割部と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成部と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正部と、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成するトーン・ノイズ付加部と、
前記トーン・ノイズ信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正トーン・ノイズサブバンド信号を生成するトーン・ノイズ位相補正部と、
前記位相補正複写加工サブバンド信号の信号エネルギと前記位相補正トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整部と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成部と、から構成されることを特徴とする。
【0027】
さらに、本発明の他のオーディオ復号装置は、ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離部と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号部と、前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割部と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成部と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正部と、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成するトーン・ノイズ付加部と、
前記位相補正複写加工サブバンド信号の信号エネルギと前記トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整部と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成部と、から構成されることを特徴とする。
【0028】
また、前記高域位相補正部が行う位相補正において、前記複写加工サブバンド信号を生成する際に用いられた複写元の周波数と複写先の周波数の差分に応じて位相補正量を決めるようにしてもよい。さらに、前記トーン・ノイズ位相補正部が行う位相補正において、前記トーン・ノイズ信号の周波数に応じて位相補正量を決めるようにしてもよい。
【0029】
本発明によれば、高域生成部の出力の位相を補正する高域位相補正部とトーン・ノイズ付加部の出力の位相を補正するトーン・ノイズ位相補正部を設けたことを特徴としている。複素サブバンド分割フィルタでサブバンド分割された信号を実数のサブバンド合成フィルタでサブバンド合成する際に必要となるサブバンド毎に異なる位相補正処理を、これらの位相補正部が実行する。これにより、高音質を維持しつつ、複素サブバンド合成フィルタの代わりに、より演算量が少ない実数のサブバンド合成フィルタを用いることができ、必要演算量・装置規模を低減することができる。
【0030】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【0031】
(第1の実施形態)
図1は本発明の第1の実施形態のオーディオ復号装置の構成を示すブロック図である。
【0032】
本実施形態のオーディオ復号装置は、ビットストリーム分離部100、低域復号部101、複素サブバンド分割部102、帯域拡張部103、サブバンド合成部104とから構成される。さらに、帯域拡張部103は、高域生成部105、高域位相補正部106、振幅調整部107から構成される。
【0033】
ビットストリーム分離部100は、入力されたビットストリームを分離して低域復号部101と帯域拡張部103へ出力する。ビットストリームには低域信号が符号化されている低域ビットストリームと、帯域拡張部が高域信号を生成するために必要な情報を含む高域ビットストリームが多重化されている。低域ビットストリームは低域復号部101へ、高域ビットストリームは帯域拡張部103へ出力される。
【0034】
低域復号部101は、入力された低域ビットストリームを復号して低域オーディオ信号を生成し、複素サブバンド分割部102へ出力する。低域復号部101はMPEG−2 AACなど既存のオーディオ復号方式を用いて低域ビットストリームを復号する。
【0035】
複素サブバンド分割部102は、入力された低域オーディオ信号を複素サブバンド分割フィルタによって帯域分割する。帯域分割された低域サブバンド信号は帯域拡張部103およびサブバンド合成部104へ出力される。
【0036】
帯域拡張部103は、入力された高域ビットストリームと低域サブバンド信号から高域のオーディオ信号を表す高域サブバンド信号を生成してサブバンド合成部104へ出力する。
【0037】
サブバンド合成部104は、入力された低域サブバンド信号と高域サブバンド信号をサブバンド合成フィルタによって帯域合成する。帯域合成により生成されたオーディオ信号がオーディオ復号装置の出力となる。
【0038】
高域生成部105は、低域サブバンド信号と高域ビットストリームを入力とし、低域サブバンド信号の中から高域ビットストリームが指定する帯域の信号を加工して複写加工サブバンド信号を生成する。生成された複写加工サブバンド信号は高域位相補正部106に出力される。
【0039】
高域位相補正部106は、入力された複写加工サブバンド信号の位相をサブバンド毎に補正し、位相補正複写加工サブバンド信号を生成する。生成された位相補正複写加工サブバンド信号は振幅調整部107へ出力される。
【0040】
振幅調整部107は、入力された位相補正複写加工サブバンド信号の振幅に対して、高域ビットストリームが指定する補正を施して高域サブバンド信号を生成する。生成された高域サブバンド信号はサブバンド合成部104へ出力される。
【0041】
このように構成される本発明のオーディオ復号装置と図4の従来のオーディオ復号装置の相違は、図4の複素サブバンド分割部402の替わりに図1では複素サブバンド分割部102があり、図4の複素サブバンド合成部404の替わりに図1ではサブバンド合成部104があり、また、本発明(図1)には高域位相補正部106が追加されていることにある。他の処理部については、従来方式と同じであり当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な説明は省略する。以下では従来と手法が異なる複素サブバンド分割部102、サブバンド合成部104、高域位相補正部106について詳細に説明する。
【0042】
まず、複素サブバンド分割部102とサブバンド合成部104について説明する。従来はサブバンド分割フィルタとして複素数のサブバンド信号を生成する式402.1のようなフィルタバンクを用いていた。また、これに対応する逆変換として式404.1のようなフィルタバンクをサブバンド合成フィルタとして用いていた。
【0043】
式404.1の出力、あるいは、式404.1の出力を式402.1の入力信号のサンプリング周波数にダウンサンプリングした信号は式402.1の入力と完全に一致する完全再構成性がある。高音質な復号オーディオ信号を得るためには、この完全再構成性の関係がサブバンド分割・合成フィルタに必要となる。
【0044】
本発明においては、演算量を低減するために、従来の複素サブバンド合成部(図4〜5の404)で用いられている複素サブバンド合成フィルタを、実数のサブバンド合成フィルタ(図1〜3の104)に置き換えている。しかしながら、単にサブバンド合成フィルタを複素数から実数に変更してしまうと完全再構成性は失われ、音質が劣化する。
【0045】
複素数のサブバンド分割フィルタと実数のサブバンド合成フィルタの間で完全再構成性を実現するためには、従来の複素サブバンド分割フィルタ(図4〜5の402)の出力に回転演算を施すと良いことが従来から広く知られている。この回転演算は複素数の実数軸と虚数軸を(π÷4)だけ回転させるものであり、一般的に良く知られたDFTからDCTを導出する手法と同じである。例えば、k0=1/2の場合、式402.1の32バンド複素QMF分割フィルタバンクの計算式には、各サブバンドkに対して以下の回転演算(K=K1)を施すと良い。
【0046】
【数3】
Figure 2004053895
【0047】
なお、式102.1における3/4Kは1/4Kでも良い。
【0048】
このように従来の複素サブバンド分割部(図4〜5の402)の後段に式102.1の回転演算を行う処理部を付加したものを複素サブバンド分割部(図1〜3の102)としても良いが、これらサブバンド分割フィルタと回転演算処理を合わせた処理と等価な演算をより少ない演算量で実現可能な下式を複素サブバンド分割部(図1〜3の102)で行うと良い。
【0049】
【数4】
Figure 2004053895
【0050】
これに対応する実数のサブバンド合成フィルタとしては、式404.1に
【0051】
【数5】
Figure 2004053895
【0052】
という変換を施し、実数部分のみを取り出した
【0053】
【数6】
Figure 2004053895
【0054】
をサブバンド合成部(図1〜3の104)で用いれば、完全再構成性を実現できるようになる。ここで、Re[.]は複素サブバンド信号の実数部のみを取り出すことを表す。
【0055】
回転演算は式102.2で表されるようにバンド番号kの関数となっているため、式102.2を用いた複素サブバンド分割部102と式104.2を用いたサブバンド合成部104の間に帯域拡張処理が入ると位相の不整合が起こる。すなわち、帯域拡張部(図1の103、図2の203、図3の303)から出力される高域サブバンド信号は、低域のバンド番号に応じた回転演算が施された低域サブバンド信号を複写加工して生成されたものであり、サブバンド合成部において高域のバンド番号に応じた逆回転演算が施されると、サブバンド合成部の出力信号における高域成分の位相に狂いが生じる。
【0056】
そこで高域位相補正部104が以下のように位相の補正をする。
【0057】
【数7】
Figure 2004053895
【0058】
ここで、k2は複写先の高域のバンド番号を表し、k1は複写元の低域バンド番号を表す。すなわち、高域生成部105がサブバンドk2の信号を、サブバンドk1の信号を複写加工して生成した場合に高域位相補正部106において式106.1の位相補正処理を行うということである。さらに、式106.1はCOS関数及びSIN関数の特性を利用して低演算量で実現できる。
【0059】
(第2の実施形態)
次に、本発明の第2の実施の形態について図2を用いて詳細に説明する。
【0060】
図2を参照すると、本発明の第2の実施の形態としてのオーディオ復号装置が示されている。本実施形態のオーディオ復号装置は、ビットストリーム分離部100、低域復号部101、複素サブバンド分割部102、帯域拡張部203、サブバンド合成部104とから構成される。さらに、帯域拡張部203は、高域生成部105、高域位相補正部106、振幅調整部207、トーン・ノイズ付加部208、トーン・ノイズ位相補正部209から構成される。
【0061】
本発明の第2の実施の形態は、本発明の第1の実施の形態と比較して、トーン・ノイズ付加部208とトーン・ノイズ位相補正部209が追加され、振幅調整部207がトーン・ノイズ位相補正部の出力信号をも入力信号としていることのみであり、他の部分については全く同一である。さらにトーン・ノイズ付加部208および振幅調整部207は図5に示した従来技術と全く同一であり、本発明の第2の実施の形態は、トーン・ノイズ位相補正部209を追加したことのみである。そこでトーン・ノイズ位相補正部209について詳細に説明する。
【0062】
トーン・ノイズ位相補正部209は高域位相補正部106と同様に、例えば k0 = 1/2 の場合、サブバンド合成部104における逆回転演算を考慮して以下の回転演算
【0063】
【数8】
Figure 2004053895
【0064】
を施す必要がある。なお、式209.1はcos関数及びsin関数の特性を利用することにより簡略化でき、トーン・ノイズ位相補正部209の処理は低演算量で実現できる。さらに、トーン信号およびノイズ信号、あるいはそのどちらかをトーン・ノイズ付加部208においてテーブル化して蓄える場合は、位相補正を施したトーン信号およびノイズ信号、あるいはそのどちらかをテーブル化して蓄えることにより、トーン・ノイズ位相補正部209を備えるのと同等な効果をより低演算量で得ることができる。
【0065】
(第3の実施形態)
次に、本発明の第3の実施の形態について図3を用いて詳細に説明する。
【0066】
図3を参照すると、本発明の第3の実施の形態としてのオーディオ復号装置が示されている。本実施形態のオーディオ復号装置は、ビットストリーム分離部100、低域復号部101、複素サブバンド分割部102、帯域拡張部303、サブバンド合成部104とから構成される。さらに、帯域拡張部203は、高域生成部105、高域位相補正部106、振幅調整部207、トーン・ノイズ付加部208から構成される。
【0067】
本発明の第3の実施の形態は、本発明の第2の実施の形態と比較して、トーン・ノイズ位相補正部209が無くなり、トーン・ノイズ付加部208の出力が、トーン・ノイズ位相補正部209を通さずに振幅調整部207の入力信号となっていることのみであり、他の部分については全く同一である。トーン・ノイズ信号に対して位相補正を行わないために復号オーディオ信号の品質は他の実施の形態よりも低下するが、更なる低演算量化を実現できる。
【0068】
なお、本発明が上記各実施形態に限定されず、本発明の技術思想の範囲内において、各実施形態は適宜変更され得ることは明らかである。
【0069】
また、図には示されていないが、本実施形態のオーディオ復号装置は、上記で説明したオーディオ復号方法を実行するためのプログラムを記録した記録媒体を備えている。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体からオーディオ復号装置に読み込まれ、オーディオ復号装置の動作を制御する。具体的には、オーディオ復号装置内のCPUがこのプログラムの制御によりオーディオ復号装置のハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。
【0070】
【発明の効果】
以上説明したように、本発明によれば、高域生成部の出力に位相補正処理を行う高域位相補正部と、トーン・ノイズ付加部の出力に位相補正処理を行うトーン・ノイズ位相補正部のいずれか、または両方を新たに追加するという基本構成によって、サブバンド合成フィルタを複素フィルタバンクから演算量の少ない実数のフィルタバンクに変更しても高音質な復号オーディオ信号を得ることができるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態のオーディオ復号装置の構成を示すブロック図である。
【図2】本発明の第2の実施形態のオーディオ復号装置の構成を示すブロック図である。
【図3】本発明の第3の実施形態のオーディオ復号装置の構成を示すブロック図である。
【図4】第1の従来のオーディオ復号装置の構成を示すブロック図である。
【図5】第2の従来のオーディオ復号装置の構成を示すブロック図である。
【符号の説明】
100  ビットストリーム分離部
101  低域復号部
102、402  複素サブバンド分割部
103、203、303、403、503  帯域拡張部
104、404  サブバンド合成部
105  高域生成部
106  高域位相補正部
107、207  振幅調整部
208  トーン・ノイズ付加部
209  トーン・ノイズ位相補正部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an audio decoding apparatus and decoding method for decoding an encoded audio signal.
[0002]
[Prior art]
MPEG-2 AAC (Advanced Audio Coding), which is an ISO / IEC international standard system, is widely known as an audio encoding / decoding system capable of encoding with a low bit rate and high sound quality. In a conventional audio encoding / decoding method represented by MPEG-2 AAC, first, a plurality of samples of a time domain PCM signal are combined into one frame, and this is converted into a frequency domain by mapping conversion such as MDCT (Modified Discrete Cosine Transform). Convert to signal. Then, the frequency domain signal is quantized and Huffman encoded to form a bit stream. In the quantization, considering the human auditory characteristics, the frequency component that is easily perceived in the frequency domain signal has a high quantization accuracy, and the frequency component that is not so is reduced by reducing the quantization accuracy. Realizes high sound quality with code amount. For example, MPEG-2 AAC can achieve sound quality equivalent to CD (44.1 kHz sampling, stereo) at a bit rate of about 96 kbps.
[0003]
When a stereo audio signal having a sampling rate of 44.1 kHz is to be encoded at a lower bit rate, for example, a bit rate of about 48 kbps, high frequency components that are audibly less important are excluded from the encoding target (quantization value). To make the subjective sound quality at a limited bit rate the highest. However, in this case, since the high frequency component is not encoded, the sound quality is deteriorated, and the sound generally becomes muffled.
[0004]
Band extension technology is attracting attention as a technology for solving such deterioration in sound quality at a low bit rate. In the band extension technology, a bit is obtained by adding a high-frequency bit stream that is auxiliary information of a small code amount (generally several kbps) to a low-frequency bit stream encoded at a low bit rate by a method such as MPEG-2 AAC. Configure the stream. In the audio decoding device (decoder), first, the low frequency bit stream is decoded by a decoding method such as MPEG-2 AAC to obtain a low frequency audio signal that does not include a high frequency component. Then, by the band expansion technique, the low frequency audio signal is processed according to the auxiliary information indicated by the high frequency bit stream to generate a high frequency component.
[0005]
The high frequency component obtained in this way and the low frequency audio signal obtained by decoding the low frequency bit stream are combined to obtain a decoded audio signal including the high frequency component.
[0006]
As an example of a conventional audio decoding apparatus using a band extension technique, an example in which an MPEG-2 AAC decoding apparatus is combined with a band extension technique called SBR is “Digital Radio Monaural (DRM); System Specification” (ETSI) issued by ETSI. TS 101 980V1.1.1), described in section 5.6.2. FIG. 4 and FIG. 5 show a conventional audio decoding apparatus using the band extension technique as described herein.
[0007]
The conventional audio decoding apparatus shown in FIG. 4 includes a bit stream separation unit 100, a low frequency decoding unit 101, a complex subband division unit 402, a band extension unit 403, and a complex subband synthesis unit 404. The band extension unit 403 includes a high frequency generation unit 105 and an amplitude adjustment unit 107.
[0008]
The bit stream separation unit 100 separates the input bit stream and outputs the separated bit stream to the low frequency decoding unit 101 and the band extension unit 403. The bit stream includes a low-frequency bit stream in which a low-frequency signal is encoded by an encoding scheme such as MPEG-2 AAC, and a high-frequency bit stream that includes information necessary for the band extension unit to generate a high-frequency signal. Are multiplexed. The low-frequency bit stream is output to the low-frequency decoding unit 101, and the high-frequency bit stream is output to the bandwidth extension unit 403.
[0009]
The low frequency decoding unit 101 generates a low frequency audio signal by decoding the input low frequency bit stream and outputs the low frequency audio signal to the complex subband division unit 402. The low frequency decoding unit 101 decodes the low frequency bit stream using an existing audio decoding method such as MPEG-2 AAC.
[0010]
The complex subband division unit 402 performs band division on the input low-frequency audio signal using a complex subband division filter. The band-divided low-frequency subband signal is output to band extension section 403 and complex subband synthesis section 404. As the complex subband division filter, for example, a conventionally known 32-band complex QMF (Quadrature Mirror Filter) filter bank can be used. In this case, a complex low-frequency signal (low-frequency sub-band signal) divided into 32 sub-bands is output to band extension unit 403 and complex sub-band synthesis unit 404. The calculation formulas of the 32-band complex analysis QMF filter bank are expressed by the following formulas 402.1 and 402.2.
[0011]
[Expression 1]
Figure 2004053895
[0012]
Here, X (n) represents a low-frequency audio signal, Xk (m) represents a k-band low-frequency subband signal, and h (n) represents an analysis low-pass filter. In this example, K1 = 64.
[0013]
The band extension unit 403 generates a high frequency subband signal representing a high frequency audio signal from the input high frequency bitstream and the low frequency subband signal, and outputs the high frequency subband signal to the subband synthesis unit 404. The band extension unit 403 includes a high frequency generation unit 105 and an amplitude adjustment unit 107.
[0014]
The high frequency band generator 105 receives the low frequency subband signal and the high frequency bitstream as input, and copies the signal in the band specified by the high frequency bitstream from the low frequency subband signal to the high frequency subband. In this copying, signal processing specified by the high frequency bit stream may be applied. For example, 64 subbands from subband 0 to subband 63 are assumed in ascending order of frequency, and complex subband signals from subband 0 to subband 19 are used as the complex subband division unit 402 as the low frequency subband signals. It is assumed that it is supplied from. Also, for high frequency bitstreams, subband A (A> 19) is copied from which low frequency subband (subbands 0 to 19) and a copy information indicating the signal to be generated is applied. It is assumed that signal processing information indicating a signal processing method (selected and used from several kinds of predetermined means such as filtering) is included. The processing of the high frequency band generating unit 105 makes the high frequency sub-band complex signal (named as a copy processing sub-band signal) the same as the low frequency sub-band complex signal indicated by the copy information. Further, when the signal processing information indicates the necessity of some signal processing for improving sound quality, the copy processing subband signal is subjected to signal processing indicated by the signal processing information. The copy processing subband signal generated in this way is output to the amplitude adjustment unit 107.
[0015]
The amplitude adjusting unit 107 performs correction specified by the high-frequency bitstream on the amplitude of the input copy processing sub-band signal to generate a high-frequency sub-band signal. That is, amplitude correction is performed on the copy processing subband signal so that the high frequency signal energy of the audio signal before encoding is equivalent to the high frequency signal energy of the signal generated by the band extension unit 403. For this purpose, the high frequency bit stream includes information indicating the high frequency signal energy of the audio signal before encoding. The generated high frequency subband signal is output to complex subband synthesis section 404.
[0016]
The complex subband synthesizing unit 404 performs band synthesis on the input low frequency subband signal and high frequency subband signal using a complex subband synthesis filter. The audio signal generated by this band synthesis becomes the output of the audio decoding device. As the complex subband synthesis filter, a filter corresponding to the complex subband filter used in the complex subband division unit 402 is used. That is, when a certain signal is band-divided by the complex subband division filter and band-combined by the complex subband synthesis filter, the original signal (input signal of the complex subband division filter) is selected so that it can be completely reconstructed. For example, when a 32-band complex QMF division filter bank (K1 = 64) as shown in Equation 402.1 is used as a complex subband synthesis filter,
[0017]
[Expression 2]
Figure 2004053895
[0018]
Can be used. Here, f (n) represents a synthesis low-pass filter. In this example, K2 = 64.
[0019]
When the sampling frequency of the audio signal output from the complex subband synthesis unit 404 is higher than the sampling frequency of the audio signal output from the lowband decoding unit 101 by the band extension technique, the audio output from the complex subband synthesis unit 404 is output. The low frequency part (result of downsampling) of the signal is selected to be equal to the audio signal output from the low frequency decoding unit 101. The complex subband synthesis unit 404 can use a 64-band complex QMF synthesis filter bank (K2 = 128 in Equation 404.1). In this case, the output of the 32-band complex analysis QMF filter bank is used as a signal value for the 32 bands on the low frequency side.
[0020]
The conventional audio decoding apparatus shown in FIG. 5 is different from FIG. 4 in that a tone / noise adding unit 208 is added to the band extending unit 503.
[0021]
The tone / noise adding unit 208 receives the tone information and noise information included in the high frequency bitstream, and outputs a tone / noise signal to the amplitude adjusting unit 207. The tone information represents in which frequency band the tone sound (sine wave) is added. In general, it is difficult to generate a high-frequency tone sound from the low-frequency signal with high sound quality. The noise information represents which energy of white noise is added to which frequency. The tone / noise adding unit 208 generates tone and white noise based on the tone information and noise information, and outputs the tone and white noise to the amplitude adjusting unit 207 as a tone / noise signal.
[0022]
The amplitude adjusting unit 207 adds the tone noise signal input from the tone noise adding unit 208 to the copy processing subband signal input from the high frequency generating unit 105 so that the energy becomes desired. Similarly to the amplitude adjustment unit 107, correction specified by the high frequency bit stream is performed to generate a high frequency sub-band signal. The generated high frequency subband signal is output to complex subband synthesis section 404.
[0023]
[Problems to be solved by the invention]
The above-described conventional audio decoding apparatus has a problem that a large amount of calculation and a large apparatus scale are required because the complex subband dividing unit and the complex subband synthesizing unit having a large calculation amount are included.
[0024]
An object of the present invention is to provide a bandwidth expansion technique that reduces the amount of computation while maintaining high sound quality, and an audio decoding device, an audio decoding method, and an audio decoding program using the same.
[0025]
[Means for Solving the Problems]
In order to achieve the above object, an audio decoding device according to the present invention includes a bit stream separation unit that separates a bit stream into a low-frequency bit stream and a high-frequency bit stream;
A low frequency decoding unit that decodes the low frequency bit stream to generate a low frequency audio signal;
A complex subband splitting unit that splits the lowband audio signal into complex signals of a plurality of frequency bands to generate a lowband subband signal;
A high frequency generation unit that generates a copy processing subband signal by copying and processing the low frequency subband signal in accordance with an instruction of the high frequency bitstream;
A high-frequency phase correction unit for generating a phase correction copy processing subband signal by performing a predetermined phase correction on the phase of the copy processing subband signal according to the frequency;
An amplitude adjuster for generating a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal to the signal energy indicated by the high frequency bit stream;
And a subband synthesizing unit that obtains a decoded audio signal by performing band synthesis of a real part of the low frequency subband signal and the high frequency subband signal by a subband synthesis filter.
[0026]
Another audio decoding device of the present invention includes a bit stream separation unit that separates a bit stream into a low frequency bit stream and a high frequency bit stream;
A low frequency decoding unit that decodes the low frequency bit stream to generate a low frequency audio signal;
A complex subband splitting unit that splits the lowband audio signal into complex signals of a plurality of frequency bands to generate a lowband subband signal;
A high frequency generation unit that generates a copy processing subband signal by copying and processing the low frequency subband signal in accordance with an instruction of the high frequency bitstream;
A high-frequency phase correction unit for generating a phase correction copy processing subband signal by performing a predetermined phase correction on the phase of the copy processing subband signal according to the frequency;
A tone / noise adding unit that generates a tone / noise signal composed of a tone signal having a frequency indicated by the high-frequency bitstream and a noise signal having a frequency band and energy indicated by the high-frequency bitstream;
A tone / noise phase correction unit that generates a phase correction tone / noise subband signal by performing a predetermined phase correction on the phase of the tone / noise signal according to the frequency;
Amplitude adjustment for generating a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal and the signal energy of the phase correction tone noise signal to the signal energy indicated by the high frequency bit stream. And
And a subband synthesizing unit that obtains a decoded audio signal by performing band synthesis of a real part of the low frequency subband signal and the high frequency subband signal by a subband synthesis filter.
[0027]
Furthermore, another audio decoding device of the present invention includes a bit stream separation unit that separates a bit stream into a low frequency bit stream and a high frequency bit stream;
A low-frequency decoding unit that decodes the low-frequency bitstream to generate a low-frequency audio signal; and a complex sub that generates a low-frequency sub-band signal by dividing the low-frequency audio signal into complex signals of a plurality of frequency bands. A band splitting unit;
A high frequency generation unit that generates a copy processing subband signal by copying and processing the low frequency subband signal in accordance with an instruction of the high frequency bitstream;
A high-frequency phase correction unit for generating a phase correction copy processing subband signal by performing a predetermined phase correction on the phase of the copy processing subband signal according to the frequency;
A tone / noise adding unit that generates a tone / noise signal composed of a tone signal having a frequency indicated by the high-frequency bitstream and a noise signal having a frequency band and energy indicated by the high-frequency bitstream;
An amplitude adjustment unit that generates a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal and the signal energy of the tone noise signal to the signal energy indicated by the high frequency bit stream; ,
And a subband synthesizing unit that obtains a decoded audio signal by performing band synthesis of a real part of the low frequency subband signal and the high frequency subband signal by a subband synthesis filter.
[0028]
In the phase correction performed by the high-frequency phase correction unit, the phase correction amount is determined according to the difference between the copy source frequency and the copy destination frequency used when the copy processing subband signal is generated. Also good. Further, in the phase correction performed by the tone / noise phase correction unit, the phase correction amount may be determined according to the frequency of the tone / noise signal.
[0029]
According to the present invention, a high frequency phase correction unit that corrects the phase of the output of the high frequency generation unit and a tone noise phase correction unit that corrects the phase of the output of the tone noise addition unit are provided. These phase correction units execute different phase correction processing for each subband that is necessary when subband synthesis is performed on a signal that has been subband-divided by the complex subband division filter using a real subband synthesis filter. As a result, it is possible to use a real subband synthesis filter with a smaller amount of computation instead of the complex subband synthesis filter while maintaining high sound quality, and to reduce the required computation amount and device scale.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings.
[0031]
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the audio decoding apparatus according to the first embodiment of the present invention.
[0032]
The audio decoding apparatus according to the present embodiment includes a bit stream separation unit 100, a low frequency decoding unit 101, a complex subband division unit 102, a band extension unit 103, and a subband synthesis unit 104. Further, the band extending unit 103 includes a high frequency generating unit 105, a high frequency phase correcting unit 106, and an amplitude adjusting unit 107.
[0033]
The bit stream separation unit 100 separates the input bit stream and outputs the separated bit stream to the low band decoding unit 101 and the band extension unit 103. In the bit stream, a low frequency bit stream in which a low frequency signal is encoded and a high frequency bit stream including information necessary for the band extension unit to generate a high frequency signal are multiplexed. The low frequency bit stream is output to the low frequency decoding unit 101, and the high frequency bit stream is output to the bandwidth extension unit 103.
[0034]
The low frequency decoding unit 101 generates a low frequency audio signal by decoding the input low frequency bit stream, and outputs the low frequency audio signal to the complex subband division unit 102. The low frequency decoding unit 101 decodes the low frequency bit stream using an existing audio decoding method such as MPEG-2 AAC.
[0035]
The complex subband division unit 102 divides the band of the input low frequency audio signal by a complex subband division filter. The band-divided low-frequency subband signal is output to band extension section 103 and subband synthesis section 104.
[0036]
The band extension unit 103 generates a high frequency subband signal representing a high frequency audio signal from the input high frequency bit stream and the low frequency subband signal, and outputs the high frequency subband signal to the subband synthesis unit 104.
[0037]
The subband synthesizing unit 104 performs band synthesis on the input low band subband signal and high band subband signal using a subband synthesis filter. The audio signal generated by the band synthesis becomes the output of the audio decoding device.
[0038]
The high frequency band generator 105 receives the low frequency sub-band signal and the high frequency bit stream, processes the signal in the band specified by the high frequency bit stream from the low frequency sub-band signal, and generates a copy processed sub-band signal. To do. The generated copy processing subband signal is output to the high frequency phase correction unit 106.
[0039]
The high-frequency phase correction unit 106 corrects the phase of the input copy processing subband signal for each subband, and generates a phase correction copy processing subband signal. The generated phase correction copy processing subband signal is output to the amplitude adjustment unit 107.
[0040]
The amplitude adjustment unit 107 performs correction specified by the high-frequency bitstream on the amplitude of the input phase-correction copy processing sub-band signal to generate a high-frequency sub-band signal. The generated high frequency subband signal is output to the subband synthesis unit 104.
[0041]
The difference between the audio decoding apparatus of the present invention configured as described above and the conventional audio decoding apparatus of FIG. 4 is that there is a complex subband dividing unit 102 in FIG. 1 instead of the complex subband dividing unit 402 in FIG. In FIG. 1, a subband synthesis unit 104 is provided in place of the complex subband synthesis unit 404 of 4, and a high frequency phase correction unit 106 is added to the present invention (FIG. 1). The other processing units are the same as those in the conventional method, well known to those skilled in the art, and are not directly related to the present invention. Hereinafter, the complex subband splitting unit 102, the subband synthesizing unit 104, and the high frequency phase correcting unit 106, which are different from the conventional method, will be described in detail.
[0042]
First, the complex subband splitting unit 102 and the subband combining unit 104 will be described. Conventionally, a filter bank represented by Equation 402.1 that generates a complex subband signal is used as a subband division filter. In addition, as an inverse transformation corresponding to this, a filter bank as shown in Equation 404.1 is used as a subband synthesis filter.
[0043]
The output of Equation 404.1 or a signal obtained by down-sampling the output of Equation 404.1 to the sampling frequency of the input signal of Equation 402.1 has perfect reconfigurability that completely matches the input of Equation 402.1. In order to obtain a high-quality decoded audio signal, this complete reconfigurability relationship is required for the subband division / synthesis filter.
[0044]
In the present invention, in order to reduce the amount of computation, the complex subband synthesis filter used in the conventional complex subband synthesis unit (404 in FIGS. 4 to 5) is replaced with a real subband synthesis filter (FIGS. 1 to 5). 3 of 104). However, if the subband synthesis filter is simply changed from a complex number to a real number, complete reconfigurability is lost and sound quality deteriorates.
[0045]
In order to realize complete reconfigurability between the complex subband division filter and the real subband synthesis filter, a rotation operation is performed on the output of the conventional complex subband division filter (402 in FIGS. 4 to 5). Good things have been widely known. This rotation operation rotates the real and imaginary axes of complex numbers by (π ÷ 4), and is the same as the technique for deriving DCT from the well-known DFT. For example, when k0 = 1/2, the following rotation calculation (K = K1) is preferably performed on each subband k in the calculation formula of the 32-band complex QMF division filter bank of Equation 402.1.
[0046]
[Equation 3]
Figure 2004053895
[0047]
Note that 3 / 4K in Equation 102.1 may be 1 / 4K.
[0048]
In this way, a complex subband splitting unit (102 in FIGS. 1 to 3) is obtained by adding a processing unit that performs the rotation calculation of Expression 102.1 to the subsequent stage of the conventional complex subband splitting unit (402 in FIGS. 4 to 5). However, when the complex subband splitting unit (102 in FIGS. 1 to 3) performs the following equation that can realize a calculation equivalent to the combined processing of the subband splitting filter and the rotation calculation process with a smaller calculation amount: good.
[0049]
[Expression 4]
Figure 2004053895
[0050]
A real subband synthesis filter corresponding to this is expressed in Equation 404.1.
[Equation 5]
Figure 2004053895
[0052]
And converted only the real part. [0053]
[Formula 6]
Figure 2004053895
[0054]
Can be used in the subband synthesizing unit (104 in FIGS. 1 to 3) to achieve complete reconfigurability. Here, Re [. ] Represents extracting only the real part of the complex subband signal.
[0055]
Since the rotation calculation is a function of the band number k as represented by Expression 102.2, the complex subband dividing section 102 using Expression 102.2 and the subband combining section 104 using Expression 104.2. If a band expansion process is inserted between the two, phase mismatch occurs. That is, the high frequency sub-band signal output from the band extension unit (103 in FIG. 1, 203 in FIG. 2, 303 in FIG. 3) is a low-frequency sub-band that has been subjected to rotation calculation according to the low-frequency band number. The signal is generated by copying the signal. When the reverse rotation operation corresponding to the high band number is performed in the subband synthesis unit, the phase of the high frequency component in the output signal of the subband synthesis unit is shifted. Occurs.
[0056]
Therefore, the high frequency phase correction unit 104 corrects the phase as follows.
[0057]
[Expression 7]
Figure 2004053895
[0058]
Here, k2 represents the high band number of the copy destination, and k1 represents the low band number of the copy source. That is, when the high-frequency generation unit 105 generates the signal of the subband k2 by copying the signal of the subband k1, the high-frequency phase correction unit 106 performs the phase correction processing of Expression 106.1. . Furthermore, Expression 106.1 can be realized with a low amount of computation using the characteristics of the COS function and the SIN function.
[0059]
(Second Embodiment)
Next, a second embodiment of the present invention will be described in detail with reference to FIG.
[0060]
Referring to FIG. 2, an audio decoding device as a second embodiment of the present invention is shown. The audio decoding apparatus according to this embodiment includes a bit stream separation unit 100, a low frequency decoding unit 101, a complex subband division unit 102, a band extension unit 203, and a subband synthesis unit 104. Further, the band extending unit 203 includes a high frequency generating unit 105, a high frequency phase correcting unit 106, an amplitude adjusting unit 207, a tone / noise adding unit 208, and a tone / noise phase correcting unit 209.
[0061]
Compared with the first embodiment of the present invention, the second embodiment of the present invention includes a tone / noise adding unit 208 and a tone / noise phase correcting unit 209, and an amplitude adjusting unit 207 including It is only that the output signal of the noise phase correction unit is also used as the input signal, and the other parts are exactly the same. Further, the tone / noise adding unit 208 and the amplitude adjusting unit 207 are exactly the same as the prior art shown in FIG. 5, and the second embodiment of the present invention is merely the addition of the tone / noise phase correcting unit 209. is there. The tone / noise phase correction unit 209 will be described in detail.
[0062]
Similar to the high frequency phase correction unit 106, the tone / noise phase correction unit 209 considers the reverse rotation calculation in the subband synthesis unit 104 when k 0 = 1/2, for example.
[Equation 8]
Figure 2004053895
[0064]
It is necessary to apply. The expression 209.1 can be simplified by using the characteristics of the cos function and the sin function, and the processing of the tone / noise phase correction unit 209 can be realized with a small amount of calculation. Further, in the case where the tone signal and / or noise signal is stored in the tone / noise adding unit 208 as a table, the tone signal and / or noise signal subjected to phase correction is stored in a table as a table. An effect equivalent to that provided with the tone / noise phase correction unit 209 can be obtained with a smaller amount of calculation.
[0065]
(Third embodiment)
Next, a third embodiment of the present invention will be described in detail with reference to FIG.
[0066]
Referring to FIG. 3, an audio decoding device as a third embodiment of the present invention is shown. The audio decoding apparatus according to the present embodiment includes a bit stream separation unit 100, a low frequency decoding unit 101, a complex subband division unit 102, a band extension unit 303, and a subband synthesis unit 104. Further, the band extending unit 203 includes a high frequency generating unit 105, a high frequency phase correcting unit 106, an amplitude adjusting unit 207, and a tone / noise adding unit 208.
[0067]
Compared with the second embodiment of the present invention, the third embodiment of the present invention eliminates the tone / noise phase correction unit 209, and the output of the tone / noise addition unit 208 performs tone noise phase correction. It is only an input signal of the amplitude adjusting unit 207 without passing through the unit 209, and the other parts are exactly the same. Since the phase of the tone noise signal is not corrected, the quality of the decoded audio signal is lower than that of the other embodiments, but a further reduction in the amount of computation can be realized.
[0068]
Note that the present invention is not limited to the above-described embodiments, and it is obvious that the embodiments can be appropriately changed within the scope of the technical idea of the present invention.
[0069]
Although not shown in the figure, the audio decoding apparatus according to the present embodiment includes a recording medium on which a program for executing the audio decoding method described above is recorded. This recording medium may be a magnetic disk, a semiconductor memory, or another recording medium. This program is read from the recording medium into the audio decoding device, and controls the operation of the audio decoding device. Specifically, the above processing is realized by the CPU in the audio decoding device instructing the hardware resource of the audio decoding device to perform a specific process under the control of this program.
[0070]
【The invention's effect】
As described above, according to the present invention, the high-frequency phase correction unit that performs phase correction processing on the output of the high-frequency generation unit, and the tone / noise phase correction unit that performs phase correction processing on the output of the tone / noise addition unit. With the basic configuration of newly adding either one or both of them, a high-quality decoded audio signal can be obtained even if the subband synthesis filter is changed from a complex filter bank to a real filter bank with a small amount of calculation. An effect is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an audio decoding device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an audio decoding apparatus according to a second embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of an audio decoding apparatus according to a third embodiment of the present invention.
FIG. 4 is a block diagram showing a configuration of a first conventional audio decoding device.
FIG. 5 is a block diagram showing a configuration of a second conventional audio decoding device.
[Explanation of symbols]
100 bit stream separation unit 101 low frequency decoding unit 102, 402 complex subband division unit 103, 203, 303, 403, 503 band expansion unit 104, 404 subband synthesis unit 105 high frequency generation unit 106 high frequency phase correction unit 107, 207 Amplitude adjustment unit 208 Tone noise addition unit 209 Tone noise phase correction unit

Claims (15)

ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離部と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号部と、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割部と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成部と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正部と、
前記位相補正複写加工サブバンド信号の信号エネルギを前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整部と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成部と、から構成されることを特徴とするオーディオ復号装置。
A bit stream separation unit that separates the bit stream into a low frequency bit stream and a high frequency bit stream;
A low frequency decoding unit that decodes the low frequency bit stream to generate a low frequency audio signal;
A complex subband splitting unit that splits the lowband audio signal into complex signals of a plurality of frequency bands to generate a lowband subband signal;
A high frequency generation unit that generates a copy processing subband signal by copying and processing the low frequency subband signal in accordance with an instruction of the high frequency bitstream;
A high-frequency phase correction unit for generating a phase correction copy processing subband signal by performing a predetermined phase correction on the phase of the copy processing subband signal according to the frequency;
An amplitude adjuster for generating a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal to the signal energy indicated by the high frequency bit stream;
An audio decoding device comprising: a subband synthesizing unit that obtains a decoded audio signal by performing band synthesis on a real part of the low frequency subband signal and the high frequency subband signal using a subband synthesis filter.
ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離部と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号部と、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割部と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成部と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正部と、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成するトーン・ノイズ付加部と、
前記トーン・ノイズ信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正トーン・ノイズサブバンド信号を生成するトーン・ノイズ位相補正部と、
前記位相補正複写加工サブバンド信号の信号エネルギと前記位相補正トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整部と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成部と、から構成されることを特徴とするオーディオ復号装置。
A bit stream separation unit that separates the bit stream into a low frequency bit stream and a high frequency bit stream;
A low frequency decoding unit that decodes the low frequency bit stream to generate a low frequency audio signal;
A complex subband splitting unit that splits the lowband audio signal into complex signals of a plurality of frequency bands to generate a lowband subband signal;
A high frequency generation unit that generates a copy processing subband signal by copying and processing the low frequency subband signal in accordance with an instruction of the high frequency bitstream;
A high-frequency phase correction unit for generating a phase correction copy processing subband signal by performing a predetermined phase correction on the phase of the copy processing subband signal according to the frequency;
A tone / noise adding unit that generates a tone / noise signal composed of a tone signal having a frequency indicated by the high-frequency bitstream and a noise signal having a frequency band and energy indicated by the high-frequency bitstream;
A tone / noise phase correction unit that generates a phase correction tone / noise subband signal by performing a predetermined phase correction on the phase of the tone / noise signal according to the frequency;
Amplitude adjustment for generating a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal and the signal energy of the phase correction tone noise signal to the signal energy indicated by the high frequency bit stream. And
An audio decoding device comprising: a subband synthesizing unit that obtains a decoded audio signal by performing band synthesis on a real part of the low frequency subband signal and the high frequency subband signal using a subband synthesis filter.
ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離部と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号部と、前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割部と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成部と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正部と、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成するトーン・ノイズ付加部と、
前記位相補正複写加工サブバンド信号の信号エネルギと前記トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整部と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成部と、から構成されることを特徴とするオーディオ復号装置。
A bit stream separation unit that separates the bit stream into a low frequency bit stream and a high frequency bit stream;
A low-frequency decoding unit that decodes the low-frequency bitstream to generate a low-frequency audio signal; and a complex sub that generates a low-frequency sub-band signal by dividing the low-frequency audio signal into complex signals of a plurality of frequency bands. A band splitting unit;
A high frequency generation unit that generates a copy processing subband signal by copying and processing the low frequency subband signal in accordance with an instruction of the high frequency bitstream;
A high-frequency phase correction unit for generating a phase correction copy processing subband signal by performing a predetermined phase correction on the phase of the copy processing subband signal according to the frequency;
A tone / noise adding unit that generates a tone / noise signal composed of a tone signal having a frequency indicated by the high-frequency bitstream and a noise signal having a frequency band and energy indicated by the high-frequency bitstream;
An amplitude adjustment unit that generates a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal and the signal energy of the tone noise signal to the signal energy indicated by the high frequency bit stream; ,
An audio decoding device comprising: a subband synthesizing unit that obtains a decoded audio signal by performing band synthesis on a real part of the low frequency subband signal and the high frequency subband signal using a subband synthesis filter.
前記高域位相補正部が行う位相補正において、前記複写加工サブバンド信号を生成する際に用いられた複写元の周波数と複写先の周波数の差分に応じて位相補正量が決まることを特徴とする請求項1から3のいずれか1項に記載のオーディオ復号装置。In the phase correction performed by the high-frequency phase correction unit, a phase correction amount is determined according to a difference between a copy source frequency and a copy destination frequency used when the copy processing subband signal is generated. The audio decoding device according to any one of claims 1 to 3. 前記トーン・ノイズ位相補正部が行う位相補正において、前記トーン・ノイズ信号の周波数に応じて位相補正量が決まることを特徴とする請求項2記載のオーディオ復号装置。3. The audio decoding apparatus according to claim 2, wherein in the phase correction performed by the tone / noise phase correction unit, a phase correction amount is determined according to a frequency of the tone / noise signal. ビットストリームを低域ビットストリームと高域ビットストリームに分離し、
前記低域ビットストリームを復号して低域オーディオ信号を生成し、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成し、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成し、前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成し、
前記位相補正複写加工サブバンド信号の信号エネルギを前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成し、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得ることを特徴とするオーディオ復号方法。
Separate the bitstream into a low-frequency bitstream and a high-frequency bitstream,
Decoding the low-frequency bitstream to generate a low-frequency audio signal;
The low-frequency audio signal is band-divided into complex signals in a plurality of frequency bands to generate a low-frequency sub-band signal,
The low frequency sub-band signal is copied and processed in accordance with the instruction of the high frequency bit stream to generate a copy processed sub-band signal, and the phase of the copy processed sub-band signal is corrected in advance according to the frequency. To generate a phase correction copy processing subband signal,
Amplifying the signal energy of the phase correction copy processing subband signal to the signal energy indicated by the high frequency bitstream to generate a high frequency subband signal,
An audio decoding method characterized in that a decoded audio signal is obtained by band-combining a real part of the low-frequency subband signal and the high-frequency subband signal by a subband synthesis filter.
ビットストリームを低域ビットストリームと高域ビットストリームに分離し、
前記低域ビットストリームを復号して低域オーディオ信号を生成し、前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成し、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成し、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成し、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成し、
前記トーン・ノイズ信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正トーン・ノイズサブバンド信号を生成し、
前記位相補正複写加工サブバンド信号の信号エネルギと前記位相補正トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成し、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得ることを特徴とするオーディオ復号方法。
Separate the bitstream into a low-frequency bitstream and a high-frequency bitstream,
Decoding the low-frequency bitstream to generate a low-frequency audio signal, band-dividing the low-frequency audio signal into a complex signal of a plurality of frequency bands to generate a low-frequency subband signal,
Copy and process the low-frequency subband signal according to the instruction of the high-frequency bitstream to generate a copy processing subband signal,
The phase of the copy processing subband signal is subjected to a predetermined phase correction according to its frequency to generate a phase correction copy processing subband signal,
Generating a tone noise signal composed of a tone signal having a frequency indicated by the high frequency bit stream and a noise signal having a frequency band indicated by the high frequency bit stream and energy;
A phase correction tone / noise subband signal is generated by performing a predetermined phase correction on the phase of the tone / noise signal according to the frequency thereof,
A high-frequency sub-band signal is generated by amplitude-correcting the sum of the signal energy of the phase-corrected copy processing sub-band signal and the signal energy of the phase-corrected tone noise signal to the signal energy indicated by the high-frequency bit stream
An audio decoding method characterized in that a decoded audio signal is obtained by band-combining a real part of the low-frequency subband signal and the high-frequency subband signal by a subband synthesis filter.
ビットストリームを低域ビットストリームと高域ビットストリームに分離し、
前記低域ビットストリームを復号して低域オーディオ信号を生成し、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成し、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成し、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成し、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成し、
前記位相補正複写加工サブバンド信号の信号エネルギと前記トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成し、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得ることを特徴とするオーディオ復号方法。
Separate the bitstream into a low-frequency bitstream and a high-frequency bitstream,
Decoding the low-frequency bitstream to generate a low-frequency audio signal;
The low-frequency audio signal is band-divided into complex signals in a plurality of frequency bands to generate a low-frequency sub-band signal,
Copy and process the low-frequency subband signal according to the instruction of the high-frequency bitstream to generate a copy processing subband signal,
The phase of the copy processing subband signal is subjected to a predetermined phase correction according to its frequency to generate a phase correction copy processing subband signal,
Generating a tone noise signal composed of a tone signal having a frequency indicated by the high frequency bit stream and a noise signal having a frequency band indicated by the high frequency bit stream and energy;
Amplifying the sum of the signal energy of the phase correction copy processing subband signal and the signal energy of the tone noise signal to the signal energy indicated by the high frequency bitstream to generate a high frequency subband signal;
An audio decoding method characterized in that a decoded audio signal is obtained by band-combining a real part of the low-frequency subband signal and the high-frequency subband signal by a subband synthesis filter.
前記複写加工サブバンド信号に対する位相補正において、前記複写加工サブバンド信号を生成する際に用いられた複写元の周波数と複写先の周波数の差分に応じて位相補正量が決まることを特徴とする請求項6から8のいずれか1項に記載のオーディオ復号方法。In the phase correction for the copy processing subband signal, a phase correction amount is determined according to a difference between a copy source frequency and a copy destination frequency used when generating the copy processing subband signal. Item 9. The audio decoding method according to any one of Items 6 to 8. 前記トーン・ノイズ信号に対する位相補正において、前記トーン・ノイズ信号の周波数に応じて位相補正量が決まることを特徴とする請求項7記載のオーディオ復号方法。8. The audio decoding method according to claim 7, wherein, in the phase correction for the tone noise signal, a phase correction amount is determined according to a frequency of the tone noise signal. ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離処理と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号処理と、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割処理と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成処理と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正処理と、
前記位相補正複写加工サブバンド信号の信号エネルギを前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整処理と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成処理をコンピュータに実行させるためのプログラム。
A bit stream separation process for separating the bit stream into a low frequency bit stream and a high frequency bit stream;
A low frequency decoding process for decoding the low frequency bit stream to generate a low frequency audio signal;
Complex subband division processing for generating a lowband subband signal by band-dividing the lowband audio signal into a complex signal of a plurality of frequency bands;
A high-frequency generation process for generating a copy processing subband signal by copying and processing the low-frequency subband signal according to an instruction of the high frequency bitstream;
A high-frequency phase correction process for generating a phase correction copy processing subband signal by applying a predetermined phase correction to the phase of the copy processing subband signal according to the frequency;
An amplitude adjustment process for generating a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal to the signal energy indicated by the high frequency bit stream;
A program for causing a computer to execute a subband synthesis process for obtaining a decoded audio signal by performing band synthesis on a real part of the low frequency subband signal and the high frequency subband signal using a subband synthesis filter.
ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離処理と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号処理と、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割処理と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成処理と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正処理と、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成するトーン・ノイズ付加処理と、
前記トーン・ノイズ信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正トーン・ノイズサブバンド信号を生成するトーン・ノイズ位相補正処理と、
前記位相補正複写加工サブバンド信号の信号エネルギと前記位相補正トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整処理と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成処理をコンピュータに実行させるためのプログラム。
A bit stream separation process for separating the bit stream into a low frequency bit stream and a high frequency bit stream;
A low frequency decoding process for decoding the low frequency bit stream to generate a low frequency audio signal;
Complex subband division processing for generating a lowband subband signal by band-dividing the lowband audio signal into a complex signal of a plurality of frequency bands;
A high-frequency generation process for generating a copy processing subband signal by copying and processing the low-frequency subband signal according to an instruction of the high frequency bitstream;
A high-frequency phase correction process for generating a phase correction copy processing subband signal by applying a predetermined phase correction to the phase of the copy processing subband signal according to the frequency;
Tone noise addition processing for generating a tone noise signal composed of a tone signal having a frequency indicated by the high frequency bit stream and a noise signal having a frequency band and energy indicated by the high frequency bit stream;
A tone / noise phase correction process for generating a phase-corrected tone / noise subband signal by performing a predetermined phase correction on the phase of the tone / noise signal according to the frequency;
Amplitude adjustment for generating a high frequency sub-band signal by correcting the amplitude of the signal energy of the phase correction copy processing sub-band signal and the signal energy of the phase correction tone noise signal to the signal energy indicated by the high frequency bit stream. Processing,
A program for causing a computer to execute a subband synthesis process for obtaining a decoded audio signal by performing band synthesis on a real part of the low frequency subband signal and the high frequency subband signal using a subband synthesis filter.
ビットストリームを低域ビットストリームと高域ビットストリームに分離するビットストリーム分離処理と、
前記低域ビットストリームを復号して低域オーディオ信号を生成する低域復号処理と、
前記低域オーディオ信号を複数の周波数帯域の複素数信号に帯域分割して低域サブバンド信号を生成する複素サブバンド分割処理と、
前記高域ビットストリームの指示に従い前記低域サブバンド信号を複写および加工して複写加工サブバンド信号を生成する高域生成処理と、
前記複写加工サブバンド信号の位相をその周波数に応じて予め定められた位相補正を施して位相補正複写加工サブバンド信号を生成する高域位相補正処理と、
前記高域ビットストリームが指示する周波数を持つトーン信号と前記高域ビットストリームが指示する周波数帯域とエネルギを持つノイズ信号から構成されるトーン・ノイズ信号を生成するトーン・ノイズ付加処理と、
前記位相補正複写加工サブバンド信号の信号エネルギと前記トーン・ノイズ信号の信号エネルギの合計を前記高域ビットストリームが指示する信号エネルギに振幅補正して高域サブバンド信号を生成する振幅調整処理と、
前記低域サブバンド信号と前記高域サブバンド信号の実数部をサブバンド合成フィルタにより帯域合成して復号オーディオ信号を得るサブバンド合成処理をコンピュータに実行させるためのプログラム。
A bit stream separation process for separating the bit stream into a low frequency bit stream and a high frequency bit stream;
A low frequency decoding process for decoding the low frequency bit stream to generate a low frequency audio signal;
Complex subband division processing for generating a lowband subband signal by band-dividing the lowband audio signal into a complex signal of a plurality of frequency bands;
A high-frequency generation process for generating a copy processing subband signal by copying and processing the low-frequency subband signal according to an instruction of the high frequency bitstream;
A high-frequency phase correction process for generating a phase correction copy processing subband signal by applying a predetermined phase correction to the phase of the copy processing subband signal according to the frequency;
Tone noise addition processing for generating a tone noise signal composed of a tone signal having a frequency indicated by the high frequency bit stream and a noise signal having a frequency band and energy indicated by the high frequency bit stream;
Amplitude adjustment processing for generating a high frequency subband signal by correcting the amplitude of the signal energy of the phase correction copy processing subband signal and the signal energy of the tone noise signal to the signal energy indicated by the high frequency bitstream. ,
A program for causing a computer to execute a subband synthesis process for obtaining a decoded audio signal by performing band synthesis on a real part of the low frequency subband signal and the high frequency subband signal using a subband synthesis filter.
前記高域位相補正処理が行う位相補正において、前記複写加工サブバンド信号を生成する際に用いられた複写元の周波数と複写先の周波数の差分に応じて位相補正量が決まることをコンピュータにさらに実行させることを特徴とする請求項11から13のいずれか1項に記載のプログラム。In the phase correction performed by the high-frequency phase correction processing, the computer further determines that the phase correction amount is determined according to the difference between the copy source frequency and the copy destination frequency used when the copy processing subband signal is generated. The program according to claim 11, wherein the program is executed. 前記トーン・ノイズ位相補正処理が行う位相補正において、前記トーン・ノイズ信号の周波数に応じて位相補正量が決まることをコンピュータにさらに実行させることを特徴とする請求項12に記載のプログラム。13. The program according to claim 12, further causing the computer to execute a phase correction amount determined according to a frequency of the tone noise signal in the phase correction performed by the tone noise phase correction processing.
JP2002210946A 2002-07-19 2002-07-19 Audio decoding apparatus, decoding method, and program Expired - Lifetime JP4227772B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002210946A JP4227772B2 (en) 2002-07-19 2002-07-19 Audio decoding apparatus, decoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002210946A JP4227772B2 (en) 2002-07-19 2002-07-19 Audio decoding apparatus, decoding method, and program

Publications (2)

Publication Number Publication Date
JP2004053895A true JP2004053895A (en) 2004-02-19
JP4227772B2 JP4227772B2 (en) 2009-02-18

Family

ID=31934312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002210946A Expired - Lifetime JP4227772B2 (en) 2002-07-19 2002-07-19 Audio decoding apparatus, decoding method, and program

Country Status (1)

Country Link
JP (1) JP4227772B2 (en)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008518257A (en) * 2005-09-16 2008-05-29 コーディング テクノロジーズ アクチボラゲット Partial complex modulation filter bank
JP2009538450A (en) * 2006-05-25 2009-11-05 オーディエンス,インコーポレイテッド System and method for processing audio signals
JP2011248378A (en) * 2004-05-19 2011-12-08 Panasonic Corp Encoder, decoder, and method therefor
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8194880B2 (en) 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
US8285771B2 (en) 2005-09-16 2012-10-09 Dolby International Ab Partially complex modulated filter bank
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US9076456B1 (en) 2007-12-21 2015-07-07 Audience, Inc. System and method for providing voice equalization
JP2015526769A (en) * 2012-08-27 2015-09-10 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Apparatus and method for reproducing audio signal, apparatus and method for generating encoded audio signal, computer program, and encoded audio signal
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US9240196B2 (en) 2010-03-09 2016-01-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for handling transient sound events in audio signals when changing the replay speed or pitch
US9305557B2 (en) 2010-03-09 2016-04-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an audio signal using patch border alignment
US9318127B2 (en) 2010-03-09 2016-04-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for improved magnitude response and temporal alignment in a phase vocoder based bandwidth extension method for audio signals
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
JP2017524151A (en) * 2014-07-01 2017-08-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Decoder and method for decoding an audio signal, and encoder and method for encoding an audio signal
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US9978388B2 (en) 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
JP2019194704A (en) * 2014-07-28 2019-11-07 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Device and method for generating enhanced signal by using independent noise filling
JP2020064323A (en) * 2010-01-19 2020-04-23 ドルビー・インターナショナル・アーベー Improved subband block based harmonic transposition
RU2800676C1 (en) * 2010-01-19 2023-07-26 Долби Интернешнл Аб Improved harmonic transformation based on a block of sub-bands

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001521648A (en) * 1997-06-10 2001-11-06 コーディング テクノロジーズ スウェーデン アクチボラゲット Enhanced primitive coding using spectral band duplication
JP2002082685A (en) * 2000-06-26 2002-03-22 Matsushita Electric Ind Co Ltd Device and method for expanding audio bandwidth
JP2002175092A (en) * 2000-12-07 2002-06-21 Kenwood Corp Signal interpolation apparatus, signal interpolation method and recording medium
WO2004010415A1 (en) * 2002-07-19 2004-01-29 Nec Corporation Audio decoding device, decoding method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001521648A (en) * 1997-06-10 2001-11-06 コーディング テクノロジーズ スウェーデン アクチボラゲット Enhanced primitive coding using spectral band duplication
JP2002082685A (en) * 2000-06-26 2002-03-22 Matsushita Electric Ind Co Ltd Device and method for expanding audio bandwidth
JP2002175092A (en) * 2000-12-07 2002-06-21 Kenwood Corp Signal interpolation apparatus, signal interpolation method and recording medium
WO2004010415A1 (en) * 2002-07-19 2004-01-29 Nec Corporation Audio decoding device, decoding method, and program

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248378A (en) * 2004-05-19 2011-12-08 Panasonic Corp Encoder, decoder, and method therefor
JP2011102981A (en) * 2005-09-16 2011-05-26 Dolby Internatl Ab Partially complex modulated filter bank
US7917561B2 (en) 2005-09-16 2011-03-29 Coding Technologies Ab Partially complex modulated filter bank
JP2011070213A (en) * 2005-09-16 2011-04-07 Dolby Internatl Ab Partially complex modulated filter bank
JP2011090317A (en) * 2005-09-16 2011-05-06 Dolby Internatl Ab Partially complex modulated filter bank
JP2011090316A (en) * 2005-09-16 2011-05-06 Dolby Internatl Ab Partially complex modulated filter bank
US8285771B2 (en) 2005-09-16 2012-10-09 Dolby International Ab Partially complex modulated filter bank
JP4783377B2 (en) * 2005-09-16 2011-09-28 ドルビー インターナショナル アクチボラゲット Partial complex modulation filter bank
JP2008518257A (en) * 2005-09-16 2008-05-29 コーディング テクノロジーズ アクチボラゲット Partial complex modulation filter bank
US8180818B2 (en) 2005-09-16 2012-05-15 Dolby International Ab Partially complex modulated filter bank
US8180819B2 (en) 2005-09-16 2012-05-15 Dolby International Ab Partially complex modulated filter bank
US8756266B2 (en) 2005-09-16 2014-06-17 Dolby International Ab Partially complex modulated filter bank
US8443026B2 (en) 2005-09-16 2013-05-14 Dolby International Ab Partially complex modulated filter bank
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8867759B2 (en) 2006-01-05 2014-10-21 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8194880B2 (en) 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
JP2009538450A (en) * 2006-05-25 2009-11-05 オーディエンス,インコーポレイテッド System and method for processing audio signals
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US8886525B2 (en) 2007-07-06 2014-11-11 Audience, Inc. System and method for adaptive intelligent noise suppression
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US9076456B1 (en) 2007-12-21 2015-07-07 Audience, Inc. System and method for providing voice equalization
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
RU2800676C1 (en) * 2010-01-19 2023-07-26 Долби Интернешнл Аб Improved harmonic transformation based on a block of sub-bands
JP7475410B2 (en) 2010-01-19 2024-04-26 ドルビー・インターナショナル・アーベー Improved subband block based harmonic transposition
US11935555B2 (en) 2010-01-19 2024-03-19 Dolby International Ab Subband block based harmonic transposition
US11646047B2 (en) 2010-01-19 2023-05-09 Dolby International Ab Subband block based harmonic transposition
JP7160968B2 (en) 2010-01-19 2022-10-25 ドルビー・インターナショナル・アーベー Improved harmonic transposition based on subband blocks
US11341984B2 (en) 2010-01-19 2022-05-24 Dolby International Ab Subband block based harmonic transposition
JP2021073535A (en) * 2010-01-19 2021-05-13 ドルビー・インターナショナル・アーベー Improved subband block based harmonic transposition
JP2020064323A (en) * 2010-01-19 2020-04-23 ドルビー・インターナショナル・アーベー Improved subband block based harmonic transposition
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US9240196B2 (en) 2010-03-09 2016-01-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for handling transient sound events in audio signals when changing the replay speed or pitch
US9792915B2 (en) 2010-03-09 2017-10-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
US10032458B2 (en) 2010-03-09 2018-07-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
US9305557B2 (en) 2010-03-09 2016-04-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an audio signal using patch border alignment
US9905235B2 (en) 2010-03-09 2018-02-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for improved magnitude response and temporal alignment in a phase vocoder based bandwidth extension method for audio signals
US11894002B2 (en) 2010-03-09 2024-02-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Apparatus and method for processing an input audio signal using cascaded filterbanks
US10770079B2 (en) 2010-03-09 2020-09-08 Franhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
US9318127B2 (en) 2010-03-09 2016-04-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for improved magnitude response and temporal alignment in a phase vocoder based bandwidth extension method for audio signals
US11495236B2 (en) 2010-03-09 2022-11-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
JP2015526769A (en) * 2012-08-27 2015-09-10 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Apparatus and method for reproducing audio signal, apparatus and method for generating encoded audio signal, computer program, and encoded audio signal
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US10770083B2 (en) 2014-07-01 2020-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio processor and method for processing an audio signal using vertical phase correction
JP2017524151A (en) * 2014-07-01 2017-08-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Decoder and method for decoding an audio signal, and encoder and method for encoding an audio signal
US10930292B2 (en) 2014-07-01 2021-02-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio processor and method for processing an audio signal using horizontal phase correction
US10529346B2 (en) 2014-07-01 2020-01-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Calculator and method for determining phase correction data for an audio signal
US11264042B2 (en) 2014-07-28 2022-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling information which comprises energy information and is included in an input signal
JP6992024B2 (en) 2014-07-28 2022-01-13 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Equipment and methods for generating enhanced signals with independent noise filling
US10885924B2 (en) 2014-07-28 2021-01-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
US11908484B2 (en) 2014-07-28 2024-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling at random values and scaling thereupon
JP2019194704A (en) * 2014-07-28 2019-11-07 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Device and method for generating enhanced signal by using independent noise filling
US9978388B2 (en) 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
RU2813317C1 (en) * 2023-07-20 2024-02-12 Долби Интернешнл Аб Improved harmonic transformation based on block of sub-bands

Also Published As

Publication number Publication date
JP4227772B2 (en) 2009-02-18

Similar Documents

Publication Publication Date Title
JP4227772B2 (en) Audio decoding apparatus, decoding method, and program
JP3579047B2 (en) Audio decoding device, decoding method, and program
US10522168B2 (en) Audio signal synthesizer and audio signal encoder
JP3871347B2 (en) Enhancing Primitive Coding Using Spectral Band Replication
JP6229957B2 (en) Apparatus and method for reproducing audio signal, apparatus and method for generating encoded audio signal, computer program, and encoded audio signal
CA2867069C (en) Apparatus and method for converting an audio signal into a parameterized representation, apparatus and method for modifying a parameterized representation, apparatus and method for synthesizing a parameterized representation of an audio signal
JP5230782B2 (en) Encoding apparatus, hierarchical encoding apparatus, decoding apparatus, communication terminal apparatus, base station apparatus, encoding method, and decoding method
JP5090390B2 (en) Improved spectral transfer / folding in the subband region
US7292901B2 (en) Hybrid multi-channel/cue coding/decoding of audio signals
EP2056294B1 (en) Apparatus, Medium and Method to Encode and Decode High Frequency Signal
US10255928B2 (en) Apparatus, medium and method to encode and decode high frequency signal
CN103765509B (en) Code device and method, decoding device and method
MX2012010416A (en) Apparatus and method for processing an audio signal using patch border alignment.
JP2005520217A (en) Audio decoding apparatus and audio decoding method
JP2010079275A (en) Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program
TW200400487A (en) Improved audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
JP4313993B2 (en) Audio decoding apparatus and audio decoding method
JP2002229598A (en) Device and method for decoding stereophonic encoded signal

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050418

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050418

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050418

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4227772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term