JP5404412B2 - 符号化装置、復号装置およびこれらの方法 - Google Patents

符号化装置、復号装置およびこれらの方法 Download PDF

Info

Publication number
JP5404412B2
JP5404412B2 JP2009538955A JP2009538955A JP5404412B2 JP 5404412 B2 JP5404412 B2 JP 5404412B2 JP 2009538955 A JP2009538955 A JP 2009538955A JP 2009538955 A JP2009538955 A JP 2009538955A JP 5404412 B2 JP5404412 B2 JP 5404412B2
Authority
JP
Japan
Prior art keywords
signal
monaural
quantized value
energy ratio
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009538955A
Other languages
English (en)
Other versions
JPWO2009057329A1 (ja
Inventor
コック セン チョン
幸司 吉田
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009538955A priority Critical patent/JP5404412B2/ja
Publication of JPWO2009057329A1 publication Critical patent/JPWO2009057329A1/ja
Application granted granted Critical
Publication of JP5404412B2 publication Critical patent/JP5404412B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、変換符号化音源（ＴＣＸ）コーデックにインテンシティステレオを適用する符号化装置、復号装置およびこれらの方法に関する。
従来の音声通信システムでは、限定された帯域制限下でモノラル音声信号を送信する。通信ネットワークのブロードバンド化に伴い、音声通信に対するユーザの期待は、単なる明瞭さから自然らしさの提供へと移行しており、ステレオ音声を提供するトレンドが出現している。このモノラルシステムおよびステレオシステムが並存する過渡的時点においては、モノラルシステムとの下位互換性を維持しながらステレオ通信を実現することが望ましい。
前述の目標を達成するため、モノラル音声コーデック上にステレオ音声符号化システムを構築することができる。モノラル音声コーデックは、通常、ステレオ信号のダウンミックスにより生成されるモノラル信号に対して符号化を行う。ステレオ音声符号化システムは、復号器で復号されたモノラル信号に対して追加処理を適用しステレオ信号を復元する。
モノラルコーデックとの下位互換性を維持しながらステレオ符号化を実現する多くの先行技術が存在する。図９および図１０は、それぞれ一般的な変換符号化音源（ＴＣＸ）コーデックの符号化装置および復号装置を示す。ＴＣＸの高度な変形を使用する周知のコーデックとしてＡＭＲ−ＷＢ＋が知られている（非特許文献１参照）。
図９に示す符号化装置において、まず、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）は、加算器１と乗算器２とによりモノラル信号Ｍ（ｎ）に変換され、減算器３と乗算器４とによりサイド信号Ｓ（ｎ）に変換される（式（１））。
Figure 0005404412
モノラル信号Ｍ（ｎ）は、線形予測（ＬＰ）処理されることによって音源信号Ｍｅ（ｎ）に変換される。線形予測は、音声信号を（線形予測係数によってパラメータ化された）フォルマント成分および音源成分に分離して符号化を行うような音声符号化に、ごく一般的に使用されている。
また、モノラル信号Ｍ（ｎ）はＬＰ分析部５でＬＰ分析され、線形予測係数ＡＭ（ｚ）が生成される。線形予測係数ＡＭ（ｚ）は量子化器６で量子化、符号化され、符号化情報ＡｑＭが得られる。符号化情報ＡｑＭは逆量子化器７で逆量子化され、線形予測係数ＡｄＭ（ｚ）が得られる。モノラル信号Ｍ（ｎ）は、ＬＰ逆フィルタ８で線形予測係数ＡｄＭ（ｚ）を用いたＬＰ逆フィルタリング処理され、モノラル音源信号Ｍｅ（ｎ）が得られる。
低ビットレート符号化の場合、モノラル音源信号Ｍｅ（ｎ）は音源符号帳を用いた符号化が行われる（非特許文献１参照）。高ビットレート符号化の場合、モノラル音源信号Ｍｅ（ｎ）は、Ｔ／Ｆ変換部９で時間領域から周波数領域へＴ／Ｆ変換されてＭｅ（ｆ）となる。この目的のため、離散フーリエ変換（ＤＦＴ）あるいは変形離散コサイン変換（ＭＤＣＴ）のいずれかを使用することができる。ＭＤＣＴの場合、２つの信号フレームの連
結が必要となる。周波数領域の音源信号Ｍｅ（ｆ）の一部は、量子化器１０で量子化され、符号化情報Ｍｑｅとなる。なお、量子化器１０ではハフマン符号化などのロスレス符号化方法を使用して量子化符号情報量をさらに圧縮することもできる。
サイド信号Ｓ（ｎ）にも、モノラル信号Ｍ（ｎ）と同様な一連の処理がされる。すなわち、サイド信号Ｓ（ｎ）はＬＰ分析部１１でＬＰ分析され、線形予測係数ＡＳ（ｚ）が生成される。線形予測係数ＡＳ（ｚ）は量子化器１２で量子化、符号化され、符号化情報ＡｑＳが得られる。符号化情報ＡｑＳは逆量子化器１３で逆量子化され、線形予測係数ＡｄＳ（ｚ）が得られる。サイド信号Ｓ（ｎ）は、ＬＰ逆フィルタ１４で線形予測係数ＡｄＳ（ｚ）を用いたＬＰ逆フィルタリング処理され、サイド音源信号Ｓｅ（ｎ）が得られる。サイド音源信号Ｓｅ（ｎ）は、Ｔ／Ｆ変換部１５で時間領域から周波数領域へＴ／Ｆ変換されてＳｅ（ｆ）となる。周波数領域のサイド音源信号Ｓｅ（ｆ）の一部は、量子化器１６で量子化され、符号化情報Ｓｑｅとなる。量子化・符号化されたすべての情報は、多重化部１７で多重化されビットストリームを形成する。
図１０に示す復号装置においてモノラル復号を行う場合、線形予測係数の符号化情報ＡｑＭおよび周波数領域のモノラル音源信号の符号化情報Ｍｑｅが分離部２１でビットストリームから多重分離され処理される。符号化情報ＡｑＭは逆量子化器２２で復号および逆量子化され、線形予測係数ＡｄＭ（ｚ）が得られる。一方、符号化情報Ｍｑｅは、逆量子化器２３で復号および逆量子化され、周波数領域のモノラル音源信号Ｍｄｅ（ｆ）が得られる。周波数領域のモノラル音源信号Ｍｄｅ（ｆ）は、Ｆ／Ｔ変換部２４で周波数領域から時間領域へＦ／Ｔ変換されてＭｄｅ（ｎ）となる。Ｍｄｅ（ｎ）はＬＰ合成部２５で線形予測係数ＡｄＭ（ｚ）を用いてＬＰ合成されモノラル信号Ｍｄ（ｎ）が復元される。
ステレオ復号を行う場合、サイド信号に関する情報は、分離部２１でビットストリームから多重分離される。サイド信号にもモノラル信号と同様の一連の処理がなされる。すなわち、符号化情報ＡｑＳに対する逆量子化器２６による復号および逆量子化、符号化情報Ｓｑｅに対する逆量子化器２７によるロスレス復号および逆量子化、Ｆ／Ｔ変換部２８による周波数領域から時間領域変換へのＦ／Ｔ変換およびＬＰ合成部２９によるＬＰ合成である。
モノラル信号Ｍｄ（ｎ）およびサイド信号Ｓｄ（ｎ）が復元されると、左右の信号Ｌout（ｎ）、Ｒout（ｎ）は、加算器３０、減算器３１により、次の式（２）のように復元することができる。
Figure 0005404412
モノラル下位互換性を有するステレオコーデックの他の例として、インテンシティステレオ（ＩＳ）を使用するものがある。インテンシティステレオの利点は、非常に低い符号化ビットレートを実現できることである。インテンシティステレオは、人間の耳の心理音響特性を利用するので聴感符号化の手段と考えられる。およそ５kHz以上の周波数で、人間の耳は左右の信号間の位相関係に対して鈍感である。したがって、左右の信号がそれぞれ同じエネルギーレベルに設定されたモノラル信号で置き換えられていても、人間は元の信号のステレオ感とほぼ同じように感じる。インテンシティステレオでは、復号信号における原音のステレオ感覚を維持するために、モノラル信号およびスケールファクタ（scale factor）のみの符号化が必要とされる。サイド信号は符号化されないので、ビットレートを低減することができる。インテンシティステレオはＭＰＥＧ２／４ ＡＡＣで用いられている（非特許文献２参照）。
図１１は、インテンシティステレオを用いた一般的な符号化装置の構成を示すブロック図である。左信号Ｌ（ｎ）および右信号Ｒ（ｎ）は、Ｔ／Ｆ変換部４１および４２で時間領域から周波数領域へＴ／Ｆ変換され、それぞれＬ（ｆ）およびＲ（ｆ）となる。周波数領域の左信号Ｌ（ｆ）および右信号Ｒ（ｆ）は、加算器４３と乗算器４４とにより周波数領域のモノラル信号Ｍ（ｆ）に変換され、減算器４５と乗算器４６とにより周波数領域のサイド信号Ｓ（ｆ）に変換される（式（３））。
Figure 0005404412
Ｍ（ｆ）は、量子化器４７で量子化およびロスレス符号化され、符号化情報Ｍｑが得られる。インテンシティステレオを低周波数範囲に適用することは適切でないため、Ｓ（ｆ）の低周波数部分（すなわち５kHz未満）はスペクトル分割部４８で抽出され、量子化器４９で量子化およびロスレス符号化され、符号化情報Ｓｑｌが得られる。
インテンシティステレオに対するスケールファクタを計算するため、左信号Ｌ（ｆ）、右信号Ｒ（ｆ）およびモノラル信号Ｍ（ｆ）の高周波数部分は、それぞれスペクトル分割部５１、５２、５３から抽出される。この出力をＬｈ（ｆ）、Ｒｈ（ｆ）およびＭｈ（ｆ）で表記する。左信号用のスケールファクタαおよび右信号用のスケールファクタβは、それぞれスケールファクタ算出部５４、５５で次の式（４）により計算される。
Figure 0005404412
スケールファクタαおよびβは、それぞれ量子化器５６、５７で量子化される。すべての量子化・符号化情報は、多重化部５８で多重化されビットストリームが形成される。
図１２は、インテンシティステレオを用いた一般的な復号装置の構成を示すブロック図である。すべてのビットストリーム情報は、まず、分離部６１で多重分離される。モノラル信号は、逆量子化器６２でロスレス復号および逆量子化され、周波数領域モノラル信号Ｍｄ（ｆ）が復元される。モノラル復号のみが行われる場合、Ｍｄ（ｆ）はＭｄ（ｎ）に変換され復号処理が完了する。
ステレオ復号を行う場合、Ｍｄ（ｆ）は、スペクトル分割部６３で、Ｍｄ（ｆ）の高周波成分Ｍｄｈ（ｆ）と低周波成分Ｍｄｌ（ｆ）とに分割される。また、ステレオ復号を行う場合、サイド信号の符号化情報の低周波数部分Ｓｑｌは、逆量子化器６４でロスレス復号および逆量子化され、Ｓｄｌ（ｆ）が得られる。
左右の信号の低周波数部分Ｌｄｌ（ｆ）およびＲｄｌ（ｆ）は、加算器６５、減算器６６で、Ｍｄｌ（ｆ）およびＳｄｌ（ｆ）を用いて、次の式（５）により復元される。
Figure 0005404412
インテンシティステレオに対するスケールファクタαｑおよびβｑは、逆量子化器６７，６８で逆量子化され、それぞれαｄおよびβｄとなる。そして、左右の信号の高周波数部分Ｌｄｈ（ｆ）およびＲｄｈ（ｆ）は、乗算器６９、７０で、Ｍｄｈ（ｆ）、αｄおよびβｄを用いて次の式（６）により復元される。
Figure 0005404412
左信号の低、高周波数部分Ｌｄｌ（ｆ）およびＬｄｈ（ｆ）は、合成部７１で合成され、左信号の全帯域スペクトルＬout（ｆ）が得られる。同様に、右信号の低、高周波数部分Ｒｄｌ（ｆ）およびＲｄｈ（ｆ）は、合成部７２で合成され、右信号の全帯域スペクトルＲout（ｆ）が得られる。
最後に、Ｌout（ｆ）およびＲout（ｆ）が、それぞれＦ／Ｔ変換部７３、７４で周波数領域から時間領域へＦ／Ｔ変換され、Ｌout（ｎ）およびＲout（ｎ）が得られる。
3GPP TS 26.290 "Extended AMR Wideband Speech Codec (AMR-WB+)" Jurgen Herre, "From Joint Stereo to Spatial Audio Coding - Recent Progress and Standardization", Proc of the 7th International Conference on Digital Audio Effects, Naples, Italy, October 5-8, 2004.
Ｍｅ（ｎ）およびＳｅ（ｎ）の両方を共に、高品質かつ低ビットレートで符号化することは困難である。この問題は、先行技術であるＡＭＲ−ＷＢ＋（非特許文献１）を参照することによって説明することができる。
高ビットレートでは、サイド音源信号は周波数領域（ＤＦＴまたはＭＤＣＴ）に変換され、周波数領域においてビットレートに応じて符号化対象の最大の帯域を決定し、符号化を行う。低ビットレートでは、変換符号化で符号化できる帯域は狭すぎるので、その代わりに符号帳駆動（code excitation）手法による符号化を行う。この手法では音源信号は、（きわめて少数のビットしか必要としない）符号帳インデックスで表わされる。しかしながら、符号帳駆動手法は音声信号に対する符号化の性能は十分であるが、一方で、オーディオ信号に対する音質は十分ではない。
本発明の目的は、低ビットレートのままで、ステレオ信号の音質を改善することができる符号化装置、復号装置およびこれらの方法を提供することである。
本発明の符号化装置は、入力ステレオ信号の第１チャネル信号および第２チャネル信号を合成してモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を生成するモノラル信号生成手段と、前記モノラル信号を時間領域から周波数領域に変換する第１変換手段と、前記サイド信号を時間領域から周波数領域に変換する第２変換手段と、前記周波数領域に変換されたモノラル信号を量子化して第１量子化値を得る第１量子化手段と、前記周波数領域に変換されたサイド信号の所定周波数以下の帯域である低周波数部分を量子化して第２量子化値を得る第２量子化手段と、前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を算出する第１スケールファクタ算出手段と、前記第２チャネル信号の前記所定周波数より高い帯域である高
周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を算出する第２スケールファクタ算出手段と、前記第１エネルギー比を量子化して第３量子化値を得る第３量子化手段と、前記第２エネルギー比を量子化して第４量子化値を得る第４量子化手段と、前記第１量子化値、前記第２量子化値、前記第３量子化値及び前記第４量子化値を送信する送信手段と、を具備する構成を採る。
本発明の復号装置は、入力ステレオ信号の第１チャネル信号および第２チャネル信号を合成することにより生成されたモノラル信号を周波数領域に変換して量子化した前記第１量子化値、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を周波数領域に変換して所定周波数以下の帯域である低周波数部分を量子化した第２量子化値、前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を量子化した前記第３量子化値、及び、前記第２チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を量子化した第４量子化値を受信する受信手段と、前記第１量子化値から前期周波数領域のモノラル信号を復号する第１復号手段と、前記第２量子化値から前記低周波数部分のサイド信号を復号する第２復号手段と、前記第３量子化値から前記第１エネルギー比を復号する第３復号手段と、前記第４量子化値から前記第２エネルギー比を復号する第４復号手段と、前記の周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のモノラル信号を生成する第１スケーリング手段と、前記の周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のサイド信号を生成する第２スケーリング手段と、前記スケーリング後のモノラル信号と低周波数部分のモノラル信号との合成信号を時間領域に変換する第３変換手段と、前記スケーリング後のサイド信号と低周波数部分のサイド信号との合成信号を時間領域に変換する第４変換手段と、前記第３変換手段により得られた時間領域のモノラル信号および第４変換手段より得られた時間領域のサイド信号を用いて、ステレオ信号の第１チャネル信号および第２チャネル信号を復号する復号手段と、を備え、前記第１スケーリング手段および第２スケーリング手段は、前記復号されたステレオ信号の第１チャネル信号および第２チャネル信号が、前記入力ステレオ信号の第１チャネル信号および第２チャネル信号とほぼ同じエネルギーとなるように、第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行う、構成を採る。
本発明の符号化方法は、入力ステレオ信号の第１チャネル信号および第２チャネル信号を合成してモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を生成するモノラル信号生成工程と、前記モノラル信号を時間領域から周波数領域に変換する第１変換工程と、前記サイド信号を時間領域から周波数領域に変換する第２変換工程と、前記周波数領域に変換されたモノラル信号を量子化して第１量子化値を得る第１量子化工程と、前記周波数領域に変換されたサイド信号の所定周波数以下の帯域である低周波数部分を量子化して第２量子化値を得る第２量子化工程と、前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を算出する第１スケールファクタ算出工程と、前記第２チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を算出する第２スケールファクタ算出工程と、前記第１エネルギー比を量子化して第３量子化値を得る第３量子化工程と、前記第２エネルギー比を量子化して第４量子化値を得る第４量子化工程と、前記第１量子化値、前記第２量子化値、前記第３量子化値及び前記第４量子化値を送信する送信工程と、を具備する方法を採る。
本発明の復号方法は、入力ステレオ信号の第１チャネル信号および第２チャネル信号を
合成することにより生成されたモノラル信号を周波数領域に変換して量子化した前記第１量子化値、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を周波数領域に変換して所定周波数以下の帯域である低周波数部分を量子化した第２量子化値、前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を量子化した前記第３量子化値、及び、前記第２チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を量子化した第４量子化値を受信する受信工程と、前記第１量子化値から前期周波数領域のモノラル信号を復号する第１復号工程と、前記第２量子化値から前記低周波数部分のサイド信号を復号する第２復号工程と、前記第３量子化値から前記第１エネルギー比を復号する第３復号工程と、前記第４量子化値から前記第２エネルギー比を復号する第４復号工程と、前記の周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のモノラル信号を生成する第１スケーリング工程と、前記の周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のサイド信号を生成する第２スケーリング工程と、前記スケーリング後のモノラル信号と低周波数部分のモノラル信号との合成信号を時間領域に変換する第３変換工程と、前記スケーリング後のサイド信号と低周波数部分のサイド信号との合成信号を時間領域に変換する第４変換工程と、前記第３変換工程により得られた時間領域のモノラル信号および第４変換工程より得られた時間領域のサイド信号を用いて、ステレオ信号の第１チャネル信号および第２チャネル信号を復号する復号工程と、を備え、前記第１スケーリング工程および第２スケーリング工程は、前記復号されたステレオ信号の第１チャネル信号および第２チャネル信号が、前記入力ステレオ信号の第１チャネル信号および第２チャネル信号とほぼ同じエネルギーとなるように、第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行う、方法を採る。
本発明により、変換符号化を低ビットレートで実現できるため、低ビットレートを維持したままで、ステレオ信号の音質を改善することができる。
本発明は、利用可能なビットの大多数を低周波数スペクトルの符号化に割り当て、利用可能な少数のビットを高周波数スペクトルに対してインテンシティステレオを適用するために割り当てる。
具体的には、本発明は、符号化装置において、ＴＣＸタイプのコーデックにおけるサイド音源信号の高周波数スペクトルの符号化に、インテンシティステレオを用いる。利用可能なビットの一部を用いて左右の音源信号とモノラル音源信号との間の高周波数エネルギー比の情報を送信する。復号装置では、上記のエネルギー比を用いて計算されたスケールファクタを用いて、復号処理により最終的に復元した左右の信号が原信号とほぼ同じエネルギーとなるように、周波数領域のモノラル音源信号およびサイド音源信号のエネルギーを調整する。
本発明により、人間の耳の心理音響特性を利用したインテンシティステレオの適用することで、変換符号化を低ビットレートで実現できるため、低ビットレートを維持したままで、ステレオ信号の音質を改善することができる。
ＴＣＸベースのモノラル信号／サイド信号符号化のフレームワークにおいては、ＬＰ逆フィルタリングにより得られる音源信号を周波数領域に変換したモノラル信号／サイド信号に対して量子化および符号化が行われる。従って、このような符号化のフレームワークにおいて、インテンシティステレオをモノラル信号に適用して左右の信号を直接構成するためには、復号器において、ＴＣＸ復号装置でモノラル信号／サイド信号から復元された左右の信号を一旦周波数領域にＴ／Ｆ変換し、その高域側の周波数帯域に対してＴ／Ｆ変換した復元モノラル信号を用いたスケーリングを行った後に、得られた信号を用いて全帯域の信号として合成し、再び時間領域にＦ／Ｔ変換しなおす必要がある。この結果、新たな処理に伴う演算量増加と、Ｔ／Ｆ変換およびＦ／Ｔ変換に伴う追加の遅延が生じる。
本発明は、復元されたモノラル音源信号を周波数領域でスケーリングすることによって、間接的に周波数領域のサイド音源に対してインテンシティステレオを適用することができるため、新たな処理に伴う演算量増加やＴ／Ｆ変換およびＦ／Ｔ変換に伴う追加の遅延を生じることはない。
さらに、本発明は、インテンシティステレオを、線形予測とＴ／Ｆ変換を処理の一部として伴う広帯域拡張技術等の他の符号化技術と共存させることができる。
以下、本発明の各実施の形態について、図面を用いて説明する。
（実施の形態１）
図１は本実施の形態に係る符号化装置の構成を示すブロック図であり、図２は本実施の形態に係る復号装置の構成を示すブロック図である。これらは、変換符号化音源（ＴＣＸ）符号化方式とインテンシティステレオを、本発明における有利な効果が得られるような工夫を施して組み合わせたものである。
図１に示す符号化装置において、ステレオ信号における左信号Ｌ（ｎ）および右信号Ｒ（ｎ）は、加算器１０１と乗算器１０２とによりモノラル信号Ｍ（ｎ）に変換され、減算器１０３と乗算器１０４とによりサイド信号Ｓ（ｎ）に変換される（上記式（１））。
モノラル信号Ｍ（ｎ）はＬＰ分析部１０５でＬＰ分析され、線形予測係数ＡＭ（ｚ）が生成される。線形予測係数ＡＭ（ｚ）は量子化器１０６で量子化、符号化され、符号化情報ＡｑＭが得られる。符号化情報ＡｑＭは逆量子化器１０７で逆量子化され、線形予測係数ＡｄＭ（ｚ）が得られる。モノラル信号Ｍ（ｎ）は、ＬＰ逆フィルタ１０８で線形予測係数ＡｄＭ（ｚ）を用いたＬＰ逆フィルタリング処理され、モノラル音源信号Ｍｅ（ｎ）が得られる。
モノラル音源信号Ｍｅ（ｎ）は、Ｔ／Ｆ変換部１０９で時間領域から周波数領域へＴ／
Ｆ変換されてＭｅ（ｆ）となる。この目的のため、離散フーリエ変換（ＤＦＴ）あるいは変形離散コサイン変換（ＭＤＣＴ）のいずれかを使用できる。周波数領域のモノラル信号Ｍｅ（ｆ）は、量子化器１１０で量子化され、符号化情報Ｍｑｅとなる。
サイド信号Ｓ（ｎ）にも、モノラル信号Ｍ（ｎ）と同様な一連の処理がされる。すなわち、サイド信号Ｓ（ｎ）はＬＰ分析部１１１でＬＰ分析され、線形予測係数ＡＳ（ｚ）が生成される。線形予測係数ＡＳ（ｚ）は量子化器１１２で量子化、符号化され、符号化情報ＡｑＳが得られる。符号化情報ＡｑＳは逆量子化器１１３で逆量子化され、線形予測係数ＡｄＳ（ｚ）が得られる。サイド信号Ｓ（ｎ）は、ＬＰ逆フィルタ１１４で線形予測係数ＡｄＳ（ｚ）を用いたＬＰ逆フィルタリング処理され、サイド音源信号Ｓｅ（ｎ）が得られる。サイド音源信号Ｓｅ（ｎ）は、Ｔ／Ｆ変換部１１５で時間領域から周波数領域へＴ／Ｆ変換されてＳｅ（ｆ）となる。周波数領域のサイド信号Ｓｅ（ｆ）の低周波数部分Ｓｅｌ（ｆ）は、スペクトル分割部１１６で抽出され、量子化器１１７で量子化され、符号化情報Ｓｑｅｌとなる。
インテンシティステレオのスケールファクタを計算するため、左信号Ｌ（ｎ）に対して、ＬＰ逆フィルタ１２１およびＴ／Ｆ変換部１２２で、モノラル信号／サイド信号と同様なＬＰ逆フィルタリングおよびＴ／Ｆ変換を施す必要がある。左信号Ｌ（ｎ）は、ＬＰ逆フィルタ１２１で、モノラル信号の逆量子化線形予測係数ＡｄＭ（ｚ）を用いてＬＰ逆フィルタリングされ、左音源信号Ｌｅ（ｎ）が得られる。左音源信号Ｌｅ（ｎ）は、Ｔ／Ｆ変換部１２２で時間領域から周波数領域に変換され、周波数領域の左信号Ｌｅ（ｆ）が得られる。
また、符号化情報Ｍｑｅは、逆量子化器１２３で逆量子化され、周波数領域のモノラル信号Ｍｄｅ（ｆ）が得られる。
本実施の形態では、スペクトル分割部１２４、１２５で、音源信号Ｍｄｅ（ｆ）およびＬｅ（ｆ）の高周波数部分は複数の帯域に分割される。ここで、ｉ＝１，２，・・・，Ｎｂは帯域の番号を示すインデックスであり、Ｎｂは高周波数部分の帯域分割数を示す。
図３は、任意の信号Ｘ（ｆ）を用いたスペクトル分割処理を説明する図であり、Ｎｂ＝４の例である。ここで、Ｘ（ｆ）はＭｄｅ（ｆ）またはＬｅ（ｆ）を示す。なお、各帯域は同一のスペクトル幅である必要はない。各帯域ｉは一組のスケールファクタαｉおよびβｉで特徴づけられる。各帯域の音源信号はＭｄｅｈ，ｉ（ｆ）およびＬｅｈ，ｉ（ｆ）で示される。スケールファクタαｉおよびβｉは、それぞれスケールファクタ算出部１２６、１２７で次の式（７）により計算される。
Figure 0005404412
ここで、各帯域の右音源信号Ｒｅｈ，ｉ（ｆ）は、各帯域のモノラル音源信号Ｍｄｅｈ，ｉ（ｆ）および左音源信号Ｌｅｈ，ｉ（ｆ）から、それらの信号間の関係から算出するようにしたものであるが、右信号に対しても、左信号と同様に、ＬＰ逆フィルタ、Ｔ／Ｆ変換部およびスペクトル分割部により、直接Ｒｅｈ，ｉ（ｆ）を算出するようにしても良い。
なお、エネルギー比は上記式（７）に示すとおり音源領域で計算されるが、高周波数帯域における（ＬＰ逆フィルタリング前の）Ｌ／Ｒ信号とモノラル信号との間のエネルギー比を表すものである。したがって、左信号の逆フィルタリングに対しても、モノラル信号の逆量子化線形予測係数ＡｄＭ（ｚ）が使用される。
最後に、スケールファクタαｉおよびβｉは、それぞれ量子化器１２８、１２９で量子化され、それぞれ量子化情報αｑｉおよびβｑｉとなる。すべての量子化・符号化情報は、多重化部１３０で多重化されビットストリームとなる。
図２に示す復号装置において、まず、すべてのビットストリーム情報が分離部２０１で多重分離される。モノラル信号符号化情報Ｍｑｅは、逆量子化器２０２で復号され周波数領域のモノラル信号Ｍｄｅ（ｆ）となる。Ｍｄｅ（ｆ）は、Ｆ／Ｔ変換部２０３で周波数領域から時間領域へＦ／Ｔ変換され、モノラル音源信号Ｍｄｅ（ｎ）が復元される。
符号化情報ＡｑＭは逆量子化器２０４で復号および逆量子化され、線形予測係数ＡｄＭ（ｚ）が得られる。Ｍｄｅ（ｎ）はＬＰ合成部２０５で線形予測係数ＡｄＭ（ｚ）を用いてＬＰ合成されモノラル信号Ｍｄ（ｎ）が復元される。
インテンシティステレオ動作を可能とするため、Ｍｄｅ（ｆ）は、スペクトル分割部２０６で複数の信号帯域Ｍｄｅｌ（ｆ）およびＭｄｅｈ，ｉ（ｆ）に分割される。
低周波数サイド信号の符号化情報Ｓｑｅｌは逆量子化器２０７で復号され、低周波数サイド信号Ｓｄｅｌ（ｆ）となる。符号化情報ＡｑＳは逆量子化器２０８で復号および逆量子化され、サイド信号に対する線形予測係数ＡｄＳ（ｚ）となる。量子化情報αｑｉおよびβｑｉは、それぞれ逆量子化器２０９、２１０で復号および逆量子化され、スケールファクタαｄｉおよびβｄｉとなる。
スケーリング部２１１で、各帯域のモノラル信号Ｍｄｅｈ，ｉ（ｆ）に対して、次の式（８）で示すスケールファクタαｄｉおよびβｄｉを用いたスケーリングが行われ、スケーリング後の各帯域のモノラル信号Ｍｄｅｈ2，ｉ（ｆ）が得られる。
Figure 0005404412
また、スケーリング部２１２で、各帯域のモノラル信号Ｍｄｅｈ，ｉ（ｆ）に対して、次の式（９）で示すスケールファクタαｄｉおよびβｄｉを用いたスケーリングが行われ、スケーリング後の各帯域のサイド信号Ｓｄｅｈ，ｉ（ｆ）が得られる。なお、式（９）における |ＡｄＳ（ｚ）／ＡｄＭ（ｚ）| は、帯域番号ｉで示す該当する周波数帯域に対する合成フィルタ１／ＡｄＭ（ｚ）と１／ＡｄＳ（ｚ）との間のＬＰ予測利得比である。
Figure 0005404412
そして、以下の近似式（１０）が成り立つとみなすことにより、高周波数スペクトルの各帯域を単位にした以下の式（１１）が成り立つので、インテンシティステレオの原理が成立する、すなわち、モノラル信号に対するスケーリングにより原信号と同等のエネルギーを有する左右信号を復元していることを示すことができる。なお、周波数ｆ１からｆ２までの帯域に対応する |Ａ（ｚ）| は以下の式（１２）から推定できる。式（１２）のｆ
ｓはサンプリング周波数、Ｎは整数（例えば５１２）、Δｆ＝（ｆ２−ｆ１）／Ｎである。
Figure 0005404412
Figure 0005404412
Figure 0005404412
ＬＰ予測利得は、ＬＰ合成フィルタのインパルス応答に対して帯域通過フィルタをかけた信号のエネルギーを計算することによっても得ることができる。ここで、帯域通過フィルタリングは、帯域番号ｉで表記した該当周波数帯域用の通過帯域を持つ帯域通過フィルタを用いて実行する。
低周波数モノラル音源信号Ｍｄｅｌ（ｆ）は、合成部２１３で、エネルギーを調整したモノラル音源信号Ｍｄｅｈ２，ｉ（ｆ）と合成され、全帯域の音源信号Ｍｄｅ２（ｆ）となる。Ｍｄｅ２（ｆ）はＦ／Ｔ変換部２１４で周波数領域から時間領域にＦ／Ｔ変換されてＭｄｅ２（ｎ）となる。Ｍｄｅ２（ｎ）はＬＰ合成部２１５で線形予測係数ＡｄＭ（ｚ）を用いた合成フィルタリングが行われ、エネルギーを調整したモノラル信号Ｍｄ２（ｎ）が復元される。同様に、サイド信号の低周波数および高周波数部分Ｓｄｅｌ（ｆ）およびＳｄｅｈ，ｉ（ｆ）は、合成部２１６で合成されてＳｄｅ（ｆ）となる。Ｓｄｅ（ｆ）はＦ／Ｔ変換部２１７で周波数領域から時間領域にＦ／Ｔ変換されてＳｄｅ（ｎ）となる。Ｓｄｅ（ｎ）はＬＰ合成部２１８でＡｄＳ（ｚ）を用いた合成フィルタリングが行われ、サイド信号Ｓｄ（ｎ）が復元される。
モノラル信号Ｍｄ２（ｎ）およびサイド信号Ｓｄ（ｎ）が復元されると、左右の信号Ｌout（ｎ）、Ｒout（ｎ）は、加算器２１９、減算器２２０により、次の式（１３）のように復元される。
Figure 0005404412
このように、本実施の形態によれば、高周波数スペクトルに対してインテンシティステレオを適用することができるので、低ビットレートのままでステレオ信号の音質を改善することができる。
また、本実施の形態によれば、高周波数スペクトルは、複数の帯域に分割され各帯域が各々のスケールファクタ（左右の音源信号とモノラル音源信号との間のエネルギー比）を持たせるような構成であるため、ステレオ信号のエネルギーレベル差のより正確なスペクトル特性を生成することができ、より正確なステレオ感を実現することができる。
なお、本発明は、モノラル符号化に用いる符号化装置のタイプに制限はなく、例えば、ＴＣＸ符号化装置、他のタイプの変換符号化装置、ＣＥＬＰ（Code Excited Linear Prediction）等、どのようなタイプの符号化装置を用いても同様の効果を得ることができる。また、本発明の符号化装置は、スケーラブル符号化装置（ビットレートスケーラブルまたは帯域スケーラブル）、マルチレート符号化装置、可変レート符号化装置であってもよい。
また、本発明では、インテンシティステレオの帯域数は１つのみ（すなわちＮｂ＝１）であってもよい。
また、本発明では、ベクトル量子化（ＶＱ）を用いて一組のαｄｉおよびβｄｉを組にした量子化を行うようにしても良い。これにより、αｄｉおよびβｄｉ間の相関を利用してより高い符号化効率を実現することができる。
（実施の形態２）
本発明の実施の形態２では、さらにビットレートを低減するため、サイド信号の線形予測係数ＡＳ（ｚ）の使用を省略し、代わりにモノラル信号に対する線形予測係数ＡＭ（ｚ）をＳ（ｎ）の処理にも使用する場合について説明する。
図４は、本実施の形態に係る符号化装置の構成を示すブロック図である。なお、図４に示す符号化装置において、図１に示した符号化装置と共通する構成部分には、図１と同一符号を付し、詳しい説明を省略する。
図４に示す符号化装置は、図１に示した符号化装置と比較して、ＬＰ分析部１１１、量子化器１１２および逆量子化器１１３を削除した構成を採り、ＬＰ逆フィルタ１１４におけるＳ（ｎ）に対するＬＰ逆フィルタリングには、ＡｄＳ（ｚ）の代わりにＡｄＭ（ｚ）が用いられる。
また、スペクトル分割部１１６において、高周波数サイド音源信号Ｓｅｈ，ｉ（ｆ）も出力される。
高周波数の左右の音源信号Ｌｅｈ，ｉ（ｆ）およびＲｅｈ，ｉ（ｆ）は、次の式（１４）に示すように周波数領域のモノラル音源信号Ｍｄｅｈ，ｉ（ｆ）およびサイド音源信号Ｓｅｈ，ｉ（ｆ）を用い、左右の音源信号とモノラル音源信号およびサイド音源信号との間の関係を利用して計算される。
Figure 0005404412
図５は、本実施の形態に係る復号装置の構成を示すブロック図である。なお、図５に示
す復号装置において、図２に示した復号装置と共通する構成部分には、図２と同一符号を付し、詳しい説明を省略する。
図５に示す復号装置は、図２に示した復号装置と比較して、逆量子化器２０８を削除した構成を採り、ＬＰ合成部２１８におけるサイド音源信号Ｓｄｅ（ｎ）に対する合成フィルタリングには、ＡｄＳ（ｚ）の代わりにＡｄＭ（ｚ）が用いられる。
また、図５に示す復号装置は、図２に示した復号装置と比較して、スケーリング部２１２のスケーリングが異なり、各帯域のモノラル信号Ｍｄｅｈ，ｉ（ｆ）に対して、次の式（１５）で示すスケールファクタαｄｉおよびβｄｉを用いたスケーリングが行われ、スケーリング後の各帯域のサイド信号Ｓｄｅｈ，ｉ（ｆ）が得られる。
Figure 0005404412
高周波数部分の各帯域を単位にした以下の式（１６）より、インテンシティステレオの原理が成立する。
Figure 0005404412
このように、本実施の形態によれば、実施の形態１に対して、サイド信号の線形予測係数ＡＳ（ｚ）の使用を省略し、代わりにモノラル信号に対する線形予測係数ＡＭ（ｚ）をＳ（ｎ）の処理に使用することにより、さらにビットレートを低減することができる。
（実施の形態３）
本発明の実施の形態３ではは、ＴＣＸに基づくコーデックだけではなく、周波数領域でのモノラル／サイド信号符号化を実行する任意のコーデックに適用する場合について説明する。
本発明の実施の形態３では、インテンシティステレオを（モノラル／サイド音源信号の代わりに）モノラル／サイド信号に基づく符号化装置、復号装置に導入する場合について説明する。
図６は、本実施の形態に係る符号化装置の構成を示すブロック図である。なお、図６に示す符号化装置において、図１に示した符号化装置と共通する構成部分には、図１と同一符号を付し、詳しい説明を省略する。
図６に示す符号化装置は、図１に示した符号化装置と比較して、線形予測に関連したすべてのブロック（１０５、１０６、１０７、１０８、１１１、１１２、１１３、１１４、１２１）を削除した構成を採り、それら削除した部分以外の動作は実施の形態１の図１で示したものと同様である。
図７は、本実施の形態に係る復号装置の構成を示すブロック図である。なお、図７に示
す復号装置において、図２に示した復号装置と共通する構成部分には、図２と同一符号を付し、詳しい説明を省略する。図７に示す復号装置は、図２に示した復号装置と比較して、逆量子化器２０７、２０８およびＬＰ合成部２０５、２１５、２１８を削除した構成を採る。
また、図７に示す復号装置は、図２に示した復号装置と比較して、スケーリング部２１１、２１２のスケーリングが異なり、それぞれ次の式（１７）、（１８）で示すスケーリングが行われる。
Figure 0005404412
Figure 0005404412
それ以外の動作は、図２に示したものと同様である。
このように、本実施の形態によれば、インテンシティステレオを周波数領域でのモノラル／サイド信号符号化を行うあらゆるコーデックに適用することができる。本発明により、復元されたモノラル音源信号を周波数領域でスケーリングすることによって、間接的に周波数領域のサイド音源に対してインテンシティステレオを適用することができるため、スケーリングにより直接左右の信号を生成する場合に必要となる追加の演算量増加やＴ／Ｆ変換およびＦ／Ｔ変換に伴う追加の遅延を生じないようにすることができる。
（実施の形態４）
実施の形態１で説明したＴＣＸ符号化にインテンシティステレオを組み合わせた符号化装置（図１）では、エネルギー比αｉおよびβｉ（ｉ＝１，２，・・・，Ｎｂ）を計算するため、時間領域音源信号を周波数領域に変換する必要がある。
これに対し、実施の形態４では、より単純化した方法として、帯域ごとに低次の帯域通過フィルタを使用する場合について説明する。
図８は、本実施の形態に係る符号化装置の構成を示すブロック図である。なお、図８に示す符号化装置において、図１に示した符号化装置と共通する構成部分には、図１と同一符号を付し、詳しい説明を省略する。
図８に示す符号化装置は、図１に示した符号化装置と比較して、Ｔ／Ｆ変換部１２２、逆量子化器１２３およびスペクトル分割部１２４、１２５を削除し、代わりに帯域通過フィルタ８０１、８０２を追加するものである。
左音源信号Ｌｅ（ｎ）が各帯域に対応する帯域通過フィルタ８０１を通過することにより、高周波帯域ｉ毎の左音源信号Ｌｅｈ，ｉ（ｎ）が抽出される。また、モノラル音源信号Ｍｅ（ｎ）が各帯域に対応する帯域通過フィルタ８０２を通過することにより、高周波数帯域ｉ毎のモノラル音源信号Ｍｄｅｈ，ｉ（ｎ）が抽出される。
本実施の形態の場合、エネルギー比αｉおよびβｉは、それぞれスケールファクタ算出部１２６、１２７で、次の式（１９）に示すように、時間領域で計算される。
Figure 0005404412
このように、本実施の形態によれば、Ｔ／Ｆ変換を用いる代わりに帯域毎の低次の帯域通過フィルタを使用することにより、Ｔ／Ｆ変換を不要にしたことに伴う演算量の低減を図ることができる。
なお、インテンシティステレオ帯域（Ｎｂ＝１）が一つのみの場合は、ひとつの高域フィルタのみとなる。
また、本実施の形態では、エネルギー比は、入力左信号Ｌ（ｎ）（あるいは右信号Ｒ（ｎ））および入力モノラル信号Ｍ（ｎ）を用いて、ＬＰ逆フィルタを通すことなく直接帯域フィルタにかけた信号から計算することができる。
以上、本発明の実施の形態について説明した。
なお、上記の実施の形態１から４の全ての形態において、左信号（Ｌ）および右信号（Ｒ）は、左と右を逆に対応させて、左信号を右信号、右信号を左信号と置き換えても良いことは明らかである。
また、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置、復号装置を有するシステムであればどのような場合にも適用することができる。
また、本発明に係る符号化装置および復号装置は、例えば音声符号化装置および音声復号装置等として、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る符号化装置と同様の機能を実現することができる。
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
２００７年１１月１日出願の特願２００７−２８５６０７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係る符号化装置および符号化方法は、携帯電話、ＩＰ電話、テレビ会議等に用いるに好適である。
本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係る復号装置の構成を示すブロック図 任意の信号Ｘ（ｆ）を用いたスペクトル分割処理を説明する図 本発明の実施の形態２に係る符号化装置の構成を示すブロック図 本発明の実施の形態２に係る復号装置の構成を示すブロック図 本発明の実施の形態３に係る符号化装置の構成を示すブロック図 本発明の実施の形態３に係る復号装置の構成を示すブロック図 本発明の実施の形態４に係る符号化装置の構成を示すブロック図 一般的な変換符号化音源コーデックの符号化装置の構成を示すブロック図 一般的な変換符号化音源コーデックの復号装置の構成を示すブロック図 インテンシティステレオを用いた一般的な符号化装置の構成を示すブロック図 インテンシティステレオを用いた一般的な復号装置の構成を示すブロック図

Claims (7)

  1. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を合成してモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を生成するモノラル信号生成手段と、
    前記モノラル信号を時間領域から周波数領域に変換する第１変換手段と、
    前記サイド信号を時間領域から周波数領域に変換する第２変換手段と、
    前記周波数領域に変換されたモノラル信号を量子化して第１量子化値を得る第１量子化手段と、
    前記周波数領域に変換されたサイド信号の所定周波数以下の帯域である低周波数部分を量子化して第２量子化値を得る第２量子化手段と、
    前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を算出する第１スケールファクタ算出手段と、
    前記第２チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を算出する第２スケールファクタ算出手段と、
    前記第１エネルギー比を量子化して第３量子化値を得る第３量子化手段と、
    前記第２エネルギー比を量子化して第４量子化値を得る第４量子化手段と、
    前記第１量子化値、前記第２量子化値、前記第３量子化値及び前記第４量子化値を送信する送信手段と、
    を具備する符号化装置。
  2. 前記モノラル信号を線形予測分析して第１線形予測係数を得る第１線形予測分析手段と、
    前記第１線形予測係数を量子化して第５量子化値を得る第５量子化手段と、を具備し、
    前記送信手段は、前記第５量子化値も送信する、
    請求項１記載の符号化装置。
  3. 前記サイド信号を線形予測分析して第２線形予測係数を得る第２線形予測分析手段と、
    前記第２線形予測係数を量子化して第６量子化値を得る第６量子化手段と、を具備し、
    前記送信手段は、前記第６量子化値も送信する、
    請求項２記載の符号化装置。
  4. 時間領域の前記第１チャネル信号から前記高周波数部分のみを通過させる第１フィルタと、
    時間領域の前記モノラル信号から前記高周波数部分のみを通過させる第２フィルタと、
    を具備する請求項１記載の符号化装置。
  5. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を合成することにより生成されたモノラル信号を周波数領域に変換して量子化した第１量子化値、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を周波数領域に変換して所定周波数以下の帯域である低周波数部分を量子化した第２量子化値、前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を量子化した第３量子化値、及び、前記第２チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を量子化した第４量子化値を受信する受信手段と、
    前記第１量子化値から前記周波数領域のモノラル信号を復号する第１復号手段と、
    前記第２量子化値から前記低周波数部分のサイド信号を復号する第２復号手段と、
    前記第３量子化値から前記第１エネルギー比を復号する第３復号手段と、
    前記第４量子化値から前記第２エネルギー比を復号する第４復号手段と、
    前記周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のモノラル信号を生成する第１スケーリング手段と、
    前記周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のサイド信号を生成する第２スケーリング手段と、
    前記スケーリング後のモノラル信号と低周波数部分のモノラル信号との合成信号を時間領域に変換する第３変換手段と、
    前記スケーリング後のサイド信号と前記低周波数部分のサイド信号との合成信号を時間領域に変換する第４変換手段と、
    前記第３変換手段により得られた時間領域のモノラル信号および前記第４変換手段より得られた時間領域のサイド信号を用いて、ステレオ信号の第１チャネル信号および第２チャネル信号を復号する復号手段と、
    を備え、
    前記第１スケーリング手段および前記第２スケーリング手段は、前記復号されたステレオ信号の第１チャネル信号および第２チャネル信号が、前記入力ステレオ信号の第１チャネル信号および第２チャネル信号とほぼ同じエネルギーとなるように、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行う、復号装置。
  6. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を合成してモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を生成するモノラル信号生成工程と、
    前記モノラル信号を時間領域から周波数領域に変換する第１変換工程と、
    前記サイド信号を時間領域から周波数領域に変換する第２変換工程と、
    前記周波数領域に変換されたモノラル信号を量子化して第１量子化値を得る第１量子化工程と、
    前記周波数領域に変換されたサイド信号の所定周波数以下の帯域である低周波数部分を量子化して第２量子化値を得る第２量子化工程と、
    前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を算出する第１スケールファクタ算出工程と、
    前記第２チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を算出する第２スケールファクタ算出工程と、
    前記第１エネルギー比を量子化して第３量子化値を得る第３量子化工程と、
    前記第２エネルギー比を量子化して第４量子化値を得る第４量子化工程と、
    前記第１量子化値、前記第２量子化値、前記第３量子化値及び前記第４量子化値を送信する送信工程と、
    を具備する符号化方法。
  7. 入力ステレオ信号の第１チャネル信号および第２チャネル信号を合成することにより生成されたモノラル信号を周波数領域に変換して量子化した第１量子化値、前記第１チャネル信号と前記第２チャネル信号との差分であるサイド信号を周波数領域に変換して所定周波数以下の帯域である低周波数部分を量子化した第２量子化値、前記第１チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第１エネルギー比を量子化した第３量子化値、及び、前記第２チャネル信号の前記所定周波数より高い帯域である高周波数部分と前記モノラル信号の前記所定周波数より高い帯域である高周波数部分との第２エネルギー比を量子化した第４量子化値を受信する受信工程と、
    前記第１量子化値から前記周波数領域のモノラル信号を復号する第１復号工程と、
    前記第２量子化値から前記低周波数部分のサイド信号を復号する第２復号工程と、
    前記第３量子化値から前記第１エネルギー比を復号する第３復号工程と、
    前記第４量子化値から前記第２エネルギー比を復号する第４復号工程と、
    前記周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のモノラル信号を生成する第１スケーリング工程と、
    前記周波数領域のモノラル信号の高周波数部分に対して、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行い、スケーリング後のサイド信号を生成する第２スケーリング工程と、
    前記スケーリング後のモノラル信号と低周波数部分のモノラル信号との合成信号を時間領域に変換する第３変換工程と、
    前記スケーリング後のサイド信号と前記低周波数部分のサイド信号との合成信号を時間領域に変換する第４変換工程と、
    前記第３変換工程により得られた時間領域のモノラル信号および前記第４変換工程より得られた時間領域のサイド信号を用いて、ステレオ信号の第１チャネル信号および第２チャネル信号を復号する復号工程と、
    を備え、
    前記第１スケーリング工程および前記第２スケーリング工程は、前記復号されたステレオ信号の第１チャネル信号および第２チャネル信号が、前記入力ステレオ信号の第１チャネル信号および第２チャネル信号とほぼ同じエネルギーとなるように、前記第１エネルギー比および前記第２エネルギー比を用いてスケーリングを行う、復号方法。
JP2009538955A 2007-11-01 2008-11-04 符号化装置、復号装置およびこれらの方法 Expired - Fee Related JP5404412B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009538955A JP5404412B2 (ja) 2007-11-01 2008-11-04 符号化装置、復号装置およびこれらの方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007285607 2007-11-01
JP2007285607 2007-11-01
JP2009538955A JP5404412B2 (ja) 2007-11-01 2008-11-04 符号化装置、復号装置およびこれらの方法
PCT/JP2008/003166 WO2009057329A1 (ja) 2007-11-01 2008-11-04 符号化装置、復号装置およびこれらの方法

Publications (2)

Publication Number Publication Date
JPWO2009057329A1 JPWO2009057329A1 (ja) 2011-03-10
JP5404412B2 true JP5404412B2 (ja) 2014-01-29

Family

ID=40590733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009538955A Expired - Fee Related JP5404412B2 (ja) 2007-11-01 2008-11-04 符号化装置、復号装置およびこれらの方法

Country Status (4)

Country Link
US (1) US8352249B2 (ja)
EP (1) EP2214163A4 (ja)
JP (1) JP5404412B2 (ja)
WO (1) WO2009057329A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556799B (zh) 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9230551B2 (en) * 2010-10-18 2016-01-05 Nokia Technologies Oy Audio encoder or decoder apparatus
JP6179122B2 (ja) * 2013-02-20 2017-08-16 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
US9520140B2 (en) * 2013-04-10 2016-12-13 Dolby Laboratories Licensing Corporation Speech dereverberation methods, devices and systems
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
CA3162763A1 (en) 2013-12-27 2015-07-02 Sony Corporation Decoding apparatus and method, and program
JP6729186B2 (ja) * 2016-08-30 2020-07-22 富士通株式会社 音声処理プログラム、音声処理方法及び音声処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255892A (ja) * 2000-03-13 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> ステレオ信号符号化方法
US6629078B1 (en) * 1997-09-26 2003-09-30 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method of coding a mono signal and stereo information
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
WO2006121101A1 (ja) * 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. 音声符号化装置およびスペクトル変形方法
JP2006345063A (ja) * 2005-06-07 2006-12-21 Oki Electric Ind Co Ltd 量子化装置、符号化装置、量子化方法および符号化方法
WO2007088853A1 (ja) * 2006-01-31 2007-08-09 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797929A (en) * 1986-01-03 1989-01-10 Motorola, Inc. Word recognition in a speech recognition system using data reduced word templates
JPH08123488A (ja) 1994-10-24 1996-05-17 Sony Corp 高能率符号化方法、高能率符号記録方法、高能率符号伝送方法、高能率符号化装置及び高能率符号復号化方法
TW321810B (ja) * 1995-10-26 1997-12-01 Sony Co Ltd
US5812971A (en) 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
JP3496411B2 (ja) * 1996-10-30 2004-02-09 ソニー株式会社 情報符号化方法及び復号化装置
TW395142B (en) * 1997-05-15 2000-06-21 Matsushita Electric Ind Co Ltd Compressed code decoding device and audio decoding device
JP4242516B2 (ja) * 1999-07-26 2009-03-25 パナソニック株式会社 サブバンド符号化方式
JP4046454B2 (ja) 2000-03-29 2008-02-13 三洋電機株式会社 オーディオデータ符号化装置
DE10118653C2 (de) * 2001-04-14 2003-03-27 Daimler Chrysler Ag Verfahren zur Geräuschreduktion
JP2005533271A (ja) * 2002-07-16 2005-11-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーディオ符号化
CN1328707C (zh) * 2002-07-19 2007-07-25 日本电气株式会社 音频解码设备以及解码方法
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7650277B2 (en) * 2003-01-23 2010-01-19 Ittiam Systems (P) Ltd. System, method, and apparatus for fast quantization in perceptual audio coders
AU2003222397A1 (en) * 2003-04-30 2004-11-23 Nokia Corporation Support of a multichannel audio extension
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
US7809579B2 (en) * 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
JP4950040B2 (ja) * 2004-06-21 2012-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネルオーディオ信号を符号化及び復号する方法及び装置
JP4809370B2 (ja) * 2005-02-23 2011-11-09 テレフオンアクチーボラゲット エル エム エリクソン（パブル） マルチチャネル音声符号化における適応ビット割り当て
US20060215683A1 (en) * 2005-03-28 2006-09-28 Tellabs Operations, Inc. Method and apparatus for voice quality enhancement
US7974417B2 (en) * 2005-04-13 2011-07-05 Wontak Kim Multi-channel bass management
BRPI0605857A (pt) * 2005-04-19 2007-12-18 Coding Tech Ab quantização dependente de energia para a codificação eficiente de parámetros de áudio espacial
US7630882B2 (en) * 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
EP1984913A4 (en) * 2006-02-07 2011-01-12 Lg Electronics Inc DEVICE AND METHOD FOR CODING / DECODING A SIGNAL
US7965848B2 (en) * 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
WO2007126015A1 (ja) * 2006-04-27 2007-11-08 Panasonic Corporation 音声符号化装置、音声復号化装置、およびこれらの方法
CN101548316B (zh) * 2006-12-13 2012-05-23 松下电器产业株式会社 编码装置、解码装置以及其方法
WO2008090970A1 (ja) * 2007-01-26 2008-07-31 Panasonic Corporation ステレオ符号化装置、ステレオ復号装置、およびこれらの方法
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JPWO2008132850A1 (ja) 2007-04-25 2010-07-22 パナソニック株式会社 ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6629078B1 (en) * 1997-09-26 2003-09-30 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method of coding a mono signal and stereo information
JP2001255892A (ja) * 2000-03-13 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> ステレオ信号符号化方法
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
WO2006121101A1 (ja) * 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. 音声符号化装置およびスペクトル変形方法
JP2006345063A (ja) * 2005-06-07 2006-12-21 Oki Electric Ind Co Ltd 量子化装置、符号化装置、量子化方法および符号化方法
WO2007088853A1 (ja) * 2006-01-31 2007-08-09 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013036867; Ｍａｒｉｎａ　ＢＯＳＩ，　ｅｔ　ａｌ．: '"ＩＳＯ／ＩＥＣ　ＭＰＥＧ-２　Ａｄｖａｎｃｅｄ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ"' Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ａｕｄｉｏ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｓｏｃｉｅｔｙ Ｖｏｌ．４５，　Ｎｏ．１０, 199710, ｐｐ．７８９-８１４ *

Also Published As

Publication number Publication date
US8352249B2 (en) 2013-01-08
EP2214163A4 (en) 2011-10-05
US20100262421A1 (en) 2010-10-14
JPWO2009057329A1 (ja) 2011-03-10
EP2214163A1 (en) 2010-08-04
WO2009057329A1 (ja) 2009-05-07

Similar Documents

Publication Publication Date Title
JP5404412B2 (ja) 符号化装置、復号装置およびこれらの方法
KR101220621B1 (ko) 부호화 장치 및 부호화 방법
JP5608660B2 (ja) エネルギ保存型マルチチャネルオーディオ符号化
JP5243527B2 (ja) 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム
EP2209114B1 (en) Speech coding/decoding apparatus/method
JP5215994B2 (ja) 損失エンコ−ドされたデータ列および無損失拡張データ列を用いた、原信号の無損失エンコードのための方法および装置
JP5340261B2 (ja) ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法
JP5695074B2 (ja) 音声符号化装置および音声復号化装置
JPWO2007026763A1 (ja) ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法
EP2133872B1 (en) Encoding device and encoding method
WO2006041055A1 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
JP6027538B2 (ja) 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法
US9454972B2 (en) Audio and speech coding device, audio and speech decoding device, method for coding audio and speech, and method for decoding audio and speech
WO2010140350A1 (ja) ダウンミックス装置、符号化装置、及びこれらの方法
WO2008053970A1 (fr) Dispositif de codage de la voix, dispositif de décodage de la voix et leurs procédés
KR102546098B1 (ko) 블록 기반의 오디오 부호화/복호화 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131029

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees