JP2006133423A - ベクトル変換装置及びベクトル変換方法 - Google Patents

ベクトル変換装置及びベクトル変換方法 Download PDF

Info

Publication number
JP2006133423A
JP2006133423A JP2004321248A JP2004321248A JP2006133423A JP 2006133423 A JP2006133423 A JP 2006133423A JP 2004321248 A JP2004321248 A JP 2004321248A JP 2004321248 A JP2004321248 A JP 2004321248A JP 2006133423 A JP2006133423 A JP 2006133423A
Authority
JP
Japan
Prior art keywords
vector
code
codebook
lpc
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004321248A
Other languages
English (en)
Other versions
JP4871501B2 (ja
Inventor
Toshiyuki Morii
利幸 森井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004321248A priority Critical patent/JP4871501B2/ja
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to EP05805483.4A priority patent/EP1796084B1/en
Priority to BRPI0517778-2A priority patent/BRPI0517778A/pt
Priority to KR1020077010121A priority patent/KR20070083957A/ko
Priority to US11/718,555 priority patent/US7809558B2/en
Priority to RU2007116804/09A priority patent/RU2007116804A/ru
Priority to PCT/JP2005/020129 priority patent/WO2006049179A1/ja
Priority to CA002586251A priority patent/CA2586251A1/en
Priority to CN2005800380550A priority patent/CN101057275B/zh
Publication of JP2006133423A publication Critical patent/JP2006133423A/ja
Application granted granted Critical
Publication of JP4871501B2 publication Critical patent/JP4871501B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 音声を含む信号品質が向上するように、入力ベクトル量子化に用いる参照ベクトルを変換すること。
【解決手段】 ベクトル量子化部９０２は、符号帳９０３に格納されている全てのコードベクトルの中から狭帯域の復号化ＬＰＣパラメータに対応するものの番号を取得する。ベクトル逆量子化部９０４は、ベクトル量子化部９０２にて求められたコードベクトルの番号を参照して、符号帳９０５からコードベクトルを選択する。変換処理部９０６は、アップサンプリング処理部９０１から得られるサンプリング調整された復号化ＬＰＣパラメータと、ベクトル逆量子化部９０４から得られるコードベクトルとを用いて演算を行うことにより、広帯域の復号化ＬＰＣパラメータを得る。
【選択図】 図９

Description

本発明は、ベクトル量子化に用いる参照ベクトルを変換するベクトル変換装置及びベクトル変換方法に関する。
無線通信等の分野では、リアルタイムでの音声や動画信号の伝達を実現するために、圧縮技術が用いられる。ベクトル量子化技術は、音声、動画のデータ圧縮に効果的な方法である。
特許文献１には、ベクトル量子化技術を用いて、狭帯域音声信号から広帯域音声信号を作る技術が開示されている。特許文献１では、入力狭帯域音声信号をＬＰＣ分析した結果を、狭帯域コードブックを用いてベクトル量子化し、そのベクトルを広帯域コードブックで復号し、その結果の符号をＬＰＣ合成して広帯域音声信号を得ている。
特開平６−１１８９９５号公報
しかしながら、上記特許文献１は、狭帯域音声信号を広帯域音声信号に変換することを目的とした技術であり、元々「符号化される入力音声、入力ベクトル」の存在を想定しておらず、聴感的に帯域が広く聞こえるという効果を出すためにスペクトルパラメータを操作するというだけのものであるので、この従来例では入力音声に近い合成音を得ることはできない。
音声を含む品質を向上させる方法として、ベクトル量子化の性能を向上させることが求められており、参照ベクトルを用いて入力ベクトルを量子化／逆量子化することが考えられるが、上記特許文献１は狭帯域音声信号を広帯域音声信号に変換することを目的としたのみであり、参照ベクトルと入力ベクトルとの統計的性質について検討し、参照ベクトルを変換してベクトル量子化に使用することを開示した文献はまだ存在していない。
本発明はかかる点に鑑みてなされたものであり、音声を含む信号品質が向上するように、入力ベクトル量子化に用いる参照ベクトルを変換することができるベクトル変換装置及びベクトル変換方法を提供することを目的とする。
上記課題を解決するために、本発明のベクトル変換装置は、入力ベクトルの量子化に用いる参照ベクトルを変換するベクトル変換装置であって、ベクトル空間をクラスタリングすることにより求められた複数の第１コードベクトルを格納する第１符号帳と、前記第１符号帳に格納された第１コードベクトルの中から参照ベクトルに対応するものの番号を取得するベクトル量子化手段と、前記番号毎に、複数の学習用入力ベクトルに対応する複数の学習用参照ベクトルを統計処理して得られた第２コードベクトルを格納する第２符号帳と、前記第２の符号帳に格納された第２コードベクトルの中から前記ベクトル量子化手段にて取得された番号に対応するものを取得するベクトル逆量子化手段と、前記ベクトル逆量子化手段にて取得された第２コードベクトルを変換して変換後の参照ベクトルを取得する変換処理手段と、を具備する構成を採る。
また、本発明のベクトル変換方法は、入力ベクトルの量子化に用いる参照ベクトルを変換するベクトル変換方法であって、ベクトル空間をクラスタリングすることにより求められた複数の第１コードベクトルを第１符号帳に格納する第１の格納工程と、前記第１符号帳に格納された第１コードベクトルの中から参照ベクトルに対応するものの番号を取得するベクトル量子化工程と、前記番号毎に、学習用入力ベクトルに対して複数の学習用参照ベクトルを統計処理して得られた第２コードベクトルを第２符号帳に格納する第２の格納工程と、前記第２の符号帳に格納された第２コードベクトルの中から前記ベクトル量子化工程にて取得された番号に対応するものを取得するベクトル逆量子化工程と、前記ベクトル逆量子化工程にて取得された第２コードベクトルを変換して変換後の参照ベクトルを取得する変換処理工程と、を具備する。
本発明によれば、入力ベクトルに相関のある参照ベクトルを用いたコードブックマッピングを用いた変換処理を施し、その変換結果を用いたベクトル量子化により、量子化性能を向上させることで、音声を含む信号品質を向上させることができる。
以下の説明では、本発明のベクトル変換装置を階層型符号化の符号化器、復号化器に適応した例について説明する。階層型符号化とは、まずコア符号器で符号化し符号を求め、次に拡張符号器でコア符号器の符号に加えてその符号を加えればより音質が良くなるように拡張符号の符号化を行い、これを段階的に重ねてビットレートを上げていくという符号化である。例えば、３つの符号器（コア符号器４ｋｂｐｓ、拡張符号器Ａ３ｋｂｐｓ、拡張符号器Ｂ２．５ｋｂｐｓ）があれば、４ｋｂｐｓ、７ｋｂｐｓ、９．５ｋｂｐｓの３種類のビットレートで音が出せるということである。これは伝送の途中でも可能で、３つの符号器の符号の合計９．５ｋｂｐｓを伝送している途中でコア符号器の４ｋｂｐｓの符号だけを復号して音を出すことができ、コア符号器＋拡張符号器Ａの７ｋｂｐｓの符号だけを復号して音を出すこともできる。したがって、階層型符号化により、伝送容量が広いままなら高品質の音声が、伝送中に突然狭くなっても符号の抜き出しで伝送を継続することができ、中品質の音声がサービスできる。よって、階層型符号化により、トランスコーデックを介すことなく品質を保ったまま異種網間通信を行うことができる。
また、コアレイヤや拡張レイヤに用いる各符号化器、復号化器の符号化形態としてＣＥＬＰを用いる。以下、符号化／復号化の基本アルゴリズムであるＣＥＬＰについて図１、図２を用いて説明する。
まず、ＣＥＬＰの符号化装置のアルゴリズムについて図１を用いて説明する。図１はＣＥＬＰ方式の符号化装置のブロック図である。
まず、ＬＰＣ分析部１０２において、入力音声１０１に対して自己相関分析、ＬＰＣ分析を行ってＬＰＣ係数を得、ＬＰＣ係数の符号化を行ってＬＰＣ符号を得、ＬＰＣ符号を復号化して復号化ＬＰＣ係数を得る。この符号化は、多くの場合、ＰＡＲＣＯＲ係数やＬＳＰやＩＳＰといった量子化しやすいパラメータに変換した後、過去の復号化パラメータを用いた予測やベクトル量子化を用いて量子化を行うことによりなされる。
次に、適応符号帳１０３と確率的符号帳１０４に格納された音源サンプル（それぞれ、「適応コードベクトル」または「適応音源」、「確率的コードベクトル」または「確率的音源」という）の中で指定されたものを取り出し、ゲイン調整部１０５においてそれぞれの音源サンプルに指定のアンプを乗じた後、加算することにより音源ベクトルを得る。
次に、ＬＰＣ合成部１０６において、ゲイン調整部１０５で得られた音源ベクトルを、ＬＰＣパラメータを用いた全極型フィルタによって合成し、合成音を得る。ただし、実際の符号化においては、ゲイン調整前の２つの音源ベクトル（適応音源、確率的音源）に対して、ＬＰＣ分析部１０２で求められた復号化ＬＰＣ係数によってフィルタリングを行ない２つの合成音を得る。これはより効率的に音源の符号化を行うためである。
次に、比較部１０７において、ＬＰＣ合成部１０６で求められた合成音と入力音声１０１の距離を計算し、２つの符号帳からの出力ベクトルとゲイン調整部１０５で乗じるアンプを制御することによって、距離が最も小さくなる２つの音源の符号の組み合わせを探す。
ただし、実際の符号化においては、ＬＰＣ合成部１０６で得られた２つの合成音と入力音声との関係を分析し２つの合成音の最適値（最適ゲイン）の組み合わせを求め、その最適ゲインによってゲイン調整部１０５でゲイン調整されたそれぞれの合成音を加算することにより総合合成音を求め、その総合合成音と入力音声の距離計算を行なうことが一般的である。そして、適応符号帳１０３と確率的符号帳１０４の全ての音源サンプルに対してゲイン調整部１０５、ＬＰＣ合成部１０６を機能させることによって得られる多くの合成音と入力音声との距離計算を行ない、距離が最も小さくなる音源サンプルのインデクスを求める。これにより効率よく２つの符号帳の音源の符号を探索することができる。
また、この音源探索では、適応符号帳と確率的符号帳を同時に最適化するのは必要な計算量が膨大で事実上不可能であるので、１つずつ符号を決めていくというオープンループ探索を行うのが一般的である。すなわち、適応音源だけの合成音と、入力音声を比較することによって適応符号帳の符号を求め、次にこの適応符号帳からの音源を固定して、確率的符号帳からの音源サンプルを制御し、最適ゲインの組み合わせによって多くの総合合成音を求め、それと入力音声を比較することによって確率的符号帳の符号を決定する。以上の手順により、現存の小型プロセッサ（ＤＳＰ等）での探索を実現することができる。
そして、比較部１０７は２つの符号帳のインデクス（符号）と、さらにそのインデクスに対応する２つの合成音と入力音声をパラメータ符号化部１０８へ出力する。
パラメータ符号化部１０８は、２つの合成音と入力音声の相関を用いてゲインの符号化を行ってゲイン符号を得る。そして、ＬＰＣ符号、２つの符号帳の音源サンプルのインデクス（音源の符号）をまとめて伝送路１０９へ出力する。また、ゲイン符号と音源の符号に対応する２つの音源サンプルとから音源信号を復号化し、それを適応符号帳１０３に格納する。この際、古い音源サンプルを破棄する。すなわち、適応符号帳１０３の復号化音源データを未来から過去にメモリシフトしメモリから出た古いデータは破棄し、未来の空いた部分に復号化で作成した音源信号を格納する。この処理は適応符号帳の状態更新と呼ばれる。
なお、ＬＰＣ合成部１０６における音源探索時のＬＰＣ合成では、線形予測係数や高域強調フィルタや長期予測係数（入力音声の長期予測分析を行なうことによって得られる係数）を用いた聴感重み付けフィルタを使用するのが一般的である。また、適応符号帳１０３と確率的符号帳１０４の音源探索は、分析区間（フレームと呼ばれる）を更に細かく分けた区間（サブフレームと呼ばれる）で行われることが多い。
ここで、上記説明の中で述べた様に、比較部１０７では、ゲイン調整部１０５から得られた適応符号帳１０３、確率的符号帳１０４の全ての音源について、実現可能な計算量で探索を行うため、２つの音源（適応符号帳１０３と確率的符号帳１０４）をオープンループで探索する。その場合、各ブロック（セクション）の役割が上記説明よりも複雑になる。そこで、処理手順について更に詳細に述べる。
（１）まず、ゲイン調整部１０５は適応符号帳１０３からのみ音源サンプル（適応音源）を次々に送りＬＰＣ合成部１０６を機能させて合成音を求め、比較部１０７へ送り入力音声と比較を行なって最適な適応符号帳１０３の符号を選択する。なお、この時のゲインは符号化歪が最も少なくなる値（最適ゲイン）であることを仮定して探索を行う。
（２）そして、適応符号帳１０３の符号を固定して、適応符号帳１０３からは同じ音源サンプルを、確率的符号帳１０４からは比較部１０７の符号に対応した音源サンプル（確率的音源）を次々に選択し、ＬＰＣ合成部１０６へ伝送する。ＬＰＣ合成部１０６は２つの合成音を求め、比較部１０７で両合成音の和と入力音声の比較を行ない確率的符号帳１０４の符号を決定する。なお、上記と同様に、この時のゲインは符号化歪が最も少なくなる値（最適ゲイン）であると仮定して選択を行う。
なお、上記オープンループ探索では、ゲイン調整部１０５のゲインを調整する機能と加算する機能は使用されない。
このアルゴリズムは、それぞれの符号帳の全ての音源の組み合わせを探索する方法と比較して、符号化性能が若干劣化するが、計算量が大幅に削減され実現可能な範囲になる。
このように、ＣＥＬＰは人間の音声の発声過程（声帯波＝音源、声道＝ＬＰＣ合成フィルタ）のモデルによる符号化であり、基本アルゴリズムとしてＣＥＬＰを用いることにより比較的少ない計算量で良好な音質の音声が得られる。
次に、ＣＥＬＰの復号化装置のアルゴリズムについて図２を用いて説明する。図２はＣＥＬＰ方式の復号化装置のブロック図である。
パラメータ復号化部２０２は、伝送路２０１を介して送られたＬＰＣ符号を復号して合成用ＬＰＣパラメータを得てＬＰＣ合成部２０６に出力する。また、パラメータ復号化部２０２は、伝送路２０１を介して送られた２つの音源符号を適応符号帳２０３及び確率符号帳２０４へ送り、出力される音源サンプルを指定する。また、パラメータ復号化部２０２は、伝送路２０１を介して送られたゲイン符号を復号化してゲインパラメータを得てゲイン調整部２０５へ出力する。
次に、適応符号帳２０３と確率的符号帳２０４は２つの音源符号により指定された音源サンプルを出力し、ゲイン調整部２０５へ出力する。ゲイン調整部２０５はパラメータ復号化部２０２から得たゲインパラメータを２つの音源符号帳から得た音源サンプルに乗じて加算することにより音源ベクトルを求め、ＬＰＣ合成部２０６へ出力する。
ＬＰＣ合成部２０６は、音源ベクトルに合成用ＬＰＣパラメータを用いたフィルタリングを行って合成音を求め、これを出力音声２０７とする。なお、この合成の後には、合成用パラメータを用いた極強調、高域強調等を行うポストフィルタを用いることが多い。
以上が基本アルゴリズムＣＥＬＰの説明である。
次に、本発明の実施の形態に係るスケーラブルコーデックの符号化装置／復号化装置の構成について図面を用いて詳細に説明する。
なお、本実施の形態ではマルチステージ型スケーラブルコーデックを例として説明を行う。また、階層数としてはコアと拡張の２層の場合について説明する。
また、スケーラブルコーデックの音質を決める符号化形態として、コアレイヤと拡張レイヤを加えた場合で音声の音響的帯域が異なる周波数スケーラブルを例に説明する。この形態は、コアコーデックのみでは音響的周波数帯域が狭い音声が得られるのに対し、拡張部の符号を加えればより広い周波数帯域の高品質の音声が得られることができるというものである。なお、「周波数スケーラブル」を実現するため入力音声や合成音のサンプリング周波数を変換する周波数調整部を使用する。
以下、本発明の実施の形態に係るスケーラブルコーデックの符号化装置の構成について図３を用いて詳細に説明する。なお、以下の説明では、スケーラブルコーデックの一形態として、ビットレートを上げていく途中で符号化対象の音声信号の周波数帯域を狭帯域から広帯域に変更する「周波数スケーラブル」と呼ばれるスケーラブルコーデックを例に用いる。
周波数調整部３０２は、入力音声３０１に対してダウンサンプリングを行い、得られる狭帯域音声信号をコア符号器３０３へ出力する。ダウンサンプリングの方法は様々あり、低域透過(Low-pass)フィルタを掛けて間引くという方法が一例として挙げられる。例えば、１６ｋＨｚサンプリングの入力音声を８ｋＨｚサンプリングに変換する場合は、４ｋＨｚ（８ｋＨｚサンプリングのナイキスト周波数）以上の周波数成分が極小さくなるような低域透過フィルタを掛け、その後１つ置きに信号をピックアップして（２つに１つを間引いたことになる）メモリに格納することにより８ｋＨｚサンプリングの信号が得られる。
次に、コア符号器３０３は、狭帯域音声信号を符号化し、得られた符号を伝送路３０４とコア復号器３０５へ出力する。
コア復号器３０５は、コア符号器３０３で得られた符号を用いて復号を行い、得られた合成音を周波数調整部３０６へ出力する。また、コア復号器３０５は、復号の過程で得られるパラメータを必要に応じて拡張符号器３０７へ出力する。
周波数調整部３０６は、コア復号器３０５で得られた合成音に対して入力音声３０１のサンプリングレートにまでアップサンプリングを行い、加算部３０９へ出力する。アップサンプリングの方法は様々あり、サンプルの間に０を挿入してサンプル数を増やし、低域透過(Low-pass)フィルタによって周波数成分を調整してから、パワーを調整するという方法が一例として挙げられる。例えば、８ｋＨｚサンプリングを１６ｋＨｚサンプリングにアップサンプリングするという場合は、以下の式（１）の様に、まず、１つ置きに０を挿入して信号Ｙjを得、また１つのサンプル当たりの振幅ｐを求めておく。
Figure 2006133423
 次に、Ｙjに低域透過フィルタを掛け、８ｋＨｚ以上の周波数成分を極めて小さくする。得られる１６ｋＨｚサンプリングの信号Ｚiに対して、以下の式（２）の様に、Ｚiの１つのサンプル当たりの振幅ｑを求め、式（１）で求めた値に近づけるようにゲインをスムーズに調整し、合成音Ｗiを得る。
Figure 2006133423
 なお、上記でｇの初期値としては、適当な定数（例えば０）を定めておく。
また、周波数調整部３０２、コア符号器３０３、コア復号器３０５、周波数調整部３０６で使用するフィルタとして位相成分がずれるフィルタを用いた場合、周波数調整部３０６では、位相成分も入力音声３０１と合うように調整する必要がある。この方法についてはそれまでのフィルタの位相成分のずれを予め計算し、その逆特性をＷiに掛けることによって位相を合わせる。位相を合わせることにより、入力音声３０１との純粋な差分信号を求めることができ、拡張符号器３０７で効率の良い符号化を行うことができる。
加算部３０９は、周波数調整部３０６で得られた合成音の符号を反転して入力音声３０１と加算する、すなわち、入力音声３０１から合成音を減ずる。加算部３０９は、この処理で得られた音声信号である差分信号３０８を拡張符号器３０７へ出力する。
拡張符号器３０７は、入力音声３０１と差分信号３０８を入力し、コア復号器３０５で得られたパラメータを利用して、差分信号３０８の効率的な符号化を行い、得られた符号を伝送路３０４へ出力する。
以上が本実施の形態に関わるスケーラブルコーデックの符号化装置の説明である。
次に、本発明の実施の形態に係るスケーラブルコーデックの復号化装置の構成について図４を用いて詳細に説明する。
コア復号器４０２は、伝送路４０１から復号化に必要な符号を取得し、復号化を行って合成音を得る。コア復号器４０２は、図３の符号化装置のコア復号器３０５と同様の復号化機能を持つ。また、コア復号器４０２は、必要に応じて合成音４０６を出力する。なお、この合成音４０６には、聴感的に聞きやすくなるように調整を行うのが有効である。例として、コア復号器４０２で復号されたパラメータを用いたポストフィルタが挙げられる。また、コア復号器４０２は、必要に応じて合成音を周波数調整部４０３へ出力する。また、復号化の過程で得られるパラメータを必要に応じて拡張復号器４０４へ出力する。
周波数調整部４０３は、コア復号器４０２から得られた合成音に対してアップサンプリングを行い、アップサンプリング後の合成音を加算部４０５へ出力する。なお、周波数調整部４０３の機能は図３の周波数調整部３０６と同様であるので、その説明を省略する。
拡張復号器４０４は、伝送路４０１から取得した符号を復号化して合成音を得る。そして、拡張復号器４０４は、得られた合成音を加算部４０５へ出力する。この復号化の際には、コア復号器４０２から復号化の過程で得られるパラメータを利用した復号化を行うことにより、良好な品質の合成音を得ることができる。
加算部４０５は、周波数調整部４０３から得られた合成音と、拡張復号器４０４から得られた合成音を加算して合成音４０７を出力する。なお、この合成音４０７には、聴感的に聞きやすくなるように調整を行うことが有効である。例として、拡張復号器４０４で復号されたパラメータを用いたポストフィルタが挙げられる。
以上の様に図４の復号化装置は合成音４０６と合成音４０７の２つの合成音を出力することができる。合成音４０６はコアレイヤから得られる符号のみ、合成音４０７はコアレイヤと拡張レイヤの符号から得られるより良好な品質の合成音声である。どちらを利用するかは本スケーラブルコーデックを使用するシステムが決めることができる。なお、コアレイヤの合成音４０６のみをシステムで利用するのであれば、符号化装置のコア復号器３０５、周波数調整部３０６、加算部３０９、拡張符号器３０７、復号化装置の周波数調整部４０３、拡張復号器４０４、加算部４０５らは省略することができる。
以上がスケーラブルコーデックの復号化装置の説明である。
次に、本実施の形態の符号化装置／復号化装置において、拡張符号器及び拡張復号器がコア復号器から得られるパラメータを利用する方法について詳細に説明する。
まず、図５を用いて、本実施の形態に係る符号化装置の拡張符号器がコア復号器から得られるパラメータを利用する方法について詳細に説明する。図５は、図３のスケーラブルコーデック符号化装置の拡張符号器３０７の構成を示すブロック図である。
ＬＰＣ分析部５０１は、入力音声３０１に対して自己相関分析とＬＰＣ分析を行なうことによりＬＰＣ係数を得、また得られたＬＰＣ係数の符号化を行ってＬＰＣ符号を得、また得られたＬＰＣ符号を復号化して復号化ＬＰＣ係数を得る。なお、ＬＰＣ分析部５０１は、コア復号器３０５から得られる合成ＬＰＣパラメータを用いて効率のよい量子化を行う。ＬＰＣ分析部５０１の内部構成の詳細は後述する。
適応符号帳５０２と確率的符号帳５０３は２つの音源符号により指定された音源サンプルをゲイン調整部５０４へ出力する。
ゲイン調整部５０４は、それぞれの音源サンプルにアンプを乗じた後に加算して音源ベクトルを得、そしてそれをＬＰＣ合成部５０５へ出力する。
ＬＰＣ合成部５０５は、ゲイン調整部５０４で得られた音源ベクトルに対してＬＰＣパラメータを用いたフィルタリングを行うことにより、合成音を得る。ただし、実際の符号化においては、ゲイン調整前の２つの音源ベクトル（適応音源、確率的音源）に対して、ＬＰＣ分析部５０１で得られた復号化ＬＰＣ係数によってフィルタリングを行ない２つの合成音を得て、比較部５０６に出力することが一般的である。これはより効率的に音源の符号化を行うためである。
比較部５０６は、ＬＰＣ合成部５０５で得られた合成音と差分信号３０８の距離を計算し、２つの符号帳からの音源サンプルとゲイン調整部５０４で乗じるアンプを制御することによって、最も距離が近くなる２つの音源の符号の組み合わせを探す。ただし、実際の符号化においては、ＬＰＣ合成部５０５で得られた２つの合成音と差分信号３０８との関係を分析し２つの合成音の最適値（最適ゲイン）の組み合わせを求め、その最適ゲインによってゲイン調整部５０４でゲインの調整をされたそれぞれの合成音を加算して総合合成音を得、その総合合成音と差分信号３０８の距離計算を行なうことが一般的である。そして、適応符号帳５０２と確率的符号帳５０３の全ての音源サンプルに対してゲイン調整部５０４、ＬＰＣ合成部５０５を機能させることによって得られる多くの合成音と差分信号３０８との距離計算を行ない、得られる距離を比較し、最も小さくなる２つの音源サンプルのインデクスを求める。これにより効率よく２つの符号帳の音源の符号を求めることができる。
また、この音源探索においては、適応符号帳と確率的符号帳を同時に最適化するのが計算量的には通常不可能であり、そのために１つずつ符号を決めていくというオープンループ探索を行うのがより一般的である。すなわち、適応音源だけの合成音と差分信号３０８を比較することによって適応符号帳の符号を得、次に、この適応符号帳からの音源を固定して、確率的符号帳からの音源サンプルを制御し、最適ゲインの組み合わせによって多くの総合合成音を得、これと差分信号３０８を比較することによって確率的符号帳の符号を決定する。以上の様な手順により現実的な計算量で探索が実現できる。
そして、２つの符号帳のインデクス（符号）と、さらにそのインデクスに対応する２つの合成音と差分信号３０８をパラメータ符号化部５０７へ出力する。
パラメータ符号化部５０７は、２つの合成音と差分信号３０８の相関を用いて最適なゲインの符号化を行なうことによってゲイン符号を得る。そして、ＬＰＣ符号、２つの符号帳の音源サンプルのインデクス（音源の符号）をまとめて伝送路３０４へ出力する。また、ゲイン符号と音源の符号に対応する２つの音源サンプルとから音源信号を復号化し、それを適応符号帳５０２に格納する。この際、古い音源サンプルを破棄する。すなわち、適応符号帳５０２の復号化音源データを未来から過去にメモリシフトし、古いデータは破棄し、未来の空いた部分に復号化で作成した音源信号を格納する。この処理は適応符号帳の状態更新（update）と呼ばれる。
次に、ＬＰＣ分析部５０１の内部構成について図６のブロック図を用いて詳細に説明する。ＬＰＣ分析部５０１は、分析部６０１と、パラメータ変換部６０２と、量子化部６０３とから主に構成される。
分析部６０１は、入力音声３０１を分析しパラメータを求める。ＣＥＬＰを基本方式としている場合は、線形予測分析を行い、パラメータを求める。そして、量子化しやすいＬＳＰ、ＰＡＲＣＯＲ、ＩＳＰ等のパラメータベクトルに変換し、量子化部６０３に出力する。この量子化部６０３に出力されるパラメータベクトルを「ターゲットベクトル」と呼ぶ。パラメータベクトルが、ベクトル量子化（ＶＱ）で効率的に量子化が出来るものであれば復号時により品質の良い音声が合成出来る。なお、この際、ターゲットベクトルが復号化ＬＰＣパラメータと同じ種類、同じ長さのパラメータベクトルであれば、パラメータ変換部６０２においてパラメータの種類や長さを変換する処理が省略できる。なお、分析対象として入力音声３０１の代わりに差分信号３０８を用いることも可能である。
パラメータ変換部６０２は、復号化ＬＰＣパラメータを量子化に有効なパラメータに変換する。ここで得られるベクトルを「広帯域の復号化ＬＰＣパラメータ」と呼ぶ。なお、このパラメータが分析部６０１で得られるパラメータと違う種類、または違う長さのパラメータベクトルである場合は、処理の最後に種類や長さを合わせる変換処理が必要である。なお、このパラメータ変換部６０２の内部処理の詳細については後述する。
量子化部６０３は、分析部６０１から得られるターゲットベクトルを、広帯域の復号化ＬＰＣパラメータを用いて量子化してＬＰＣ符号を得る。
以下、復号化ＬＰＣパラメータを用いた量子化の例として以下の２つの量子化形態について説明する。なお、以下の説明においては、ターゲットベクトルと広帯域の復号化ＬＰＣパラメータは同じ種類の同じ長さのパラメータベクトルであることを前提として説明を行う。
（１）コア係数との差を符号化する場合
（２）コア係数を含めて予測ＶＱで符号化する場合
まず、（１）の量子化形態について説明する。
まず量子化対象であるＬＰＣ係数を量子化しやすいパラメータ（以下、「ターゲット係数」という）に変換する。次に、ターゲット係数からコア係数を減ずる。なお、両者ともベクトルであるのでベクトルとしての減算である。そして、得られた差分ベクトルをベクトル量子化（予測ＶＱ、スプリットＶＱ、多段ＶＱ）により量子化する。この時、単に差分を求めるという方法も有効であるが、ただ差分を求めるのでなく、ベクトルの各要素でその相関に応じた減算を行えば、より精度のよい量子化ができる。一例を以下の式（３）に示す。
Figure 2006133423
 上記式（３）において、βiは予め統計的に求めたものを格納しておき、それを使用する。なお、βi＝１.０に固定するという方法もあるが、その場合は単なる差分になる。相関度の決定は、予め多くの音声データについてスケーラブルコーデックの符号化装置を動かし、拡張符号器３０７のＬＰＣ分析部５０１に入力される多くのターゲット係数とコア係数の相関分析によってなされる。これは以下の式（４）の誤差パワーＥを最小にするβiを求めることにより実現できる。
Figure 2006133423
 そして、上記を最小化するβiは、Ｅをβiで片微分した式が全てのｉについて０になるという性質から以下の式（５）によって得られる。
Figure 2006133423
 よって上記のβiを使用して差分を取ればより精度のよい量子化が実現できる。
次に、（２）の量子化形態について説明する。
予測ＶＱとは上記差分後のベクトル量子化と同様で、過去の複数の復号化パラメータを用いて固定の予測係数で積和を取ったものの差分をベクトル量子化するというものである。この差分ベクトルを以下の式（６）に示す。
Figure 2006133423
 上記の「過去の復号化パラメータ」としては、復号化したベクトルそのものを用いる方法と、ベクトル量子化におけるセントロイドを用いる方法の２つがある。前者の方が予測能力は高いが、前者の方が誤りの伝播が長期に渡るため、後者の方がビット誤りには強い。
そこで、このＹm,iの中に必ずコア係数を含めるようにすれば、コア係数はその時間のパラメータで相関度も高いので、高い予測能力を得ることができ、上記（１）の量子化形態よりも更に高い精度で量子化ができる。例えばセントロイドを用いる場合、予測次数４の場合で以下の式（７）の様になる。
Figure 2006133423
 また、予測係数δm,iは、（１）の量子化形態のβiと同じく、多くのデータについての誤差パワーを各予測係数で片微分した式の値が０になることから求められる。この場合は、ｍについての連立一次方程式を解くことによって求められる。
以上の様にコアレイヤで得られるコア係数を用いることによって効率のよいＬＰＣパラメータの符号化ができる。
なお、予測ＶＱの形態として予測の積和の中にセントロイドを含める場合もある。方法は式（７）に括弧書きで示したので、説明は省略する。
また、上記分析部６０１の説明では分析対象を入力音声３０１としたが、差分信号３０８を用いても、同様の方法によって、パラメータ抽出、符号化が実現できる。アルゴリズムは、入力音声３０１を用いた場合と同様であるので、説明は省略する。
以上が、以下、復号化ＬＰＣパラメータを用いた量子化の説明である。
次に、図７を用いて、本実施の形態に係る復号化装置の拡張復号器がコア復号器から得られるパラメータを利用する方法について詳細に説明する。図７は、図４のスケーラブルコーデック復号化装置の拡張復号器４０４の構成を示すブロック図である。
パラメータ復号化部７０１は、ＬＰＣ符号を復号して合成用ＬＰＣパラメータを得、ＬＰＣ合成部７０５へ出力する。また、パラメータ復号化部７０１は、２つの音源符号を適応符号帳７０２及び確率的符号帳７０３へ送り、出力される音源サンプルを指定する。また、パラメータ復号化部７０１はゲイン符号とコアレイヤから得たゲインパラメータから最終的なゲインパラメータを復号化し、ゲイン調整部７０４へ出力する。
適応符号帳７０２と確率的符号帳７０３は、２つの音源インデクスにより指定された音源サンプルを出力し、ゲイン調整部７０４へ出力する。ゲイン調整部７０４はパラメータ復号化部７０１から得たゲインパラメータを２つの音源符号帳から得た音源サンプルに乗じて加算し総合音源を得、ＬＰＣ合成部７０５へ出力する。また総合音源を適応符号帳７０２に格納する。この際、古い音源サンプルを破棄する。すなわち、適応符号帳７０２の復号化音源データを未来から過去にメモリシフトしメモリに入らない古いデータは破棄し、未来の空いた部分に復号化で作成した総合音源を格納する。この処理は適応符号帳の状態更新と呼ばれる。
ＬＰＣ合成部７０５は、パラメータ復号化部７０１から最終的に復号化されたＬＰＣパラメータを得、総合音源にＬＰＣパラメータを用いたフィルタリングを行い、合成音を得る。得られた合成音は加算部４０５に出力される。なお、この合成の後には、音声を聞き易くするために同ＬＰＣパラメータを用いたポストフィルタを使用することが一般的である。
図８は、本実施の形態に係るパラメータ復号化部７０１の内部構成のうちＬＰＣパラメータの復号化機能に関する構成を示すブロック図である。この図を用いて復号化ＬＰＣパラメータの利用方法を説明する。
パラメータ変換部８０１は、復号化ＬＰＣパラメータを復号化に有効なパラメータに変換する。ここで得られるベクトルを「広帯域の復号化ＬＰＣパラメータ」と呼ぶ。なお、このパラメータが逆量子化部８０２でＬＰＣ符号から得られるパラメータと違う種類、または違う長さのパラメータベクトルである場合は、処理の最後に種類や長さを合わせる変換処理が必要である。なお、このパラメータ変換部８０１の内部処理の詳細については後述する。
逆量子化部８０２は、ＬＰＣ符号を参照して符号帳から得られるセントロイドと、広帯域の復号化ＬＰＣパラメータを用いて復号化を行い、復号化ＬＰＣパラメータを得る。ＬＰＣ符号は、符号器側の説明で述べた様に、入力信号を分析して得られたＰＡＲＣＯＲやＬＳＰ等量子化しやすいパラメータを、ベクトル量子化（ＶＱ）等により量子化することによって得られた符号であり、その符号化に対応した復号化を行う。ここでは例として符号器側と同様に以下の２つの復号化形態について説明する。
（１）コア係数との差を符号化する場合
（２）コア係数を含めて予測ＶＱで符号化する場合
まず、（１）の量子化形態では、コア係数にＬＰＣ符号の復号化（ＶＱ、予測ＶＱ、スプリットＶＱ、多段ＶＱで符号化されているものの復号化）で得られる差分ベクトルを加算することにより復号する。この時、単に加算するという方法も有効であるが、ベクトルの各要素でその相関に応じた減算よる量子化を用いた場合にはそれに応じた加算を行う。一例を以下の式（８）に示す。
Figure 2006133423
 上記式（８）においてβiは予め統計的に求めたものを格納しておき、それを使用する。この相関度は符号化装置と同じ値である。したがってその求め方もＬＰＣ分析部５０１で説明したものと全く同じであるので、その説明を省略する。
また、（２）の量子化形態では、過去の複数の復号化パラメータを用いて固定の予測係数で積和を取ったものと復号された差分ベクトルとを加算するというものである。この加算を式（９）に示す。
Figure 2006133423
 上記の「過去の復号化パラメータ」としては、過去に復号した復号化ベクトルそのものを用いる方法と、ベクトル量子化におけるセントロイド（この場合、過去に復号された差分ベクトルである）を用いる方法の２つがある。そこで、符号器と同様に、このＹm,iの中に必ずコア係数を含めるようにすれば、コア係数はその時間のパラメータで相関度も高いので、高い予測能力を得ることができ、（１）の量子化形態より更に精度の良いベクトルが復号できる。例えばセントロイドを用いる場合、予測次数４の場合で符号化装置（ＬＰＣ分析部５０１）の説明で用いた式（７）の様になる。
このようにコアレイヤで得られるコア係数を用いることによって効率のよいＬＰＣパラメータの復号化ができる。
次に、図６、図８のパラメータ変換部６０２、８０１の詳細について、図９のブロック図を用いて説明する。なお、パラメータ変換部６０２とパラメータ変換部８０１は全く同じ機能であり、狭帯域の復号化ＬＰＣパラメータ（参照ベクトル）を広帯域の復号化パラメータ（変換後の参照ベクトル）に変換する。
本実施の形態の説明では、周波数スケーラブルの場合を例として説明を行う。また、周波数成分を変える手段としてサンプリングレートの変換を用いる場合について述べる。また、具体例としてはサンプリングレートを２倍にする場合について述べる。
アップサンプリング処理部９０１は、狭帯域の復号化ＬＰＣパラメータのアップサンプリングを行う。この方法の一例として、ＰＡＲＣＯＲ、ＬＳＰ、ＩＳＰといったＬＰＣパラメータが自己相関係数と可逆であることを利用し、自己相関係数上でアップサンプリングし、更に再分析により元のパラメータに戻すという方法について述べる。（ベクトルの次数は一般的に増える）
まず、復号化ＬＰＣパラメータを線形予測分析におけるαパラメータに変換する。αパラメータは通常自己相関分析によりレビンソン・ダービン法により求められるが、この漸化式による処理は可逆であり、αパラメータは逆変換により自己相関係数に変換できる。そこで、この自己相関係数上においてアップサンプリングを実現すればよい。
自己相関関数を求める元信号をＸiとすると、自己相関関数Ｖjは以下の式（１０）で求められる。
Figure 2006133423
 上記のＸiを偶数番目のサンプルだとすると、以下の式（１１）のように書ける。
Figure 2006133423
 ここで倍のサンプリングに拡大した場合の自己相関関数をＷjとすると、偶数と奇数の次数で異なり、以下の式（１２）の様になる。
Figure 2006133423
 ここで奇数番目のＸを補間するために多層フィルタＰmを用いると上記２つの式（１１）、（１２）は以下の式（１３）の様に変形でき、多層フィルタは偶数番目のＸの線形和により間の奇数番目の値を補間できる。
Figure 2006133423
 したがって、元の自己相関関数Ｖjが必要な次数分あれば補間により倍のサンプリングの自己相関関数Ｗjに変換できる。そこで得られたＷjに対して再びレビンソン・ダービン法のアルゴリズムを適用することにより拡張レイヤで使用できるサンプリングレート調整を受けたαパラメータが得られる。これを「サンプリング調整された復号化ＬＰＣパラメータ」と呼ぶ。
ベクトル量子化部９０２は、符号帳９０３に格納されている全てのコードベクトルの中から狭帯域の復号化ＬＰＣパラメータに対応するものの番号を取得する。具体的には、ベクトル量子化部９０２は、符号帳９０３に格納されている全てのコードベクトルとベクトル量子化された狭帯域の復号化ＬＰＣパラメータのユークリッド距離（ベクトルの各要素の差の２乗和）を求め、その値が最も小さくなるコードベクトルの番号を求める。
ベクトル逆量子化部９０４は、ベクトル量子化部９０２にて求められたコードベクトルの番号を参照して、符号帳９０５からコードベクトル（「作用コードベクトル」と呼ぶ）を選択し、それを変換処理部９０６へ出力する。この時、符号帳９０５に格納されるコードベクトルによって性能が変わってくるが、これについては後述する。
変換処理部９０６は、アップサンプリング処理部９０１から得られるサンプリング調整された復号化ＬＰＣパラメータと、ベクトル逆量子化部９０４から得られる作用コードベクトルとを用いて演算を行うことにより、広帯域の復号化ＬＰＣパラメータを得る。ここで２つのベクトルの演算については作用コードベクトルの性質によって異なってくる。これについても後述する。
ここで、符号帳９０５に格納されるコードベクトルの例として「差分ベクトル」の場合について、ベクトル逆量子化部９０４で符号帳９０５から選択される作用コードベクトルと、変換処理部９０６の機能と、その効果、また符号帳９０３、９０５の作成方法について以下に詳細に示す。
作用コードベクトルが差分ベクトルである場合、変換処理部９０６では、サンプリング調整された復号化ＬＰＣパラメータと作用コードベクトルとを加算することによって、広帯域の復号化ＬＰＣパラメータを得る。
この方法は、周波数スペクトル上での補間と同様の効果を得ることができる。符号化前の最初の入力信号（広帯域）の周波数成分が図１０（Ａ）の様であるとすると、コアレイヤはその入力前に周波数調整（ダウンサンプリング）を受けるので狭帯域になる。したがって、復号化ＬＰＣパラメータの周波数成分は図１０（Ｂ）の様になる。このパラメータをアップサンプリング処理した場合（本実施の形態では２倍）、図１０（Ｃ）の様なスペクトルになる。周波数帯域幅は２倍になるが、周波数成分自身は変わらないので、高域に成分が存在しない。ここで、低域の周波数成分から高域の成分がある程度予測出来るという性質が広く知られており、何らかの変換によって図１０（Ｄ）の様に高域を予測し補間することができる。この方法は「広帯域化」と呼ばれており、ＭＰＥＧの標準帯域拡張方式であるＳＢＲ（Spector Band Replication）はその一種である。本発明のパラメータ変換部６０２、８０１は、上記スペクトル上での方法をパラメータベクトル自身に対応付け適応したところに発想があり、その効果は上記説明から明らかである。図６のＬＰＣ分析部５０１との対応付けについて示すと、図１０（Ａ）は量子化部６０３に入力される量子化対象のＬＰＣパラメータ、図１０（Ｂ）は狭帯域の復号化ＬＰＣパラメータ、図１０（Ｃ）はアップサンプリング処理部９０１の出力であるサンプリング調整された復号化ＬＰＣパラメータ、図１０（Ｄ）は変換処理部９０６の出力である広帯域の復号化ＬＰＣパラメータとそれぞれ対応している。
次に、符号帳９０３の作成方法について述べる。符号帳９０３に格納されるコードベクトルは入力される復号化ＬＰＣパラメータ全体の空間を表すものである。まず、多くの学習用入力データに対して符号器を動かすことによって、多くの復号化ＬＰＣパラメータを得る。次に、そのデータベースに対して、ＬＢＧ（Linde-Buzo-Gray）アルゴリズム等のクラスタリングアルゴリズムにより指定の数のコードベクトルを求める。そしてこのコードベクトルを格納して符号帳９０３を作成する。なお、発明者は、実験により、コードベクトル数１２８以上の大きさがあれば本発明の効果が得られることを確認している。
次に、符号帳９０５の作成方法について述べる。符号帳９０５に格納されるコードベクトルは、符号帳９０３に格納されたコードベクトルのそれぞれの場合に、最も誤差が少なくなる差分ベクトルを統計的に求める。まず、多くの学習用入力データに対して符号器を動かすことによって、多くの「サンプリング調整された復号化ＬＰＣパラメータ」とそれに対応する量子化部６０３に入力される「量子化対象のＬＰＣパラメータ」とを求め、これをベクトル逆量子化部９０４に出力される「番号毎」にデータベースを作る。次に、その各番号のデータベースに対して、各「量子化対象のＬＰＣパラメータ」からそれに対応する「サンプリング調整された復号化ＬＰＣパラメータ」を減算することにより、誤差ベクトルの集合を求める。そして、その誤差ベクトルの平均を求め、これをその番号のコードベクトルとする。そしてこのコードベクトルを格納して符号帳９０５を作成する。このコードベクトルは、学習データにおいて、「サンプリング調整された復号化ＬＰＣパラメータ」が最も「量子化対象のＬＰＣパラメータ」に近くなる差分ベクトルの集合である。
以上の２つの符号帳により、誤差の少ない広帯域の復号化ＬＰＣパラメータを求めることができ、量子化部６０３や逆量子化部８０２で効率の良い符号化／復号化が可能になる。
なお、上記説明では作用コードベクトルを「差分ベクトル」としたが、これが差分でない場合、すなわち、作用コードベクトルが「広帯域の復号化ＬＰＣパラメータ」と同次元、同種類のベクトルであり、変換処理部９０６がこれを使用して広帯域の復号化ＬＰＣパラメータを作成する場合でも本発明は有効である。この場合、図１１に示すように図９に対してアップサンプリング処理部９０１が不要になり、変換処理部９０６では単なる加算ではなく作用コードベクトルを用いた演算（作用コードベクトルのスルー、線形予測演算、非線形予測演算、等）を行う。
この場合、符号帳９０５に格納されるコードベクトルは、符号帳９０３に格納されたコードベクトルのそれぞれの場合に、最も誤差が少なくなるように統計的に求めた「広帯域の復号化ＬＰＣパラメータ」と同次元、同種類のベクトルである。まず、多くの学習用入力データに対して符号器を動かすことによって、多くの「サンプリング調整された復号化ＬＰＣパラメータ」とそれに対応する量子化部６０３に入力される「量子化対象のＬＰＣパラメータ」とを求め、これをベクトル逆量子化部９０４に出力される「番号毎」にデータベースを作る。そして、その番号毎にベクトルの平均を求め、これをその番号のコードベクトルとする。そしてこのコードベクトルを格納して符号帳９０５を作成する。このコードベクトルの集合は、学習データにおいて、「サンプリング調整された復号化ＬＰＣパラメータ」が最も「量子化対象のＬＰＣパラメータ」に近くなるベクトルの集合である。
上記の場合、特に「作用コードベクトルのスルー」の場合には、図１１に示すように図９に対してアップサンプリング処理部９０１が不要になる。
ここで、実際の符号化／復号化における効果を数値で示す。多くの音声データから得られたＬＳＰパラメータをベクトル量子化する実験を行った。ベクトル量子化は予測ＶＱであり、パラメータ変換部６０２、８０１では符号帳９０３、９０５のサイズは１２８、符号帳９０５には差分ベクトルを格納するという条件で実験を行った。その結果、本発明無しの条件においてＣＤ（ケプストラム距離）で１．０〜１．３ｄＢの性能が得られる量子化では、本発明により、０．１ｄＢ程度もの高い向上が認められた。本発明の高い有効性が検証された。
以上のように、本実施の形態によれば、コードベクトルを保持する２つの異なる符号帳を用意し、狭帯域の復号化ＬＰＣパラメータとコードベクトルとを用いて演算を行うことにより、精度の高い広帯域の復号化ＬＰＣパラメータを得ることができ、高性能な帯域スケーラブル符号化、復号化を行うことができる。
なお、本発明は、マルチステージ型に限らず、コンポーネント型でも下位レイヤの情報を利用できる。それは入力の種類の違いに本発明が影響しないからである。
また、本発明は、周波数スケーラブルでない場合（周波数に変化が無い場合）でも有効である。同じ周波数であれば、周波数調整部３０２、３０６やＬＰＣのサンプリング変換が不要になる。その実施の形態は上記説明から容易に類推できる。アップサンプリング処理部９０１を除いたパラメータ変換部６０２、８０１について図１２に示す。この場合の符号帳９０５の作成方法を以下に示す。
符号帳９０５に格納されるコードベクトルは、符号帳９０３に格納されたコードベクトルのそれぞれの場合に、最も誤差が少なくなるように統計的に求めた差分ベクトルである。まず、多くの学習用入力データに対して符号器を動かすことによって、多くの「復号化ＬＰＣパラメータ」とそれに対応する量子化部６０３に入力される「量子化対象のＬＰＣパラメータ」とを求め、これをベクトル逆量子化部９０４に送られる「番号毎」にデータベースを作る。次に、その各番号のデータベースに対して、１つ１つの「量子化対象のＬＰＣパラメータ」からそれに対応する「サンプリング調整された復号化ＬＰＣパラメータ」を減算することにより、誤差ベクトルの集合を求める。そして、各集合の誤差ベクトルの平均を求め、これをその番号のコードベクトルとする。そしてこのコードベクトルを格納して符号帳９０５を作成する。このコードベクトルの集合は、学習データにおいて、「復号化ＬＰＣパラメータ」が最も「量子化対象のＬＰＣパラメータ」に近くなる差分ベクトルの集合である。また、変換処理部９０６は、単なる加算ではなく作用コードベクトルを用いた重み付け演算を行ってもよい。
また、本発明は、ＣＥＬＰ以外の方式にも適用することができる。例えば、ＡＣＣ、Ｔｗｉｎ−ＶＱ、ＭＰ３などのオーディオコーデックの階層化や、ＭＰＬＰＣ等の音声コーデックの階層化の場合、後者ではパラメータとして同様のものがあるので同じ説明と同様であり、前者でも帯域パワーの符号化には本発明のゲインパラメータの符号化／復号化の説明と同様である。
また、本発明は、階層数として２層以上のスケーラブルコーデックであれば適用できる。なお、コアレイヤから、ＬＰＣ、適応符号帳の情報、ゲインの情報以外の情報が得られる場合でも本発明は適応できる。例えば、ＳＣの音源ベクトルの情報がコアレイヤから得られた場合は、コアレイヤの音源に固定係数を乗じて音源候補に加算し、得られる音源を候補として合成し探索、符号化すればよいということは明らかである。
なお、本実施の形態では、入力信号として音声信号を対象とした場合について説明したが、本発明は、音声信号以外の信号（音楽やノイズ、環境音、画像、及び指紋や虹彩などの生体信号など）全てに対応できる。
本発明は、ベクトル量子化の性能向上により音声を含む信号品質を向上させることができ、通信装置及び認識装置等の信号処理に用いるのに好適である。
ＣＥＬＰの符号化装置のブロック図 ＣＥＬＰの復号化装置のブロック図 本発明の一実施の形態に係るスケーラブルコーデックの符号化装置の構成を示すブロック図 上記実施の形態に係るスケーラブルコーデックの復号化装置の構成を示すブロック図 上記実施の形態に係るスケーラブルコーデックの符号化装置の拡張符号器の内部構成を示すブロック図 図５のＬＰＣ分析部の内部構成を示すブロック図 上記実施の形態に係るスケーラブルコーデックの復号化装置の拡張復号器の内部構成を示すブロック図 図７のパラメータ復号化部の内部構成を示すブロック図 図６、図８のパラメータ変換部の内部構成を示すブロック図 図６、図８のパラメータ変換部の処理を説明する図 図６、図８のパラメータ変換部の内部構成を示すブロック図 図６、図８のパラメータ変換部の内部構成を示すブロック図
符号の説明
３０２、３０６ 周波数調整部
３０３ コア符号器
３０５ コア復号器
３０７ 拡張符号器
３０９ 加算部
４０２ コア復号器
４０３ 周波数調整部
４０４ 拡張復号器
４０５ 加算部
５０１ ＬＰＣ分析部
５０２ 適応符号帳
５０３ 確率的符号帳
５０４ ゲイン調整部
５０５ ＬＰＣ合成部
５０６ 比較部
５０７ パラメータ符号化部
６０１ 分析部
６０２、８０１ パラメータ変換部
６０３ 量子化部
７０１ パラメータ復号化部
７０２ 適応符号帳
７０３ 確率的符号帳
７０４ ゲイン調整部
７０５ ＬＰＣ合成部
８０２ 逆量子化部
９０１ アップサンプリング処理部
９０２ ベクトル量子化部
９０３、９０５ 符号帳
９０４ ベクトル逆量子化部
９０６ 変換処理部

Claims (7)

  1. 入力ベクトルの量子化に用いる参照ベクトルを変換するベクトル変換装置であって、
    ベクトル空間をクラスタリングすることにより求められた複数の第１コードベクトルを格納する第１符号帳と、
    前記第１符号帳に格納された第１コードベクトルの中から参照ベクトルに対応するものの番号を取得するベクトル量子化手段と、
    前記番号毎に、複数の学習用入力ベクトルに対応する複数の学習用参照ベクトルを統計処理して得られた第２コードベクトルを格納する第２符号帳と、
    前記第２の符号帳に格納された第２コードベクトルの中から前記ベクトル量子化手段にて取得された番号に対応するものを取得するベクトル逆量子化手段と、
    前記ベクトル逆量子化手段にて取得された第２コードベクトルを変換して変換後の参照ベクトルを取得する変換処理手段と、を具備するベクトル変換装置。
  2. 前記第２符号帳は、番号毎に前記学習用の入力ベクトルと前記学習用の参照ベクトルとの差分が最も小さくなるように統計処理して得られた差分ベクトルを第２コードベクトルとして格納し、
    前記変換処理手段は、前記ベクトル逆量子化手段にて取得された第２コードベクトルと、参照ベクトルとを加算して変換後の参照ベクトルを取得する請求項１に記載のベクトル変換装置。
  3. 参照ベクトルをアップサンプリングするアップサンプリング処理手段を具備し、
    前記変換処理手段は、前記ベクトル逆量子化手段にて取得された第２コードベクトルと、アップサンプリングされた参照ベクトルとを加算して変換後の参照ベクトルを取得する請求項１又は請求項２に記載のベクトル変換装置。
  4. 第２コードベクトルと、参照ベクトルとの重み付け加算して変換後の参照ベクトルを取得する請求項２又は請求項３に記載のベクトル変換装置。
  5. 統計処理は、平均である請求項１から請求項４のいずれかに記載のベクトル変換装置。
  6. 請求項１から請求項５のいずれかに記載のベクトル変換装置によって得られた変換後の参照ベクトルを用いて入力ベクトルを量子化する量子化装置。
  7. 入力ベクトルの量子化に用いる参照ベクトルを変換するベクトル変換方法であって、
    ベクトル空間をクラスタリングすることにより求められた複数の第１コードベクトルを第１符号帳に格納する第１の格納工程と、
    前記第１符号帳に格納された第１コードベクトルの中から参照ベクトルに対応するものの番号を取得するベクトル量子化工程と、
    前記番号毎に、学習用入力ベクトルに対して複数の学習用参照ベクトルを統計処理して得られた第２コードベクトルを第２符号帳に格納する第２の格納工程と、
    前記第２の符号帳に格納された第２コードベクトルの中から前記ベクトル量子化工程にて取得された番号に対応するものを取得するベクトル逆量子化工程と、
    前記ベクトル逆量子化工程にて取得された第２コードベクトルを変換して変換後の参照ベクトルを取得する変換処理工程と、を具備するベクトル変換方法。
JP2004321248A 2004-11-04 2004-11-04 ベクトル変換装置及びベクトル変換方法 Expired - Fee Related JP4871501B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2004321248A JP4871501B2 (ja) 2004-11-04 2004-11-04 ベクトル変換装置及びベクトル変換方法
BRPI0517778-2A BRPI0517778A (pt) 2004-11-04 2005-11-01 aparelho de transformação de vetor e método de transformação de vetor
KR1020077010121A KR20070083957A (ko) 2004-11-04 2005-11-01 벡터 변환 장치 및 벡터 변환 방법
US11/718,555 US7809558B2 (en) 2004-11-04 2005-11-01 Vector transformation apparatus and vector transformation method
EP05805483.4A EP1796084B1 (en) 2004-11-04 2005-11-01 Apparatus and method for LPC vector transformation
RU2007116804/09A RU2007116804A (ru) 2004-11-04 2005-11-01 Устройство векторного преобразования и способ векторного преобразования
PCT/JP2005/020129 WO2006049179A1 (ja) 2004-11-04 2005-11-01 ベクトル変換装置及びベクトル変換方法
CA002586251A CA2586251A1 (en) 2004-11-04 2005-11-01 Vector conversion device and vector conversion method
CN2005800380550A CN101057275B (zh) 2004-11-04 2005-11-01 矢量变换装置以及矢量变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004321248A JP4871501B2 (ja) 2004-11-04 2004-11-04 ベクトル変換装置及びベクトル変換方法

Publications (2)

Publication Number Publication Date
JP2006133423A true JP2006133423A (ja) 2006-05-25
JP4871501B2 JP4871501B2 (ja) 2012-02-08

Family

ID=36319184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004321248A Expired - Fee Related JP4871501B2 (ja) 2004-11-04 2004-11-04 ベクトル変換装置及びベクトル変換方法

Country Status (9)

Country Link
US (1) US7809558B2 (ja)
EP (1) EP1796084B1 (ja)
JP (1) JP4871501B2 (ja)
KR (1) KR20070083957A (ja)
CN (1) CN101057275B (ja)
BR (1) BRPI0517778A (ja)
CA (1) CA2586251A1 (ja)
RU (1) RU2007116804A (ja)
WO (1) WO2006049179A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120440A1 (ja) * 2007-03-02 2008-10-09 Panasonic Corporation 符号化装置および符号化方法
JP2013125187A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム
JP2016540255A (ja) * 2013-12-15 2016-12-22 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ブラインド帯域幅拡張のシステムおよび方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7610195B2 (en) 2006-06-01 2009-10-27 Nokia Corporation Decoding of predictively coded data using buffer adaptation
US8620648B2 (en) * 2007-07-27 2013-12-31 Panasonic Corporation Audio encoding device and audio encoding method
EP2045800A1 (en) * 2007-10-05 2009-04-08 Nokia Siemens Networks Oy Method and apparatus for transcoding
ES2650492T3 (es) 2008-07-10 2018-01-18 Voiceage Corporation Dispositivo y método de cuantificación de filtro LPC de múltiples referencias
KR101261677B1 (ko) * 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
JPWO2011048810A1 (ja) * 2009-10-20 2013-03-07 パナソニック株式会社 ベクトル量子化装置及びベクトル量子化方法
JP5746974B2 (ja) * 2009-11-13 2015-07-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置およびこれらの方法
EP2515299B1 (en) * 2009-12-14 2018-06-20 Fraunhofer Gesellschaft zur Förderung der Angewand Vector quantization device, voice coding device, vector quantization method, and voice coding method
MX2012011943A (es) * 2010-04-14 2013-01-24 Voiceage Corp Libro de códigos de innovacion combinado, flexible y escalable para uso en codificador y decodificador celp.
JP5711733B2 (ja) * 2010-06-11 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号装置、符号化装置及びこれらの方法
US8924200B2 (en) * 2010-10-15 2014-12-30 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
US8868432B2 (en) * 2010-10-15 2014-10-21 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
CN102783034B (zh) * 2011-02-01 2014-12-17 华为技术有限公司 用于提供信号处理系数的方法和设备
CN114171035A (zh) * 2020-09-11 2022-03-11 海能达通信股份有限公司 抗干扰方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6425197A (en) * 1987-07-09 1989-01-27 Ibm Conversion of characteristic vector in voice processing into correct vector allowing more information
JPH06118995A (ja) * 1992-10-05 1994-04-28 Nippon Telegr & Teleph Corp <Ntt> 広帯域音声信号復元方法
JPH08123495A (ja) * 1994-10-28 1996-05-17 Mitsubishi Electric Corp 広帯域音声復元装置
WO2002056295A2 (en) * 2001-01-12 2002-07-18 Telefonaktiebolaget L M Ericsson (Publ) Speech bandwidth extension

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
US7752052B2 (en) * 2002-04-26 2010-07-06 Panasonic Corporation Scalable coder and decoder performing amplitude flattening for error spectrum estimation
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6425197A (en) * 1987-07-09 1989-01-27 Ibm Conversion of characteristic vector in voice processing into correct vector allowing more information
JPH06118995A (ja) * 1992-10-05 1994-04-28 Nippon Telegr & Teleph Corp <Ntt> 広帯域音声信号復元方法
JPH08123495A (ja) * 1994-10-28 1996-05-17 Mitsubishi Electric Corp 広帯域音声復元装置
WO2002056295A2 (en) * 2001-01-12 2002-07-18 Telefonaktiebolaget L M Ericsson (Publ) Speech bandwidth extension
JP2004517368A (ja) * 2001-01-12 2004-06-10 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 音声の帯域拡張

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120440A1 (ja) * 2007-03-02 2008-10-09 Panasonic Corporation 符号化装置および符号化方法
AU2008233888B2 (en) * 2007-03-02 2013-01-31 Panasonic Intellectual Property Corporation Of America Encoding device and encoding method
US8554549B2 (en) 2007-03-02 2013-10-08 Panasonic Corporation Encoding device and method including encoding of error transform coefficients
US8918314B2 (en) 2007-03-02 2014-12-23 Panasonic Intellectual Property Corporation Of America Encoding apparatus, decoding apparatus, encoding method and decoding method
US8918315B2 (en) 2007-03-02 2014-12-23 Panasonic Intellectual Property Corporation Of America Encoding apparatus, decoding apparatus, encoding method and decoding method
JP2013125187A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム
JP2016540255A (ja) * 2013-12-15 2016-12-22 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ブラインド帯域幅拡張のシステムおよび方法

Also Published As

Publication number Publication date
EP1796084A1 (en) 2007-06-13
EP1796084A4 (en) 2008-07-02
CA2586251A1 (en) 2006-05-11
KR20070083957A (ko) 2007-08-24
BRPI0517778A (pt) 2008-10-21
US20080126085A1 (en) 2008-05-29
EP1796084B1 (en) 2014-06-04
JP4871501B2 (ja) 2012-02-08
CN101057275B (zh) 2011-06-15
WO2006049179A1 (ja) 2006-05-11
RU2007116804A (ru) 2008-11-20
US7809558B2 (en) 2010-10-05
CN101057275A (zh) 2007-10-17

Similar Documents

Publication Publication Date Title
US7809558B2 (en) Vector transformation apparatus and vector transformation method
US8364495B2 (en) Voice encoding device, voice decoding device, and methods therefor
JP5722040B2 (ja) スケーラブルなスピーチおよびオーディオコーデックにおける、量子化ｍｄｃｔスペクトルに対するコードブックインデックスのエンコーディング／デコーディングのための技術
US7599833B2 (en) Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same
WO2009081568A1 (ja) 符号化装置、復号装置および符号化方法
EP2200026B1 (en) Encoding apparatus and encoding method
JP2003044097A (ja) 音声信号および音楽信号を符号化する方法
KR100503415B1 (ko) 대역폭 확장을 이용한 ｃｅｌｐ 방식 코덱간의 상호부호화 장치 및 그 방법
JPWO2008053970A1 (ja) 音声符号化装置、音声復号化装置、およびこれらの方法
WO2009125588A1 (ja) 符号化装置および符号化方法
JPH0341500A (ja) 低遅延低ビツトレート音声コーダ
JPWO2008018464A1 (ja) 音声符号化装置および音声符号化方法
JPH09127985A (ja) 信号符号化方法及び装置
JPH09127987A (ja) 信号符号化方法及び装置
WO2011074233A1 (ja) ベクトル量子化装置、音声符号化装置、ベクトル量子化方法、及び音声符号化方法
JPH09127998A (ja) 信号量子化方法及び信号符号化装置
RU2807462C1 (ru) Устройство квантования аудиоданных, устройство деквантования аудиоданных и соответствующие способы
RU2809981C1 (ru) Аудиодекодер, аудиокодер и связанные способы с использованием объединенного кодирования параметров масштабирования для каналов многоканального аудиосигнала
Bakır Compressing English Speech Data with Hybrid Methods without Data Loss
JP4293005B2 (ja) 音声音楽信号の符号化装置および復号装置
JPH09127994A (ja) 信号符号化方法及び装置
JPH09127986A (ja) 符号化信号の多重化方法及び信号符号化装置
JPH0997099A (ja) 符号化・復号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

R150 Certificate of patent or registration of utility model

Ref document number: 4871501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees