JPH096397A - 音声信号の再生方法、再生装置及び伝送方法 - Google Patents

音声信号の再生方法、再生装置及び伝送方法

Info

Publication number
JPH096397A
JPH096397A JP7153723A JP15372395A JPH096397A JP H096397 A JPH096397 A JP H096397A JP 7153723 A JP7153723 A JP 7153723A JP 15372395 A JP15372395 A JP 15372395A JP H096397 A JPH096397 A JP H096397A
Authority
JP
Japan
Prior art keywords
parameter
audio signal
encoding
coding parameter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7153723A
Other languages
English (en)
Other versions
JP3747492B2 (ja
Inventor
Masayuki Nishiguchi
正之 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP15372395A priority Critical patent/JP3747492B2/ja
Priority to US08/664,512 priority patent/US5926788A/en
Priority to CA002179228A priority patent/CA2179228C/en
Priority to MYPI96002452A priority patent/MY116532A/en
Priority to DE69614782T priority patent/DE69614782T2/de
Priority to AU56054/96A priority patent/AU721596B2/en
Priority to CNB961110422A priority patent/CN1154976C/zh
Priority to SG1996010099A priority patent/SG54343A1/en
Priority to AT96304568T priority patent/ATE205011T1/de
Priority to MX9602391A priority patent/MX9602391A/es
Priority to EP96304568A priority patent/EP0751493B1/en
Priority to RU96111955/09A priority patent/RU2255380C2/ru
Priority to ES96304568T priority patent/ES2159688T3/es
Priority to BRPI9602835-1A priority patent/BR9602835B1/pt
Priority to TR96/00519A priority patent/TR199600519A2/xx
Priority to KR1019960022517A priority patent/KR100472585B1/ko
Priority to TW085109383A priority patent/TW412719B/zh
Publication of JPH096397A publication Critical patent/JPH096397A/ja
Application granted granted Critical
Publication of JP3747492B2 publication Critical patent/JP3747492B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0012—Smoothing of parameters of the decoder interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Telephone Function (AREA)

Abstract

(57)【要約】 【構成】 符号化部２は、入力端子１０から入力された
音声信号をフレーム単位で区分しこのフレーム単位で符
号化して線スペクトル対（ＬＳＰ）パラメータや、ピッ
チや、有声音（Ｖ）／無声音（ＵＶ）や、スペクトル振
幅Ａｍのような符号化パラメータを出力する。変更符号
化パラメータ算出部３は、上記符号化パラメータを補間
処理して所望の時刻に対応する変更符号化パラメータを
算出する。復号化部６は、上記変更符号化パラメータに
基づいてサイン波及びノイズを合成し、出力端子３７か
ら合成音声信号を出力する。 【効果】 広いレンジにわたる任意のレートのスピード
コントロールを簡単にかつ音韻，ピッチを不変として高
品質に行える。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、入力音声信号をフレー
ム単位で区分し、符号化して求めた符号化パラメータに
基づいて、少なくともサイン波を合成することにより音
声信号を再生する音声信号の再生方法、再生装置及び上
記符号化パラメータに応じたパラメータを用いて音声信
号を伝送する音声信号の伝送方法に関する。
【０００２】
【従来の技術】オーディオ信号（音声信号や音響信号を
含む）の時間領域や周波数領域における統計的性質と人
間の聴感上の特性を利用して信号圧縮を行うような符号
化方法が種々知られている。この符号化方法としては、
大別して時間領域での符号化、周波数領域での符号化、
分析合成符号化等が挙げられる。
【０００３】
【発明が解決しようとする課題】ところで、符号励起線
形予測（ＣＥＬＰ：Code Excited Linear Predictio
n）符号化に代表されるような上記時間軸上の処理によ
る音声高能率符号化方法では、時間軸のスピード変換
（Modify）処理が困難であった。これは、デコーダ出力
の後にかなりの演算を行う必要があったためである。
【０００４】また、デコードした線形領域でスピードコ
ントロールを行うため、例えばビットレートの変換など
には使えなかった。
【０００５】本発明は、上記実情に鑑みてなされたもの
であり、広いレンジにわたる任意のレートのスピードコ
ントロールを簡単にかつ音韻，ピッチを不変として高品
質に行える音声信号の再生方法、再生装置及び伝送方法
の提供を目的とする。
【０００６】
【課題を解決するための手段】本発明に係る音声信号の
再生方法は、上記課題を解決するために、入力音声信号
が時間軸上の所定フレーム単位で区分され、各フレーム
単位で符号化されることにより求められた符号化パラメ
ータに基づいて、少なくともサイン波を合成することに
より音声信号を再生する音声信号の再生方法において、
上記符号化パラメータを補間処理して所望の時刻に対応
する変更符号化パラメータを求め、この変更符号化パラ
メータに基づいて、少なくともサイン波を合成すること
により音声信号を再生する。
【０００７】また、本発明に係る音声信号の再生装置
は、上記課題を解決するために、入力音声信号が時間軸
上の所定フレーム単位で区分され、各フレーム単位で符
号化されることにより求められた符号化パラメータに基
づいて、少なくともサイン波を合成することにより音声
信号を再生する音声信号の再生装置において、上記所定
フレーム毎に得られる符号化パラメータの時間軸を圧縮
伸張して上記パラメータの出力周期を変更する周期変更
手段と、この周期変更されたパラメータを補間処理して
上記所定フレーム毎の時刻に対応する変更符号化パラメ
ータを求める補間処理手段と、この変更符号化パラメー
タに基づいてサイン波及びノイズを合成する音声合成手
段とを有する。
【０００８】また、本発明に係る音声信号の伝送方法
は、上記課題を解決するために、入力音声信号を時間軸
上の所定フレーム単位で区分し、各フレーム単位で符号
化することにより符号化パラメータを求める工程と、求
められた符号化パラメータを補間処理して所望の時刻に
対応する変更符号化パラメータを求める工程と、補間処
理された変更符号化パラメータを伝送する工程とを有す
る。
【０００９】
【作用】入力音声信号を時間軸上の所定フレーム単位で
区分し、各フレーム単位で符号化して求めた符号化パラ
メータを補間処理して所望の時刻に対応する変更符号化
パラメータを求め、この変更符号化パラメータに基づい
て少なくともサイン波を合成して音声信号を再生するの
で、任意のレートのスピードコントロールを可能とす
る。
【００１０】
【実施例】以下、本発明に係る音声信号の再生方法、再
生装置及び伝送方法を適用できるいくつかの実施例につ
いて図面を参照しながら説明する。
【００１１】先ず、本発明に係る音声信号の再生方法、
再生装置に関する実施例を第１実施例として図１に示
す。この第１実施例は、入力音声信号を時間軸上の所定
フレーム単位で区分し、各フレーム単位で符号化して求
めた符号化パラメータに基づいて、サイン波及びノイズ
を合成することにより音声信号を再生する音声信号再生
装置１である。
【００１２】特に、この音声信号再生装置１は、上記符
号化パラメータを補間処理して所望の時刻に対応する変
更符号化パラメータを求め、この変更符号化パラメータ
に基づいて、サイン波及びノイズを合成している。な
お、ここでは、上記変更符号化パラメータに基づいてサ
イン波及びノイズを合成しているが、少なくともサイン
波を合成するだけでもよい。
【００１３】この音声信号再生装置１は、入力端子１０
から入力された音声信号をフレーム単位で区分しこのフ
レーム単位で符号化して線スペクトル対（ＬＳＰ）パラ
メータや、ピッチや、有声音（Ｖ）／無声音（ＵＶ）
や、スペクトル振幅Ａｍのような符号化パラメータを出
力する符号化部２と、上記符号化パラメータを補間処理
して所望の時刻に対応する変更符号化パラメータを求め
る変更符号化パラメータ算出部３と、上記変更符号化パ
ラメータに基づいてサイン波及びノイズを合成し、出力
端子３７から合成音声信号を出力する復号化部６とを備
えてなる。ここで、符号化部２と、変更符号化パラメー
タ算出部３と、復号化部６は、図示しない制御部によ
り、制御される。
【００１４】特に、この音声信号再生装置１の変更符号
化パラメータ算出部３は、図２に示すように、所定フレ
ーム毎に得られる上記符号化パラメータの時間軸を圧縮
伸張して上記パラメータの出力周期を変更する周期変更
回路４と、この周期変更されたパラメータを補間処理し
て上記所定フレーム毎の時刻に対応する変更符号化パラ
メータとする補間処理回路５とからなる。なお、この変
更符号化パラメータ算出部３については後述する。
【００１５】先ず、符号化部２について説明するが、こ
の符号化部２と復号化部６では、短期予測残差、例えば
ＬＰＣ残差（線形予測残差）を、ハーモニクスコーディ
ングとノイズで表現する、あるいはマルチバンド励起
（ＭＢＥ）符号化あるいはＭＢＥ分析する。
【００１６】従来の符号励起線形予測（ＣＥＬＰ）符号
化においては、ＬＰＣ残差を直接時間波形としてベクト
ル量子化していたが、符号化部２では、残差をハーモニ
クスコーディングやＭＢＥ分析で符号化するため、少な
いビット数でハーモニクスのスペクトルエンベロープの
振幅をベクトル量子化しても比較的滑らかな合成波形が
得られ、ＬＰＣ合成波形フィルタ出力も非常に聴きやす
い音質となる。なお、上記スペクトルエンベロープの振
幅の量子化には、本件発明者等が先に提案した特開平６
−５１８００号公報に記載の次元変換あるいはデータ数
変換の技術を用い、一定の次元数にしてベクトル量子化
を行っている。
【００１７】図３に示す符号化部において、入力端子１
０に供給された音声信号は、フィルタ１１にて不要な帯
域の信号を除去するフィルタ処理が施された後、ＬＰＣ
（線形予測符号化）分析回路１２及び逆フィルタリング
回路２１に送られる。
【００１８】ＬＰＣ分析回路１２は、入力信号波形の２
５６サンプル程度の長さを１ブロックとしてハミング窓
をかけて、自己相関法により線形予測係数、いわゆるα
パラメータを求める。データ出力の単位となるフレーミ
ングの間隔は、１６０サンプル程度とする。サンプリン
グ周波数ｆｓが例えば８ｋHzのとき、１フレーム間隔は
１６０サンプルで２０ｍsec となる。
【００１９】ＬＰＣ分析回路１２からのαパラメータ
は、α→ＬＳＰ変換回路１３に送られて、線スペクトル
対（ＬＳＰ）パラメータに変換される。これは、直接型
のフィルタ係数として求まったαパラメータを、例えば
１０個、すなわち５対のＬＳＰパラメータに変換する。
変換は例えばニュートン−ラプソン法等を用いて行う。
このＬＳＰパラメータに変換するのは、αパラメータよ
りも補間特性に優れているからである。
【００２０】α→ＬＳＰ変換回路１３からのＬＳＰパラ
メータは、ＬＳＰベクトル量子化器１４によりベクトル
量子化される。このとき、フレーム間差分をとってから
ベクトル量子化してもよい。あるいは、複数フレーム分
をまとめてマトリクス量子化してもよい。ここでの量子
化では、２０ｍsec を１フレームとし、２０ｍsec 毎に
算出されるＬＳＰパラメータをベクトル量子化してい
る。
【００２１】このＬＳＰベクトル量子化器１４からの量
子化出力、すなわちＬＳＰベクトル量子化のインデクス
は、端子１５を介して取り出され、また量子化済みのＬ
ＳＰベクトルは、ＬＳＰ補間回路１６に送られる。
【００２２】ＬＳＰ補間回路１６は、上記２０ｍsec 毎
にベクトル量子化されたＬＳＰのベクトルを補間し、８
倍のレートにする。すなわち、２．５ｍsec 毎にＬＳＰ
ベクトルが更新されるようにする。これは、残差波形を
ＭＢＥ符号化復号化方法により分析合成すると、その合
成波形のエンベロープは非常になだらかでスムーズな波
形になるため、ＬＰＣ係数が２０ｍsec 毎に急激に変化
すると、異音を発生することがあるからである。すなわ
ち、２．５ｍsec 毎にＬＰＣ係数が徐々に変化してゆく
ようにすれば、このような異音の発生を防ぐことができ
る。
【００２３】このような補間が行われた２．５ｍsec 毎
のＬＳＰベクトルを用いて入力音声の逆フィルタリング
を実行するために、ＬＳＰ→α変換回路１７により、Ｌ
ＳＰパラメータを例えば１０次程度の直接型フィルタの
係数であるαパラメータに変換する。このＬＳＰ→α変
換回路１７からの出力は、上記逆フィルタリング回路２
１に送られ、この逆フィルタリング回路２１では、２．
５ｍsec 毎に更新されるαパラメータにより逆フィルタ
リング処理を行って、滑らかな出力を得るようにしてい
る。この逆フィルタリング回路２１からの出力は、ハー
モニクス／ノイズ符号化回路２２、具体的には例えばマ
ルチバンド励起（ＭＢＥ）分析回路、に送られる。
【００２４】ハーモニクス／ノイズ符号化回路あるいは
ＭＢＥ分析回路２２では、逆フィルタリング回路２１か
らの出力を、例えばＭＢＥ分析と同様の方法で分析す
る。すなわち、ピッチ検出、各ハーモニクスの振幅Ａｍ
の算出、有声音（Ｖ）／無声音（ＵＶ）の判別を行い、
ピッチによって変化するハーモニクスの振幅Ａｍの個数
を次元変換して一定数にしている。なお、ピッチ検出に
は、後述するように、入力されるＬＰＣ残差の自己相関
を用いている。
【００２５】この回路２２として、マルチバンドエクサ
イテイション（ＭＢＥ）符号化の分析回路の具体例につ
いて、図４を参照しながら説明する。
【００２６】この図４に示すＭＢＥ分析回路において
は、同時刻（同じブロックあるいはフレーム内）の周波
数軸領域に有声音（Voiced）部分と無声音（Unvoiced）
部分とが存在するという仮定でモデル化している。
【００２７】図４の入力端子１１１には、上記逆フィル
タリング回路２１からのＬＰＣ残差あるいは線形予測残
差が供給されており、このＬＰＣ残差の入力に対してＭ
ＢＥ分析符号化処理を施すわけである。
【００２８】入力端子１１１から入力されたＬＰＣ残差
は、ピッチ抽出部１１３、窓かけ処理部１１４、及び後
述するサブブロックパワー計算部１２６にそれぞれ送ら
れる。
【００２９】ピッチ抽出部１１３では、入力がすでにＬ
ＰＣ残差となっているので、この残差の自己相関の最大
値を検出することにより、ピッチ検出が行える。このピ
ッチ抽出部１１３ではオープンループによる比較的ラフ
なピッチのサーチが行われ、抽出されたピッチデータは
高精度（ファイン）ピッチサーチ部１１６に送られて、
クローズドループによる高精度のピッチサーチ（ピッチ
のファインサーチ）が行われる。
【００３０】窓かけ処理部１１４では、１ブロックＮサ
ンプルに対して所定の窓関数、例えばハミング窓をか
け、この窓かけブロックを１フレームＬサンプルの間隔
で時間軸方向に順次移動させている。窓かけ処理部１１
４からの時間軸データ列に対して、直交変換部１１５に
より例えばＦＦＴ（高速フーリエ変換）等の直交変換処
理が施される。
【００３１】サブブロックパワー計算部１２６では、ブ
ロック内の全バンドが無声音（ＵＶ）と判別されたとき
に、該ブロックの無声音信号の時間波形のエンベロープ
を示す特徴量を抽出する処理が行われる。
【００３２】高精度（ファイン）ピッチサーチ部１１６
には、ピッチ抽出部１１３で抽出された整数（インテジ
ャー）値の粗（ラフ）ピッチデータと、直交変換部１１
５により例えばＦＦＴされた周波数軸上のデータとが供
給されている。この高精度ピッチサーチ部１１６では、
上記粗ピッチデータ値を中心に、0.２〜0.５きざみで±
数サンプルずつ振って、最適な小数点付き（フローティ
ング）のファインピッチデータの値へ追い込む。このと
きのファインサーチの手法として、いわゆる合成による
分析 (Analysis by Synthesis)法を用い、合成されたパ
ワースペクトルが原音のパワースペクトルに最も近くな
るようにピッチを選んでいる。
【００３３】すなわち、上記ピッチ抽出部１１３で求め
られたラフピッチを中心として、例えば0.25きざみで上
下に数種類ずつ用意する。これらの複数種類の微小に異
なるピッチの各ピッチに対してそれぞれエラー総和値Σ
εm を求める。この場合、ピッチが定まるとバンド幅が
決まり、周波数軸上データのパワースペクトルと励起信
号スペクトルとを用いて上記エラーεm を求め、その全
バンドの総和値Σεmを求めることができる。このエラ
ー総和値Σεm を各ピッチ毎に求め、最小となるエラー
総和値に対応するピッチを最適のピッチとして決定する
わけである。以上のようにして高精度ピッチサーチ部で
最適のファイン（例えば 0.25 きざみ）ピッチが求めら
れ、この最適ピッチに対応する振幅｜Ａm ｜が決定され
る。このときの振幅値の計算は、有声音の振幅評価部１
１８Ｖにおいて行われる。
【００３４】以上ピッチのファインサーチの説明におい
ては、全バンドが有声音（Voiced）の場合を想定してい
るが、上述したようにＭＢＥ分析合成系においては、同
時刻の周波数軸上に無声音（Unvoiced）領域が存在する
というモデルを採用していることから、上記各バンド毎
に有声音／無声音の判別を行うことが必要とされる。
【００３５】上記高精度ピッチサーチ部１１６からの最
適ピッチ及び振幅評価部（有声音）１１８Ｖからの振幅
｜Ａm ｜のデータは、有声音／無声音判別部１１７に送
られ、上記各バンド毎に有声音／無声音の判別が行われ
る。この判別のためにＮＳＲ（ノイズｔｏシグナル比）
を利用する。
【００３６】ところで、上述したように基本ピッチ周波
数で分割されたバンドの数（ハーモニックスの数）は、
声の高低（ピッチの大小）によって約８〜６３程度の範
囲で変動するため、各バンド毎のＶ／ＵＶフラグの個数
も同様に変動してしまう。そこで、本実施例において
は、固定的な周波数帯域で分割した一定個数のバンド毎
にＶ／ＵＶ判別結果をまとめる（あるいは縮退させる）
ようにしている。具体的には、音声帯域を含む所定帯域
（例えば０〜４０００Hz）をＮB 個（例えば１２個）の
バンドに分割し、各バンド内の上記ＮＳＲ値に従って、
例えば重み付き平均値を所定の閾値Th2 で弁別して、当
該バンドのＶ／ＵＶを判断している。
【００３７】次に、無声音の振幅評価部１１８Ｕには、
直交変換部１１５からの周波数軸上データ、ピッチサー
チ部１１６からのファインピッチデータ、有声音振幅評
価部１１８Ｖからの振幅｜Ａm ｜のデータ、及び上記有
声音／無声音判別部１１７からのＶ／ＵＶ（有声音／無
声音）判別データが供給されている。この振幅評価部
（無声音）１１８Ｕでは、有声音／無声音判別部１１７
において無声音（ＵＶ）と判別されたバンドに関して、
再度振幅を求めている。すなわち振幅再評価を行ってい
る。なお、振幅評価部１１８Ｕでは、有声音（Ｖ）と判
別されたバンドに関しては、有声音の振幅評価部１１８
Ｖから入力された値をそのまま出力している。
【００３８】この振幅評価部（無声音）１１８Ｕからの
データは、データ数変換（一種のサンプリングレート変
換）部１１９に送られる。このデータ数変換部１１９
は、上記ピッチに応じて周波数軸上での分割帯域数が異
なり、データ数（特に振幅データの数）が異なることを
考慮して、一定の個数にするためのものである。すなわ
ち、例えば有効帯域を３４００ｋHzまでとすると、この
有効帯域が上記ピッチに応じて、８バンド〜６３バンド
に分割されることになり、これらの各バンド毎に得られ
る上記振幅｜Ａm ｜（ＵＶバンドの振幅｜Ａm ｜UVも含
む）データの個数ｍMX＋１も８〜６３と変化することに
なる。このためデータ数変換部１１９では、この可変個
数ｍMX＋１の振幅データを一定個数Ｍ（例えば４４個）
のデータに変換している。
【００３９】ここで、データ数変換部１１９において
は、例えば、周波数軸上の有効帯域１ブロック分の振幅
データに対して、ブロック内の最後のデータからブロッ
ク内の最初のデータまでの値を補間するようなダミーデ
ータを付加してデータ個数をＮF 個に拡大した後、帯域
制限型のＯS 倍（例えば８倍）のオーバーサンプリング
を施すことによりＯS 倍の個数の振幅データを求め、こ
のＯS 倍の個数（（ｍMX＋１）×ＯS 個）の振幅データ
を直線補間してさらに多くのＮM 個（例えば２０４８
個）に拡張し、このＮM 個のデータを間引いて上記一定
個数Ｍ（例えば４４個）のデータに変換している。
【００４０】このデータ数変換部１１９からのデータ
（上記一定個数Ｍ個の振幅データ）が上記ベクトル量子
化器２３に送られて、Ｍ個のデータから成るベクトルと
されるか、あるいは所定個数のデータ毎にまとめられて
ベクトルとされ、ベクトル量子化が施される。
【００４１】高精度のピッチサーチ部１１６からのピッ
チデータについては、上記切換スイッチ２７の被選択端
子ａを介して出力端子２８に送っている。これは、ブロ
ック内の全バンドがＵＶ（無声音）となってピッチ情報
が不要となる場合に、無声音信号の時間波形を示す特徴
量の情報をピッチ情報と切り換えて送っているものであ
り、本件発明者等が特願平５−１８５３２５号の明細書
及び図面において開示した技術である。
【００４２】なお、これらの各データは、上記Ｎサンプ
ル（例えば２５６サンプル）のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Ｌサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、Ｖ／ＵＶ判別データ、振幅データが更新されるこ
とになる。また、上記有声音／無声音判別部１１７から
のＶ／ＵＶ判別データについては、上述したように、必
要に応じて１２バンド程度に低減（縮退）したデータを
用いてもよく、全バンド中で１箇所以下の有声音（Ｖ）
領域と無声音（ＵＶ）領域との区分位置を表すデータを
用いるようにしてもよい。あるいは、全バンドをＶ又は
ＵＶのどちらかで表現してもよく、また、フレーム単位
のＶ／ＵＶ判別としてもよい。
【００４３】ここで、ブロック全体がＵＶ（無声音）と
判別された場合には、ブロック内の時間波形を表す特徴
量を抽出するために、１ブロック（例えば２５６サンプ
ル）を、複数個（８個）の小ブロック（サブブロック、
例えば３２サンプル）に分割して、サブブロックパワー
計算部１２６に送っている。
【００４４】サブブロックパワー計算部１２６において
は、各サブブロック毎の１サンプル当りの平均パワー、
あるいはいわゆる平均ＲＭＳ（Root Mean Square）値に
ついての、ブロック内全サンプル（例えば２５６サンプ
ル）の平均パワーあるいは平均ＲＭＳ値に対する割合
（比率、レシオ）を算出している。
【００４５】すなわち、例えばｋ番目のサブブロックの
平均パワーを求め、次に１ブロック全体の平均パワーを
求めた後、この１ブロックの平均パワーと上記ｋ番目の
サブブロックの平均パワーｐ(k) との比の平方根を算出
する。
【００４６】このようにして得られた平方根値を、所定
次元のベクトルとみなし、次のベクトル量子化部１２７
においてベクトル量子化を行う。
【００４７】このベクトル量子化部１２７では、例え
ば、８次元８ビット（コードブックサイズ＝２５６）の
ストレートベクトル量子化を行う。このベクトル量子化
の出力インデクス（代表ベクトルのコード）UV_Eを、切
換スイッチ２７の被選択端子ｂに送っている。この切換
スイッチ２７の被選択端子ａには、上記高精度ピッチサ
ーチ部１１６からのピッチデータが送られており、切換
スイッチ２７からの出力は、出力端子２８に送られてい
る。
【００４８】切換スイッチ２７は、有声音／無声音判別
部１１７からの判別出力信号により切換制御されるよう
になっており、通常の有声音伝送時、すなわち上記ブロ
ック内の全バンドの内の１つでもＶ（有声音）と判別さ
れたときには被選択端子ａに、ブロック内の全バンドが
ＵＶ（無声音）と判別されたときには被選択端子ｂに、
それぞれ切換接続される。
【００４９】従って、上記サブブロック毎の正規化され
た平均ＲＭＳ値のベクトル量子化出力は、本来はピッチ
情報を伝送していたスロットに入れ込んで伝送されるこ
とになる。すなわち、ブロック内の全バンドがＵＶ（無
声音）と判別されたときにはピッチ情報は不要であり、
上記有声音／無声音判別部１１７からのＶ／ＵＶ判別フ
ラグを見て、全てＵＶのときに限って、ベクトル量子化
出力インデクスUV_Eをピッチ情報の代わりに伝送するよ
うにしている。
【００５０】次に、図３に戻って、ベクトル量子化器２
３におけるスペクトルエンベロープ（Ａｍ）の重み付け
ベクトル量子化について説明する。
【００５１】ベクトル量子化器２３は、Ｌ次元、例えば
４４次元の２ステージ構成とする。
【００５２】すなわち、４４次元でコードブックサイズ
が３２のベクトル量子化コードブックからの出力ベクト
ルの和に、ゲインｇi を乗じたものを、４４次元のスペ
クトルエンベロープベクトルｘの量子化値として使用す
る。これは、図５に示すように、２つのシェイプコード
ブックをＣＢ０、ＣＢ１とし、その出力ベクトルを
ｓ 0i、ｓ 1j、ただし０≦ｉ，ｊ≦３１、とする。また、
ゲインコードブックＣＢｇの出力をｇl 、ただし０≦ｌ
≦３１、とする。ｇl はスカラ値である。この最終出力
は、ｇi（ｓ 0i＋ｓ 1j） となる。
【００５３】ＬＰＣ残差について上記ＭＢＥ分析によっ
て得られたスペクトルエンベロープＡｍを一定次元に変
換したものをｘとする。このとき、ｘをいかに効率的に
量子化するかが重要である。
【００５４】ここで、量子化誤差エネルギＥを、 Ｅ＝‖Ｗ｛Ｈｘ−Ｈｇl（ｓ 0i＋ｓ 1j）｝‖2 ・・・ （１） ＝‖ＷＨ｛ｘ−ｇl（ｓ 0i＋ｓ 1j）｝‖2 と定義する。この（１）式において、ＨはＬＰＣの合成
フィルタの周波数軸上での特性であり、Ｗは聴覚重み付
けの周波数軸上での特性を表す重み付けのための行列で
ある。
【００５５】現フレームのＬＰＣ分析結果によるαパラ
メータを、αi （１≦ｉ≦Ｐ）として、
【００５６】
【数１】
【００５７】の周波数特性からＬ次元、例えば４４次元
の各対応する点の値をサンプルしたものである。
【００５８】算出手順としては、一例として、１、
α1、α2、・・・、αp に０詰めして、すなわち、１、
α1、α2、・・・、αp 、０、０、・・・、０として、
例えば２５６点のデータにする。その後、２５６点ＦＦ
Ｔを行い、（ｒe 2＋Ｉm 2）1/2 を０〜πに対応する点に
対して算出して、その逆数をとる。それをＬ点、すなわ
ち例えば４４点に間引いたものを対角要素とする行列
を、
【００５９】
【数２】
【００６０】とする。
【００６１】聴覚重み付け行列Ｗは、
【００６２】
【数３】
【００６３】とする。この（３）式で、αi は入力のＬ
ＰＣ分析結果である。また、λa、λｂは定数であり、
一例として、λａ＝０．４、λb＝０．９が挙げられ
る。
【００６４】行列あるいはマトリクスＷは、上記（３）
式の周波数特性から算出できる。一例として、１、α1
λb、α2λb2、・・・、αpλbp、０、０、・・・、０
として２５６点のデータとしてＦＦＴを行い、０以上π
以下の区間に対して（ｒe 2[ｉ]＋Ｉm 2[ｉ]）1/2 、０≦
ｉ≦１２８、を求める。次に、１、α1λa、α2λa2 、
・・・、αpλap 、０、０、・・・、０として分母の周
波数特性を２５６点ＦＦＴで０〜πの区間を１２８点で
算出する。これを（ｒe'2[ｉ]＋Ｉm'2[ｉ]）1/2、０≦
ｉ≦１２８、とする。
【００６５】
【数４】
【００６６】として、上記（３）式の周波数特性が求め
られる。
【００６７】これをＬ次元、例えば４４次元ベクトルの
対応する点について、以下の方法で求める。より正確に
は、直線補間を用いるべきであるが、以下の例では最も
近い点の値で代用している。
【００６８】すなわち、 ω[ｉ]＝ω0［nint(128ｉ/L)］ １≦ｉ≦Ｌ ただし、nint（ｘ）は、ｘに最も近い整数を返す関数で
ある。
【００６９】また、上記Ｈに関しても同様の方法で、h
(1)、h(2)、・・・、h(L)を求めている。すなわち、
【００７０】
【数５】
【００７１】となる。
【００７２】ここで、他の例として、ＦＦＴの回数を減
らすのに、Ｈ(ｚ)Ｗ(ｚ)を先に求めてから、周波数特性
を求めてもよい。すなわち、
【００７３】
【数６】
【００７４】この（５）式の分母を展開した結果を、
【００７５】
【数７】
【００７６】とする。ここで、１、β1、β2、・・・、
β2p、０、０、・・・、０として、例えば２５６点のデ
ータにする。その後、２５６点ＦＦＴを行い、振幅の周
波数特性を、
【００７７】
【数８】
【００７８】とする。これより、
【００７９】
【数９】
【００８０】これをＬ次元ベクトルの対応する点につい
て求める。上記ＦＦＴのポイント数が少ない場合は、直
線補間で求めるべきであるが、ここでは最寄りの値を使
用している。すなわち、
【００８１】
【数１０】
【００８２】である。これを対角要素とする行列をＷ’
とすると、
【００８３】
【数１１】
【００８４】となる。（６）式は上記（４）式と同一の
マトリクスとなる。
【００８５】このマトリクス、すなわち重み付き合成フ
ィルタの周波数特性を用いて、上記（１）を書き直す
と、
【００８６】
【数１２】
【００８７】となる。
【００８８】ここで、シェイプコードブックとゲインコ
ードブックの学習法について説明する。
【００８９】先ず、ＣＢ０に関しコードベクトルｓ 0cを
選択する全てのフレームｋに関して歪の期待値を最小化
する。そのようなフレームがＭ個あるとして、
【００９０】
【数１３】
【００９１】を最小化すればよい。この（８）式中で、
Ｗ'kはｋ番目のフレームに対する重み、ｘ k はｋ番目の
フレームの入力、ｇk はｋ番目のフレームのゲイン、ｓ
1kはｋ番目のフレームについてのコードブックＣＢ１か
らの出力、をそれぞれ示す。
【００９２】この（８）式を最小化するには、
【００９３】
【数１４】
【００９４】
【数１５】
【００９５】次に、ゲインに関しての最適化を考える。
【００９６】ゲインのコードワードｇc を選択するｋ番
目のフレームに関しての歪の期待値Ｊg は、
【００９７】
【数１６】
【００９８】上記（１１）式及び（１２）式は、シェイ
プｓ 0i、ｓ 1i及びゲインｇi 、０≦ｉ≦３１の最適なセ
ントロイドコンディション(Centroid Condition)、すな
わち最適なデコーダ出力を与えるものである。なお、ｓ
1iに関してもｓ 0iと同様に求めることができる。
【００９９】次に、最適エンコード条件（Nearest Neig
hbour Condition ）を考える。
【０１００】歪尺度の上記（７）式、すなわち、Ｅ＝‖
Ｗ'（ｘ−ｇl（ｓ 0i＋ｓ 1j））‖2を最小化するｓ 0i、
ｓ 1jを、入力ｘ、重みマトリクスＷ' が与えられる毎
に、すなわち毎フレームごとに決定する。
【０１０１】本来は、総当り的に全てのｇl （０≦ｌ≦
３１）、ｓ 0i （０≦ｉ≦３１）、ｓ 1j （０≦ｊ≦３
１）の組み合せの、３２×３２×３２＝３２７６８通り
についてＥを求めて、最小のＥを与えるｇl 、ｓ 0i、ｓ
1jの組を求めるべきであるが、膨大な演算量となるの
で、この符号化部２では、シェイプとゲインのシーケン
シャルサーチを行っている。なお、ｓ 0iとｓ 1jとの組み
合せについては、総当りサーチを行うものとする。これ
は、３２×３２＝１０２４通りである。以下の説明で
は、簡単化のため、ｓ 0i＋ｓ 1jをｓ m と記す。
【０１０２】上記（７）式は、Ｅ＝‖Ｗ'（ｘ−ｇ
lｓm）‖2 となる。さらに簡単のため、ｘ w＝Ｗ'ｘ、
ｓ w＝Ｗ'ｓ m とすると、
【０１０３】
【数１７】
【０１０４】となる。従って、ｇl の精度が充分にとれ
ると仮定すると、
【０１０５】
【数１８】
【０１０６】という２つのステップに分けてサーチする
ことができる。元の表記を用いて書き直すと、
【０１０７】
【数１９】
【０１０８】となる。この（１５）式が最適エンコード
条件(Nearest Neighbour Condition)である。
【０１０９】ここで上記（１１）、（１２）式の条件
（Centroid Condition）と、（１５）式の条件を用い
て、一般化ロイドアルゴリズム（Ｇｅｎｅｒａｌｉｚｅ
ｄ Ｌｌｏｙｄ Ａｌｇｏｒｉｔｈｍ：ＧＬＡ）により
コードブック（ＣＢ０、ＣＢ１、ＣＢｇ）を同時にトレ
ーニングできる。
【０１１０】ところで、図３において、ベクトル量子化
器２３は、切換スイッチ２４を介して、有声音用コード
ブック２５Ｖと、無声音用コードブック２５Ｕとに接続
されており、回路２２からのＶ／ＵＶ判別出力に応じて
切換スイッチ２４が切換制御されることにより、有声音
時には有声音用コードブック２５Ｖを用いたベクトル量
子化が、無声音時には無声音用コードブック２５Ｕを用
いたベクトル量子化がそれぞれ施されるようになってい
る。
【０１１１】このように有声音（Ｖ）／無声音（ＵＶ）
の判断によってコードブックを切り換える意味は、上記
（１１）、（１２）式の新たなセントロイドの算出にお
いて、Ｗ’ｋとｇl とによる重み付き平均を行っている
ため、著しく異なるＷ'kとｇlとを同時に平均化してし
まうのは好ましくないからである。
【０１１２】なお、この符号化部２では、Ｗ’として、
入力ｘのノルムで割り込んだＷ’を使用している。すな
わち、上記（１１）、（１２）、（１５）式において、
事前にＷ’にＷ'／‖ｘ‖ を代入して使用している。
【０１１３】Ｖ／ＵＶでコードブックを切り換える場合
は、同様の方法でトレーニングデータを振り分けて各々
のトレーニングデータからＶ（有声音）用、ＵＶ（無声
音）用のコードブックを作ればよい。
【０１１４】また、この符号化部２では、Ｖ／ＵＶのビ
ット数を減らすため、単一バンド励起（ＳＢＥ）とし、
Ｖの含有率が５割を越える場合は有声音（Ｖ）フレー
ム、それ以外は無声音（ＵＶ）フレームとしている。
【０１１５】なお、図６、図７に入力ｘ及び重みＷ'／
‖ｘ‖ の平均値を、Ｖ（有声音）のみ、ＵＶ（無声
音）のみでまとめたものと、ＶとＵＶとを区別せずにひ
とまとめにしたものとを示す。
【０１１６】図６より、ｘ自体のｆ軸上のエネルギ分布
は、Ｖ、ＵＶで大きく差はなく、ゲインの（‖ｘ‖）平
均値が大きく異なるのみであるように見える。しかし、
図７から明らかなように、ＶとＵＶでは重みの形が異な
り、ＶではＵＶに比べより低域にビットアサインを増や
すような重みとなっている。これが、ＶとＵＶとを分け
てトレーニングすることでより高性能なコードブックが
作成される根拠である。
【０１１７】次に、図８は、Ｖ（有声音）のみ、ＵＶ
（無声音）のみ、ＶとＵＶとをまとめたものの３つの例
について、それぞれのトレーニングの様子を示してい
る。すなわち、図８の曲線ａがＶのみの場合で終値が
３．７２であり、曲線ｂがＵＶのみで終値が７．０１１
であり、曲線ｃがＶとＵＶとをまとめたもので終値が
６．２５である。
【０１１８】この図８から明らかなように、ＶとＵＶと
の各コードブックのトレーニングを分離することで出力
の歪の期待値が減少する。曲線ｂのＵＶのみの場合で若
干悪化しているが、Ｖ／ＵＶの頻度としては、Ｖの区間
が長いので、トータルとしては改善される。ここで、Ｖ
とＵＶの頻度の一例として、Ｖ及びＵＶのトレーニング
データ長を１としたとき、実測によるとＶのみの割合が
０．５３８、ＵＶのみの割合が０．４６２であり、図８
の各曲線ａ、ｂの終値より、 ３．７２×０．５３８＋７．０１１×０．４６２＝５．２４ がトータルの歪の期待値となり、ＶとＵＶとをまとめて
トレーニングする場合の歪の期待値の６．２５に比べ
て、上記値５．２４は、約０．７６ｄＢの改善がなされ
たことになる。
【０１１９】トレーニングの様子から判断すると、前述
のように０．７６ｄＢ程度の改善であるが、実際にトレ
ーニングセット外の音声（男女４人ずつ）を処理し、量
子化を行わないときとのＳＮＲあるいはＳＮ比をとる
と、コードブックをＶ、ＵＶに分割することで平均して
１．３ｄＢ程度のセグメンタルＳＮＲの向上が確認され
た。これは、Ｖの比率がＵＶに比べてかなり高いためと
考えられる。
【０１２０】ところで、ベクトル量子化器２３でのベク
トル量子化の際の聴覚重み付けに用いられる重みＷ’に
ついては、上記（６）式で定義されているが、過去の
Ｗ’も加味して現在のＷ’を求めることにより、テンポ
ラルマスキングも考慮したＷ’が求められる。
【０１２１】上記（６）式中のwh(1),wh(2),・・・,wh
(L)に関して、時刻ｎ、すなわち第ｎフレームで算出さ
れたものをそれぞれwhn(1),whn(2),・・・,whn(L) とす
る。
【０１２２】時刻ｎで過去の値を考慮した重みをＡ
n(i)、１≦ｉ≦Ｌ と定義すると、 Ａn(i)＝λＡn-1(i)＋（１−λ）whn(i) （whn(i)≦Ａn-1(i)） ＝whn(i) （whn(i)＞Ａn-1(i)） とする。ここで、λは例えばλ＝０．２とすればよい。
このようにして求められたＡn(i)、１≦ｉ≦Ｌ につい
て、これを対角要素とするマトリクスを上記重みとして
用いればよい。
【０１２３】次に、図１に戻り変更符号化パラメータ算
出部３について説明する。音声信号再生装置１は、符号
化部２が出力した上記符号化パラメータを変更符号化パ
ラメータ算出部３によりスピード変換して変更符号化パ
ラメータを算出し、復号化部６でデコードして、例えば
固体録音した内容をリアルタイムの倍のスピードで再生
する。このとき、再生スピードを高速にしてもピッチ、
音韻が不変であるため、かなりの高速再生を行っても内
容を聞きとることができる。
【０１２４】変更符号化パラメータ算出部３は、上記符
号化パラメータをスピード変換しているため、デコーダ
出力後の処理が不要で、かつ同様のアルゴリズムで異な
るレートでの固定レートに容易に対応することもでき
る。
【０１２５】以下、図９及び図１１のフローチャートを
参照しながらこの音声信号再生装置１の変更符号化パラ
メータ算出部３の動作を説明する。変更符号化パラメー
タ算出部３は、図２を参照して上述したように、周期変
更回路４と補間処理回路５からなる。
【０１２６】先ず、図９のステップＳ１に示すように、
周期変更回路４には、入力端子１５，２８，２９，２６
を介してＬＳＰ，ピッチ，Ｖ／ＵＶ，Ａｍのような符号
化パラメータが供給される。ここで、ピッチをｐ
ch[ｎ]，Ｖ／ＵＶをｖｕv[ｎ]，Ａｍをａm[ｎ][ｌ]，Ｌ
ＳＰをｌsp[ｎ][ｉ]とする。また、変更符号化パラメー
タ算出部３で最終的に算出される変更符号化パラメータ
をmod_ｐch[ｍ]，mod_ｖｕv[ｍ]，mod_ａm[ｍ][ｌ]，mo
d_ｌsp[ｍ][ｉ]とする。ｌはハーモニクス数、ｉはＬＳ
Ｐ次数である。ｎ，ｍは、時間軸のインデクスに相当す
るフレームナンバーに対応する。ｎは時間軸変更前、ｍ
は時間軸変更後である。なお、０≦ｎ＜Ｎ1，０≦ｍ＜
Ｎ2であり、ｎ，ｍともに例えば２０msecをフレームイ
ンターバルとするフレームのインデクスである。
【０１２７】上述したようにｌはハーモニクス数である
が、真のハーモニクスの数に対応するａm[ｎ][ｌ]に戻
してから実行しても、あるいはデータ数変換で一定の個
数のａm[ｎ][ｌ]（ｌ＝０〜４３）の状態で行っても良
い。つまり、データ数変換をデコータで解く前でも後で
もよい。
【０１２８】次に、周期変更回路４は、ステップＳ２に
示すように、オリジナルの時間長となるフレーム数をＮ
1とし、変更後の時間長となるフレーム数をＮ2としてか
ら、ステップＳ３に示すように、Ｎ1の音声をＮ2の音声
に時間軸圧縮する。すなわち、周期変更回路４での時間
軸圧縮の比をspdとすると、spdをＮ2／Ｎ1として求め
る。
【０１２９】次に、補間処理回路５は、ステップＳ４に
示すように、時間軸変更後の時間軸のインデクスに相当
するフレームナンバーに対応するｍを２とする。
【０１３０】次に、補間処理回路５はステップＳ５に示
すように、二つのフレームｆr0，ｆr1と、該二つのフレ
ームｆr0，ｆr1とｍ／spdとの差left，rightとを求め
る。上記符号化パラメータのｐch，ｖｕv，ａm，ｌspを
＊とするときmod_＊[ｍ]は、 mod_＊[ｍ]＝＊[ｍ／spd] （０≦ｍ＜Ｎ2） という一般式で表せる。しかし、ｍ／spdは、整数には
ならないので、 ｆr0＝L ｍ／spd 」 ｆr1＝ｆ0＋１ の２フレームから補間して、ｍ／spdにおける変更符号
化パラメータを作る。ここで、フレームｆr0とｍ／spd
とフレームｆr1との間には、図１０に示すような関係、
すなわち、 left＝ｍ／spd−ｆr0 right＝ｆr1−ｍ／spd が成立する。
【０１３１】この図１０におけるｍ／spdのときの符号
化パラメータ、すなわち変更符号化パラメータをステッ
プＳ６に示すように、補間処理によって作ればよい。単
純に直線補間により求めると、 mod_＊[ｍ]＝＊[ｆr0]×right＋＊[ｆr1]×left となる。
【０１３２】しかし、２つのフレームｆr0，ｆr1間での
補間では、それらのフレームが有声音（Ｖ）と，無声音
（ＵＶ）というように異なる場合には、上記一般式を適
用できない。このため、２つのフレームｆr0，ｆr1間に
おける有声音（Ｖ）と，無声音（ＵＶ）との関係によっ
て、補間処理回路５は、図１１のステップＳ１１以降に
示すように、上記符号化パラメータの求め方を変える。
【０１３３】先ず、ステップＳ１１に示すように２つの
フレームｆr0，ｆr1が有声音（Ｖ），有声音（Ｖ）であ
るか否かを判断する。ここで、２つのフレームｆr0，ｆ
r1が共に、有声音（Ｖ）であると判断すると、ステップ
Ｓ１２に進み、全てのパラメータを線形補間して以下の
ように表す。
【０１３４】 mod_ｐch[ｍ]＝ｐch[ｆr0]×right＋ｐch[ｆr1]×left mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]×right＋ａm[ｆr1][ｌ]×left ただし、０≦ｌ＜Ｌである。ここで、Ｌはハーモニクス
としてとりうる最大の数である。また、ａm[ｎ][ｌ]
は、ハーモニクスの存在しない位置では０を入れてお
く。フレームｆr0とフレームｆr1とで、ハーモニクスの
数が異なる時には、余った方のハーモニクスは、相方を
０として補間する。または、デコーダ側でデータ数変換
器を通す前であれば、０≦ｌ＜ＬのＬ＝４３といった固
定の値でもよい。
【０１３５】 mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]×right＋ｌsp[ｆr1][ｉ]×left ただし、０≦ｉ＜Ｉである。ここで、ＩはＬＳＰの次数
であり、通常は１０を使用する。
【０１３６】mod_ｖｕv[ｍ]＝１ ＶＵＶの判定で１は有声音（Ｖ）を、０は無声音（Ｕ
Ｖ）を意味する。
【０１３７】次に、ステップＳ１１で２つのフレームｆ
r0，ｆr1が共に有声音（Ｖ）でないと判断すると、ステ
ップＳ１３に示すような判断、すなわち、２つのフレー
ムｆr0，ｆr1が共に無声音（ＵＶ）であるか否かを判断
する。ここで、ＹＥＳ（共に無声音である。）となる
と、補間処理回路５は、ステップＳ１４に示すように、
ｐchを固定値とし、またａmとｌspを線形補間により以
下のように求める。
【０１３８】mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ このように無声音のときは、Ｐｉｔｃｈの値を例えばＭ
ａｘＰｉｔｃｈ＝１４８のように、最大値等の固定値に
はりつける。
【０１３９】 mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]×right＋ａm[ｆr1][ｌ]×left ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。
【０１４０】 mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]×right＋ｌsp[ｆr1][ｉ]×left ただし、０≦ｉ＜Ｉである。
【０１４１】mod_ｖｕv[ｍ]＝０ 次に、２つのフレームｆr0，ｆr1が共に、無声音でない
場合、ステップＳ１５に進み、フレームｆr0が有声音
（Ｖ）で，ｆr1が無声音（ＵＶ）であるか否かを判断す
る。ここでＹＥＳ（フレームｆr0が有声音（Ｖ）で，ｆ
r1が無声音（ＵＶ）である。）となると、ステップＳ１
６に進み、ＮＯ（フレームｆr0が無声音（ＵＶ）であ
り、ｆr1が有声音（Ｖ）である。）となると、ステップ
Ｓ１７に進む。
【０１４２】ステップＳ１６以降の処理では、二つのフ
レームｆr0，ｆr1が、例えば有声音（Ｖ），無声音（Ｕ
Ｖ）のように、異なった場合について説明している。こ
れは、例えば有声音（Ｖ），無声音（ＵＶ）のように、
異なった２つのフレームｆr0，ｆr1間でパラメータを補
間すると意味のないものになってしまうためである。こ
の場合、補間は行わずに、時刻ｍ／spdに近い方のフレ
ームのパラメータの値を用いる。
【０１４３】フレームｆr0が有声音（Ｖ），フレームｆ
r1が無声音（ＵＶ）である場合、ステップ１６に進む。
このステップＳ１６では、図１０に示す上記left（＝ｍ
／spd−ｆr0）と上記right（＝ｆr1−ｍ／spd）の大き
さを比較している。これにより、ｍ／spdに対してどち
らのフレームｆr0またはフレームｆr1が近いのかを判断
している。そして、上述したように近い方のパラメータ
の値を用いて変更符号化パラメータを算出する。
【０１４４】すなわち、ステップＳ１６でＹＥＳを判断
すると、上記rightが大きいのであるから、フレームｆ
r1の方が遠いので、ステップＳ１８に示すように近い方
のフレームｆr0側のパラメータを用いて、 mod_ｐch[ｍ]＝ｐch[ｆr0] mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ] ，（ただし、０≦ｌ
＜Ｌである。） mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ] ，（ただし、０≦
ｉ＜Ｉである。） mod_ｖｕv[ｍ]＝１ とする。
【０１４５】また、ステップＳ１６でＮＯを判断する
と、left≧rightとなり、フレームｆr 1の方が近いの
で、ステップＳ１９に進み、ピッチを最大値にし、他の
パラメータについてはｆr1側のパラメータを用いて、 mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ mod_ａm[ｍ][ｌ]＝ａm[ｆr1][ｌ] ，（ただし、０≦ｌ
＜ＭａｘＰｉｔｃｈ／２である。） mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr1][ｉ]，（ただし、０≦ｉ
＜Ｉである。） mod_ｖｕv[ｍ]＝０ とする。
【０１４６】次に、ステップＳ１７では、ステップＳ１
５で２つのフレームｆr0，ｆr1が無声音（ＵＶ），有声
音（Ｖ）であるという判断を受けて、上記ステップＳ１
６と同様の判断を行う。すなわち、この場合も、補間は
行わずに、時刻ｍ／spdに近い方のフレームのパラメー
タの値を用いる。
【０１４７】ステップＳ１７でＹＥＳを判断すると、ス
テップＳ２０に示すように、ピッチを最大値にし、他の
パラメータについては近い方のフレームｆr0側のパラメ
ータを用いて、 mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]，（ただし、０≦ｌ＜
ＭａｘＰｉｔｃｈ／２である。） mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]，（ただし、０≦ｉ
＜Ｉである。） mod_ｖｕv[ｍ]＝０ とする。
【０１４８】また、ステップＳ１７でＮＯを判断する
と、left≧rightとなり、フレームｆr 1の方が近いの
で、ステップＳ２１に進み、ｆr1側のパラメータを用い
て、 mod_ｐch[ｍ]＝ｐch[ｆr1] mod_ａm[ｍ][ｌ]＝ａm[ｆr1][ｌ]，（ただし、０≦ｌ＜
Ｌである。） mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr1][ｉ] ，（ただし、０≦
ｉ＜Ｉである。） mod_ｖｕv[ｍ]＝１ とする。
【０１４９】このように２つのフレームｆr0，ｆr1間に
おける有声音（Ｖ）と，無声音（ＵＶ）との関係によっ
て、補間処理回路５は、図９に示すステップＳ６の補間
処理を異ならせる。このステップＳ６の補間処理が終了
すると、ステップＳ７に進み、ｍをインクリメントす
る。そして、このｍがＮ2に等しくなるまで、ステップ
Ｓ５，ステップＳ６の処理を繰り返す。
【０１５０】なお、本来は、これ以外にも、ＵＶ部分の
短時間ｒｍｓのシーケンスを、ノイズのゲインコントロ
ールに用いているが、ここではこのパラメータは１で固
定する。
【０１５１】以上に説明したような変更符号化パラメー
タ算出部３の動作をまとめると、図１２に示すようにな
る。例えば２０msecで符号化部２が抽出している符号化
パラメータのモデルを図１２の（Ａ）に示す。変更符号
化パラメータ算出部３の周期変更回路４は、図１２の
（Ｂ）に示すように、１５msecとし、図１２の（Ｂ）に
示すように、時間圧縮する。そして、上述したように、
二つのフレームｆR0，ｆ r1のＶ／ＵＶの状態に応じた補
間処理により、図１２の（Ｃ）に示すような変更符号化
パラメータを算出する。
【０１５２】変更符号化パラメータ算出部３は、周期変
更回路４と補間処理回路５を逆の順番として、図１３の
（Ａ）に示す符号化パラメータを先ず図１３の（Ｂ）に
示すように補間してから、図１３の（Ｃ）に示すように
圧縮して変更符号化パラメータを算出してもよい。
【０１５３】変更符号化パラメータ算出部３からの変更
符号化パラメータは、図１に示す復号化部６に供給され
る。この復号化部６は、上記変更符号化パラメータに基
づいてサイン波及びノイズを合成し、合成音を出力端子
３７から導出する。
【０１５４】以下、復号化部６について図１４及び図１
５を参照しながら説明する。先ず、復号化部６に供給さ
れてくるパラメータが通常の符号化パラメータであると
して説明しておく。
【０１５５】この図１４において、端子３１には、上記
図３の端子１５からの出力に相当するＬＳＰのベクトル
量子化出力、いわゆるインデクスが供給されている。
【０１５６】この入力信号は、ＬＳＰ逆ベクトル量子化
器３２に送られてＬＳＰ（線スペクトル対）データに逆
ベクトル量子化され、ＬＳＰ補間回路３３に送られてＬ
ＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４
でＬＰＣ（線形予測符号）のαパラメータに変換され、
このαパラメータが合成フィルタ３５に送られる。
【０１５７】また、図１４の端子４１には、上記図３の
エンコーダ側の端子２６からの出力に対応するスペクト
ルエンベロープ（Ａｍ）の重み付けベクトル量子化され
たコードワードのインデックスデータが供給され、端子
４３には、上記図３の端子２８からのピッチ情報やＵＶ
時のブロック内の時間波形の特徴量を表すデータが供給
され、端子４６には、上記図３の端子２９からのＶ／Ｕ
Ｖ判別データが供給されている。
【０１５８】端子４１からのＡｍのベクトル量子化され
たデータは、逆ベクトル量子化器４２に送られて逆ベク
トル量子化が施され、スペクトルエンベロープのデータ
となって、ハーモニクス／ノイズ合成回路、あるいはマ
ルチバンド励起（ＭＢＥ）合成回路４５に送られてい
る。この合成回路４５には、端子４３からのデータが上
記Ｖ／ＵＶ判別データに応じて切換スイッチ４４により
上記ピッチデータとＵＶ時の波形の特徴量データとに切
り換えられて供給されており、また、端子４６からのＶ
／ＵＶ判別データも供給されている。
【０１５９】この合成回路４５の具体例としてのＭＢＥ
合成回路の構成については、図１５を参照しながら後述
する。
【０１６０】合成回路４５からは、上述した図３の逆フ
ィルタリング回路２１からの出力に相当するＬＰＣ残差
データが取り出され、これが合成フィルタ回路３５に送
られてＬＰＣの合成処理が施されることにより時間波形
データとなり、さらにポストフィルタ３６でフィルタ処
理された後、出力端子３７より再生された時間軸波形信
号が取り出される。
【０１６１】次に、上記合成回路４５の一例としてのＭ
ＢＥ合成回路構成の具体例について、図１５を参照しな
がら説明する。
【０１６２】この図１５において、入力端子１３１に
は、図１４のスペクトルエンベロープの逆ベクトル量子
化器４２からのスペクトルエンベロープデータ、実際に
はＬＰＣ残差のスペクトルエンベロープデータが供給さ
れている。各端子４３、４６に供給されるデータは図１
４と同様である。なお端子４３に送られたデータは、切
換スイッチ４４で切換選択され、ピッチデータが有声音
合成部１３７へ、ＵＶ波形の特徴量データが逆ベクトル
量子化器１５２へそれぞれ送られている。
【０１６３】端子１３１からの上記ＬＰＣ残差のスペク
トル振幅データは、データ数逆変換部１３６に送られて
逆変換される。このデータ数逆変換部１３６では、上述
した図４のデータ数変換部１１９と対照的な逆変換が行
われ、得られた振幅データが有声音合成部１３７及び無
声音合成部１３８に送られる。端子４３から切換スイッ
チ４４の被選択端子ａを介して得られた上記ピッチデー
タは、有声音合成部１３７及び無声音合成部１３８に送
られる。また端子４６からの上記Ｖ／ＵＶ判別データ
も、有声音合成部１３７及び無声音合成部１３８に送ら
れる。
【０１６４】有声音合成部１３７では例えば余弦(cosin
e)波合成あるいは正弦(sine)波合成により時間軸上の有
声音波形を合成し、無声音合成部１３８では例えばホワ
イトノイズをバンドパスフィルタでフィルタリングして
時間軸上の無声音波形を合成し、これらの各有声音合成
波形と無声音合成波形とを加算部１４１で加算合成し
て、出力端子１４２より取り出すようにしている。
【０１６５】また、Ｖ／ＵＶ判別データとして上記Ｖ／
ＵＶコードが伝送された場合には、このＶ／ＵＶコード
に応じて全バンドを１箇所の区分位置で有声音（Ｖ）領
域と無声音（ＵＶ）領域とに区分することができ、この
区分に応じて、各バンド毎のＶ／ＵＶ判別データを得る
ことができる。ここで、分析側（エンコーダ側）で一定
数（例えば１２程度）のバンドに低減（縮退）されてい
る場合には、これを解いて（復元して）、元のピッチに
応じた間隔で可変個数のバンドとすることは勿論であ
る。
【０１６６】以下、無声音合成部１３８における無声音
合成処理を説明する。
【０１６７】ホワイトノイズ発生部１４３からの時間軸
上のホワイトノイズ信号波形を窓かけ処理部１４４に送
って、所定の長さ（例えば２５６サンプル）で適当な窓
関数（例えばハミング窓）により窓かけをし、ＳＴＦＴ
処理部１４５によりＳＴＦＴ（ショートタームフーリエ
変換）処理を施すことにより、ホワイトノイズの周波数
軸上のパワースペクトルを得る。このＳＴＦＴ処理部１
４５からのパワースペクトルをバンド振幅処理部１４６
に送り、上記ＵＶ（無声音）とされたバンドについて上
記振幅｜Ａm ｜UVを乗算し、他のＶ（有声音）とされた
バンドの振幅を０にする。このバンド振幅処理部１４６
には上記振幅データ、ピッチデータ、Ｖ／ＵＶ判別デー
タが供給されている。
【０１６８】バンド振幅処理部１４６からの出力は、Ｉ
ＳＴＦＴ処理部１４７に送られ、位相は元のホワイトノ
イズの位相を用いて逆ＳＴＦＴ処理を施すことにより時
間軸上の信号に変換する。ＩＳＴＦＴ処理部１４７から
の出力は、パワー分布整形部１５６を介し、後述する乗
算部１５７を介して、オーバーラップ加算部１４８に送
られ、時間軸上で適当な（元の連続的なノイズ波形を復
元できるように）重み付けをしながらオーバーラップ及
び加算を繰り返し、連続的な時間軸波形を合成する。こ
のオーバーラップ加算部１４８からの出力信号が上記加
算部１４１に送られる。
【０１６９】ブロック内のバンドの少なくとも１つがＶ
（有声音）の場合には、上述したような処理が各合成部
１３７、１３８にて行われるわけであるが、ブロック内
の全バンドがＵＶ（無音声）と判別されたときには、切
換スイッチ４４が被選択端子ｂ側に切換接続され、ピッ
チ情報の代わりに無声音信号の時間波形に関する情報が
逆ベクトル量子化部１５２に送られる。
【０１７０】すなわち、逆ベクトル量子化部１５２に
は、上記図４のベクトル量子化部１２７からのデータに
相当するデータが供給される。これを逆ベクトル量子化
することにより、上記無音声信号波形の特徴量抽出デー
タが取り出される。
【０１７１】ここで、ＩＳＴＦＴ処理部１４７からの出
力は、パワー分布整形部１５６により時間軸方向のエネ
ルギ分布の整形処理を行った後、乗算部１５７に送られ
ている。この乗算部１５７では、上記逆ベクトル量子化
部１５２からスムージング部（スムージング処理部）１
５３を介して得られた信号と乗算されている。なお、ス
ムージング部１５３でスムージング処理を施すことで、
耳障りな急激なゲイン変化を抑えることができる。
【０１７２】以上のようにして合成された無声音信号が
無声音合成部１３８から取り出され、上記加算部１４１
に送られて、有声音合成部１３７からの信号と加算さ
れ、出力端子１４２よりＭＢＥ合成出力としてのＬＰＣ
残差信号が取り出される。
【０１７３】このＬＰＣ残差信号が、上記図１４の合成
フィルタ３５に送られることにより、最終的な再生音声
信号が得られるわけである。
【０１７４】この音声信号再生装置１は、図示しない制
御部の制御に応じて、上記変更符号化パラメータ算出部
３に変更符号化パラメータを算出させ、この変更符号化
パラメータを用いて元の音声信号の時間軸を圧縮伸長し
た音声を合成している。この場合、変更符号化パラメー
タ算出部３からの上記mod_ｌsp[ｍ][ｉ]は、ＬＳＰ逆ベ
クトル量子化回路３２の出力の代わりに使用される。上
記mod_ｌsp[ｍ][ｉ]を本来の逆ベクトル量子化値の代わ
りに使用する。上記mod_ｌsp[ｍ][ｉ]は、ＬＳＰ補間回
路３３に送られてＬＳＰの補間処理が施された後、ＬＳ
Ｐ→α変換回路３４でＬＰＣ（線形予測符号）のαパラ
メータに変換され、このαパラメータが合成フィルタ３
５に送られる。
【０１７５】また、データ数変換回路１３６の出力又は
入力の代わりに上記mod_ａm[ｍ][ｌ]が、端子４３にはm
od_ｐch[ｍ]が、端子４６には上記mod_ｖｕv[ｍ]が供給
される。
【０１７６】上記mod_ａm[ｍ][ｌ]は、スペクトルエン
ベロープのデータとして、ハーモニクス／ノイズ合成回
路４５に送られている。この合成回路４５には、端子４
３からのmod_ｐch[ｍ]が判別データに応じて切換スイッ
チ４４により供給されており、また、端子４６からの上
記mod_ｖｕv[ｍ]も供給されている。
【０１７７】合成回路４５は、上述したような図１５に
示すような構成により、上記変更符号化パラメータを用
いて、元の音声信号の時間軸を圧縮伸長した音声を合成
し、端子３７から導出している。
【０１７８】このように、この音声信号再生装置１は、
変更符号化パラメータmod_＊[ｍ]の配列（０≦ｍ＜
Ｎ2）を本来の配列＊[ｎ]（０≦ｎ＜Ｎ1）のかわりにデ
コードしている。デコード時のフレーム間隔は従来通り
例えば２０ｍsecのように固定である。このため、Ｎ2＜
Ｎ1の時には、時間軸圧縮となり、スピードアップとな
る。他方、Ｎ2＞Ｎ1の時には、時間軸伸長となり、スピ
ードダウンとなる。
【０１７９】上記時間軸変更を行っても、瞬時スペクト
ル、ピッチが不変である為、０．５≦spd≦２程度以上
の広い範囲の変更を行っても劣化が少ない。
【０１８０】この方式では、最終的に得られたパラメー
タ列を本来のスペーシング（２０ｍsec）に並べてデコ
ードするため、任意のスピードコントロール（上下）が
簡単に実現できる。又、スピードアップとスピードダウ
ンが区別なしに、同一の処理で可能である。
【０１８１】このため、例えば固体録音した内容をリア
ルタイムの倍のスピードで再生できる。このとき、再生
スピードを高速にしてもピッチ、音韻が不変であるた
め、かなりの高速再生を行っても内容を聞きとることが
できる。また、音声コーデックとして、上記符号励起線
形予測（ＣＥＬＰ）符号化を用いたときに必要とされた
デコード出力後の演算処理のような付加的な処理を不要
とする。
【０１８２】なお、上記第１実施例では、変更符号化パ
ラメータ算出部３を復号化部６と切り離した構成とした
が、復号化部６内に設けてもよい。
【０１８３】なお、上記第１実施例の音声信号再生装置
１の変更符号化パラメータ算出部３が行うパラメータ算
出において、ａmに関する補間処理は、ベクトル量子化
の値、もしくはベクトル量子化された値を逆ベクトル量
子化して得られた値に対して行われる。
【０１８４】次に、本発明に係る音声信号の伝送方法に
関する実施例を第２実施例として説明する。この第２実
施例は、図１６に示すように、入力音声信号を時間軸上
の所定フレーム単位で区分し、各フレーム単位で符号化
することにより符号化パラメータを求め、この符号化パ
ラメータを補間処理して求めた変更符号化パラメータを
伝送する送信側５１と、上記変更符号化パラメータを受
信して、サイン波及びノイズを合成する受信側５６とか
らなる音声信号伝送装置５０である。
【０１８５】すなわち、この音声信号伝送装置５０は、
送信側５１に、入力端子５２から入力された入力音声信
号を時間軸上の所定フレーム単位で区分し、各フレーム
単位で符号化することにより符号化パラメータを抽出す
る符号化部５３と、上記符号化パラメータを補間処理し
て変更符号化パラメータを求める補間部５４と、上記変
更符号化パラメータを送信する送信部５５とを備え、ま
た、受信側５６に、受信部５７と、上記変更符号化パラ
メータを補間する補間部５８と、補間されたパラメータ
に基づいてサイン波及びノイズを合成することにより出
力端子６０から合成音声信号を出力する復号化部５９と
を備える。
【０１８６】符号化部５３と復号化部５９の基本的な動
作は、上記第１実施例の音声信号再生装置のそれと同様
であるので、ここでは詳細な説明を省略する。
【０１８７】送信側５１の動作について図１７のフロー
チャートを参照しながら説明する。なお、このフローチ
ャートは、符号化部５３の符号化処理と、補間部５４の
補間処理とをまとめて示している。
【０１８８】符号化部５３は、ステップＳ３１及びステ
ップＳ３３に示すように、ＬＳＰ、ピッチＰｃｈ、Ｖ／
ＵＶ、ａｍからなる符号化パラメータを抽出している。
特に、ＬＳＰについては、ステップＳ３１に示すように
補間部５４で補間，リアレンジしてから、ステップＳ３
２に示すように量子化し、また、ピッチＰｃｈ、Ｖ／Ｕ
Ｖ、ａｍについては、ステップＳ３４で補間，リアレン
ジしてから、ステップＳ３５に示すように量子化してい
る。これらの量子化データは、送信部５５を介して受信
側５６に伝送される。
【０１８９】受信側５６で受信部５７を介して受け取っ
た上記量子化データは、補間部５８に供給され、ステッ
プＳ３６に示すようにパラメータの補間，リアレンジが
行われた後、ステップＳ３７に示すように復号化部５９
で合成される。
【０１９０】このように、音声信号伝送装置５０は、時
間軸圧縮によるスピードアップについては、パラメータ
の補間を行い、伝送時におけるパラメータのフレームイ
ンターバルを変更している。なお、受信時に例えば２０
msecのような固定フレームインターバルにおけるパラメ
ータを求めることによって再生処理を行っているため、
スピードコントロールのためのアルゴリズムが即ビット
レートの変更に使える。
【０１９１】すなわち、スピードコントロールとして上
記パラメータ補間を使う時は、パラメータ補間はデコー
ド内で行われることを想定しているが、もしこの処理を
エンコーダで行い時間軸圧縮した（間引いた）データを
エンコードし、デコーダで時間軸伸長（補間）を行え
ば、spdの割合で伝送ビットレートを調節できる。
【０１９２】例えば、１．９７５ｋｂｐｓの伝送レート
の場合、spd＝０．５とセットして倍速にしてエンコー
ドすると、本来１０秒のスピードが５秒のものとして、
エンコードされるので、伝送レートは１．９７５×０．
５ｋｂｐｓとなる。
【０１９３】また、図１８に示すように、符号化部５３
で得られた図１８の（Ａ）に示す符号化パラメータを、
補間部５４で図１８の（Ｂ）に示すように、例えば３０
msecのように、任意の間隔となるように補間，リアレン
ジしなおしてから量子化し、受信側５６の補間部５８で
図１８の（Ｃ）に示すように２０msecとなるようにパラ
メータの補間，リアレンジを行い、復号化部５９で合成
している。
【０１９４】デコーダ内に同様のスキームを持っていれ
ば、スピードを元に戻して（オリジナルのスピード）で
再生することもできるし、高速（低速）のまま聞くこと
ももちろんできる。すなわち、スピードコントロールを
可変ビットレートコーデックとして使うこともできる。
【０１９５】
【発明の効果】本発明に係る音声信号の再生方法は、入
力音声信号が時間軸上の所定フレーム単位で区分され、
各フレーム単位で符号化されることにより求められた符
号化パラメータを補間処理して所望の時刻に対応する変
更符号化パラメータを求め、この変更符号化パラメータ
に基づいて、少なくともサイン波を合成することにより
音声信号を再生するので、広いレンジにわたる任意のレ
ートのスピードコントロールを簡単にかつ音韻，ピッチ
を不変として高品質に行える。
【０１９６】また、本発明に係る音声信号再生装置は、
入力音声信号が時間軸上の所定フレーム単位で区分さ
れ、各フレーム単位で符号化されることにより求められ
た符号化パラメータの時間軸を圧縮伸張して上記パラメ
ータの出力周期を変更する周期変更手段と、この周期変
更されたパラメータを補間処理して上記所定フレーム毎
の時刻に対応する変更符号化パラメータを求める補間処
理手段と、この変更符号化パラメータに基づいてサイン
波及びノイズを合成する音声合成手段とを有するので、
広いレンジにわたる任意のレートのスピードコントロー
ルを簡単にかつ音韻，ピッチを不変として高品質に行え
る。
【０１９７】また、本発明に係る音声信号の伝送方法
は、入力音声信号を時間軸上の所定フレーム単位で区分
し、各フレーム単位で符号化することにより符号化パラ
メータを求める工程と、求められた符号化パラメータを
補間処理して所望の時刻に対応する変更符号化パラメー
タを求める工程と、補間処理された変更符号化パラメー
タを伝送する工程とを有するので、伝送ビットレートを
調節できる。
【図面の簡単な説明】
【図１】本発明の第１実施例となる音声信号再生装置の
概略構成を示すブロック図である。
【図２】上記音声信号再生装置の概略構成を示すブロッ
ク図である。
【図３】上記音声信号再生装置の符号化部を示すブロッ
ク図である。
【図４】上記符号化部のハーモニクス／ノイズ符号化回
路の具体例としてのマルチバンドエクサイテイション
（ＭＢＥ）分析回路の構成を示すブロック図である。
【図５】ベクトル量子化器の構成を説明するための図で
ある。
【図６】入力ｘの平均を有声音、無声音、有声音と無声
音をまとめたものについてそれぞれ示すグラフである。
【図７】重みＷ’／‖ｘ‖の平均を有声音、無声音、有
声音と無声音をまとめたものについてそれぞれ示すグラ
フである。
【図８】ベクトル量子化に用いられるコードブックにつ
いて、有声音、無声音、有声音と無声音をまとめた場合
のそれぞれのトレーニングの様子を示すグラフである。
【図９】上記音声信号再生装置に用いられる変更符号化
パラメータ算出回路のおおまかな動作を示すフローチャ
ートである。
【図１０】変更符号化パラメータ算出回路で得られる変
更符号化パラメータを時間軸上で表現するための模式図
である。
【図１１】上記音声信号再生装置に用いられる変更符号
化パラメータ算出回路の詳細な動作を示すフローチャー
トである。
【図１２】上記変更符号化パラメータ算出部の具体的動
作を説明するための模式図である。
【図１３】上記変更符号化パラメータ算出部の他の具体
的動作を説明するための模式図である。
【図１４】上記音声信号再生装置に用いる復号化部の概
略構成を示すブロック図である。
【図１５】上記復号化部に用いられるハーモニクス／ノ
イズ合成回路の具体例としてのマルチバンドエクサイテ
イション（ＭＢＥ）合成回路の構成を示すブロック図で
ある。
【図１６】本発明の第２実施例となる音声信号伝送装置
の概略構成を示すブロック図である。
【図１７】上記音声信号伝送装置の送信側の動作を示す
フローチャートである。
【図１８】上記音声信号伝送装置の動作を説明するため
の模式図である。
【符号の説明】
１ 音声信号再生装置 ２ 符号化部 ３ 変更符号化パラメータ算出部 ４ 周期変更回路 ５ 補間処理回路 ６ 復号化部

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 入力音声信号が時間軸上の所定フレーム
    単位で区分され、各フレーム単位で符号化されることに
    より求められた符号化パラメータに基づいて、少なくと
    もサイン波を合成することにより音声信号を再生する音
    声信号の再生方法において、 上記符号化パラメータを補間処理して所望の時刻に対応
    する変更符号化パラメータを求め、この変更符号化パラ
    メータに基づいて、少なくともサイン波を合成すること
    により音声信号を再生することを特徴とする音声信号の
    再生方法。
  2. 【請求項２】 上記所定フレーム毎に得られる符号化パ
    ラメータの時間軸を圧縮伸張して上記パラメータの出力
    周期を変更する周期変更工程と、 この周期変更されたパラメータを補間処理して上記所定
    フレーム毎の時刻に対応する変更符号化パラメータを求
    める補間処理工程と、 この変更符号化パラメータに基づいてサイン波及びノイ
    ズを合成する音声合成工程とを有することを特徴とする
    請求項１記載の音声信号の再生方法。
  3. 【請求項３】 上記符号化パラメータとして、上記入力
    音声信号についての短期予測残差をサイン合成波とノイ
    ズとで表現し、これらのサイン合成波とノイズとのそれ
    ぞれの周波数スペクトル情報を符号化して得られたもの
    を用いることを特徴とする請求項１記載の音声信号の再
    生方法。
  4. 【請求項４】 入力音声信号が時間軸上の所定フレーム
    単位で区分され、各フレーム単位で符号化されることに
    より求められた符号化パラメータに基づいて、少なくと
    もサイン波を合成することにより音声信号を再生する音
    声信号の再生装置において、 上記符号化パラメータを補間処理して所望の時刻に対応
    する変更符号化パラメータを求め、この変更符号化パラ
    メータに基づいて、少なくともサイン波を合成すること
    により音声信号を再生することを特徴とする音声信号の
    再生装置。
  5. 【請求項５】 上記所定フレーム毎に得られる符号化パ
    ラメータの時間軸を圧縮伸張して上記パラメータの出力
    周期を変更する周期変更手段と、 この周期変更されたパラメータを補間処理して上記所定
    フレーム毎の時刻に対応する変更符号化パラメータを求
    める補間処理手段と、 この変更符号化パラメータに基づいてサイン波及びノイ
    ズを合成する音声合成手段とを有することを特徴とする
    請求項４記載の音声信号の再生装置。
  6. 【請求項６】 上記符号化パラメータとして、上記入力
    音声信号についての短期予測残差をサイン合成波とノイ
    ズとで表現し、これらのサイン合成波とノイズとのそれ
    ぞれの周波数スペクトル情報を符号化して得られたもの
    を用いることを特徴とする請求項４記載の音声信号の再
    生装置。
  7. 【請求項７】 入力音声信号を時間軸上の所定フレーム
    単位で区分し、各フレーム単位で符号化することにより
    符号化パラメータを求める工程と、 求められた符号化パラメータを補間処理して所望の時刻
    に対応する変更符号化パラメータを求める工程と、 補間処理された変更符号化パラメータを伝送する工程と
    を有することを特徴とする音声信号の伝送方法。
  8. 【請求項８】 上記符号化パラメータとして、上記入力
    音声信号についての短期予測残差をサイン合成波とノイ
    ズとで表現し、これらのサイン合成波とノイズとのそれ
    ぞれの周波数スペクトル情報を符号化して得られたもの
    を用いることを特徴とする請求項７記載の音声信号の伝
    送方法。
JP15372395A 1995-06-20 1995-06-20 音声信号の再生方法及び再生装置 Expired - Lifetime JP3747492B2 (ja)

Priority Applications (17)

Application Number Priority Date Filing Date Title
JP15372395A JP3747492B2 (ja) 1995-06-20 1995-06-20 音声信号の再生方法及び再生装置
US08/664,512 US5926788A (en) 1995-06-20 1996-06-17 Method and apparatus for reproducing speech signals and method for transmitting same
CA002179228A CA2179228C (en) 1995-06-20 1996-06-17 Method and apparatus for reproducing speech signals and method for transmitting same
MYPI96002452A MY116532A (en) 1995-06-20 1996-06-18 Method and apparatus for reproducing speech signals and method for transmitting same
AT96304568T ATE205011T1 (de) 1995-06-20 1996-06-19 Verfahren und einrichtung zur wiedergabe von sprachsignalen und verfahren zu seiner übertragung
AU56054/96A AU721596B2 (en) 1995-06-20 1996-06-19 Method and apparatus for reproducing speech signals and method for transmitting the same
CNB961110422A CN1154976C (zh) 1995-06-20 1996-06-19 再现语音信号的方法和装置以及传输该信号的方法
SG1996010099A SG54343A1 (en) 1995-06-20 1996-06-19 Method and apparatus for reproducing speech signals and method for transmitting same
DE69614782T DE69614782T2 (de) 1995-06-20 1996-06-19 Verfahren und Einrichtung zur Wiedergabe von Sprachsignalen und Verfahren zu seiner Übertragung
MX9602391A MX9602391A (es) 1995-06-20 1996-06-19 Metodo y aparato para reproducir señales de conversacion y metodo para transmitirlas.
EP96304568A EP0751493B1 (en) 1995-06-20 1996-06-19 Method and apparatus for reproducing speech signals and method for transmitting same
RU96111955/09A RU2255380C2 (ru) 1995-06-20 1996-06-19 Способ и устройство воспроизведения речевых сигналов и способ их передачи
ES96304568T ES2159688T3 (es) 1995-06-20 1996-06-19 Metodo y aparato para reproducir señales de voz y metodo para transmitirlas.
BRPI9602835-1A BR9602835B1 (pt) 1995-06-20 1996-06-19 processo e aparelho para reproduzir um sinal de voz, e, processo para transmitir o mesmo.
KR1019960022517A KR100472585B1 (ko) 1995-06-20 1996-06-20 음성신호의재생방법및장치와그전송방법
TR96/00519A TR199600519A2 (tr) 1995-06-20 1996-06-20 Konusma sinyallerinin olusturulmasina mahsus yöntem ve cihaz ve sinyallerin iletilmesine mahsus yöntem.
TW085109383A TW412719B (en) 1995-06-20 1996-08-03 Method and apparatus for reproducing speech signals and method for transmitting same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15372395A JP3747492B2 (ja) 1995-06-20 1995-06-20 音声信号の再生方法及び再生装置

Publications (2)

Publication Number Publication Date
JPH096397A true JPH096397A (ja) 1997-01-10
JP3747492B2 JP3747492B2 (ja) 2006-02-22

Family

ID=15568696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15372395A Expired - Lifetime JP3747492B2 (ja) 1995-06-20 1995-06-20 音声信号の再生方法及び再生装置

Country Status (17)

Country Link
US (1) US5926788A (ja)
EP (1) EP0751493B1 (ja)
JP (1) JP3747492B2 (ja)
KR (1) KR100472585B1 (ja)
CN (1) CN1154976C (ja)
AT (1) ATE205011T1 (ja)
AU (1) AU721596B2 (ja)
BR (1) BR9602835B1 (ja)
CA (1) CA2179228C (ja)
DE (1) DE69614782T2 (ja)
ES (1) ES2159688T3 (ja)
MX (1) MX9602391A (ja)
MY (1) MY116532A (ja)
RU (1) RU2255380C2 (ja)
SG (1) SG54343A1 (ja)
TR (1) TR199600519A2 (ja)
TW (1) TW412719B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002058053A1 (en) * 2001-01-22 2002-07-25 Kanars Data Corporation Encoding method and decoding method for digital voice data
US6704702B2 (en) 1997-01-23 2004-03-09 Kabushiki Kaisha Toshiba Speech encoding method, apparatus and program
WO2006137425A1 (ja) 2005-06-23 2006-12-28 Matsushita Electric Industrial Co., Ltd. オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置
JP2007150737A (ja) * 2005-11-28 2007-06-14 Sony Corp 音声信号ノイズ低減装置及び方法
JP2009244723A (ja) * 2008-03-31 2009-10-22 Nippon Telegr & Teleph Corp <Ntt> 音声分析合成装置、音声分析合成方法、コンピュータプログラム、および記録媒体
JP2010520505A (ja) * 2007-03-02 2010-06-10 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 非因果性ポストフィルタ
RU2546324C2 (ru) * 2010-03-17 2015-04-10 Сони Корпорейшн Кодирущее устройство и способ кодирования, декодирующее устройство и способ декодирования, и программа

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3707153B2 (ja) * 1996-09-24 2005-10-19 ソニー株式会社 ベクトル量子化方法、音声符号化方法及び装置
JP4308345B2 (ja) * 1998-08-21 2009-08-05 パナソニック株式会社 マルチモード音声符号化装置及び復号化装置
US6188980B1 (en) * 1998-08-24 2001-02-13 Conexant Systems, Inc. Synchronized encoder-decoder frame concealment using speech coding parameters including line spectral frequencies and filter coefficients
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6353808B1 (en) * 1998-10-22 2002-03-05 Sony Corporation Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal
US6260009B1 (en) 1999-02-12 2001-07-10 Qualcomm Incorporated CELP-based to CELP-based vocoder packet translation
JP2000305599A (ja) 1999-04-22 2000-11-02 Sony Corp 音声合成装置及び方法、電話装置並びにプログラム提供媒体
US6260017B1 (en) * 1999-05-07 2001-07-10 Qualcomm Inc. Multipulse interpolative coding of transition speech frames
FR2796191B1 (fr) * 1999-07-05 2001-10-05 Matra Nortel Communications Procedes et dispositifs de codage et de decodage audio
US7092881B1 (en) * 1999-07-26 2006-08-15 Lucent Technologies Inc. Parametric speech codec for representing synthetic speech in the presence of background noise
US6535843B1 (en) * 1999-08-18 2003-03-18 At&T Corp. Automatic detection of non-stationarity in speech signals
JP4680429B2 (ja) * 2001-06-26 2011-05-11 Ｏｋｉセミコンダクタ株式会社 テキスト音声変換装置における高速読上げ制御方法
WO2003003345A1 (fr) * 2001-06-29 2003-01-09 Kabushiki Kaisha Kenwood Dispositif et procede d'interpolation des composantes de frequence d'un signal
US6907632B2 (en) * 2002-05-28 2005-06-21 Ferno-Washington, Inc. Tactical stretcher
US7523032B2 (en) * 2003-12-19 2009-04-21 Nokia Corporation Speech coding method, device, coding module, system and software program product for pre-processing the phase structure of a to be encoded speech signal to match the phase structure of the decoded signal
TWI498882B (zh) 2004-08-25 2015-09-01 Dolby Lab Licensing Corp 音訊解碼器
JP4937753B2 (ja) * 2004-09-06 2012-05-23 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
AU2008215231B2 (en) 2007-02-14 2010-02-18 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
BRPI0808198A8 (pt) * 2007-03-02 2017-09-12 Panasonic Corp Dispositivo de codificação e método de codificação
US8401865B2 (en) 2007-07-18 2013-03-19 Nokia Corporation Flexible parameter update in audio/speech coded signals
JP5449133B2 (ja) * 2008-03-14 2014-03-19 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
CN101582263B (zh) * 2008-05-12 2012-02-01 华为技术有限公司 语音解码中噪音增强后处理的方法和装置
US20100191534A1 (en) * 2009-01-23 2010-07-29 Qualcomm Incorporated Method and apparatus for compression or decompression of digital signals
WO2010111841A1 (zh) * 2009-04-03 2010-10-07 华为技术有限公司 频域脉冲解码的预测方法和预测装置及解码器
DK2242045T3 (da) * 2009-04-16 2012-09-24 Univ Mons Talesyntese og kodningsfremgangsmåder
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
AU2014336357B2 (en) * 2013-10-18 2017-04-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for encoding an audio signal and decoding an audio signal using deterministic and noise like information
KR101849613B1 (ko) 2013-10-18 2018-04-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스피치 관련 스펙트럼 정형 정보를 사용하는 오디오 신호의 인코딩 및 오디오 신호의 디코딩을 위한 개념
CN107369454B (zh) 2014-03-21 2020-10-27 华为技术有限公司 语音频码流的解码方法及装置
CN106067996B (zh) * 2015-04-24 2019-09-17 松下知识产权经营株式会社 语音再现方法、语音对话装置
US10389994B2 (en) * 2016-11-28 2019-08-20 Sony Corporation Decoder-centric UV codec for free-viewpoint video streaming
JP6891662B2 (ja) * 2017-06-23 2021-06-18 富士通株式会社 音声評価プログラム、音声評価方法および音声評価装置
CN108899008B (zh) * 2018-06-13 2023-04-18 中国人民解放军91977部队 一种对空语音通信杂音模拟干扰方法和***
KR101971478B1 (ko) 2018-09-27 2019-04-23 박기석 차량용 차광막 장치
KR102150192B1 (ko) 2019-04-04 2020-08-31 박기석 차량용 차광막 장치
KR20230114981A (ko) 2022-01-26 2023-08-02 주식회사 스마트름뱅이 차량용 태양광 차단 및 발전 수행 장치
CN114511474B (zh) * 2022-04-20 2022-07-05 天津恒宇医疗科技有限公司 血管内超声图像的降噪方法、***、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8400728A (nl) * 1984-03-07 1985-10-01 Philips Nv Digitale spraakcoder met basisband residucodering.
JPH07117562B2 (ja) * 1988-10-18 1995-12-18 株式会社ケンウッド スペクトラムアナライザ
JP2823023B2 (ja) * 1990-09-10 1998-11-11 富士通株式会社 リンク配線用マトリクスプリント板におけるコネクタ接続方法
US5226108A (en) * 1990-09-20 1993-07-06 Digital Voice Systems, Inc. Processing a speech signal with estimated pitch
US5371853A (en) * 1991-10-28 1994-12-06 University Of Maryland At College Park Method and system for CELP speech coding and codebook for use therewith
US5327520A (en) * 1992-06-04 1994-07-05 At&T Bell Laboratories Method of use of voice message coder/decoder
US5351338A (en) * 1992-07-06 1994-09-27 Telefonaktiebolaget L M Ericsson Time variable spectral analysis based on interpolation for speech coding
US5479559A (en) * 1993-05-28 1995-12-26 Motorola, Inc. Excitation synchronous time encoding vocoder and method
US5602961A (en) * 1994-05-31 1997-02-11 Alaris, Inc. Method and apparatus for speech compression using multi-mode code excited linear predictive coding
US5729694A (en) * 1996-02-06 1998-03-17 The Regents Of The University Of California Speech coding, reconstruction and recognition using acoustics and electromagnetic waves
FR2863874B1 (fr) * 2003-12-18 2006-03-17 Oreal Composition demaquillante

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704702B2 (en) 1997-01-23 2004-03-09 Kabushiki Kaisha Toshiba Speech encoding method, apparatus and program
US7191120B2 (en) 1997-01-23 2007-03-13 Kabushiki Kaisha Toshiba Speech encoding method, apparatus and program
WO2002058053A1 (en) * 2001-01-22 2002-07-25 Kanars Data Corporation Encoding method and decoding method for digital voice data
WO2006137425A1 (ja) 2005-06-23 2006-12-28 Matsushita Electric Industrial Co., Ltd. オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置
US7974837B2 (en) 2005-06-23 2011-07-05 Panasonic Corporation Audio encoding apparatus, audio decoding apparatus, and audio encoded information transmitting apparatus
JP2007150737A (ja) * 2005-11-28 2007-06-14 Sony Corp 音声信号ノイズ低減装置及び方法
US7711557B2 (en) 2005-11-28 2010-05-04 Sony Corporation Audio signal noise reduction device and method
JP2010520505A (ja) * 2007-03-02 2010-06-10 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 非因果性ポストフィルタ
JP2009244723A (ja) * 2008-03-31 2009-10-22 Nippon Telegr & Teleph Corp <Ntt> 音声分析合成装置、音声分析合成方法、コンピュータプログラム、および記録媒体
RU2546324C2 (ru) * 2010-03-17 2015-04-10 Сони Корпорейшн Кодирущее устройство и способ кодирования, декодирующее устройство и способ декодирования, и программа

Also Published As

Publication number Publication date
MX9602391A (es) 1997-02-28
SG54343A1 (en) 1998-11-16
BR9602835B1 (pt) 2009-05-05
AU5605496A (en) 1997-01-09
CA2179228A1 (en) 1996-12-21
KR970003109A (ko) 1997-01-28
EP0751493A3 (en) 1998-03-04
DE69614782D1 (de) 2001-10-04
TW412719B (en) 2000-11-21
BR9602835A (pt) 1998-04-22
ES2159688T3 (es) 2001-10-16
AU721596B2 (en) 2000-07-06
CN1145512A (zh) 1997-03-19
ATE205011T1 (de) 2001-09-15
CN1154976C (zh) 2004-06-23
EP0751493B1 (en) 2001-08-29
CA2179228C (en) 2004-10-12
JP3747492B2 (ja) 2006-02-22
DE69614782T2 (de) 2002-05-02
RU2255380C2 (ru) 2005-06-27
MY116532A (en) 2004-02-28
US5926788A (en) 1999-07-20
KR100472585B1 (ko) 2005-06-21
TR199600519A2 (tr) 1997-01-21
EP0751493A2 (en) 1997-01-02

Similar Documents

Publication Publication Date Title
JP3747492B2 (ja) 音声信号の再生方法及び再生装置
JP3707116B2 (ja) 音声復号化方法及び装置
JP3557662B2 (ja) 音声符号化方法及び音声復号化方法、並びに音声符号化装置及び音声復号化装置
JP4132109B2 (ja) 音声信号の再生方法及び装置、並びに音声復号化方法及び装置、並びに音声合成方法及び装置
JP3680380B2 (ja) 音声符号化方法及び装置
JP4005154B2 (ja) 音声復号化方法及び装置
KR100487136B1 (ko) 음성복호화방법및장치
JP3707153B2 (ja) ベクトル量子化方法、音声符号化方法及び装置
US6532443B1 (en) Reduced length infinite impulse response weighting
US5983173A (en) Envelope-invariant speech coding based on sinusoidal analysis of LPC residuals and with pitch conversion of voiced speech
JPH10124094A (ja) 音声分析方法、音声符号化方法および装置
US4945565A (en) Low bit-rate pattern encoding and decoding with a reduced number of excitation pulses
JPH10214100A (ja) 音声合成方法
EP1597721B1 (en) 600 bps mixed excitation linear prediction transcoding
JP2000132193A (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JPH08234795A (ja) 音声符号化装置
JP4826580B2 (ja) 音声信号の再生方法及び装置
JPH10111700A (ja) 音声圧縮符号化方法および音声圧縮符号化装置
JP3063087B2 (ja) 音声符号化復号化装置及び音声符号化装置ならびに音声復号化装置
JPH01233499A (ja) 音声信号符号化復号化方法及びその装置
JPS60224341A (ja) 音声符号化方法
JP2000132195A (ja) 信号符号化装置及び方法
JPH01258000A (ja) 音声信号符号化復号化方法並びに音声信号符号化装置及び音声信号復号化装置
JPH09297597A (ja) 高能率音声伝送方法及び高能率音声伝送装置
JPH09127997A (ja) 音声符号化方法及び装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131209

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term