JP5727018B2 - 過渡フレームの符号化及び復号化 - Google Patents

過渡フレームの符号化及び復号化 Download PDF

Info

Publication number
JP5727018B2
JP5727018B2 JP2013529208A JP2013529208A JP5727018B2 JP 5727018 B2 JP5727018 B2 JP 5727018B2 JP 2013529208 A JP2013529208 A JP 2013529208A JP 2013529208 A JP2013529208 A JP 2013529208A JP 5727018 B2 JP5727018 B2 JP 5727018B2
Authority
JP
Japan
Prior art keywords
frame
encoding mode
transient
excitation
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013529208A
Other languages
English (en)
Other versions
JP2013541731A (ja
Inventor
クリシュナン、ベンカテシュ
カンドハダイ、アナンサパドマナブハン・アラサニパライ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013541731A publication Critical patent/JP2013541731A/ja
Application granted granted Critical
Publication of JP5727018B2 publication Critical patent/JP5727018B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/097Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using prototype waveform decomposition or prototype waveform interpolative [PWI] coders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephone Function (AREA)

Description

本開示は、一般に信号処理に関する。より詳細には、本開示は、過渡フレームを符号化及び復号することに関する。
最近の数十年で、電子機器の使用は一般的になった。特に、電子技術の進歩は、ますます複雑で有用になる電子機器のコストを低減した。コスト低減及び消費者需要により、電子機器が現代社会において事実上ユビキタスであるほど電子機器の使用が激増した。電子機器の使用が拡大するにつれて、電子機器の新しい改善された特徴に対する需要も拡大した。より詳細には、より高速に、より効率的に、又はより高品質で機能を実行する電子機器がしばしば求められる。
幾つかの電子機器(例えば、セルラーフォン、スマートフォン、コンピュータなど)はオーディオ又は音声信号を使用する。これらの電子機器は、記憶又は送信のために音声信号を符号化し得る。例えば、セルラーフォンは、マイクロフォンを使用してユーザのボイス又は音声を捕捉する。例えば、セルラーフォンは、マイクロフォンを使用して音響信号を電子信号に変換する。この電子信号は、次いで、別の機器(例えば、セルラーフォン、スマートフォン、コンピュータなど)への送信のために、又は記憶のためにフォーマットされ得る。
圧縮されていない音声信号を送信すること又は送ることは、例えば、帯域幅及び/又は記憶リソースに関してコストがかかり得る。音声信号をより効率的に(例えば、より少ないデータを使用して)表現することを試みる幾つかの方式が存在する。しかしながら、これらの方式は音声信号の幾つかの部分をうまく表現せず、その結果、性能が劣化することがある。上記の説明から理解され得るように、信号符号化を改善するシステム及び方法が有益であり得る。
米国特許法第119条に基づく優先権の主張
本出願は、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、2010年9月13日に出願された「CODING A TRANSIENT SPEECH FRAME」と題する仮特許出願第61/382,460号の優先権を主張する。
過渡フレームを符号化するための電子機器が開示される。本電子機器は、プロセッサと、プロセッサと電子通信しているメモリに記憶された実行可能な命令とを含む。本電子機器は、現在過渡フレームを取得する。本電子機器はまた、現在過渡フレームに基づいて残差信号を取得する。本電子機器は、さらに、残差信号に基づいてピーク位置のセット(集合)を決定する。さらに、本電子機器は、少なくともピーク位置のセットに基づいて、現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定する。本電子機器はまた、第1の符号化モードが決定された場合、第1の符号化モードに基づいて励起を合成する。本電子機器は、さらに、第2の符号化モードが決定された場合、第2の符号化モードに基づいて励起を合成する。本電子機器はまた、励起と現在過渡フレームとに基づいて複数のスケーリング係数を決定し得る。第1の符号化モードは「有声過渡(voiced transient)」符号化モードであり得、第2の符号化モードは「他の過渡(other transient)」符号化モードであり得る。第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することは、さらに、ピッチラグと、前フレームタイプと、エネルギー比とに基づき得る。
ピーク位置のセットを決定することは、残差信号及びウィンドウ信号のサンプルの絶対値に基づいて包絡線信号を計算することと、包絡線信号と包絡線信号の時間シフトバージョンとの間の差に基づいて第1の勾配信号を計算することとを含み得る。ピーク位置のセットを決定することは、さらに、第1の勾配信号と第1の勾配信号の時間シフトバージョンとの間の差に基づいて第2の勾配信号を計算することと、第2の勾配信号値が第1の閾値を下回る位置インデックスの第1のセットを選択することとを含み得る。ピーク位置のセットを決定することはまた、包絡線値が包絡線中の最大値に対する第2の閾値を下回る位置インデックスをなくすことによって、位置インデックスの第1のセットから位置インデックスの第2のセットを決定することと、近隣位置インデックスに対する差閾値を満たさない位置インデックスをなくすことによって、位置インデックスの第2のセットから位置インデックスの第3のセットを決定することとを含み得る。
本電子機器はまた、線形予測係数のセットを取得するために、現在過渡フレームと現在過渡フレームより前の信号とを使用して線形予測分析を実行し、線形予測係数のセットに基づいて量子化線形予測係数のセットを決定し得る。残差信号を取得することは、さらに、量子化線形予測係数のセットに基づき得る。
第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することは、ピークの推定された数を決定することと、ピーク位置の数が、ピークの推定された数よりも大きいかそれに等しい場合、第1の符号化モードを選択することとを含み得る。第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することは、さらに、ピーク位置のセット中の最後のピークが現在過渡フレームの終了から第1の距離内にあり、ピーク位置のセット中の第1のピークが現在過渡フレームの開始から第2の距離内にある場合、第1の符号化モードを選択することを含み得る。第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することは、さらに、前フレームと現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、第2の符号化モードを選択することと、前フレームのフレームタイプが無声(unvoiced)又は無音(silence)である場合、第2の符号化モードを選択することとを含み得る。第1の距離は、あるピッチラグに基づいて決定され得、第2の距離はそのピッチラグに基づいて決定され得る。
第1の符号化モードに基づいて励起を合成することは、前フレーム中の最後のピーク位置と現在過渡フレームのピッチラグとに基づいて、現在過渡フレーム中の最後のピークの位置を決定することを含み得る。第1の符号化モードに基づいて励起を合成することはまた、ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した波形補間を使用して、前フレームの最後のサンプルと、現在過渡フレーム中の最後のピークの第1のサンプル位置との間で励起を合成することを含み得る。
第2の符号化モードに基づいて励起を合成することは、第1の位置において開始してプロトタイプ波形を繰り返し配置することによって励起を合成することを含み得る。第1の位置は、ピーク位置のセットからの第1のピーク位置に基づいて決定され得る。プロトタイプ波形はピッチラグとスペクトル形状とに基づき得、プロトタイプ波形は、ピッチラグと第1の位置とフレームサイズとに基づく回数だけ繰り返し配置され得る。
また、過渡フレームを復号するための電子機器が開示される。本電子機器は、プロセッサと、プロセッサと電子通信しているメモリに記憶された実行可能な命令とを含む。本電子機器はフレームタイプを取得し、フレームタイプが過渡フレームを示す場合、本電子機器は、過渡符号化モードパラメータを取得し、過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定する。フレームタイプが過渡フレームを示す場合、本電子機器はまた、第1の符号化モードを使用すべきであると決定された場合、第1の符号化モードに基づいて励起を合成し、第2の符号化モードを使用すべきであると決定された場合、第2の符号化モードに基づいて励起を合成する。本電子機器はまた、ピッチラグパラメータを取得し、ピッチラグパラメータに基づいてピッチラグを決定し得る。本電子機器はまた、複数のスケーリング係数を取得し、複数のスケーリング係数に基づいて励起をスケーリングし得る。
本電子機器はまた、量子化線形予測係数パラメータを取得し、量子化線形予測係数パラメータに基づいて量子化線形予測係数のセットを決定し得る。本電子機器はまた、励起信号と量子化線形予測係数のセットとに基づいて合成音声信号を生成し得る。
第1の符号化モードに基づいて励起を合成することは、前フレーム中の最後のピーク位置と現在過渡フレームのピッチラグとに基づいて、現在過渡フレーム中の最後のピークの位置を決定することを含み得る。第1の符号化モードに基づいて励起を合成することはまた、ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した波形補間を使用して、前フレームの最後のサンプルと、現在過渡フレーム中の最後のピークの第1のサンプル位置との間で励起を合成することを含み得る。
第2の符号化モードに基づいて励起を合成することは、第1のピーク位置を取得することと、第1の位置において開始してプロトタイプ波形を繰り返し配置することによって励起を合成することとを含み得る。第1の位置は第1のピーク位置に基づいて決定され得る。プロトタイプ波形はピッチラグとスペクトル形状とに基づき得、プロトタイプ波形は、ピッチラグと第1の位置とフレームサイズとに基づく回数だけ繰り返し配置され得る。
また、電子機器上で過渡フレームを符号化するための方法が開示される。本方法は、現在過渡フレームを取得することを含む。本方法はまた、現在過渡フレームに基づいて残差信号を取得することを含む。本方法は、さらに、残差信号に基づいてピーク位置のセットを決定することを含む。本方法は、さらに、少なくともピーク位置のセットに基づいて、現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することを含む。さらに、本方法は、第1の符号化モードが決定された場合、第1の符号化モードに基づいて励起を合成することを含む。本方法はまた、第2の符号化モードが決定された場合、第2の符号化モードに基づいて励起を合成することを含む。
また、電子機器上で過渡フレームを復号するための方法が開示される。本方法は、フレームタイプを取得することを含む。フレームタイプが過渡フレームを示す場合、本方法はまた、過渡符号化モードパラメータを取得することと、過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することとを含む。フレームタイプが過渡フレームを示す場合、本方法はまた、第1の符号化モードを使用すべきであると決定された場合、第1の符号化モードに基づいて励起を合成することと、第2の符号化モードを使用すべきであると決定された場合、第2の符号化モードに基づいて励起を合成することとを含む。
また、過渡フレームを符号化するためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、命令をもつ非一時的有形コンピュータ可読媒体を含む。命令は、電子機器に、現在過渡フレームを取得させるためのコードを含む。命令はまた、電子機器に、現在過渡フレームに基づいて残差信号を取得させるためのコードを含む。命令は、さらに、電子機器に、残差信号に基づいてピーク位置のセットを決定させるためのコードを含む。命令は、さらに、電子機器に、少なくともピーク位置のセットに基づいて、現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定させるためのコードを含む。命令はまた、電子機器に、第1の符号化モードが決定された場合、第1の符号化モードに基づいて励起を合成させるためのコードを含む。さらに、命令は、電子機器に、第2の符号化モードが決定された場合、第2の符号化モードに基づいて励起を合成させるためのコードを含む。
また、過渡フレームを復号するためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、命令をもつ非一時的有形コンピュータ可読媒体を含む。命令は、電子機器に、フレームタイプを取得させるためのコードを含む。フレームタイプが過渡フレームを示す場合、命令はまた、電子機器に、過渡符号化モードパラメータを取得させるためのコードと、電子機器に、過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定させるためのコードとを含む。フレームタイプが過渡フレームを示す場合、命令は、さらに、電子機器に、第1の符号化モードを使用すべきであると決定された場合、第1の符号化モードに基づいて励起を合成させるためのコードと、電子機器に、第2の符号化モードを使用すべきであると決定された場合、第2の符号化モードに基づいて励起を合成させるためのコードとを含む。
また、過渡フレームを符号化するための装置が開示される。本装置は、現在過渡フレームを取得するための手段を含む。本装置はまた、現在過渡フレームに基づいて残差信号を取得するための手段を含む。本装置は、さらに、残差信号に基づいてピーク位置のセットを決定するための手段を含む。さらに、本装置は、少なくともピーク位置のセットに基づいて、現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定するための手段を含む。本装置は、さらに、第1の符号化モードが決定された場合、第1の符号化モードに基づいて励起を合成するための手段を含む。本装置はまた、第2の符号化モードが決定された場合、第2の符号化モードに基づいて励起を合成するための手段を含む。
また、過渡フレームを復号するための装置が開示される。本装置は、フレームタイプを取得するための手段を含む。フレームタイプが過渡フレームを示す場合、本装置はまた、過渡符号化モードパラメータを取得するための手段と、過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定するための手段とを含む。フレームタイプが過渡フレームを示す場合、本装置は、さらに、第1の符号化モードを使用すべきであると決定された場合、第1の符号化モードに基づいて励起を合成するための手段と、第2の符号化モードを使用すべきであると決定された場合、第2の符号化モードに基づいて励起を合成するための手段とを含む。
過渡フレームを符号化するためのシステム及び方法が実施され得る、電子機器の一構成を示すブロック図。 過渡フレームを符号化するための方法の一構成を示す流れ図。 過渡フレームを符号化するための方法のより具体的な構成を示す流れ図。 前フレームと現在過渡フレームとの一例を示すグラフ。 前フレームと現在過渡フレームとの別の例を示すグラフ。 過渡フレームを符号化するためのシステム及び方法が実施され得る、過渡エンコーダの一構成を示すブロック図。 符号化モードを選択するための方法の一構成を示す流れ図。 励起信号を合成するための方法の一構成を示す流れ図。 過渡フレームを復号するためのシステム及び方法が実施され得る、過渡デコーダの一構成を示すブロック図。 過渡フレームを復号するための方法の一構成を示す流れ図。 励起信号を合成するための方法の一構成を示す流れ図。 過渡フレームを符号化するためのシステム及び方法が実施され得る、電子機器の一例を示すブロック図。 過渡フレームを復号するためのシステム及び方法が実施され得る、電子機器の一例を示すブロック図。 ピッチ同期利得スケーリング及び線形予測符号化(LPC)合成ブロック/モジュールの一構成を示すブロック図。 電子機器において利用され得る様々な構成要素を示す図。 ワイヤレス通信機器内に含まれ得る幾つかの構成要素を示す図。
本明細書で開示するシステム及び方法は、様々な電子機器に適用され得る。電子機器の例には、ボイスレコーダ、ビデオカメラ、オーディオプレーヤ(例えば、Moving Picture Experts Group-1(MPEG−1)又はMPEG−2 Audio Layer 3(MP3)プレーヤ)、ビデオプレーヤ、オーディオレコーダ、デスクトップコンピュータ/ラップトップコンピュータ、携帯情報端末(PDA)、ゲームシステムなどがある。電子機器の一種は、別の機器と通信し得る通信機器である。通信機器の例には、電話、ラップトップコンピュータ、デスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレス又はワイヤードモデム、電子リーダー、タブレットデバイス、ゲームシステム、セルラー電話基地局又はノード、アクセスポイント、ワイヤレスゲートウェイ及びワイヤレスルータがある。
電子機器又は通信機器は、国際電気通信連合(ITU)標準及び/又は米国電気電子技術者協会(IEEE)標準(例えば、802.11a、802.11b、802.11g、802.11n及び/又は802.11acなどのワイヤレスフィデリティー又は「Wi−Fi」標準)など、幾つかの業界標準に従って動作し得る。通信機器が準拠し得る標準の他の例には、IEEE802.16(例えば、Worldwide Interoperability for Microwave Access又は「WiMAX」)、Third Generation Partnership Project(3GPP)、3GPP Long Term Evolution(LTE)、Global System for Mobile Telecommunications(GSM)(登録商標)などがある(通信機器は、例えば、ユーザ機器(UE)、ノードB、発展型ノードB(eNB)、モバイル機器、移動局、加入者局、遠隔局、アクセス端末、モバイル端末、端末、端末ユーザ端末、加入者ユニットなど)と呼ばれることがある)。本明細書で開示するシステム及び方法の幾つかは1つ以上の標準に関して説明され得るが、これは、それらのシステム及び方法が多くのシステム及び/又は標準に適用可能であり得るので、本開示の範囲を限定すべきではない。
幾つかの通信機器は、ワイヤレス通信し得、及び/又はワイヤード接続もしくはリンクを使用して通信し得ることに留意されたい。例えば、幾つかの通信機器は、イーサネット(登録商標)プロトコルを使用して他の機器と通信し得る。本明細書で開示するシステム及び方法は、ワイヤレス通信し、及び/又はワイヤード接続もしくはリンクを使用して通信する通信機器に適用され得る。一構成では、本明細書で開示するシステム及び方法は、衛星を使用して別の機器と通信する通信機器に適用され得る。
本明細書で開示するシステム及び方法は、以下のように説明する通信システムの一例に適用され得る。この例では、本明細書で開示するシステム及び方法は、ジオモバイル衛星エアインターフェース(GMSA:geo-mobile satellite air interface)衛星通信のための低ビットレート(例えば、2キロビット毎秒(Kbps))音声符号化を行い得る。より詳細には、本明細書で開示するシステム及び方法は、統合された衛星及びモバイル通信ネットワークにおいて使用され得る。そのようなネットワークは、シームレスで、透過的で、相互運用可能で、ユビキタスなワイヤレスカバレージを提供し得る。衛星ベースのサービスは、地上カバレージが利用不可能である遠隔位置における通信のために使用され得る。例えば、そのようなサービスは、人工又は自然災害、ブロードキャスト及び/又はフリート管理及びアセット追跡(asset tracking)に有用であり得る。L及び/又はSバンド(ワイヤレス)スペクトルが使用され得る。
一構成では、順方向リンクは、オーバージエア衛星リンクのための基礎技術として1x Evolution Data Optimized (EV-DO) Rev Aエアインターフェースを使用し得る。逆方向リンクは周波数分割多重(FDM)を使用し得る。例えば、逆方向リンクスペクトルの1.25メガヘルツ(MHz)ブロックは192個の狭帯域周波数チャネルに分割され、各々は6.4キロヘルツ(kHz)の帯域幅をもち得る。逆方向リンクデータレートは制限され得る。これは、低ビットレート符号化の必要性を提示し得る。場合によっては、例えば、1つのチャネルが2.4Kbpsしかサポートできないことがある。但し、より良いチャネル状態では、2つのFDMチャネルが利用可能になり、場合によっては4.8Kbps送信を提供し得る。
逆方向リンク上では、例えば、低ビットレート音声エンコーダが使用され得る。これにより、逆方向リンク上でシングルFDMチャネル割当てのためのアクティブ音声のために2Kbpsの固定レートが可能になり得る。一構成では、逆方向リンクは、基本チャネル符号化のために1/4畳み込みコーダを使用する。
幾つかの構成では、本明細書で開示するシステム及び方法は、他の符号化モードへの追加又は代替として使用され得る。例えば、本明細書で開示するシステム及び方法は、プロトタイプピッチ周期波形補間を使用した1/4レート有声符号化への追加又は代替として使用され得る。プロトタイプピッチ周期波形補間(PPPWI:prototype pitch-period waveform interpolation)では、実際の波形の代わりに使用され得る補間波形を生成するためにプロトタイプ波形が使用されて、再構成された信号が、低減された数のサンプルによって生成されることが可能になり得る。PPPWIは、例えば、フルレート又は1/4レートにおいて利用可能であり得、及び/又は時間同期出力を生成し得る。さらに、PPPWIでは周波数領域において量子化が実行され得る。有声符号化モードでは、(例えば、FQQ(有効ハーフレート)の代わりに)QQQが使用され得る。QQQは、40ビット毎フレームで1/4レートプロトタイプピッチ周期波形補間(QPPP−WI:quarter-rate prototype pitch period waveform interpolation)を使用して3つの連続する有声フレームを符号化する符号化パターンである(事実上2キロビット毎秒(kbps))。FQQは、3つの連続する有声フレームが、それぞれフルレートPPP、QPPP及びQPPPを使用して符号化される符号化パターンである。これは4kbpsの平均レートを達成する。後者は、2kbpsボコーダにおいて使用され得ない。1/4レートプロトタイプピッチ周期(QPPP)は、周波数領域におけるプロトタイプ表現の振幅のデルタ符号化なしに、13ビット線スペクトル周波数(LSF:line spectral frequency)量子化を用いて、修正された様式で使用され得ることに留意されたい。一構成では、QPPPは、LSFのための13ビットと、プロトタイプ波形振幅のための12ビットと、プロトタイプ波形電力のための6ビットと、ピッチラグのための7ビットと、モードのための2ビットとを使用し、合計40ビットになり得る。
特に、本明細書で開示するシステム及び方法は、(QPPPのために必要なシードを与え得る)過渡符号化モードのために使用され得る。(例えば、2Kbpsボコーダにおける)この過渡符号化モードは、アップ過渡と、ダウン過渡と、有声過渡とを符号化するための統合モデルを使用し得る。
本明細書で開示するシステム及び方法は、1つ以上の過渡オーディオ又は音声フレームを符号化することについて説明する。一構成では、本明細書で開示するシステム及び方法は、残差信号中のピークの分析と、励起中のピークの配置のための好適な符号化モデルの決定と、合成励起の線形予測符号化(LPC)フィルタ処理とを使用し得る。
音声信号中の過渡フレームを極低ビットレートで符号化することが音声符号化における1つの課題である。過渡フレームは、一般に、新しい音声イベントの開始又は終了をマークし得る。そのようなフレームは、無声音声と有声音声との接合において生じる。時々、過渡フレームは、破裂音及び他の短い音声イベントを含み得る。従って、過渡フレーム中の音声信号は非定常であり得、それにより、従来の符号化方法は、そのようなフレームを符号化している間に不満足に実行される。例えば、多くの従来の手法は、標準有声フレームのために使用される過渡フレームを符号化するために同じ方法を使用する。これは過渡フレームの符号化を非効率的にさせ得る。本明細書で開示するシステム及び方法は過渡フレームの符号化を改善し得る。
次に、図を参照しながら様々な構成について説明する。同様の参照番号は機能的に同様の要素を示し得る。本明細書で概して説明し、図に示すシステム及び方法は、多種多様な異なる構成で構成及び設計され得る。従って、図に表される幾つかの構成についての以下のより詳細な説明は、請求する範囲を限定するものではなく、システム及び方法を代表するものにすぎない。
図1は、過渡フレームを符号化するためのシステム及び方法が実装され得る、電子機器102の一構成を示すブロック図である。追加又は代替として、過渡フレームを復号するためのシステム及び方法は電子機器102中に実装され得る。電子機器A102は過渡エンコーダ104を含み得る。過渡エンコーダ104の一例は線形予測符号化(LPC)エンコーダである。過渡エンコーダ104は、電子機器A102によって音声(又はオーディオ)信号106を符号化するために使用され得る。例えば、過渡エンコーダ104は、音声信号106を合成するために使用され得るパラメータのセット(集合)を推定又は生成することによって音声信号106の過渡フレームを「圧縮された」フォーマットに符号化する。一構成では、そのようなパラメータは、音声信号106を合成するために使用され得るピッチ(例えば、周波数)、振幅及びホルマント(例えば、共振)の推定値を表し得る。
電子機器A102は音声信号106を取得し得る。一構成では、電子機器A102は、マイクロフォンを使用して音響信号を捕捉及び/又はサンプリングすることによって音声信号106を取得する。別の構成では、電子機器A102は、別の機器(例えば、Bluetooth(登録商標)ヘッドセット、ユニバーサルシリアルバス(USB)ドライブ、セキュアデジタル(SD)カード、ネットワークインターフェース、ワイヤレスマイクロフォンなど)から音声信号106を受信する。音声信号106はフレーミングブロック/モジュール108に与えられ得る。本明細書で使用する「ブロック/モジュール」という用語は、特定の要素がハードウェア、ソフトウェア又は両方の組合せに実装され得ることを示すために使用され得る。
電子機器A102は、フレーミングブロック/モジュール108を使用して音声信号106を1つ以上のフレーム110(例えば、フレーム110のシーケンス)にセグメント化し得る。例えば、フレーム110は、特定の数の音声信号106サンプルを含み、及び/又は音声信号106のある時間量(例えば、10〜20ミリ秒)を含み得る。音声信号106がフレーム110にセグメント化されるとき、フレーム110は、それらが含んでいる信号に従って分類され得る。例えば、フレーム110は、フレームタイプ決定ブロック/モジュール124に与えられ得、フレームタイプ決定ブロック/モジュール124は、フレーム110が有声フレームであるか、無声フレームであるか、無音フレームであるか、過渡フレームであるかを決定し得る。一構成では、本明細書で開示するシステム及び方法は、過渡フレームを符号化するために使用され得る。
過渡フレームは、例えば、ある音声クラスと別の音声クラスとの間の境界上に位置し得る。例えば、音声信号106は、無声音(例えば、f、s、sh、thなど)から有声音(例えば、a、e、i、o、uなど)に遷移し得る。幾つかの過渡タイプは、(例えば、音声信号106の無声部分から有声部分に遷移するときの)アップ過渡、破裂音、有声過渡(例えば、線形予測符号化(LPC)変更及びピッチラグ変動)、及び(例えば、単語の末尾など、音声信号106の有声部分から無声又は無音部分に遷移するときの)ダウン過渡を含む。2つの音声クラスの中間のフレーム110は過渡フレームであり得る。その上、過渡フレームは、さらに有声過渡フレーム又は他の過渡フレームとして分類され得る。本明細書で開示するシステム及び方法は過渡フレームに有利に適用され得る。
フレームタイプ決定ブロック/モジュール124は、フレームタイプ126をエンコーダ選択ブロック/モジュール130と符号化モード決定ブロック/モジュール184とに与え得る。追加又は代替として、フレームタイプ126は、別の機器(例えば、電子機器B168)への送信のために送信(TX)及び/又は受信(RX)ブロック/モジュール160に与えられ得、及び/又はデコーダ162に与えられ得る。エンコーダ選択ブロック/モジュール130は、フレーム110を符号化するためのエンコーダを選択し得る。例えば、フレーム110が過渡的であることをフレームタイプ126が示す場合、エンコーダ選択ブロック/モジュール130は過渡フレーム134を過渡エンコーダ104に与え得る。しかしながら、フレーム110が、過渡的でない別の種類のフレーム136であることをフレームタイプ126が示す場合(例えば、有声、無声、無音など)、エンコーダ選択ブロック/モジュール130はその別のフレーム136を別のエンコーダ140に与え得る。従って、エンコーダ選択ブロック/モジュール130は、過渡フレーム134及び/又は別のフレーム136のシーケンスを生成し得ることに留意されたい。従って、エンコーダ選択ブロック/モジュール130によって、現在過渡フレーム134に加えて1つ以上の前フレーム134、136が与えられ得る。一構成では、電子機器A102は1つ以上の他のエンコーダ140を含み得る。これらの他のエンコーダに関するさらなる詳細を以下に与える。
過渡エンコーダ104は、過渡フレーム134に対して線形予測分析(例えば、LPC分析)を実行するための線形予測符号化(LPC)分析ブロック/モジュール122を使用し得る。LPC分析ブロック/モジュール122は、追加又は代替として、前フレーム110からの1つ以上のサンプルを使用し得ることに留意されたい。例えば、前フレーム110が過渡フレーム134である場合、LPC分析ブロック/モジュール122は、前過渡フレーム134からの1つ以上のサンプルを使用し得る。さらに、前フレーム110が別の種類のフレーム136である場合(例えば、有声、無声、無音など)、LPC分析ブロック/モジュール122は、他の前フレーム136からの1つ以上のサンプルを使用し得る。
LPC分析ブロック/モジュール122は1つ以上のLPC係数120を生成し得る。LPC係数120の例には、線スペクトル周波数(LSF)及び線スペクトル対(LSP:line spectral pair)がある。LPC係数120は量子化ブロック/モジュール118に与えられ得、量子化ブロック/モジュール118は1つ以上の量子化LPC係数116を生成し得る。量子化LPC係数116と、1つ以上の過渡フレーム134からの1つ以上のサンプルとは、残差信号114を決定するために使用され得る、残差決定ブロック/モジュール112に与えられ得る。例えば、残差信号114は、音声信号106から除去されたホルマント又はホルマントの影響(例えば、係数)を有していた音声信号106の過渡フレーム134を含み得る。残差信号114はピーク探索ブロック/モジュール128に与えられ得る。
ピーク探索ブロック/モジュール128は残差信号114中のピークを探索し得る。言い換えれば、過渡エンコーダ104は、残差信号114中のピーク(例えば、高いエネルギーの領域)を探索し得る。これらのピークは識別されて、1つ以上のピーク位置を含むピーク132のリスト又はセットが取得され得る。ピーク132のリスト又はセット中のピーク位置は、例えば、サンプル数及び/又は時間に関して指定され得る。ピーク132のリスト又はセットを取得することに関するさらなる詳細を以下に与える。
ピーク132のセットは、符号化モード決定ブロック/モジュール184、ピッチラグ決定ブロック/モジュール138及び/又はスケール係数決定ブロック/モジュール152に与えられ得る。ピッチラグ決定ブロック/モジュール138は、ピーク132のセットを使用してピッチラグ142を決定し得る。「ピッチラグ」は、過渡フレーム134中の2つの連続するピッチスパイク間の「距離」であり得る。ピッチラグ142は、例えば、サンプルの数及び/又は時間量において指定され得る。幾つかの構成では、ピッチラグ決定ブロック/モジュール138は、ピーク132のセット又は(ピーク132間の距離であり得る)ピッチラグ候補のセットを使用してピッチラグ142を決定し得る。例えば、ピッチラグ決定ブロック/モジュール138は、候補のセットからピッチラグ142を決定するために平均化又は平滑化アルゴリズムを使用し得る。他の手法も使用され得る。ピッチラグ決定ブロック/モジュール138によって決定されたピッチラグ142は、符号化モード決定ブロック/モジュール184、励起合成ブロック/モジュール148及び/又はスケール係数決定ブロック/モジュール152に与えられ得る。
符号化モード決定ブロック/モジュール184は、過渡フレーム134のための符号化モード(インジケータ又はパラメータ)186を決定し得る。一構成では、符号化モード決定ブロック/モジュール184は、過渡フレーム134のために第1の符号化モードを使用すべきか過渡フレーム134のために第2の符号化モードを使用すべきかを決定し得る。例えば、符号化モード決定ブロック/モジュール184は、過渡フレーム134が有声過渡フレームであるか他の過渡フレームであるかを決定し得る。符号化モード決定ブロック/モジュール184は、この決定を行うために1つ以上の種類の情報を使用し得る。例えば、符号化モード決定ブロック/モジュール184は、この決定を行うために、ピーク132のセット、ピッチラグ142、エネルギー比182、フレームタイプ126及び/又は他の情報を使用し得る。エネルギー比182は、エネルギー比決定ブロック/モジュール180によって前フレームと現在過渡フレーム134との間のエネルギー比に基づいて決定され得る。前フレームは、過渡フレーム134又は別の種類のフレーム136(例えば、無音、有声、無声など)であり得る。従って、過渡エンコーダブロック/モジュール104は過渡フレーム134中の重要な領域を識別し得る。これらの領域は、過渡フレーム134があまり一様及び/又は定常でないことがあるので、識別され得ることに留意されたい。概して、過渡エンコーダ104は、残差信号114中のピーク132のセットを識別し、これらのピーク132を使用して符号化モード186を決定し得る。次いで、選択された符号化モード186が使用されて過渡フレーム134中の音声信号が「符号化」又は「合成」され得る。
符号化モード決定ブロック/モジュール184は、過渡フレーム134のための選択された符号化モード186を示す符号化モード186を生成し得る。例えば、符号化モード186は、現在過渡フレームが「有声過渡」フレームである場合は第1の符号化モードを示し得、又は現在過渡フレームが「他の過渡」フレームである場合は第2の符号化モードを示し得る。符号化モード186は、励起合成ブロック/モジュール148に、ストレージに、(ローカル)デコーダ162に及び/又は遠隔デコーダ174に送られ(例えば、与えられ)得る。例えば、符号化モード186はTX/RXブロック/モジュール160に与えられ得、TX/RXブロック/モジュール160は符号化モード186をフォーマットし、電子機器B168に送り得、そこで符号化モード186はデコーダ174に与えられ得る。
励起合成ブロック/モジュール148は、符号化モード186と、ピッチラグ142と、プロトタイプ波形生成ブロック/モジュール144によって与えられるプロトタイプ波形146とに基づいて励起150を生成又は合成し得る。プロトタイプ波形生成ブロック/モジュール144は、スペクトル形状及び/又はピッチラグ142に基づいてプロトタイプ波形146を生成し得る。励起150、ピーク132のセット、ピッチラグ142及び/又は量子化LPC係数116はスケール係数決定ブロック/モジュール152に与えられ得、スケール係数決定ブロック/モジュール152は、励起150、ピーク132のセット、ピッチラグ142及び/又は量子化LPC係数116に基づいて利得(例えば、スケーリング係数)154のセットを生成し得る。利得154のセットは利得量子化ブロック/モジュール156に与えられ得、利得量子化ブロック/モジュール156は、利得154のセットを量子化して量子化利得158のセットを生成する。
一構成では、過渡フレームは、復号音声信号を生成するために、ピッチラグ142、量子化LPC係数116、量子化利得158、フレームタイプ126及び/又は符号化モード186を使用して復号され得る。ピッチラグ142、量子化LPC係数116、量子化利得158、フレームタイプ126及び/又は符号化モード186は、別の機器に送信され、記憶及び/又は復号され得る。
一構成では、電子機器A102は送信(TX)及び/又は受信(RX)ブロック/モジュール160を含み得る。現在フレーム110が過渡フレーム134でないが、何らかの他の種類のフレーム136である場合、フレーム136を符号化するために別のエンコーダ140(例えば、無音エンコーダ、1/4レートプロトタイプピッチ周期(QPPP)エンコーダ、雑音励起線形予測(NELP:noise excited linear prediction)エンコーダなど)が使用され得る。他のエンコーダ140は、符号化非一時的音声信号178を生成し得、それはTX/RXブロック/モジュール160に与えられ得る。フレームタイプ126もTX/RXブロック/モジュール160に与えられ得る。TX/RXブロック/モジュール160は、電子機器B168など、別の機器への送信のために、符号化非一時的音声信号178とフレームタイプ126とを1つ以上のメッセージ166中にフォーマットし得る。1つ以上のメッセージ166は、ワイヤレス及び/又はワイヤード接続又はリンクを使用して送信され得る。幾つかの構成では、1つ以上のメッセージ166は、衛星、基地局、ルータ、スイッチ及び/又は他の機器もしくは媒体によって電子機器B168に中継され得る。電子機器B168は、TX/RXブロック/モジュール170を使用して1つ以上のメッセージ166を受信し、1つ以上のメッセージ166をデフォーマットして音声信号情報172を生成し得る。例えば、TX/RXブロック/モジュール170は、1つ以上のメッセージ166を復調し、復号し(デコーダ174によって行われる音声信号復号と混同されるべきでない)、及び/又は他の方法でデフォーマットし得る。現在フレームが過渡フレーム134でない場合、音声信号情報172は、符号化非一時的音声信号とフレームタイプパラメータとを含み得る。
電子機器B168はデコーダ174を含み得る。デコーダ174は、無音フレーム用のデコーダ(例えば、無音デコーダ)、無声フレーム用のデコーダ(例えば、雑音励起線形予測(NELP)デコーダ)、過渡デコーダ及び/又は有声フレーム用のデコーダ(例えば、1/4レートプロトタイプピッチ周期(QPPP)デコーダ)など、1つ以上のタイプのデコーダを含み得る。音声信号情報172中のフレームタイプパラメータが使用されて、(デコーダ174中に含まれる)どのデコーダを使用すべきかが決定され得る。現在フレーム110が過渡フレーム134でない場合、デコーダ174は、符号化非一時的音声信号を復号して復号音声信号176を生成し得、その復号音声信号176は、(例えば、スピーカーを使用して)出力され、メモリに記憶され、及び/又は別の機器(例えば、Bluetoothヘッドセットなど)に送信され得る。
一構成では、電子機器A102はデコーダ162を含み得る。現在フレーム110が過渡フレーム134でないが、何らかの他の種類のフレーム136である場合、別のエンコーダ140は、符号化非一時的音声信号178を生成し得、その非一時的音声信号178はデコーダ162に与えられ得る。フレームタイプ126もデコーダ162に与えられ得る。デコーダ162は、無音フレーム用のデコーダ(例えば、無音デコーダ)、無声フレーム用のデコーダ(例えば、雑音励起線形予測(NELP)デコーダ)、過渡デコーダ及び/又は有声フレーム用のデコーダ(例えば、1/4レートプロトタイプピッチ周期(QPPP)デコーダ)など、1つ以上のタイプのデコーダを含み得る。フレームタイプ126が使用されて、(デコーダ162中に含まれる)どのデコーダを使用すべきかが決定され得る。現在フレーム110が過渡フレーム134でない場合、デコーダ162は、符号化非一時的音声信号178を復号して復号音声信号164を生成し得、その復号音声信号164は、(例えば、スピーカーを使用して)出力され、メモリに記憶され、及び/又は別の機器(例えば、Bluetoothヘッドセットなど)に送信され得る。
電子機器A102がTX/RXブロック/モジュール160を含む構成では、現在フレーム110が過渡フレーム134である場合、幾つかのパラメータがTX/RXブロック/モジュール160に与えられ得る。例えば、ピッチラグ142、量子化LPC係数116、量子化利得158、フレームタイプ126及び/又は符号化モード186がTX/RXブロック/モジュール160に与えられ得る。TX/RXブロック/モジュール160は、ピッチラグ142、量子化LPC係数116、量子化利得158、フレームタイプ126及び/又は符号化モード186を送信に好適なフォーマットにフォーマットし得る。例えば、TX/RXブロック/モジュール160は、1つ以上のメッセージ166として、ピッチラグ142、量子化LPC係数116、量子化利得158、フレームタイプ126及び/又は符号化モード186を符号化し(過渡エンコーダ104によって行われる過渡フレーム符号化と混同されるべきでない)、変調し、スケーリング(例えば、増幅)し、及び/又は他の方法でフォーマットし得る。TX/RXブロック/モジュール160は、1つ以上のメッセージ166を、電子機器B168など、別の機器に送信し得る。1つ以上のメッセージ166は、ワイヤレス及び/又はワイヤード接続又はリンクを使用して送信され得る。幾つかの構成では、1つ以上のメッセージ166は、衛星、基地局、ルータ、スイッチ及び/又は他の機器若しくは媒体によって電子機器B168に中継され得る。
電子機器B168は、TX/RXブロック/モジュール170を使用して、電子機器A102によって送信された1つ以上のメッセージ166を受信し得る。TX/RXブロック/モジュール170は、1つ以上の受信されたメッセージ166をチャネル復号し(音声信号復号と混同されるべきでない)、復調し、及び/又は他の方法でデフォーマットして音声信号情報172を生成し得る。現在フレームが過渡フレームである場合、音声信号情報172は、例えば、ピッチラグ、量子化LPC係数、量子化利得、フレームタイプパラメータ及び/又は符号化モードパラメータを備え得る。音声信号情報172はデコーダ174(例えば、LPCデコーダ)に与えられ得、デコーダ174は、復号(又は合成)された音声信号176を生成(例えば、復号)し得る。復号音声信号176は、トランスデューサ(例えば、スピーカー)を使用して音響信号(例えば、出力)に変換され、メモリに記憶され、及び/又は別の機器(例えば、Bluetoothヘッドセット)に送信され得る。
別の構成では、ピッチラグ142、量子化LPC係数116、量子化利得158、フレームタイプ126及び/又は符号化モード186は(電子機器A102上の)デコーダ162に与えられ得る。デコーダ162は、ピッチラグ142、量子化LPC係数116、量子化利得158、フレームタイプ126及び/又は符号化モード186を使用して復号音声信号164を生成し得る。復号音声信号164は、例えば、スピーカーを使用して出力され、メモリに記憶され、及び/又は別の機器に送信され得る。例えば、電子機器A102は、音声信号106を符号化し、メモリに記憶するデジタルボイスレコーダであり得、その音声信号106は、次いで、復号音声信号164を生成するために復号され得る。復号音声信号164は、次いで、トランスデューサ(例えば、スピーカー)を使用して音響信号(例えば、出力)に変換され得る。電子機器A102上のデコーダ162と、電子機器B168上のデコーダ174とは同様の機能を実行し得る。
幾つかの点に留意されたい。電子機器A102中に含まれるものとして示すデコーダ162は、構成に応じて、含まれる及び/又は使用されることがあってもなくてもよい。さらに、電子機器B168は、電子機器A102と併せて使用されても、使用されなくてもよい。さらに、情報186、142、116、158、126の幾つかのパラメータ又は種類がTX/RXブロック/モジュール160及び/又はデコーダ162に与えられるものとして示されているが、情報186、142、116、158、126のこれらのパラメータ又は種類は、TX/RXブロック/モジュール160及び/又はデコーダ162に送られる前にメモリに記憶されても、記憶されなくてもよい。
図2は、過渡フレームを符号化するための方法200の一構成を示す流れ図である。例えば、電子機器102が、音声信号106の過渡フレーム134を符号化するために、図2に示す方法200を実行し得る。電子機器102は、202において、現在過渡フレーム134を取得する。一構成では、電子機器102は、マイクロフォンを使用して音響音声信号をキャプチャすることによって電子音声信号106を取得し得る。追加又は代替として、電子機器102は、別の機器から音声信号106を受信し得る。電子機器102は、次いで、音声信号106を1つ以上のフレーム110にセグメント化し得る。フレーム110の一例は、音声信号106の一定数のサンプル又は所与の時間量(例えば、10〜20ミリ秒)を含み得る。電子機器102は、202において、例えば、現在フレーム110が過渡フレーム134であると電子機器102が決定したとき、現在過渡フレーム134を取得し得る。これは、例えば、フレームタイプ決定ブロック/モジュール124を使用して行われ得る。
電子機器102は、204において、現在過渡フレーム134に基づいて残差信号114を取得する。例えば、電子機器102は、202において残差信号114を取得するために、現在過渡フレーム134からLPC係数116(例えば、ホルマント)の影響を除去し得る。
電子機器102は、206において、残差信号114に基づいてピーク位置132のセットを決定する。例えば、電子機器102は、206においてピーク位置132のセットを決定するためにLPC残差信号114を探索し得る。ピーク位置は、例えば、時間及び/又はサンプル数に関して記述され得る。
電子機器102は、208において、現在過渡フレーム134を符号化するために第1の符号化モード(例えば、「符号化モードA」)を使用すべきか第2の符号化モード(例えば、「符号化モードB」)を使用すべきかを決定する。この決定は、例えば、ピーク位置132のセット、ピッチラグ142、前フレームタイプ126(例えば、有声、無声、無音、過渡)及び/又は(過渡フレーム134若しくは他のフレーム136であり得る)前フレーム110と現在過渡フレーム134との間のエネルギー比182に基づき得る。一構成では、第1の符号化モードは有声過渡符号化モードであり得、第2の符号化モードは「他の過渡」符号化モードであり得る。
208において、第1の符号化モード(例えば、符号化モードA)が決定又は選択された場合、電子機器102は、210において、現在過渡フレーム134のための第1の符号化モード(例えば、符号化モードA)に基づいて励起150を合成する。言い換えれば、電子機器102は、210において、選択された符号化モードに応じて励起150を合成し得る。
208において、第2の符号化モード(例えば、符号化モードB)が決定又は選択された場合、電子機器102は、212において、現在過渡フレーム134のための第2の符号化モード(例えば、符号化モードB)に基づいて励起150を合成する。言い換えれば、電子機器102は、212において、選択された符号化モードに応じて励起150を合成し得る。電子機器102は、214において、合成励起150及び/又は(現在)過渡フレーム134に基づいて複数のスケーリング係数(例えば、利得)154を決定する。214において、スケーリング係数154は、選択された過渡符号化モードに関係なく決定され得ることに留意されたい。
図3は、過渡フレームを符号化するための方法300のより具体的な構成を示す流れ図である。例えば、電子機器102が、音声信号106の過渡フレーム134を符号化するために、図3に示す方法300を実行し得る。電子機器102は、302において、現在過渡フレーム134を取得する。一構成では、電子機器102は、マイクロフォンを使用して音響音声信号を捕捉することによって電子音声信号106を取得し得る。追加又は代替として、電子機器102は、別の機器から音声信号106を受信し得る。電子機器102は、次いで、音声信号106を1つ以上のフレーム110にセグメント化し得る。フレーム110の一例は、音声信号106の一定数のサンプル又は所与の時間量(例えば、10〜20ミリ秒)を含み得る。電子機器102は、302において、例えば、現在フレーム110が過渡フレーム134であると電子機器102が決定したとき、現在過渡フレーム134を取得し得る。これは、例えば、フレームタイプ決定ブロック/モジュール124を使用して行われ得る。
電子機器102は、304において、線形予測(例えば、LPC)係数120のセットを取得するために、現在過渡フレーム134と現在過渡フレーム134より前の信号とを使用して線形予測分析を実行する。例えば、電子機器102は、ルックアヘッドバッファと、現在過渡フレーム134より前の音声信号106の少なくとも1つのサンプルを含んでいるバッファとを使用して、LPC係数120を取得し得る。
電子機器102は、306において、LPC係数120のセットに基づいて量子化線形予測(例えば、LPC)係数116のセットを決定する。例えば、電子機器102は、306において量子化LPC係数116のセットを決定するために、LPC係数120のセットを量子化する。
電子機器102は、308において、現在過渡フレーム134と量子化LPC係数116とに基づいて残差信号114を取得する。例えば、電子機器102は、308において残差信号114を取得するために、現在過渡フレーム134からLPC係数116(例えば、ホルマント)の影響を除去し得る。
電子機器102は、310において、残差信号114に基づいてピーク位置132のセットを決定する。例えば、電子機器102は、ピーク位置132のセットを決定するためにLPC残差信号114を探索し得る。ピーク位置は、例えば、時間及び/又はサンプル数に関して記述され得る。
一構成では、電子機器102は、310において、以下のようにピーク位置のセットを決定し得る。電子機器102は、(LPC)残差信号114と所定のウィンドウ信号とのサンプルの絶対値に基づいて包絡線信号を計算し得る。電子機器102は、次いで、包絡線信号と包絡線信号の時間シフトバージョンとの間の差に基づいて第1の勾配信号を計算し得る。電子機器102は、第1の勾配信号と第1の勾配信号の時間シフトバージョンとの間の差に基づいて第2の勾配信号を計算し得る。電子機器102は、次いで、第2の勾配信号値が所定の負の(第1の)閾値を下回る位置インデックスの第1のセットを選択し得る。電子機器102はまた、包絡線値が包絡線中の最大値に対する所定の(第2の)閾値を下回る位置インデックスをなくすことによって、位置インデックスの第1のセットから位置インデックスの第2のセットを決定し得る。例えば、所与のピーク位置における包絡線値が包絡線中の最大値の10%を下回る場合、そのピーク位置はリストからなくされる。さらに、電子機器102は、近隣位置インデックスに対する所定の差閾値でない位置インデックスをなくすことによって、位置インデックスの第2のセットから位置インデックスの第3のセットを決定し得る。差閾値の一例は、推定されたピッチラグ値である。言い換えれば、2つのピークがpitch_lag±デルタ内にない場合、包絡線値がより小さいピークがなくされる。位置インデックス(例えば、第1、第2及び/又は第3のセット)は、ピークの決定されたセットの位置に対応し得る。
電子機器102は、312において、現在過渡フレーム134を符号化するために第1の符号化モード(例えば、「符号化モードA」)を使用すべきか第2の符号化モード(例えば、「符号化モードB」)を使用すべきかを決定する。この決定は、例えば、ピーク位置132のセット、ピッチラグ142、前フレームタイプ126(例えば、有声、無声、無音、過渡)及び/又は(過渡フレーム134若しくは他のフレーム136であり得る)前フレーム110と現在過渡フレーム134との間のエネルギー比182に基づき得る。
一構成では、電子機器102は、312において、第1の符号化モード(例えば、符号化モードA)を使用すべきか第2の符号化モード(例えば、符号化モードB)を使用すべきかを以下のように決定し得る。電子機器102は、式(1)に従ってピークの推定された数(例えば、「Pest」)を決定し得る。
Figure 0005727018
式(1)において、「フレームサイズ」は、(例えば、サンプル数又は時間量単位の)現在過渡フレーム134のサイズである。「ピッチラグ」は、(例えば、サンプル数又は時間量単位の)現在過渡フレーム134のための推定されたピッチラグ142の値である。
電子機器102は、ピーク位置132の数がPestよりも大きいかそれに等しい場合、第1の符号化モード(例えば、符号化モードA)を選択し得る。さらに、電子機器102は、ピーク位置132のセット中の最後のピークが現在過渡フレーム134の終了から(第1の)距離d1内にあり、ピーク位置132のセット中の第1のピークが現在過渡フレーム134の開始から(第2の)距離d2内にある場合、第1の符号化モード(例えば、符号化モードA)を選択し得る。d1とd2の両方はピッチラグ142に基づいて決定され得る。d1とd2との一例はピッチラグ142である(例えば、d1=d2=pitch_lag)。音声信号106の(過渡フレーム134又は他のフレーム136であり得る)前フレーム110と現在過渡フレーム134との間のエネルギー比182が所定の範囲の外にある場合、第2の符号化モード(例えば、符号化モードB)が選択され得る。例えば、エネルギー比182は、前フレームの音声/残差のエネルギーを計算し、現在フレームの音声/残差のエネルギーを計算し、これらの2つのエネルギー値の比を取ることによって決定され得る。例えば、範囲は、0.00001≦energy_ratio≦100000であり得る。さらに、音声信号106の(過渡フレーム134又は他のフレーム136であり得る)前フレーム110のフレームタイプ126が無声又は無音であった場合、第2の符号化モード(例えば、符号化モードB)が選択され得る。
第1の符号化モード(例えば、符号化モードA)が選択された場合、電子機器102は、314において、現在過渡フレーム134のための第1の符号化モード(例えば、符号化モードA)に基づいて励起150を合成する。言い換えれば、電子機器102は、314において、選択された符号化モードに応じて励起を合成し得る。
一構成では、電子機器102は、314において、以下のように、第1の符号化モード(例えば、符号化モードA)に基づいて励起150を合成し得る。電子機器102は、(過渡フレーム134又は他のフレーム136であり得る)前フレーム110中の最後のピーク位置と現在過渡フレーム134のピッチラグ142とに基づいて、現在過渡フレーム134中の最後のピークの位置を決定し得る。励起150信号は、波形補間を使用して、前フレーム110の最後のサンプルと、現在過渡フレーム134中の最後のピークの第1のサンプル位置との間で合成され得る。第1の符号化モード(例えば、符号化モードA)が選択された場合、波形補間は、ピッチラグ142と所定のスペクトル形状とに基づくプロトタイプ波形146を使用し得る。
第2の符号化モード(例えば、符号化モードB)が選択された場合、電子機器102は、316において、現在過渡フレーム134のための第2の符号化モード(例えば、符号化モードB)に基づいて励起150を合成する。言い換えれば、電子機器102は、316において、選択された符号化モードに応じて励起150を合成し得る。
一構成では、第2の符号化モード(例えば、符号化モードB)が選択された場合、電子機器102は、316において、(ピッチラグ142と所定のスペクトル形状とに基づき得る)プロトタイプ波形146の繰り返し配置によって励起信号150を合成し得る。プロトタイプ波形146は、(ピーク位置132のセットからの第1のピーク位置に基づいて決定され得る)開始又は第1の位置から開始して繰り返し配置され得る。プロトタイプ波形146が繰り返し配置される回数は、ピッチラグと、開始位置と、現在過渡フレーム134サイズとに基づいて決定され得る。プロトタイプ波形146全体は、場合によっては整数の回数に適合しないことがあることに留意されたい。例えば、5.5個のプロトタイプがフレームを満たすことが必要とされる場合、現在フレームは6つのプロトタイプを用いて構築され得、その剰余又は余剰は、(次のフレームも過渡フレーム134である場合は)次のフレーム中で使用されるか、若しくは(フレームが過渡的でない(例えば、QPPP又は無声の)場合は)廃棄され得る。
電子機器102は、318において、合成励起150と過渡音声フレーム134とに基づいて複数(例えば、多数)のスケーリング係数154(例えば、利得)を決定する。電子機器102は、320において、複数の量子化スケーリング係数を生成するために複数のスケーリング係数154を量子化する。
電子機器102は、322において、(同じ又は異なる電子機器上の)デコーダに及び/又は記憶装置に、符号化モード186、ピッチラグ142、量子化LPC係数116、スケーリング係数154(又は量子化スケーリング係数158)及び/又はフレームタイプ126を送る。
図4は、前フレーム488と現在過渡フレーム434との一例を示すグラフである。図4に示す例では、グラフは、本明細書で開示するシステム及び方法に従って使用され得る前フレーム488と現在過渡フレーム434とを示している。例えば、現在過渡フレーム434内に示す波形は、過渡フレーム134として分類されたフレーム110の残差信号114の一例であり得る。前フレーム488内に示す波形は、(例えば、過渡フレーム134又は他のフレーム136であり得る)前フレーム110からの残差信号の一例であり得る。図4に示す例では、電子機器102は、本明細書で開示するシステム及び方法を使用して、第1の符号化モード(例えば、有声符号化モード又は符号化モードA)を使用すべきであると決定し得る。例えば、電子機器102は、この例では第1の符号化モード(例えば、符号化モードA)が使用されるべきであると決定するために、図2に関して説明した方法200を使用し得る。
より詳細には、図4は、「有声過渡」フレームと呼ばれ得る現在過渡フレーム434の一例を示している。電子機器102によって「有声過渡」フレーム434が検出されたとき、第1の符号化モード又は符号化モードAが使用され得る。図4のグラフからわかるように、有声過渡フレーム434は、前フレーム488に対する周期性及び/又は連続性があるときに生じ得る(従って、第1の符号化モード又は符号化モードAが使用され得る)。例えば、電子機器102が3つのピーク490a〜cを識別し、現在過渡フレーム434の長さを(ピーク間の距離である)ピッチラグ492で除算した値を取る場合、商は約3になるであろう。この計算において、ピッチラグ492a〜bのうちの1つが使用されるか、又は平均ピッチラグ492が使用され得ることに留意されたい。図4においてわかるように、前フレーム488と現在過渡フレーム434との間には何らかの連続性がある。これは、例えば、現在過渡フレーム434の長さをピッチラグ492で除算した値が3以下であり、現在過渡フレーム434中で3つのピーク490a〜cが検出され得るので、現在過渡フレーム434中で3つのピークが予想され得ることを意味し得る。これは、現在過渡フレーム434が前フレーム488に対してほぼ連続していることを示し得る。
現在過渡フレーム434が前フレーム488に対してほぼ連続していると検出されたとき、第1の符号化モード(例えば、符号化モードA)が使用され得る。従って、現在過渡フレーム434は、過渡的であるが、前フレーム488からの延長のように挙動し得る。従って、主要な1つの情報は、ピーク490a〜cがどのように配置されるかであり得る。ピークは極めて異なり得、それにより、フレームはより過渡的になり得ることに留意されたい。別の可能性は、LPCがフレーム全体にわたってどこかで変化し得ることであり、それは、フレームが過渡的である理由であり得る。しかしながら、図4の残差信号においてわかるように、現在過渡フレーム434は、(例えば、前フレーム488から)過去の信号を延長することによって合成され得る。従って、電子機器102は、現在過渡フレーム434を相応に符号化するために第1の符号化モード(例えば、符号化モードA)を選択し得る。
図4中のy軸又は垂直軸は波形の振幅(例えば、信号振幅)をプロットしていることに留意されたい。図4中のx軸又は水平軸は(例えば、ミリ秒単位の)時間を示す。構成に応じて、信号自体は、電圧変動、電流変動又は圧力変動などであり得る。
図5は、前フレーム594と現在過渡フレーム534との別の例を示すグラフである。より詳細には、グラフは、本明細書で開示するシステム及び方法に従って使用され得る前フレーム594と現在過渡フレーム534との一例を示している。例えば、電子機器102が、現在過渡フレーム534を「他の過渡」フレームとして検出又は分類し得る。「他の過渡」フレーム534が検出されたとき、電子機器102は、第2の符号化モード(例えば、符号化モードB)を使用し得る。例えば、電子機器102は、この例では第2の符号化モード(例えば、符号化モードB)が使用されるべきであると決定するために、図2に関して説明した方法200を使用し得る。
(図4において示した例とは対照的に)図5において分かるように、前フレーム594と現在過渡フレーム534との間には連続性が殆んど又は全くない。前フレーム594に対する連続性がないとき、電子機器102は、第2の符号化モード(例えば、符号化モードB)を使用し得る。第2の符号化モード(例えば、「他の過渡」符号化モード又は符号化モードB)が使用されるとき、現在過渡フレーム534中の近似的開始位置が決定され得る。電子機器102は、次いで、開始位置から開始して、現在過渡フレーム534の終了に達するまで、プロトタイプ波形を繰り返し配置することによって現在過渡フレーム534を合成し得る。例えば、電子機器102は、開始位置を、現在過渡フレーム534中の第1のピーク596の位置として決定し得る。さらに、電子機器102は、検出されたピッチラグ598に基づいてプロトタイプ波形146を生成し、開始位置から現在過渡フレーム534の終了までプロトタイプ波形146を繰り返し配置し得る。
図6は、過渡フレームを符号化するためのシステム及び方法が実装され得る、過渡エンコーダ604の一構成を示すブロック図である。過渡エンコーダ604の一例は線形予測符号化(LPC)エンコーダである。過渡エンコーダ604は、電子機器102によって音声(又はオーディオ)信号106の過渡フレームを符号化するために使用され得る。例えば、過渡エンコーダ604は、音声信号106(の過渡フレーム)を合成するために使用され得るパラメータのセットを推定又は生成することによって音声信号106の過渡フレームを「圧縮された」フォーマットに符号化する。一構成では、そのようなパラメータは、ピッチ(例えば、周波数)、振幅及びホルマント(例えば、共振)の推定値を表し得る。
過渡エンコーダ604は、現在過渡フレーム634を取得し得る。例えば、現在過渡フレーム634は、特定の数の音声信号サンプルを含み、及び/又は音声信号106のある時間量(例えば、10〜20ミリ秒)を含み得る。過渡フレームは、例えば、ある音声クラスと別の音声クラスとの間の境界上に位置し得る。例えば、音声信号106は、無声音(例えば、f、s、sh、thなど)から有声音(例えば、a、e、i、o、uなど)に遷移し得る。幾つかの過渡タイプは、(例えば、音声信号106の無声部分から有声部分に遷移するときの)アップ過渡、破裂音、有声過渡(例えば、線形予測符号化(LPC)変更及びピッチラグ変動)、及び(例えば、単語の末尾など、音声信号106の有声部分から無声又は無音部分に遷移するときの)ダウン過渡を含む。2つの音声クラスの中間の1つ以上のフレームは、1つ以上の過渡フレームであり得る。過渡フレームは、ピッチラグ、エネルギーなどの変動の分析によって検出され得る。この現象が複数のフレームにわたる場合、それらは過渡としてマークされ得る。その上、過渡フレームは、さらに「有声過渡」フレーム又は「他の過渡」フレームとして分類され得る。
過渡エンコーダ604はまた、前フレーム601、又は前フレーム601からの1つ以上のサンプルを取得し得る。一構成では、前フレーム601は、エネルギー比決定ブロック/モジュール680及び/又はLPC分析ブロック/モジュール622に与えられ得る。過渡エンコーダ604はさらに前フレームタイプ603を取得し得、前フレームタイプ603は符号化モード決定ブロック/モジュール684に与えられ得る。前フレームタイプ603は、無音、無声、有声又は過渡など、前フレームのタイプを示し得る。
過渡エンコーダ604は、現在過渡フレーム634に対して線形予測分析(例えば、LPC分析)を実行するための線形予測符号化(LPC)分析ブロック/モジュール622を使用し得る。LPC分析ブロック/モジュール622は、追加又は代替として、前フレーム601からの信号(例えば、1つ以上のサンプル)を使用し得ることに留意されたい。例えば、前フレーム601が過渡フレームである場合、LPC分析ブロック/モジュール622は、前過渡フレーム601からの1つ以上のサンプルを使用し得る。さらに、前フレーム601が別の種類のフレームである場合(例えば、有声、無声、無音など)、LPC分析ブロック/モジュール622は、他の前フレーム601からの1つ以上のサンプルを使用し得る。
LPC分析ブロック/モジュール622は1つ以上のLPC係数620を生成し得る。LPC係数620は量子化ブロック/モジュール618に与えられ得、量子化ブロック/モジュール618は1つ以上の量子化LPC係数616を生成し得る。量子化LPC係数616と、現在過渡フレーム634からの1つ以上のサンプルとは、残差決定ブロック/モジュール612に与えられ得、それらは残差信号614を決定するために使用され得る。例えば、残差信号614は、音声信号106から除去されたホルマント又はホルマントの影響(例えば、係数)を有していた音声信号106の過渡フレーム634を含み得る。残差信号614は正規化ブロック/モジュール609に与えられ得る。
正規化ブロック/モジュール609は残差信号614を正規化し、その結果、修正(例えば、正規化)残差信号611が生じ得る。例えば、正規化は、現在フレーム中のピッチパルスを滑らかに展開するピッチ輪郭に整列させるためにそれらのピッチパルスを移動させる。一構成では、正規化のプロセスは、「Enhanced Variable Rate Codec, Speech Service Options 3, 68, 70, and 73 for Wideband Spread Spectrum Digital Systems」と題する3GPP2文書C.S0014Dのセクション4.11.6に詳細に記載されているように使用され得る。修正残差信号611は、ピーク探索ブロック/モジュール628に、LPC合成ブロック/モジュール605及び/又は励起合成ブロック/モジュール648に与えられ得る。LPC合成ブロック/モジュール605は、修正音声信号607を生成(例えば、合成)し得、修正音声信号607はスケール係数決定ブロック/モジュール652に与えられ得る。
ピーク探索ブロック/モジュール628は修正残差信号611中のピークを探索し得る。言い換えれば、過渡エンコーダ604は修正残差信号611中のピーク(例えば、高いエネルギーの領域)を探索し得る。これらのピークは識別されて、1つ以上のピーク位置を含むピーク632のリスト又はセットが取得され得る。ピーク632のリスト又はセット中のピーク位置は、例えば、サンプル数及び/又は時間に関して指定され得る。
ピーク632のセットは、符号化モード決定ブロック/モジュール684、ピッチラグ決定ブロック/モジュール638及び/又はスケール係数決定ブロック/モジュール652に与えられ得る。ピッチラグ決定ブロック/モジュール638は、ピーク632のセットを使用してピッチラグ642を決定し得る。「ピッチラグ」は、現在過渡フレーム634中の2つの連続するピッチスパイク間の「距離」であり得る。ピッチラグ642は、例えば、サンプルの数及び/又は時間量において指定され得る。幾つかの構成では、ピッチラグ決定ブロック/モジュール638は、ピーク632のセット又は(ピーク632間の距離であり得る)ピッチラグ候補のセットを使用してピッチラグ642を決定し得る。例えば、ピッチラグ決定ブロック/モジュール638は、候補のセットからピッチラグ642を決定するために平均化又は平滑化アルゴリズムを使用し得る。他の手法も使用され得る。ピッチラグ決定ブロック/モジュール638によって決定されたピッチラグ642は、符号化モード決定ブロック/モジュール684、励起合成ブロック/モジュール648及び/又はスケール係数決定ブロック/モジュール652に与えられ得る。
符号化モード決定ブロック/モジュール684は、現在過渡フレーム634のための符号化モード686を決定し得る。一構成では、符号化モード決定ブロック/モジュール684は、現在過渡フレーム634のための有声過渡符号化モード(例えば、第1の符号化モード)を使用すべきか、現在過渡フレーム634のための「他の過渡」符号化モード(例えば、第2の符号化モード)を使用すべきかを決定し得る。例えば、符号化モード決定ブロック/モジュール684は、過渡フレームが有声過渡フレームであるか他の過渡フレームであるかを決定し得る。有声過渡フレームは、前フレーム601からの何らかの連続性を有する過渡フレームであり得る(一例は図4に関して上記で説明した)。「他の過渡」フレームは、前フレーム601からの連続性を殆んど又は全く有しない過渡フレームであり得る(一例は図5に関して上記で説明した)。符号化モード決定ブロック/モジュール684は、この決定を行うために1つ以上の種類の情報を使用し得る。例えば、符号化モード決定ブロック/モジュール684は、この決定を行うために、ピーク632のセット、ピッチラグ642、エネルギー比682及び/又は前フレームタイプ603を使用し得る。符号化モード決定ブロック/モジュール684がどのように符号化モード686を決定し得るかの一例を以下の図7に関して与えている。
エネルギー比682は、エネルギー比決定ブロック/モジュール680によって前フレーム601と現在過渡フレーム634との間のエネルギー比に基づいて決定され得る。前フレーム601は、過渡フレーム又は別の種類のフレーム(例えば、無音、有声、無声など)であり得る。
符号化モード決定ブロック/モジュール684は、現在過渡フレーム634のための選択された符号化モードを示す符号化モード686を生成し得る。例えば、符号化モード686は、現在過渡フレーム634が「有声過渡」フレームである場合は有声過渡符号化モードを示し得、又は現在過渡フレーム634が「他の過渡」フレームである場合は「他の過渡」符号化モードを示し得る。一構成では、符号化モード決定ブロック/モジュール684は、前フレーム残差625から最後のピーク615に基づいてこの決定を行い得る。例えば、符号化モード決定ブロック/モジュール684に供給する最後のピーク推定ブロック/モジュール613が、前フレーム残差625に基づいて前フレームの最後のピーク615を推定し得る。これにより、過渡エンコーダ604が、前フレームの最後のピーク615から開始して、現在フレーム又は現フレームへの連続性を探索することが可能になり得る。符号化モード686は、励起合成ブロック/モジュール648に、ストレージに、「ローカル」デコーダに及び/又は(別の機器上の)遠隔デコーダに送られ(例えば、与えられ)得る。例えば、符号化モード686はTX/RXブロック/モジュールに与えられ得、TX/RXブロック/モジュールは符号化モード686をフォーマットし、別の電子機器に送り得、そこで符号化モード686はデコーダに与えられ得る。
励起合成ブロック/モジュール648は、プロトタイプ波形646、符号化モード686、(場合によっては)現在フレームの第1のピーク位置619、(場合によっては)修正残差信号611、ピッチラグ642、(場合によっては)(例えば、位置632のピークのセットからの)現在フレームからの推定された最後のピーク位置、及び/又は前フレーム残差信号625に基づいて励起650を生成又は合成し得る。例えば、「他の過渡」符号化モード686が選択された場合、第1のピーク推定ブロック/モジュール617は第1のピーク位置619を決定し得る。その場合、第1のピーク位置619が励起合成ブロック/モジュール648に与えられ得る。別の例では、(過渡)励起合成ブロック/モジュール648は、(ピーク位置632のリストからの、及び/又は、例えば、(便宜上その接続は図6に図示されていない)前フレーム615の最後のピークとピッチラグ642とに基づいて決定された)現在過渡フレーム634からの最後のピーク位置又は値を使用し得る。所定の形状627とピッチラグ642とに基づいてプロトタイプ波形646を生成し得るプロトタイプ波形生成ブロック/モジュール644によって、プロトタイプ波形646が与えられ得る。励起合成ブロック/モジュール648がどのように励起650を合成し得るかの例を以下の図8に関して与えている。
励起合成ブロック/モジュール648は、1つ以上の合成励起ピーク位置629のセットをピークマッピングブロック/モジュール621に与え得る。また、ピーク632のセット(修正残差信号611からのピーク632のセットであり、合成励起ピーク位置629と混同されるべきでない)は、ピークマッピングブロック/モジュール621に与えられ得る。ピークマッピングブロック/モジュール621は、ピーク632のセットと合成励起ピーク位置629とに基づいてマッピング623を生成し得る。マッピング623はスケール係数決定ブロック/モジュール652に与えられ得る。
励起650、マッピング623、ピーク632のセット、ピッチラグ642、量子化LPC係数616及び/又は修正音声信号607はスケール係数決定ブロック/モジュール652に与えられ得、スケール係数決定ブロック/モジュール652は、それの入力650、623、632、642、616、607のうちの1つ以上に基づいて利得654のセットを生成し得る。利得654のセットは利得量子化ブロック/モジュール656に与えられ得、利得量子化ブロック/モジュール656は、利得654のセットを量子化して量子化利得658のセットを生成する。
過渡エンコーダ604は、1つ以上のブロック/モジュール又は機器に、符号化モード686、(場合によっては)第1のピーク位置619、ピッチラグ642、量子化利得658及び量子化LPC係数616のうちの1つ以上を送るか、出力するか、又は与え得る。例えば、説明した情報686、619、642、658、616の一部又は全部が送信機に与えられ得、送信機は、それをフォーマットし及び/又は別の機器に送信し得る。追加又は代替として、情報686、619、642、658、616の一部又は全部は、メモリに記憶され及び/又はデコーダに与えられ得る。情報686、619、642、658、616の一部又は全部が使用されて、音声信号がローカルに又はリモートで合成(例えば、復号)され得る。復号音声信号は、次いで、例えば、スピーカーを使用して出力され得る。
図7は、符号化モードを選択するための方法700の一構成を示す流れ図である。この構成では、(例えば、過渡エンコーダ604を含む)電子機器は、「有声過渡」符号化モード(例えば、第1の符号化モード又は符号化モードA)を使用すべきか「他の過渡」符号化モード(例えば、第2の符号化モード又は符号化モードB)を使用すべきかを以下のように決定し得る。電子機器は、702において、式(2)に従ってピークの推定された数(例えば、「Pest」)を決定する。
Figure 0005727018
式(2)において、「フレームサイズ」は、(例えば、サンプル数又は時間量単位の)現在過渡フレーム634のサイズである。「ピッチラグ」は、(例えば、サンプル数又は時間量単位の)現在過渡フレーム634のための推定されたピッチラグ642の値である。電子機器は、704において、ピーク位置632の数がPestよりも大きいかそれに等しい場合、有声過渡符号化モード(例えば、第1の符号化モード又は符号化モードA)を選択する。
電子機器は、706において、ピッチラグ642に基づいて第1の距離(例えば、d1)を決定する。電子機器は、708において、ピッチラグ642に基づいて第2の距離(例えば、d2)を決定する。一構成では、d1及びd2は、ピッチラグ642の固定部分となるように設定される。例えば、d1=0.2*pitch_lag及びd2=0.25*pitch_lag。
電子機器は、710において、ピーク位置632のセット中の最後のピークが現在過渡フレーム634の終了から第1の距離(d1)内にあり、ピーク位置632のセット中の第1のピークが現在過渡フレーム634の開始から第2の距離(d2)内のある場合、有声過渡符号化モードを選択する。距離はサンプル、時間などの単位で測定され得ることに留意されたい。
712において、(例えば、音声信号106の)前フレーム601と現在過渡フレーム634との間のエネルギー比682が所定の範囲の外にある場合、電子機器は、「他の過渡」符号化モード(例えば、第2の符号化モード又は符号化モードB)を選択する。例えば、エネルギー比682は、前フレームの音声/残差のエネルギーを計算し、現在フレームの音声/残差のエネルギーを計算し、これらの2つのエネルギー値の比を取ることによって決定され得る。所定の範囲の一例は0.00001≦energy_ratio≦100000である。714において、前フレームタイプ603が無声又は無音である場合、電子機器は「他の過渡」符号化モード(例えば、符号化モードB)を選択する。
図8は、励起信号を合成するための方法800の一構成を示す流れ図である。電子機器602は、802において、有声過渡符号化モード(例えば、第1の符号化モード又は符号化モードA)を使用すべきか「他の過渡」符号化モード(例えば、第2の符号化モード又は符号化モードB)を使用すべきかを決定する。例えば、電子機器602は、図7に関して説明した方法700を使用してこの決定を行い得る。
802において、電子機器602が(励起650を合成するために)有声過渡符号化モードを使用すべきであると決定した場合、電子機器602は、804において、現在過渡フレーム634中の最後のピーク位置を決定する(例えば、推定する)。この決定804は、前フレームからの最後のピーク位置(例えば、最後のピーク推定ブロック/モジュール613からの最後のピーク615、又は前フレームからのピーク位置632のセットからの最後のピーク)と、現在過渡フレーム634からのピッチラグ642とに基づいて行われ得る。例えば、現在過渡フレーム634のための最後のピーク位置を推定するために前フレーム残差信号625とピッチラグ642とが使用され得る。例えば、前フレームが過渡的であった場合、(例えば、ピーク位置632の前フレームのセット、又は最後のピーク推定ブロック/モジュール613からの最後のピーク615から)前フレーム中の最後のピークの位置が知られ、現在フレーム中の最後のピークの位置は、最後のピッチサイクルを決定するまで、固定数のピッチラグ642値を前方に現在フレームへと移動させることによって決定され得る。前フレームが有声である場合、前フレーム中の最後のピークの位置を決定するために、(例えば、最後のピーク推定ブロック/モジュール613によって又は励起合成ブロック/モジュール648によって)ピーク探索が実行され得る。有声過渡は無声フレームの後に決してこないことがある。
電子機器602は、806において、励起信号650を合成する。励起信号650は、806において、波形補間を使用して、前フレーム601の最後のサンプルと、現在過渡フレーム634中の(推定された)最後のピークの第1のサンプル位置との間で合成され得る。波形補間は、ピッチラグ642と所定のスペクトル形状627とに基づくプロトタイプ波形646を使用し得る。
802において、電子機器602が他の過渡符号化モード(例えば、第2の符号化モード又は符号化モードB)を使用すべきであると決定した場合、電子機器602は、808において、他の過渡符号化モードを使用して励起650を合成し得る。例えば、電子機器602は、808において、プロトタイプ波形646を繰り返し配置することによって励起信号650を合成する。プロトタイプ波形646は、ピッチラグ642と所定のスペクトル形状627とに基づいて生成又は決定され得る。プロトタイプ波形646は、現在過渡フレーム634中の第1の位置において開始して繰り返し配置され得る。第1の位置は、ピーク位置632のセットからの第1のピーク位置619に基づいて決定され得る。プロトタイプ波形646が繰り返し配置される回数は、ピッチラグ642と、第1の位置と、現在過渡フレーム634サイズとに基づいて決定され得る。例えば、プロトタイプ波形646(及び/又はプロトタイプ波形646の部分)は、現在過渡フレーム634の終了に達するまで繰り返し配置され得る。
図9は、過渡フレームを復号するためのシステム及び方法が実装され得る、過渡デコーダ931の一構成を示すブロック図である。デコーダ931は、随意の第1のピークアンパッキングブロック/モジュール953、励起合成ブロック/モジュール941及び/又はピッチ同期利得スケーリング及びLPC合成ブロック/モジュール947を含み得る。過渡デコーダ931の一例はLPCデコーダである。例えば、過渡デコーダ931は、図1に示すデコーダ162、174であり、及び/又は図1に示すデコーダ162、174とともに含まれるデコーダのうちの1つであり得る。
過渡デコーダ931は、利得945、第1のピーク位置933a(パラメータ)、モード935、前フレーム残差937、ピッチラグ939及びLPC係数949のうちの1つ以上を取得し得る。例えば、過渡エンコーダ104は、利得945、第1のピーク位置933a、モード935、ピッチラグ939及び/又はLPC係数949を与え得る。前フレーム残差は、(例えば、時間n−1において)フレームを復号した後にデコーダが記憶する前フレームの復号された残差であり得ることに留意されたい。一構成では、この情報945、933a、935、939、949は、デコーダ931と同じ電子機器上にあるエンコーダ104から発生し得る。例えば、過渡デコーダ931は、エンコーダ104から情報945、933a、935、939、949を直接受信するか又はそれらの情報をメモリから取り出し得る。別の構成では、情報945、933a、935、939、949は、デコーダ931とは異なる電子機器102上にあるエンコーダ104から発生し得る。例えば、過渡デコーダ931は、情報945、933a、935、939、949を別の電子機器102から受信している受信機170からそれらの情報を取得し得る。第1のピーク位置933aは、第1の符号化モード(例えば、有声過渡符号化モード)が使用されるときなど、エンコーダ104によって常に与えられるとは限らないことに留意されたい。
幾つかの構成では、パラメータとして、利得945、第1のピーク位置933a、モード935、ピッチラグ939及び/又はLPC係数949が受信され得る。より詳細には、過渡デコーダ931が、利得パラメータ945、第1のピーク位置パラメータ933a、モードパラメータ935、ピッチラグパラメータ939及び/又はLPC係数パラメータ949を受信し得る。例えば、この情報945、933a、935、939、949の各タイプは、ビット数を使用して表され得る。一構成では、これらのビットはパケット中で受信され得る。これらのビットは、過渡デコーダ931が情報945、933a、935、939、949を使用し得るように、電子機器及び/又は過渡デコーダ931によってアンパック、解釈、デフォーマット及び/又は復号され得る。一構成では、ビットは、表(1)に記載されている情報945、933a、935、939、949のために割り振られ得る。
Figure 0005727018
表(1)に示すフレームタイプパラメータは、デコーダ(例えば、NELPデコーダ、QPPPデコーダ、無音デコーダ、過渡デコーダなど)を選択するために使用され得、フレーム誤りに対して保護する(例えば、検出する)ためのフレーム誤り保護が使用され得ることに留意されたい。
モード935は、音声又はオーディオ信号を符号化するために第1の符号化モード(例えば、符号化モードA又は有声過渡符号化モード)が使用されたか第2の符号化モード(例えば、符号化モードB又は「他の過渡」符号化モード)が使用されたかを示し得る。モード935は、第1のピークアンパッキングブロック/モジュール953及び/又は励起合成ブロック/モジュール941に与えられ得る。
モード935が第2の符号化モード(例えば、他の過渡符号化モード)を示す場合、第1のピークアンパッキングブロック/モジュール953は、第1のピーク位置933bを取り出すか又はアンパックし得る。例えば、過渡デコーダ931によって受信された第1のピーク位置933aは、幾つかのビット(例えば、3ビット)を使用して第1のピーク位置を表す第1のピーク位置パラメータ933aであり得る。追加又は代替として、第1のピーク位置933aは、他の情報(例えば、ヘッダ情報、他のペイロード情報など)とともにパケット中に含まれ得る。第1のピークアンパッキングブロック/モジュール953は、第1のピーク位置パラメータ933aをアンパックし、及び/又はピーク位置パラメータ933aを解釈(例えば、復号、デフォーマットなど)して、第1のピーク位置に933bを取得し得る。但し、幾つかの構成では、第1のピーク位置933aは、アンパッキングが必要とされないようなフォーマットで過渡デコーダ931に与えられ得る。その構成では、過渡デコーダ931は第1のピークアンパッキングブロック/モジュール953を含まないことがあり、第1のピーク位置933は励起合成ブロック/モジュール941に直接与えられ得る。
モード935が第1の符号化モード(例えば、有声過渡符号化モード)を示す場合、第1のピーク位置(パラメータ)933aが受信されないことがあり、及び/又は第1のピークアンパッキングブロック/モジュール953がどんな動作も実行する必要がないことがある。そのような場合、第1のピーク位置933は励起合成ブロック/モジュール941に与えられないことがある。
励起合成ブロック/モジュール941は、ピッチラグ939、前フレーム残差937、モード935及び/又は第1のピーク位置933に基づいて励起943を合成し得る。例えば、第2の符号化モード(例えば、他の過渡符号化モード)が使用される場合、励起943を合成するために第1のピーク位置933のみが使用され得る。励起943がどのように合成され得るかの一例を以下の図11に関して与えている。
励起943は、ピッチ同期利得スケーリング及びLPC合成ブロック/モジュール947に与えられ得る。ピッチ同期利得スケーリング及びLPC合成ブロック/モジュール947は、励起943と利得945とLPC係数949とを使用して、合成又は復号された音声信号951を生成し得る。ピッチ同期利得スケーリング及びLPC合成ブロック/モジュール947の一例を以下の図14に関して説明している。合成音声信号951は、メモリに記憶され、スピーカーを使用して出力され、及び/又は別の電子機器に送信され得る。
図10は、過渡フレームを復号するための方法1000の一構成を示す流れ図である。電子機器が、1002において、過渡フレームを示すフレームタイプ(例えば、図1に示すフレームタイプ126など、インジケータ又はパラメータ)を取得(例えば、受信、取り出しなど)する。言い換えれば、電子機器は、現在フレームのフレームタイプが過渡フレームであることをフレームタイプが示すとき、図10に示す方法1000を実行し得る。幾つかの構成では、フレームタイプは、符号化電子機器から送られたフレームタイプパラメータであり得る。
電子機器は、1004において、1つ以上のパラメータを取得する。例えば、電子機器は、利得945、第1のピーク位置933a、(過渡符号化)モード935、ピッチラグ939及び/又はLPC係数949を表すパラメータを受信するか、取り出すか又は他の方法で取得し得る。例えば、電子機器は、(1つ以上のパケット又はメッセージとして)別の電子機器からこれらのパラメータのうちの1つ以上を受信し得、メモリからこれらのパラメータのうちの1つ以上を取り出し得、及び/又は他の方法でエンコーダ104からこれらのパラメータのうちの1つ以上を取得し得る。一構成では、パラメータは、ワイヤレスに及び/又は衛星から受信され得る。
電子機器は、1006において、過渡符号化モードパラメータに基づいて過渡符号化モード935を決定する。例えば、電子機器は、過渡デコーダ931によって使用可能である過渡符号化モード935を取得するために、過渡符号化モードパラメータをアンパック、復号及び/又はデフォーマットし得る。過渡符号化モード935は第1の符号化モード(例えば、符号化モードA又は有声過渡符号化モード)を示すか、あるいは過渡符号化モード935は第2の符号化モード(例えば、符号化モードB又は他の過渡符号化モード)を示し得る。
電子機器はまた、1008において、ピッチラグパラメータに基づいてピッチラグ939を決定する。例えば、電子機器は、過渡デコーダ931によって使用可能であるピッチラグ939を取得するために、ピッチラグパラメータをアンパック、復号及び/又はデフォーマットし得る。
電子機器は、1010において、過渡符号化モード935に基づいて励起信号943を合成する。例えば、過渡符号化モード935が第2の符号化モード(例えば、他の過渡符号化モード)を示す場合、電子機器は、1010において、第1のピーク位置933を使用して励起信号943を合成する。他の場合は、電子機器は、1010において、第1のピーク位置933を使用せずに励起信号943を合成する。1010において過渡符号化モード935に基づいて励起信号943を合成することについてのより詳細な例を、以下の図11に関して与えている。
電子機器は、1012において、1つ以上の利得945に基づいて励起信号943をスケーリングして、スケーリングされた励起信号943を生成する。例えば、電子機器は、励起信号943に1つ以上のスケーリング係数又は利得945を乗算することによって、励起信号に利得(例えば、スケーリング係数)945を適用し得る。
電子機器は、1014において、LPCパラメータに基づいてLPC係数949を決定する。例えば、電子機器は、過渡デコーダ931によって使用可能であるLPC係数949を取得するために、LPC係数パラメータ949をアンパック、復号及び/又はデフォーマットし得る。
電子機器は、1016において、スケーリングされた励起信号943とLPC係数949とに基づいて合成音声信号951を生成する。1016において合成音声信号951を生成することについての一例を、図14に関して以下で説明している。合成音声信号951は、メモリに記憶され、スピーカーを使用して出力され、及び/又は別の電子機器に送信され得る。
図11は、励起信号を合成するための方法1100の一構成を示す流れ図である。図11に示す方法1100は、例えば、合成音声信号951を生成するために過渡デコーダ931によって使用され得る。電子機器は、1102において、有声過渡符号化モード(例えば、第1の符号化モード又は符号化モードA)が使用されるべきか「他の過渡」符号化モード(例えば、第2の符号化モード又は符号化モードB)が使用されるべきかを決定する。一構成では、電子機器は、有声過渡符号化モードが使用されるか他の過渡符号化モードが使用されるかを示す符号化モードパラメータを取得又は受信する。例えば、符号化モードパラメータはシングルビットであり得、「1」が有声過渡符号化モードを示し、「0」が「他の過渡」符号化モードを示すか、又はその逆である。
1102において有声過渡符号化モードが使用されると電子機器が決定した場合、電子機器は、1104において、現在過渡フレーム中の最後のピーク位置を決定(例えば、推定)する。この決定1104は、前フレームからの最後のピーク位置と、現在過渡フレームからのピッチラグ939とに基づいて行われ得る。例えば、電子機器は、最後のピーク位置を推定するために、前フレーム残差信号937とピッチラグ939とを使用し得る。
電子機器は、1106において、励起信号943を合成する。励起信号943は、1106において、波形補間を使用して、前フレームの最後のサンプルと、現在過渡フレーム中の(推定された)最後のピークの第1のサンプル位置との間で合成され得る。波形補間は、ピッチラグ939と所定のスペクトル形状とに基づくプロトタイプ波形を使用し得る。
1102において、他の過渡符号化モード(例えば、第2の符号化モード又は符号化モードB)を使用すべきであると電子機器が決定した場合、電子機器は、1108において、第1のピーク位置933を取得する。一例では、電子機器は、第1のピーク位置933を取得するために、受信された第1のピーク位置パラメータをアンパックし、及び/又はピーク位置パラメータを解釈(例えば、復号、デフォーマットなど)し得る。別の例では、電子機器は、1108において、メモリから第1のピーク位置933を取り出すか、又はエンコーダから第1のピーク位置933を取得し得る。
電子機器は、1110において、他の過渡符号化モードを使用して励起943を合成する。例えば、電子機器は、1110において、プロトタイプ波形を繰り返し配置することによって励起信号943を合成し得る。プロトタイプ波形は、ピッチラグ939と所定のスペクトル形状とに基づいて生成又は決定され得る。プロトタイプ波形は、第1の位置において開始して繰り返し配置され得る。第1の位置は第1のピーク位置933に基づいて決定され得る。プロトタイプ波形が繰り返し配置される回数は、ピッチラグ939と、第1の位置と、現在過渡フレームサイズとに基づいて決定され得る。例えば、プロトタイプ波形は、現在過渡フレームの終了に達するまで繰り返し配置され得る。(整数個の全プロトタイプ波形がフレーム内に均等に収まらない場合は)プロトタイプ波形の一部分も配置され得、及び/又は残りの部分が後続のフレーム中に配置されるかもしくは廃棄され得ることに留意されたい。
図12は、過渡フレームを符号化するためのシステム及び方法が実装され得る、電子機器1202の一例を示すブロック図である。この例では、電子機器1202は、前処理及び雑音抑圧ブロック/モジュール1255と、モデルパラメータ推定ブロック/モジュール1259と、レート決定ブロック/モジュール1257と、第1のスイッチングブロック/モジュール1261と、無音エンコーダ1263と、雑音励起線形予測(NELP)エンコーダ1265と、過渡エンコーダ1267と、1/4レートプロトタイプピッチ周期(QPPP)エンコーダ1269と、第2のスイッチングブロック/モジュール1271と、パケットフォーマッティングブロック/モジュール1273とを含む。
前処理及び雑音抑圧ブロック/モジュール1255は、音声信号1206を取得又は受信し得る。一構成では、前処理及び雑音抑圧ブロック/モジュール1255は、音声信号1206中の雑音を抑制し、及び/又は音声信号1206に対してフィルタ処理などの他の処理を実行し得る。得られた出力信号はモデルパラメータ推定ブロック/モジュール1259に与えられる。
モデルパラメータ推定ブロック/モジュール1259は、LPCと、第1のカットピッチラグと、第1のカットピッチラグにおける正規化自己相関とを推定し得る。例えば、このプロシージャは、拡張可変レートコーデック/拡張可変レートコーデックB及び/又は拡張可変レートコーデック広帯域(EVRC/EVRC−B/EVRC−WB)において使用されるプロシージャに同様であり得る。レート決定ブロック/モジュール1257は、音声信号1206を符号化するための符号化レートを決定し得る。符号化レートは、(符号化)音声信号1206を復号する際に使用するためにデコーダに与えられ得る。
電子機器1202は、音声信号1206を符号化するためにどのエンコーダを使用すべきかを決定し得る。時々、音声信号1206は、実際の音声を常に含んでいるとは限らないが、例えば、無音及び/又は雑音を含んでいることがあることに留意されたい。一構成では、電子機器1202は、モデルパラメータ推定1259に基づいてどのエンコーダを使用すべきかを決定し得る。例えば、電子機器1202が音声信号1206中で無音を検出した場合、電子機器1202は、無音エンコーダ1263を通して(無音)音声信号をチャネリングするために第1のスイッチングブロック/モジュール1261を使用し得る。第1のスイッチングブロック/モジュール1261は、モデルパラメータ推定1259に基づいて、NELPエンコーダ1265、過渡エンコーダ1267又はQPPPエンコーダ1269によって符号化するように音声信号1206をスイッチングするために同様に使用され得る。
無音エンコーダ1263は、1つ以上の幾つかの情報を用いて無音を符号化又は表現し得る。例えば、無音エンコーダ1263は、音声信号1206中の無音の長さを表すパラメータを生成し得る。本明細書で開示するシステム及び方法の幾つかの構成のために使用され得る無音/背景を符号化する2つの例が、「Enhanced Variable Rate Codec, Speech Service Options 3, 68, 70, and 73 for Wideband Spread Spectrum Digital Systems」と題する3GPP2文書C.S0014Dのセクション4.15及び4.17に記載されている。
雑音励起線形予測(NELP)エンコーダ1265は、無声音声として分類されたフレームを符号化するために使用され得る。NELP符号化は、信号再生に関して効果的に動作し、音声信号1206はピッチ構造を殆んど又は全く有しない。より詳細には、NELPは、無声音声又は背景雑音など、性質が雑音様である音声を符号化するために使用され得る。NELPは、フィルタ処理された擬似ランダム雑音信号を使用して無声音声をモデル化する。そのような音声セグメントの雑音様の性質は、デコーダにおいてランダム信号を生成し、それらに適切な利得を適用することによって再構成され得る。NELPは、コード化音声について単純なモデルを使用し、それによってより低いビットレートを達成し得る。
過渡エンコーダ1267は、本明細書で開示するシステム及び方法に従って音声信号1206中の過渡フレームを符号化するために使用され得る。例えば、過渡エンコーダ1267として、上記の図1及び図6に関して説明した過渡エンコーダ104、604が使用され得る。従って、例えば、電子機器1202は、過渡フレームが検出されたとき、音声信号1206を符号化するために過渡エンコーダ1267を使用し得る。
1/4レートプロトタイプピッチ周期(QPPP)エンコーダ1269は、有声音声として分類されたフレームを符号化するために使用され得る。有声音声は、QPPPエンコーダ1269によって活用される、緩やかに時間変動する周期成分を含んでいる。QPPPエンコーダ1269は、各フレーム内のピッチ周期のサブセットを符号化する。音声信号1206の残りの期間は、これらのプロトタイプ期間間の補間によって再構成される。有声音声の周期性を活用することにより、QPPPエンコーダ1269は、音声信号1206を知覚的に正確な方法で再生することが可能である。
QPPPエンコーダ1269は、性質が周期的である音声データを符号化するために使用され得る、プロトタイプピッチ周期波形補間(PPPWI)を使用し得る。そのような音声は、「プロトタイプ」ピッチ周期(PPP)と同様である異なるピッチ周期によって特徴づけられる。このPPPは、QPPPエンコーダ1269が符号化するために使用するボイス情報であり得る。デコーダは、音声セグメント中の他のピッチ周期を再構成するためにこのPPPを使用し得る。
第2のスイッチングブロック/モジュール1271は、パケットフォーマッティングブロック/モジュール1273に対して現在フレームを符号化するために使用されたエンコーダ1263、1265、1267、1269からの(符号化)音声信号をチャネリングするために使用され得る。パケットフォーマッティングブロック/モジュール1273は、(例えば、送信のために)(符号化)音声信号1206を1つ以上のパケット中にフォーマットし得る。例えば、パケットフォーマッティングブロック/モジュール1273は、過渡フレームのためのパケットをフォーマットし得る。一構成では、パケットフォーマッティングブロック/モジュール1273によって生成された1つ以上のパケットは別の機器に送信され得る。
図13は、過渡フレームを復号するためのシステム及び方法が実装され得る、電子機器1300の一例を示すブロック図である。この例では、電子機器1300は、フレーム/ビット誤り検出器1377と、パケット化解除ブロック/モジュール1379と、第1のスイッチングブロック/モジュール1381と、無音デコーダ1383と、雑音励起線形予測(NELP)デコーダ1385と、過渡デコーダ1387と、1/4レートプロトタイプピッチ周期(QPPP)デコーダ1389と、第2のスイッチングブロック/モジュール1391と、ポストフィルタ1393とを含む。
電子機器1300はパケット1375を受信し得る。パケット1375は、フレーム/ビット誤り検出器1377とパケット化解除ブロック/モジュール1379とに与えられ得る。パケット化解除ブロック/モジュール1379は、パケット1375から情報を「アンパック」し得る。例えば、パケット1375は、ペイロードデータに加えて、ヘッダ情報、誤り訂正情報、ルーティング情報及び/又は他の情報を含み得る。パケット化解除ブロック/モジュール1379はパケット1375からペイロードデータを抽出し得る。ペイロードデータは第1のスイッチングブロック/モジュール1381に与えられ得る。
フレーム/ビット誤り検出器1377は、パケット1375の部分又は全部が誤って受信されたかどうかを検出し得る。例えば、フレーム/ビット誤り検出器1377は、パケット1375のいずれかが誤って受信されたかどうかを決定するために(パケット1375とともに送られた)誤り検出コードを使用し得る。幾つかの構成では、電子機器1300は、フレーム/ビット誤り検出器1377の出力によって示され得る、パケット1375の一部又は全部が誤って受信されたかどうかに基づいて、第1のスイッチングブロック/モジュール1381及び/又は第2のスイッチングブロック/モジュール1391を制御し得る。
追加又は代替として、パケット1375は、ペイロードデータを復号するためにどのタイプのデコーダが使用されなければならないかを示す情報を含み得る。例えば、符号化電子機器1202は、符号化モードを示す2ビットを送り得る。(復号)電子機器1300は、この指示を使用して第1のスイッチングブロック/モジュール1381と第2のスイッチングブロック/モジュール1391とを制御し得る。
従って、電子機器1300は、無音デコーダ1383、NELPデコーダ1385、過渡デコーダ1387及び/又はQPPPデコーダ1389を使用して、パケット1375からペイロードデータを復号し得る。復号されたデータは、次いで、第2のスイッチングブロック/モジュール1391に与えられ得、第2のスイッチングブロック/モジュール1391は、復号されたデータをポストフィルタ1393にルーティングし得る。ポストフィルタ1393は、復号されたデータに対して何らかのフィルタ処理を実行し、合成音声信号1395を出力し得る。
一例では、パケット1375は、ペイロードデータを符号化するために無音エンコーダ1263が使用されたことを(符号化モードインジケータで)示し得る。電子機器1300は、ペイロードデータを無音デコーダ1383にルーティングするように第1のスイッチングブロック/モジュール1381を制御し得る。復号された(無音)ペイロードデータは、次いで、第2のスイッチングブロック/モジュール1391に与えられ得、第2のスイッチングブロック/モジュール1391は、復号されたペイロードデータをポストフィルタ1393にルーティングし得る。別の例では、NELPエンコーダ1265によって符号化された音声信号(例えば、無声音声信号)を復号するためにNELPデコーダ1385が使用され得る。
別の例では、パケット1375は、ペイロードデータが過渡エンコーダ1267を使用して符号化されたことを(例えば、符号化モードインジケータを使用して)示し得る。従って、電子機器1300は、第1のスイッチングブロック/モジュール1381を使用してペイロードデータを過渡デコーダ1387にルーティングし得る。過渡デコーダ1387は、上記で説明したようにペイロードデータを復号し得る。別の例では、QPPPエンコーダ1269によって符号化された音声信号(例えば、有声音声信号)を復号するためにQPPPデコーダ1389が使用され得る。
復号されたデータは、第2のスイッチングブロック/モジュール1391に与えられ得、第2のスイッチングブロック/モジュール1391は、復号されたデータをポストフィルタ1393にルーティングし得る。ポストフィルタ1393は、信号に対して何らかのフィルタ処理を実行し得、その信号は合成音声信号1395として出力され得る。合成音声信号1395は、次いで、記憶され、(例えば、スピーカーを使用して)出力され、及び/又は別の機器(例えば、Bluetoothヘッドセット)に送信され得る。
図14は、ピッチ同期利得スケーリング及びLPC合成ブロック/モジュール1447の一構成を示すブロック図である。図14に示すピッチ同期利得スケーリング及びLPC合成ブロック/モジュール1447は、図9に示すピッチ同期利得スケーリング及びLPC合成ブロック/モジュール947の一例であり得る。図14に示すように、ピッチ同期利得スケーリング及びLPC合成ブロック/モジュール1447は、1つ以上のLPC合成ブロック/モジュール1497a〜c、1つ以上のスケール係数決定ブロック/モジュール1499a〜b、及び/又は1つ以上の乗算器1405a〜bを含み得る。
LPC合成ブロック/モジュールA1497aは、(例えば、単一のピッチサイクルのために)スケーリングされてない励起1401を取得又は受信し得る。初めに、LPC合成ブロック/モジュールA1497aはまた、ゼロメモリ1403を使用し得る。LPC合成ブロック/モジュールA1497aの出力はスケール係数決定ブロック/モジュールA1499aに与えられ得る。スケール係数決定ブロック/モジュールA1499aは、LPC合成A1497aからの出力とターゲットピッチサイクルエネルギー入力1407とを使用して第1のスケーリング係数を生成し得、第1のスケーリング係数は第1の乗算器1405aに与えられ得る。乗算器1405aは、スケーリングされてない励起信号1401に第1のスケーリング係数を乗算する。(スケーリングされた)励起信号又は第1の乗算器1405aの出力は、LPC合成ブロック/モジュールB1497bと第2の乗算器1405bとに与えられる。
LPC合成ブロック/モジュールB1497bは、第1の乗算器1405aの出力ならびに(前の動作からの)メモリ入力1413を使用して合成出力を生成し、合成出力はスケール係数決定ブロック/モジュールB1499bに与えられる。例えば、メモリ入力1413は、前フレームの終了においてメモリから入り得る。スケール係数決定ブロック/モジュールB1499bは、第2のスケーリング係数を生成するために、ターゲットピッチサイクルエネルギー入力1407の他にLPC合成ブロック/モジュールB1497bの出力を使用し、第2のスケーリング係数は第2の乗算器1405bに与えられる。第2の乗算器1405bは、第1の乗算器1405aの出力(例えば、スケーリングされた励起信号)に第2のスケーリング係数を乗算する。得られた乗積(例えば、2回目にスケーリングされた励起信号)はLPC合成ブロック/モジュールC1497cに与えられる。LPC合成ブロック/モジュールC1497cは、メモリ入力1413の他に第2の乗算器1405bの出力を使用して、合成音声信号1409と、さらなる動作のためのメモリ1411とを生成する。
図15は、電子機器1500において利用され得る様々な構成要素を示す図である。図示の構成要素は、同じ物理構造内に配置されるか、あるいは別個のハウジング又は構造中に配置され得る。前に説明した電子機器102、168、1202、1300のうちの1つ以上は、電子機器1500と同様に構成され得る。電子機器1500はプロセッサ1521を含む。プロセッサ1521は、汎用シングル又はマルチチップマイクロプロセッサ(例えば、ARM)、専用マイクロプロセッサ(例えば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ1521は中央処理ユニット(CPU)と呼ばれることがある。図15の電子機器1500には単一のプロセッサ1521のみが示されているが、代替構成では、プロセッサの組合せ(例えば、ARMとDSP)が使用され得る。
電子機器1500はまた、プロセッサ1521と電子通信しているメモリ1515を含む。すなわち、プロセッサ1521は、メモリ1515から情報を読み取り、及び/又はメモリ1515に情報を書き込むことができる。メモリ1515は、電子情報を記憶することが可能な任意の電子構成要素であり得る。メモリ1515は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスクストレージ媒体、光記憶媒体、RAM中のフラッシュメモリデバイス、プロセッサとともに含まれるオンボードメモリ、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、レジスタなど、及びそれらの組合せであり得る。
データ1519a及び命令1517aがメモリ1515に記憶され得る。命令1517aは、1つ以上のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを含み得る。命令1517aは、単一のコンピュータ可読ステートメント又は多くのコンピュータ可読ステートメントを含み得る。命令1517aは、上記で説明した方法200、300、700、800、1000、1100のうちの1つ以上を実装するために、プロセッサ1521によって実行可能であり得る。命令1517aを実行することは、メモリ1515に記憶されたデータ1519aの使用を含み得る。図15は、プロセッサ1521にロードされている(命令1517a及びデータ1519aから来ることがある)幾つかの命令1517b及びデータ1519bを示している。
電子機器1500はまた、他の電子機器と通信するための1つ以上の通信インターフェース1523を含み得る。通信インターフェース1523は、ワイヤード通信技術、ワイヤレス通信技術、又は両方に基づき得る。異なるタイプの通信インターフェース1523の例には、シリアルポート、パラレルポート、ユニバーサルシリアルバス(USB)、イーサネットアダプター、IEEE1394バスインターフェース、小型コンピュータシステムインターフェース(SCSI)バスインターフェース、赤外線(IR)通信ポート、Bluetoothワイヤレス通信アダプターなどがある。
電子機器1500はまた、1つ以上の入力デバイス1525と、1つ以上の出力デバイス1529とを含み得る。様々な種類の入力デバイス1525の例には、キーボード、マウス、マイクロフォン、遠隔制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、ライトペンなどがある。例えば、電子機器1500は、音響信号をキャプチャするための1つ以上のマイクロフォン1527を含み得る。一構成では、マイクロフォン1527は、音響信号(例えば、ボイス、音声)を電気又は電子信号に変換するトランスデューサであり得る。様々な種類の出力デバイス1529の例には、スピーカー、プリンタなどがある。例えば、電子機器1500は1つ以上のスピーカー1531を含み得る。一構成では、スピーカー1531は、電気又は電子信号を音響信号に変換するトランスデューサであり得る。電子機器1500中に典型的に含まれ得る1つの特定のタイプの出力デバイスはディスプレイデバイス1533である。本明細書で開示する構成とともに使用されるディスプレイデバイス1533は、陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、ガスプラズマ、エレクトロルミネセンスなど、任意の好適な画像投影技術を利用し得る。メモリ1515に記憶されたデータを、ディスプレイデバイス1533上に示されるテキスト、グラフィック、及び/又は(適宜に)動画に変換するために、ディスプレイコントローラ1535も設けられ得る。
電子機器1500の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る1つ以上のバスによって互いに結合され得る。簡単のために、図15では様々なバスはバスシステム1537として示してある。図15は、電子機器1500の1つの可能な構成しか示していないことに留意されたい。様々な他のアーキテクチャ及び構成要素も利用され得る。
図16に、ワイヤレス通信機器1600内に含まれ得る幾つかの構成要素を示す。上記で説明した電子機器102、168、1202、1300、1500のうちの1つ以上は、図16に示すワイヤレス通信機器1600と同様に構成され得る。
ワイヤレス通信機器1600はプロセッサ1657を含む。プロセッサ1657は、汎用シングル又はマルチチップマイクロプロセッサ(例えば、ARM)、専用マイクロプロセッサ(例えば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ1657は中央処理ユニット(CPU)と呼ばれることがある。図16のワイヤレス通信機器1657には単一のプロセッサ1600のみが示されているが、代替構成では、プロセッサの組合せ(例えば、ARMとDSP)が使用され得る。
ワイヤレス通信機器1600はまた、プロセッサ1657と電子通信しているメモリ1639を含む(すなわち、プロセッサ1657は、メモリ1639から情報を読み取り、及び/又はメモリ1639に情報を書き込むことができる)。メモリ1639は、電子情報を記憶することが可能な任意の電子構成要素であり得る。メモリ1639は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスクストレージ媒体、光記憶媒体、RAM中のフラッシュメモリデバイス、プロセッサとともに含まれるオンボードメモリ、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、レジスタなど、及びそれらの組合せであり得る。
データ1641及び命令1643がメモリ1639に記憶され得る。命令1643は、1つ以上のプログラム、ルーチン、サブルーチン、関数、プロシージャ、コードなどを含み得る。命令1643は、単一のコンピュータ可読ステートメント又は多くのコンピュータ可読ステートメントを含み得る。命令1643は、上記で説明した方法200、300、700、800、1000、1100のうちの1つ以上を実装するために、プロセッサ1657によって実行可能であり得る。命令1643を実行することは、メモリ1639に記憶されたデータ1641の使用を含み得る。図16は、プロセッサ1657にロードされている(命令1643及びデータ1641から来ることがある)幾つかの命令1643a及びデータ1641aを示している。
ワイヤレス通信機器1600はまた、ワイヤレス通信機器1600と遠隔位置(例えば、別の電子機器、通信機器など)との間の信号の送信及び受信を可能にするために、送信機1653と受信機1655とを含み得る。送信機1653と受信機1655とはトランシーバ1651と総称されることがある。アンテナ1649はトランシーバ1651に電気的に結合され得る。ワイヤレス通信機器1600はまた、複数の送信機、複数の受信機、複数のトランシーバ及び/又は複数のアンテナを含み得る(図示せず)。
幾つかの構成では、ワイヤレス通信機器1600は、音響信号をキャプチャするための1つ以上のマイクロフォン1645を含み得る。一構成では、マイクロフォン1645は、音響信号(例えば、ボイス、音声)を電気又は電子信号に変換するトランスデューサであり得る。追加又は代替として、ワイヤレス通信機器1600は1つ以上のスピーカー1647を含み得る。一構成では、スピーカー1647は、電気又は電子信号を音響信号に変換するトランスデューサであり得る。
ワイヤレス通信機器1600の様々な構成要素は、パワーバス、制御信号バス、ステータス信号バス、データバスなどを含み得る1つ以上のバスシステムによって一緒に結合され得る。簡単のために、図16では様々なバスはバスシステム1659として示してある。
上記の説明では、様々な用語とともに参照番号を時々使用した。用語が参照番号とともに使用されている場合、これは、1つ以上の図に示された特定の要素を指すものとされ得る。用語が参照番号なしに使用されている場合、これは、概して特定の図に限定されない用語を指すものとされ得る。
「決定」という用語は、多種多様なアクションを包含し、従って、「決定」は、計算、算出、処理、導出、調査、探索(例えば、テーブル、データベース又は別のデータ構造での探索)、確認などを含むことができる。また、「決定」は、受信(例えば、情報を受信すること)、アクセス(例えば、メモリ中のデータにアクセスすること)などを含むことができる。また、「決定」は、解決、選択、選出、確立などを含むことができる。
「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
本明細書で説明した機能は、1つ以上の命令としてコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータ又はプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROM又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気ストレージデバイス、あるいは命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)及びブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイス又はプロセッサによって実行、処理又は計算され得るコード又は命令(例えば、「プログラム」)と組み合わせたコンピューティングデバイス又はプロセッサを指す。本明細書で使用する「コード」という用語は、コンピューティングデバイス又はプロセッサによって実行可能であるソフトウェア、命令、コード又はデータを指すことがある。
ソフトウェア又は命令はまた、送信媒体を介して送信され得る。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。
本明細書で開示する方法は、説明した方法を達成するための1つ以上のステップ又はアクションを備える。本方法のステップ及び/又はアクションは、特許請求の範囲の範囲から逸脱することなく互いに交換され得る。言い換えれば、本明細書で説明した方法の適切な動作のためにステップ又はアクションの特定の順序が必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、特許請求の範囲の範囲を逸脱することなく修正され得る。
特許請求の範囲は、上記に示した正確な構成及び構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、及び装置の構成、動作及び詳細において、様々な改変、変更及び変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
過渡フレームを符号化するための電子機器であって、
プロセッサと、
前記プロセッサと電子通信しているメモリと、
を具備し、
前記メモリに記憶された命令は
現在過渡フレームを取得することと、
前記現在過渡フレームに基づいて残差信号を取得することと、
前記残差信号に基づいてピーク位置のセットを決定することと、
少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、
前記第1の符号化モードが決定された場合、前記第1の符号化モードに基づいて励起を合成することと、
前記第2の符号化モードが決定された場合、前記第2の符号化モードに基づいて励起を合成することと
を行うように実行可能である、電子機器。
[2]
前記命令が、前記励起と前記現在過渡フレームとに基づいて複数のスケーリング係数を決定するようにさらに実行可能である、上記[1]に記載の電子機器。
[3]
ピーク位置のセットを決定することは、
前記残差信号及びウィンドウ信号のサンプルの絶対値に基づいて包絡線信号を計算することと、
前記包絡線信号と前記包絡線信号の時間シフトバージョンとの間の差に基づいて第1の勾配信号を計算することと、
前記第1の勾配信号と前記第1の勾配信号の時間シフトバージョンとの間の差に基づいて第2の勾配信号を計算することと、
第2の勾配信号値が第1の閾値を下回る位置インデックスの第1のセットを選択することと、
包絡線値が包絡線中の最大値に対する第2の閾値を下回る位置インデックスをなくすことによって、位置インデックスの前記第1のセットから位置インデックスの第2のセットを決定することと、
近隣位置インデックスに対する差閾値を満たさない位置インデックスを削除することによって、位置インデックスの前記第2のセットから位置インデックスの第3のセットを決定することとを備える、上記[1]に記載の電子機器。
[4]
前記命令が、
線形予測係数のセットを取得するために、前記現在過渡フレームと前記現在過渡フレームより前の信号とを使用して線形予測分析を実行することと、
線形予測係数の前記セットに基づいて量子化線形予測係数のセットを決定することとを行うようにさらに実行可能である、上記[1]に記載の電子機器。
[5]
前記残差信号を取得することが、量子化線形予測係数の前記セットにさらに基づく、上記[4]に記載の電子機器。
[6]
前記第1の符号化モードが「有声過渡」符号化モードであり、前記第2の符号化モードが「他の過渡」符号化モードである、上記[1]に記載の電子機器。
[7]
第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することが、ピッチラグと、前フレームタイプと、エネルギー比とにさらに基づく、上記[1]に記載の電子機器。
[8]
前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定することは、
ピークの推定された数を決定することと、
ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択することと、
ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択することと、
前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択することと、
前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択することとを備える、上記[1]に記載の電子機器。
[9]
前記第1の距離がピッチラグに基づいて決定され、前記第2の距離が前記ピッチラグに基づいて決定される、上記[8]に記載の電子機器。
[10]
前記第1の符号化モードに基づいて励起を合成することが、
前フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、前記現在過渡フレーム中の最後のピークの位置を決定することと、
前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、上記[1]に記載の電子機器。
[11]
前記第2の符号化モードに基づいて励起を合成することが、第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成することを備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、上記[1]に記載の電子機器。
[12]
前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、上記[11]に記載の電子機器。
[13]
過渡フレームを復号するための電子機器であって、
プロセッサと、
前記プロセッサと電子通信しているメモリと、
を具備し、
前記メモリに記憶された命令は、
フレームタイプを取得することと、前記フレームタイプが過渡フレームを示す場合、
過渡符号化モードパラメータを取得することと、
前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、
前記第1の符号化モードを使用すべきであると決定された場合、前記第1の符号化モードに基づいて励起を合成することと、
前記第2の符号化モードを使用すべきであると決定された場合、前記第2の符号化モードに基づいて励起を合成することとを行うように実行可能である、電子機器。
[14]
前記命令が、
ピッチラグパラメータを取得することと、
前記ピッチラグパラメータに基づいてピッチラグを決定することとを行うようにさらに実行可能である、上記[13]に記載の電子機器。
[15]
前記命令が、
複数のスケーリング係数を取得することと、
前記複数のスケーリング係数に基づいて前記励起をスケーリングすることとを行うようにさらに実行可能である、上記[13]に記載の電子機器。
[16]
前記命令が、
量子化線形予測係数パラメータを取得することと、
前記量子化線形予測係数パラメータに基づいて量子化線形予測係数のセットを決定することとを行うようにさらに実行可能である、上記[13]に記載の電子機器。
[17]
前記命令が、前記励起と量子化線形予測係数の前記セットとに基づいて、合成音声信号を生成するようにさらに実行可能である、上記[16]に記載の電子機器。
[18]
前記第1の符号化モードに基づいて前記励起を合成することが、
前フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、現在過渡フレーム中の最後のピークの位置を決定することと、
前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、上記[13]に記載の電子機器。
[19]
前記第2の符号化モードに基づいて励起を合成することが、
第1のピーク位置を取得することと、
第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成することであって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成することとを備える、上記[13]に記載の電子機器。
[20]
前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、上記[19]に記載の電子機器。
[21]
電子機器上で過渡フレームを符号化するための方法であって、
現在過渡フレームを取得することと、
前記現在過渡フレームに基づいて残差信号を取得することと、
前記残差信号に基づいてピーク位置のセットを決定することと、
少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、
前記第1の符号化モードが決定された場合、前記第1の符号化モードに基づいて励起を合成することと、
前記第2の符号化モードが決定された場合、前記第2の符号化モードに基づいて励起を合成することとを備える、方法。
[22]
前記励起と前記現在過渡フレームとに基づいて複数のスケーリング係数を決定することをさらに備える、上記[21]に記載の方法。
[23]
ピーク位置のセットを決定することは、
前記残差信号及びウィンドウ信号のサンプルの絶対値に基づいて包絡線信号を計算することと、
前記包絡線信号と前記包絡線信号の時間シフトバージョンとの間の差に基づいて第1の勾配信号を計算することと、
前記第1の勾配信号と前記第1の勾配信号の時間シフトバージョンとの間の差に基づいて第2の勾配信号を計算することと、
第2の勾配信号値が第1の閾値を下回る位置インデックスの第1のセットを選択することと、
包絡線値が包絡線中の最大値に対する第2の閾値を下回る位置インデックスをなくすことによって、位置インデックスの前記第1のセットから位置インデックスの第2のセットを決定することと、
近隣位置インデックスに対する差閾値を満たさない位置インデックスを削除することによって、位置インデックスの前記第2のセットから位置インデックスの第3のセットを決定することとを備える、上記[21]に記載の方法。
[24]
線形予測係数のセットを取得するために、前記現在過渡フレームと前記現在過渡フレームより前の信号とを使用して線形予測分析を実行することと、
線形予測係数の前記セットに基づいて量子化線形予測係数のセットを決定することとをさらに備える、上記[21]に記載の方法。
[25]
前記残差信号を取得することが、量子化線形予測係数の前記セットにさらに基づく、上記[24]に記載の方法。
[26]
前記第1の符号化モードが「有声過渡」符号化モードであり、前記第2の符号化モードが「他の過渡」符号化モードである、上記[21]に記載の方法。
[27]
第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することが、ピッチラグと、前フレームタイプと、エネルギー比とにさらに基づく、上記[21]に記載の方法。
[28]
前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定することは、
ピークの推定された数を決定することと、
ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択することと、
ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択することと、
前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択することと、
前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択することとを備える、上記[21]に記載の方法。
[29]
前記第1の距離がピッチラグに基づいて決定され、前記第2の距離が前記ピッチラグに基づいて決定される、上記[28]に記載の方法。
[30]
前記第1の符号化モードに基づいて励起を合成することが、
前フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、前記現在過渡フレーム中の最後のピークの位置を決定することと、
前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、上記[21]に記載の方法。
[31]
前記第2の符号化モードに基づいて励起を合成することが、第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成することを備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、上記[21]に記載の方法。
[32]
前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、上記[31]に記載の方法。
[33]
電子機器上で過渡フレームを復号するための方法であって、フレームタイプを取得することと、前記フレームタイプが過渡フレームを示す場合、
過渡符号化モードパラメータを取得することと、
前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、
前記第1の符号化モードを使用すべきであると決定された場合、前記第1の符号化モードに基づいて励起を合成することと、
前記第2の符号化モードを使用すべきであると決定された場合、前記第2の符号化モードに基づいて励起を合成することとを備える、方法。
[34]
ピッチラグパラメータを取得することと、
前記ピッチラグパラメータに基づいてピッチラグを決定することとをさらに備える、上記[33]に記載の方法。
[35]
複数のスケーリング係数を取得することと、
前記複数のスケーリング係数に基づいて前記励起をスケーリングすることとをさらに備える、上記[33]に記載の方法。
[36]
量子化線形予測係数パラメータを取得することと、
前記量子化線形予測係数パラメータに基づいて量子化線形予測係数のセットを決定することとをさらに備える、上記[33]に記載の方法。
[37]
前記励起と量子化線形予測係数の前記セットとに基づいて、合成音声信号を生成することをさらに備える、上記[36]に記載の方法。
[38]
前記第1の符号化モードに基づいて前記励起を合成することが、
前フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、現在過渡フレーム中の最後のピークの位置を決定することと、
前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、上記[33]に記載の方法。
[39]
前記第2の符号化モードに基づいて励起を合成することは、
第1のピーク位置を取得することと、
第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成することであって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成することとを備える、上記[33]に記載の方法。
[40]
前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、上記[39]に記載の方法。
[41]
命令をその上に有する非一時的有形コンピュータ可読媒体を備える、過渡フレームを符号化するためのコンピュータプログラム製品であって、前記命令は、
電子機器に、現在過渡フレームを取得させるためのコードと、
前記電子機器に、前記現在過渡フレームに基づいて残差信号を取得させるためのコードと、
前記電子機器に、前記残差信号に基づいてピーク位置のセットを決定させるためのコードと、
前記電子機器に、少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定させるためのコードと、
前記電子機器に、前記第1の符号化モードが決定された場合、前記第1の符号化モードに基づいて励起を合成させるためのコードと、
前記電子機器に、前記第2の符号化モードが決定された場合、前記第2の符号化モードに基づいて励起を合成させるためのコードとを備える、コンピュータプログラム製品。
[42]
前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定することは、
ピークの推定された数を決定することと、
ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択することと、
ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択することと、
前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択することと、
前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択することとを備える、上記[41]に記載のコンピュータプログラム製品。
[43]
前記第2の符号化モードに基づいて励起を合成することが、第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成することを備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、上記[41]に記載のコンピュータプログラム製品。
[44]
命令をその上に有する非一時的有形コンピュータ可読媒体を備える、過渡フレームを復号するためのコンピュータプログラム製品であって、前記命令は、電子機器に、フレームタイプを取得させるためのコードと、前記フレームタイプが過渡フレームを示す場合、
前記電子機器に、過渡符号化モードパラメータを取得させるためのコードと、
前記電子機器に、前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定させるためのコードと、
前記電子機器に、前記第1の符号化モードを使用すべきであると決定された場合、前記第1の符号化モードに基づいて励起を合成させるためのコードと、
前記電子機器に、前記第2の符号化モードを使用すべきであると決定された場合、前記第2の符号化モードに基づいて励起を合成させるためのコードとを備える、コンピュータプログラム製品。
[45]
前記第2の符号化モードに基づいて励起を合成することは、
第1のピーク位置を取得することと、
第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成することであって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成することとを備える、上記[44]に記載のコンピュータプログラム製品。
[46]
現在過渡フレームを取得するための手段と、
前記現在過渡フレームに基づいて残差信号を取得するための手段と、
前記残差信号に基づいてピーク位置のセットを決定するための手段と、
少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定するための手段と、
前記第1の符号化モードが決定された場合、前記第1の符号化モードに基づいて励起を合成するための手段と、
前記第2の符号化モードが決定された場合、前記第2の符号化モードに基づいて励起を合成するための手段とを備える、過渡フレームを符号化するための装置。
[47]
前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定するための前記手段は、
ピークの推定された数を決定するための手段と、
ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択するための手段と、
ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択するための手段と、
前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択するための手段と、
前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択するための手段とを備える、上記[46]に記載の装置。
[48]
前記第2の符号化モードに基づいて励起を合成するための前記手段が、第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成するための手段を備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、上記[46]に記載の装置。
[49]
過渡フレームを復号するための装置であって、フレームタイプを取得するための手段と、前記フレームタイプが過渡フレームを示す場合、
過渡符号化モードパラメータを取得するための手段と、
前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定するための手段と、
前記第1の符号化モードを使用すべきであると決定された場合、前記第1の符号化モードに基づいて励起を合成するための手段と、
前記第2の符号化モードを使用すべきであると決定された場合、前記第2の符号化モードに基づいて励起を合成するための手段とを備える、装置。
[50]
前記第2の符号化モードに基づいて励起を合成するための手段は、
第1のピーク位置を取得するための手段と、
第1の位置において開始してプロトタイプ波形を繰り返し配置することによって前記励起を合成するための手段であって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成するための手段とを備える、上記[49]に記載の装置。

Claims (50)

  1. 過渡フレームを符号化するための電子機器であって、
    プロセッサと、
    前記プロセッサと電子通信しているメモリと、
    を具備し、
    前記メモリに記憶された命令は
    現在過渡フレームを取得することと、
    前記現在過渡フレームに基づいて残差信号を取得することと、
    前記残差信号に基づいてピーク位置のセットを決定することと、
    少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、ここにおいて、前フレームに対して連続していると検出される過渡フレームを符号化するための前記第1の符号化モードを選択することと、または、前フレームに対して連続性を有さないと検出される過渡フレームを符号化するための前記第2の符号化モードを選択することとを具備し、
    前記第1の符号化モードが決定された場合、波形補間を使用して励起を合成することと、
    前記第2の符号化モードが決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成することと
    を行うように実行可能である、電子機器。
  2. 前記命令が、前記励起と前記現在過渡フレームとに基づいて複数のスケーリング係数を決定するようにさらに実行可能である、請求項1に記載の電子機器。
  3. ピーク位置のセットを決定することは、
    前記残差信号及びウィンドウ信号のサンプルの絶対値に基づいて包絡線信号を計算することと、
    前記包絡線信号と前記包絡線信号の時間シフトバージョンとの間の差に基づいて第1の勾配信号を計算することと、
    前記第1の勾配信号と前記第1の勾配信号の時間シフトバージョンとの間の差に基づいて第2の勾配信号を計算することと、
    第2の勾配信号値が第1の閾値を下回る位置インデックスの第1のセットを選択することと、
    包絡線値が包絡線中の最大値に対する第2の閾値を下回る位置インデックスをなくすことによって、位置インデックスの前記第1のセットから位置インデックスの第2のセットを決定することと、
    近隣位置インデックスに対する差閾値を満たさない位置インデックスを削除することによって、位置インデックスの前記第2のセットから位置インデックスの第3のセットを決定することとを備える、請求項1に記載の電子機器。
  4. 前記命令が、
    線形予測係数のセットを取得するために、前記現在過渡フレームと前記現在過渡フレームより前の信号とを使用して線形予測分析を実行することと、
    線形予測係数の前記セットに基づいて量子化線形予測係数のセットを決定することとを行うようにさらに実行可能である、請求項1に記載の電子機器。
  5. 前記残差信号を取得することが、量子化線形予測係数の前記セットにさらに基づく、請求項4に記載の電子機器。
  6. 前記第1の符号化モードが「有声過渡」符号化モードであり、前記第2の符号化モードが「他の過渡」符号化モードである、請求項1に記載の電子機器。
  7. 第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することが、ピッチラグと、前フレームタイプと、エネルギー比とにさらに基づく、請求項1に記載の電子機器。
  8. 前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定することは、
    ピークの推定された数を決定することと、
    ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択することと、
    ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択することと、
    前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択することと、
    前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択することとを備える、請求項1に記載の電子機器。
  9. 前記第1の距離がピッチラグに基づいて決定され、前記第2の距離が前記ピッチラグに基づいて決定される、請求項8に記載の電子機器。
  10. 前記第1の符号化モードに基づいて励起を合成することが、
    前フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、前記現在過渡フレーム中の最後のピークの位置を決定することと、
    前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した前記波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、請求項1に記載の電子機器。
  11. 前記第2の符号化モードに基づいて励起を合成することが、第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成することを備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、請求項1に記載の電子機器。
  12. 前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、請求項11に記載の電子機器。
  13. 過渡フレームを復号するための電子機器であって、
    プロセッサと、
    前記プロセッサと電子通信しているメモリと、
    を具備し、
    前記メモリに記憶された命令は、
    フレームタイプを取得することと、前記フレームタイプが過渡フレームを示す場合、
    過渡符号化モードパラメータを取得することと、
    前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、前記第1の符号化モードは、前フレームに対して連続していると符号化の間検出される過渡フレームを符号化するために使用され、及び、前記第2の符号化モードは、前記前フレームに対して連続性を有さないと符号化の間検出される過渡フレームを符号化するために使用される、
    前記第1の符号化モードを使用すべきであると決定された場合、波形補間を使用して励起を合成することと、
    前記第2の符号化モードを使用すべきであると決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成することとを行うように実行可能である、電子機器。
  14. 前記命令が、
    ピッチラグパラメータを取得することと、
    前記ピッチラグパラメータに基づいてピッチラグを決定することとを行うようにさらに実行可能である、請求項13に記載の電子機器。
  15. 前記命令が、
    複数のスケーリング係数を取得することと、
    前記複数のスケーリング係数に基づいて前記励起をスケーリングすることとを行うようにさらに実行可能である、請求項13に記載の電子機器。
  16. 前記命令が、
    量子化線形予測係数パラメータを取得することと、
    前記量子化線形予測係数パラメータに基づいて量子化線形予測係数のセットを決定することとを行うようにさらに実行可能である、請求項13に記載の電子機器。
  17. 前記命令が、前記励起と量子化線形予測係数の前記セットとに基づいて、合成音声信号を生成するようにさらに実行可能である、請求項16に記載の電子機器。
  18. 前記第1の符号化モードに基づいて前記励起を合成することが、
    現在過渡フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、現在過渡フレーム中の最後のピークの位置を決定することと、
    前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した前記波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、請求項13に記載の電子機器。
  19. 前記第2の符号化モードに基づいて励起を合成することが、
    第1のピーク位置を取得することと、
    第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成することであって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成することとを備える、請求項13に記載の電子機器。
  20. 前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、請求項19に記載の電子機器。
  21. 電子機器上で過渡フレームを符号化するための方法であって、
    現在過渡フレームを取得することと、
    前記現在過渡フレームに基づいて残差信号を取得することと、
    前記残差信号に基づいてピーク位置のセットを決定することと、
    少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、ここにおいて、前フレームに対して連続していると検出される過渡フレームを符号化するための前記第1の符号化モードを選択することと、または、前フレームに対して連続性を有さないと検出される過渡フレームを符号化するための前記第2の符号化モードを選択することとを具備し、
    前記第1の符号化モードが決定された場合、波形補間を使用して励起を合成することと、
    前記第2の符号化モードが決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成することとを備える、方法。
  22. 前記励起と前記現在過渡フレームとに基づいて複数のスケーリング係数を決定することをさらに備える、請求項21に記載の方法。
  23. ピーク位置のセットを決定することは、
    前記残差信号及びウィンドウ信号のサンプルの絶対値に基づいて包絡線信号を計算することと、
    前記包絡線信号と前記包絡線信号の時間シフトバージョンとの間の差に基づいて第1の勾配信号を計算することと、
    前記第1の勾配信号と前記第1の勾配信号の時間シフトバージョンとの間の差に基づいて第2の勾配信号を計算することと、
    第2の勾配信号値が第1の閾値を下回る位置インデックスの第1のセットを選択することと、
    包絡線値が包絡線中の最大値に対する第2の閾値を下回る位置インデックスをなくすことによって、位置インデックスの前記第1のセットから位置インデックスの第2のセットを決定することと、
    近隣位置インデックスに対する差閾値を満たさない位置インデックスを削除することによって、位置インデックスの前記第2のセットから位置インデックスの第3のセットを決定することとを備える、請求項21に記載の方法。
  24. 線形予測係数のセットを取得するために、前記現在過渡フレームと前記現在過渡フレームより前の信号とを使用して線形予測分析を実行することと、
    線形予測係数の前記セットに基づいて量子化線形予測係数のセットを決定することとをさらに備える、請求項21に記載の方法。
  25. 前記残差信号を取得することが、量子化線形予測係数の前記セットにさらに基づく、請求項24に記載の方法。
  26. 前記第1の符号化モードが「有声過渡」符号化モードであり、前記第2の符号化モードが「他の過渡」符号化モードである、請求項21に記載の方法。
  27. 第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することが、ピッチラグと、前フレームタイプと、エネルギー比とにさらに基づく、請求項21に記載の方法。
  28. 前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定することは、
    ピークの推定された数を決定することと、
    ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択することと、
    ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択することと、
    前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択することと、
    前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択することとを備える、請求項21に記載の方法。
  29. 前記第1の距離がピッチラグに基づいて決定され、前記第2の距離が前記ピッチラグに基づいて決定される、請求項28に記載の方法。
  30. 前記第1の符号化モードに基づいて励起を合成することが、
    前フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、前記現在過渡フレーム中の最後のピークの位置を決定することと、
    前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した前記波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、請求項21に記載の方法。
  31. 前記第2の符号化モードに基づいて励起を合成することが、第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成することを備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、請求項21に記載の方法。
  32. 前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、請求項31に記載の方法。
  33. 電子機器上で過渡フレームを復号するための方法であって、フレームタイプを取得することと、前記フレームタイプが過渡フレームを示す場合、
    過渡符号化モードパラメータを取得することと、
    前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定することと、前記第1の符号化モードは、前フレームに対して連続していると符号化の間検出される過渡フレームを符号化するために使用され、及び、前記第2の符号化モードは、前記前フレームに対して連続性を有さないと符号化の間検出される過渡フレームを符号化するために使用される、
    前記第1の符号化モードを使用すべきであると決定された場合、波形補間を使用して励起を合成することと、
    前記第2の符号化モードを使用すべきであると決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成することとを備える、方法。
  34. ピッチラグパラメータを取得することと、
    前記ピッチラグパラメータに基づいてピッチラグを決定することとをさらに備える、請求項33に記載の方法。
  35. 複数のスケーリング係数を取得することと、
    前記複数のスケーリング係数に基づいて前記励起をスケーリングすることとをさらに備える、請求項33に記載の方法。
  36. 量子化線形予測係数パラメータを取得することと、
    前記量子化線形予測係数パラメータに基づいて量子化線形予測係数のセットを決定することとをさらに備える、請求項33に記載の方法。
  37. 前記励起と量子化線形予測係数の前記セットとに基づいて、合成音声信号を生成することをさらに備える、請求項36に記載の方法。
  38. 前記第1の符号化モードに基づいて前記励起を合成することが、
    現在過渡フレーム中の最後のピーク位置と前記現在過渡フレームのピッチラグとに基づいて、現在過渡フレーム中の最後のピークの位置を決定することと、
    前記ピッチラグとスペクトル形状とに基づくプロトタイプ波形を使用した前記波形補間を使用して、前記前フレームの最後のサンプルと、前記現在過渡フレーム中の前記最後のピークの第1のサンプル位置との間で前記励起を合成することとを備える、請求項33に記載の方法。
  39. 前記第2の符号化モードに基づいて励起を合成することは、
    第1のピーク位置を取得することと、
    第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成することであって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成することとを備える、請求項33に記載の方法。
  40. 前記プロトタイプ波形がピッチラグとスペクトル形状とに基づき、前記プロトタイプ波形が、前記ピッチラグと前記第1の位置とフレームサイズとに基づく回数だけ繰り返し配置される、請求項39に記載の方法。
  41. 子機器に、現在過渡フレームを取得させるためのコードと、
    前記電子機器に、前記現在過渡フレームに基づいて残差信号を取得させるためのコードと、
    前記電子機器に、前記残差信号に基づいてピーク位置のセットを決定させるためのコードと、
    前記電子機器に、少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定させるためのコードと、ここにおいて、前フレームに対して連続していると検出される過渡フレームを符号化するための前記第1の符号化モードを選択することと、または、前フレームに対して連続性を有さないと検出される過渡フレームを符号化するための前記第2の符号化モードを選択することとを具備し、
    前記電子機器に、前記第1の符号化モードが決定された場合、波形補間を使用して励起を合成させるためのコードと、
    前記電子機器に、前記第2の符号化モードが決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成させるためのコードとを備える、コンピュータプログラム。
  42. 前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定することは、
    ピークの推定された数を決定することと、
    ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択することと、
    ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択することと、
    前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択することと、
    前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択することとを備える、請求項41に記載のコンピュータプログラム。
  43. 前記第2の符号化モードに基づいて励起を合成することが、第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成することを備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、請求項41に記載のコンピュータプログラム。
  44. 子機器に、フレームタイプを取得させるためのコードと、前記フレームタイプが過渡フレームを示す場合、
    前記電子機器に、過渡符号化モードパラメータを取得させるためのコードと、
    前記電子機器に、前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定させるためのコードと、前記第1の符号化モードは、前フレームに対して連続していると符号化の間検出される過渡フレームを符号化するために使用され、及び、前記第2の符号化モードは、前記前フレームに対して連続性を有さないと符号化の間検出される過渡フレームを符号化するために使用される、 前記電子機器に、前記第1の符号化モードを使用すべきであると決定された場合、波形補間を使用して励起を合成させるためのコードと、
    前記電子機器に、前記第2の符号化モードを使用すべきであると決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成させるためのコードとを備える、コンピュータプログラム。
  45. 前記第2の符号化モードに基づいて励起を合成することは、
    第1のピーク位置を取得することと、
    第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成することであって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成することとを備える、請求項44に記載のコンピュータプログラム。
  46. 現在過渡フレームを取得するための手段と、
    前記現在過渡フレームに基づいて残差信号を取得するための手段と、
    前記残差信号に基づいてピーク位置のセットを決定するための手段と、
    少なくともピーク位置の前記セットに基づいて、前記現在過渡フレームを符号化するために第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定するための手段と、ここにおいて、前フレームに対して連続していると検出される過渡フレームを符号化するための前記第1の符号化モードを選択することと、または、前フレームに対して連続性を有さないと検出される過渡フレームを符号化するための前記第2の符号化モードを選択することとを具備し、
    前記第1の符号化モードが決定された場合、波形補間を使用して励起を合成するための手段と、
    前記第2の符号化モードが決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成するための手段とを備える、過渡フレームを符号化するための装置。
  47. 前記第1の符号化モードを使用すべきか前記第2の符号化モードを使用すべきかを決定するための前記手段は、
    ピークの推定された数を決定するための手段と、
    ピーク位置の数がピークの前記推定された数よりも大きいかそれに等しい場合、前記第1の符号化モードを選択するための手段と、
    ピーク位置の前記セット中の最後のピークが前記現在過渡フレームの終了から第1の距離内にあり、ピーク位置の前記セット中の第1のピークが前記現在過渡フレームの開始から第2の距離内にある場合、前記第1の符号化モードを選択するための手段と、
    前フレームと前記現在過渡フレームとの間のエネルギー比が所定の範囲の外にある場合、前記第2の符号化モードを選択するための手段と、
    前記前フレームのフレームタイプが無声又は無音である場合、前記第2の符号化モードを選択するための手段とを備える、請求項46に記載の装置。
  48. 前記第2の符号化モードに基づいて励起を合成するための前記手段が、第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成するための手段を備え、前記第1の位置が、ピーク位置の前記セットからの第1のピーク位置に基づいて決定される、請求項46に記載の装置。
  49. 過渡フレームを復号するための装置であって、フレームタイプを取得するための手段と、前記フレームタイプが過渡フレームを示す場合、
    過渡符号化モードパラメータを取得するための手段と、
    前記過渡符号化モードパラメータに基づいて、第1の符号化モードを使用すべきか第2の符号化モードを使用すべきかを決定するための手段と、前記第1の符号化モードは、前フレームに対して連続していると符号化の間検出される過渡フレームを符号化するために使用され、及び、前記第2の符号化モードは、前記前フレームに対して連続性を有さないと符号化の間検出される過渡フレームを符号化するために使用される、
    前記第1の符号化モードを使用すべきであると決定された場合、波形補間を使用して励起を合成するための手段と、
    前記第2の符号化モードを使用すべきであると決定された場合、ピッチラグと所定のスペクトル形状とに基づくプロトタイプ波形の1つまたは繰り返し配置の何れかを使用して励起を合成するための手段とを備える、装置。
  50. 前記第2の符号化モードに基づいて励起を合成するための手段は、
    第1のピーク位置を取得するための手段と、
    第1の位置において開始して前記プロトタイプ波形を繰り返し配置することによって前記励起を合成するための手段であって、前記第1の位置が前記第1のピーク位置に基づいて決定される、合成するための手段とを備える、請求項49に記載の装置。
JP2013529208A 2010-09-13 2011-09-09 過渡フレームの符号化及び復号化 Expired - Fee Related JP5727018B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US38246010P 2010-09-13 2010-09-13
US61/382,460 2010-09-13
US13/228,210 2011-09-08
US13/228,210 US8990094B2 (en) 2010-09-13 2011-09-08 Coding and decoding a transient frame
PCT/US2011/051039 WO2012036988A1 (en) 2010-09-13 2011-09-09 Coding and decoding a transient frame

Publications (2)

Publication Number Publication Date
JP2013541731A JP2013541731A (ja) 2013-11-14
JP5727018B2 true JP5727018B2 (ja) 2015-06-03

Family

ID=44652037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013529208A Expired - Fee Related JP5727018B2 (ja) 2010-09-13 2011-09-09 過渡フレームの符号化及び復号化

Country Status (7)

Country Link
US (1) US8990094B2 (ja)
EP (1) EP2617032B1 (ja)
JP (1) JP5727018B2 (ja)
KR (1) KR101545792B1 (ja)
CN (1) CN103098127B (ja)
TW (1) TWI459377B (ja)
WO (1) WO2012036988A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013075753A1 (en) * 2011-11-25 2013-05-30 Huawei Technologies Co., Ltd. An apparatus and a method for encoding an input signal
CN104254886B (zh) * 2011-12-21 2018-08-14 华为技术有限公司 自适应编码浊音语音的基音周期
PL2869557T3 (pl) 2012-06-29 2024-02-19 Electronics And Telecommunications Research Institute Sposób i urządzenie do kodowania/dekodowania obrazów
US9842598B2 (en) 2013-02-21 2017-12-12 Qualcomm Incorporated Systems and methods for mitigating potential frame instability
US9263054B2 (en) * 2013-02-21 2016-02-16 Qualcomm Incorporated Systems and methods for controlling an average encoding rate for speech signal encoding
CN104301064B (zh) * 2013-07-16 2018-05-04 华为技术有限公司 处理丢失帧的方法和解码器
US20150100318A1 (en) * 2013-10-04 2015-04-09 Qualcomm Incorporated Systems and methods for mitigating speech signal quality degradation
KR101782278B1 (ko) * 2013-10-18 2017-10-23 텔레폰악티에볼라겟엘엠에릭슨(펍) 스펙트럼의 피크 위치의 코딩 및 디코딩
US10140316B1 (en) * 2014-05-12 2018-11-27 Harold T. Fogg System and method for searching, writing, editing, and publishing waveform shape information
FR3024581A1 (fr) 2014-07-29 2016-02-05 Orange Determination d'un budget de codage d'une trame de transition lpd/fd
EP3541022A4 (en) * 2016-11-10 2020-06-17 Lac Co., Ltd. COMMUNICATION CONTROLLER, COMMUNICATION CONTROL METHOD AND PROGRAM
CN110619881B (zh) * 2019-09-20 2022-04-15 北京百瑞互联技术有限公司 一种语音编码方法、装置及设备

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991213A (en) * 1988-05-26 1991-02-05 Pacific Communication Sciences, Inc. Speech specific adaptive transform coder
JP3277398B2 (ja) * 1992-04-15 2002-04-22 ソニー株式会社 有声音判別方法
US5781880A (en) * 1994-11-21 1998-07-14 Rockwell International Corporation Pitch lag estimation using frequency-domain lowpass filtering of the linear predictive coding (LPC) residual
US5754974A (en) * 1995-02-22 1998-05-19 Digital Voice Systems, Inc Spectral magnitude representation for multi-band excitation speech coders
GB9512284D0 (en) * 1995-06-16 1995-08-16 Nokia Mobile Phones Ltd Speech Synthesiser
US5864795A (en) * 1996-02-20 1999-01-26 Advanced Micro Devices, Inc. System and method for error correction in a correlation-based pitch estimator
JP4063911B2 (ja) 1996-02-21 2008-03-19 松下電器産業株式会社 音声符号化装置
US6226604B1 (en) * 1996-08-02 2001-05-01 Matsushita Electric Industrial Co., Ltd. Voice encoder, voice decoder, recording medium on which program for realizing voice encoding/decoding is recorded and mobile communication apparatus
US6014622A (en) * 1996-09-26 2000-01-11 Rockwell Semiconductor Systems, Inc. Low bit rate speech coder using adaptive open-loop subframe pitch lag estimation and vector quantization
JPH10105194A (ja) 1996-09-27 1998-04-24 Sony Corp ピッチ検出方法、音声信号符号化方法および装置
WO1999010719A1 (en) * 1997-08-29 1999-03-04 The Regents Of The University Of California Method and apparatus for hybrid coding of speech at 4kbps
US6029133A (en) * 1997-09-15 2000-02-22 Tritech Microelectronics, Ltd. Pitch synchronized sinusoidal synthesizer
FI113571B (fi) * 1998-03-09 2004-05-14 Nokia Corp Puheenkoodaus
US6311154B1 (en) * 1998-12-30 2001-10-30 Nokia Mobile Phones Limited Adaptive windows for analysis-by-synthesis CELP-type speech coding
US6640209B1 (en) 1999-02-26 2003-10-28 Qualcomm Incorporated Closed-loop multimode mixed-domain linear prediction (MDLP) speech coder
US6260017B1 (en) * 1999-05-07 2001-07-10 Qualcomm Inc. Multipulse interpolative coding of transition speech frames
US6324505B1 (en) * 1999-07-19 2001-11-27 Qualcomm Incorporated Amplitude quantization scheme for low-bit-rate speech coders
US6438518B1 (en) * 1999-10-28 2002-08-20 Qualcomm Incorporated Method and apparatus for using coding scheme selection patterns in a predictive speech coder to reduce sensitivity to frame error conditions
ES2269112T3 (es) 2000-02-29 2007-04-01 Qualcomm Incorporated Codificador de voz multimodal en bucle cerrado de dominio mixto.
JP2004109803A (ja) 2002-09-20 2004-04-08 Hitachi Kokusai Electric Inc 音声符号化装置及び方法
US7519530B2 (en) * 2003-01-09 2009-04-14 Nokia Corporation Audio signal processing
GB2398983B (en) * 2003-02-27 2005-07-06 Motorola Inc Speech communication unit and method for synthesising speech therein
WO2005024784A1 (en) * 2003-09-09 2005-03-17 Koninklijke Philips Electronics N.V. Encoding of transient audio signal components
US20050091044A1 (en) * 2003-10-23 2005-04-28 Nokia Corporation Method and system for pitch contour quantization in audio coding
US7386445B2 (en) * 2005-01-18 2008-06-10 Nokia Corporation Compensation of transient effects in transform coding
TWI358056B (en) * 2005-12-02 2012-02-11 Qualcomm Inc Systems, methods, and apparatus for frequency-doma
JP5052514B2 (ja) 2006-07-12 2012-10-17 パナソニック株式会社 音声復号装置
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US7877253B2 (en) * 2006-10-06 2011-01-25 Qualcomm Incorporated Systems, methods, and apparatus for frame erasure recovery
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
JP4882899B2 (ja) * 2007-07-25 2012-02-22 ソニー株式会社 音声解析装置、および音声解析方法、並びにコンピュータ・プログラム
DE602007004504D1 (de) * 2007-10-29 2010-03-11 Harman Becker Automotive Sys Partielle Sprachrekonstruktion
CN101465122A (zh) * 2007-12-20 2009-06-24 株式会社东芝 语音的频谱波峰的检测以及语音识别方法和***
KR101441896B1 (ko) * 2008-01-29 2014-09-23 삼성전자주식회사 적응적 lpc 계수 보간을 이용한 오디오 신호의 부호화,복호화 방법 및 장치
US8195460B2 (en) * 2008-06-17 2012-06-05 Voicesense Ltd. Speaker characterization through speech analysis
US20090319261A1 (en) 2008-06-20 2009-12-24 Qualcomm Incorporated Coding of transitional speech frames for low-bit-rate applications
US20090319263A1 (en) * 2008-06-20 2009-12-24 Qualcomm Incorporated Coding of transitional speech frames for low-bit-rate applications
US8768690B2 (en) * 2008-06-20 2014-07-01 Qualcomm Incorporated Coding scheme selection for low-bit-rate applications
US8214201B2 (en) * 2008-11-19 2012-07-03 Cambridge Silicon Radio Limited Pitch range refinement

Also Published As

Publication number Publication date
TW201216254A (en) 2012-04-16
EP2617032A1 (en) 2013-07-24
KR101545792B1 (ko) 2015-08-19
WO2012036988A1 (en) 2012-03-22
CN103098127B (zh) 2015-08-19
TWI459377B (zh) 2014-11-01
US8990094B2 (en) 2015-03-24
US20120065980A1 (en) 2012-03-15
EP2617032B1 (en) 2014-12-31
KR20130086609A (ko) 2013-08-02
JP2013541731A (ja) 2013-11-14
CN103098127A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
JP5727018B2 (ja) 過渡フレームの符号化及び復号化
JP5792311B2 (ja) ピッチラグを推定すること
KR102248252B1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
RU2418323C2 (ru) Системы и способы для изменения окна с кадром, ассоциированным с аудио сигналом
US9053702B2 (en) Systems, methods, apparatus, and computer-readable media for bit allocation for redundant transmission
KR101699138B1 (ko) 리던던트 프레임 코딩 및 디코딩을 위한 디바이스들
KR101548846B1 (ko) 워터마킹된 신호의 적응적 인코딩 및 디코딩을 위한 디바이스
CN105745703B (zh) 信号编码方法和装置以及信号解码方法和装置
US7142559B2 (en) Packet converting apparatus and method therefor
JP5639273B2 (ja) ピッチサイクルエネルギーを判断し、励起信号をスケーリングすること
US20150100318A1 (en) Systems and methods for mitigating speech signal quality degradation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150401

R150 Certificate of patent or registration of utility model

Ref document number: 5727018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees