JP6704037B2 - 音声符号化装置および方法 - Google Patents
音声符号化装置および方法 Download PDFInfo
- Publication number
- JP6704037B2 JP6704037B2 JP2018230792A JP2018230792A JP6704037B2 JP 6704037 B2 JP6704037 B2 JP 6704037B2 JP 2018230792 A JP2018230792 A JP 2018230792A JP 2018230792 A JP2018230792 A JP 2018230792A JP 6704037 B2 JP6704037 B2 JP 6704037B2
- Authority
- JP
- Japan
- Prior art keywords
- power
- auxiliary information
- unit
- transient
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 113
- 230000001052 transient effect Effects 0.000 claims description 407
- 238000013139 quantization Methods 0.000 claims description 105
- 230000008859 change Effects 0.000 claims description 104
- 230000005236 sound signal Effects 0.000 claims description 38
- 238000012937 correction Methods 0.000 description 83
- 238000001514 detection method Methods 0.000 description 64
- 230000002123 temporal effect Effects 0.000 description 58
- 239000013598 vector Substances 0.000 description 58
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 27
- 238000012986 modification Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 230000005856 abnormality Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000000926 separation method Methods 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000010561 standard procedure Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
- G10L19/025—Detection of transients or attacks for time/frequency resolution switching
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
まず、図1を用いて、本発明が想定するシステム環境を説明する。図1に示すように、マイクなどのセンサを通じて得られた音声信号はディジタル形式で表現され、符号化部1に入力される。
図2に示すように符号化部1は、音声信号を符号化する音声符号化部11と、音声信号を復号する際のパケットロス隠蔽に用いられる、音声信号のパワーの時間変化に関する補助情報を推定して符号化する補助情報符号化部12と、補助情報符号化部12による符号化で得られた補助情報符号と音声符号化部11による符号化で得られた音声符号とを多重化してビットストリームとして出力する符号多重化部13と、を備える。
とすると、サブフレームl(0≦l≦L-1)のパワーP(l)は次式により求められる。kはサブフレームにおけるサンプルのインデックスを表す(0≦k≦K-1)。ここで、サブフレームに含まれるディジタル信号のサンプル数をKとした。
図6に示すように、復号部4は、エラー/ロス検出部41と、符号分離部40と、音声復号部42と、補助情報復号部45と、第一隠蔽信号生成部43と、隠蔽信号修正部44と、を備える。このうち第一隠蔽信号生成部43は、図11に示すように、復号係数蓄積部431と、蓄積復号係数反復部432とを備える。隠蔽信号修正部44は、図12に示すように、補助情報蓄積部441と、サブフレームパワー修正部442と、を備える。
エラー/ロス検出部41は、エラーフラグを音声復号部42、第一隠蔽信号生成部43、隠蔽信号修正部44および補助情報復号部45に送るとともに、ビットストリームを符号分離部40に送る。
また、サブフレームのパワーを直線近似して直線の切片を同時に符号化していた場合には、切片PJを用いてサブフレームパワーを次式により求める。
エラー/ロス検出部41は、エラーフラグを音声復号部42、第一隠蔽信号生成部43、隠蔽信号修正部44および補助情報復号部45に送る。
補助情報としては予め学習あるいは経験的に定めておいたベクトルci(l)を用いたベクトル量子化によりサブフレームのパワー系列を符号化して、補助情報として用いてもよい。そこで、第2実施形態では、第1実施形態における補助情報符号化部12、補助情報復号部45において、サブフレーム複数分のパワーをベクトル量子化して得られたベクトルに関する情報を補助情報として、符号化又は復号する例を説明する。
選択したJをバイナリ符号化などによって符号化し、補助情報符号とする。
前述した第1、第2実施形態では、補助情報の算出において音声符号化部11で符号化した信号のdフレーム以上後ろの信号を用いていたが、以下の第3実施形態では、補助情報の算出において音声符号化部11で符号化した信号のdフレーム前の信号を用いる例を説明する。
とすると、サブフレームl(0≦l≦L-1)のパワーP(l)は次式により求められる。kはサブフレームにおけるサンプルのインデックスを表す(0≦k≦K-1)。ここで、サブフレームに含まれるディジタル信号のサンプル数をKとした。
以上のように第3実施形態では、補助情報の算出において、音声符号化部で符号化した信号よりも数フレーム前の信号を用いることができる。
第4実施形態では、時間周波数変換した信号に対して第1、第2実施形態で行ったような処理を適用する例を説明する。
ここで、Eは時間方向のサブフレーム数を表し、Kは周波数ビンの数を表す。kは周波数ビンのインデックスであり(ただし0≦k≦K-1)、lはサブフレームのインデックス(ただし0≦l≦L-1)である。他にも、MDCT(Modified Discrete Cosine Transform)などにより時間周波数変換を行うこともできる。
符号多重化部13は、第1、第2実施形態と同様に、音声符号と補助情報符号を所定の順序で書き出してビットストリームを出力する。
なお、繰り返しの単位を最後のサブフレームに限定せず、B(k,l)の任意の部分を取り出して繰り返してもよいし、例えば線形予測などを用いた予測により第一隠蔽信号を生成してもよい。その他にも、例えば以下に示すように事前に定めたモデルに従い、第一隠蔽信号を生成してもよい。
また、サブフレームのパワーを直線近似して直線の切片を同時に符号化していた場合には、切片PJを用いてサブフレームパワーを次式により求める。
ここで、lは時間領域の信号のインデックスであり、0≦l≦K(2+L)である。
第5実施形態では、第1実施形態で述べた手法をサブバンド毎に適用した例を説明する。
なお、サブバンドの決め方としては、サブバンド幅を非等間隔としてもよいし、クリティカルバンドの幅に設定してもよいし、サブバンド幅を1としてもよい。
このとき、直線の傾きγoptと切片PJは次式に従う(最小二乗法)。
なお、繰り返しの単位を最後のサブフレームに限定せず、B(k,l)の任意の部分を取り出して繰り返してもよい。また、上記反復による第一隠蔽信号生成に限ることなく、例えば線形予測などを用いた予測により第一隠蔽信号を生成してもよい。その他にも、例えば以下に示すように事前に定めたモデルに従い、第一隠蔽信号を生成してもよい。
また、サブフレームのパワーを直線近似して直線の切片を同時に符号化していた場合には、切片Pi Jを用いてサブフレームパワーを次式により求める。
なお、上記の第5実施形態では、符号化対象となる信号の「dフレーム後」のフレームについて補助情報を算出して符号化する例を示したが、第3実施形態のように符号化対象となる信号の「dフレーム前」のフレームについての補助情報を算出して符号化してもよい。
第6実施形態では、補助情報符号化部において、2以上の補助情報を求めて別々に符号化してビットストリームに含める例を説明する。以下、第1実施形態との相違点を重点的に説明する。
とすると、サブフレームl(0≦l≦L-1)のパワーP1(l),P2(l)は次式により求められる。kはサブフレームにおけるサンプルのインデックスを表す(0≦k≦K-1)。
減衰係数推定部122は、サブフレームパワー系列P1(l),P2(l)から、例えば最小二乗法などを用いて、それぞれパワーの時間変化を表す直線の傾きγ1 opt、γ2 optを求める。算出方法は第1実施形態の減衰係数推定部122と同様である。
また、サブフレームのパワーを直線近似して直線の切片を同時に符号化していた場合には、切片PJを用いてサブフレームパワーを次式により求める。
例えば、サブフレームパワー修正部442は、図8に示すように、補助情報蓄積部441から、d個前のパケットで伝送された補助情報を取り出し(図8のステップS60)、第一隠蔽信号についてサブフレーム毎に平均二乗振幅値を算出し、サブフレームに含まれる値を平均二乗振幅値で割る(ステップS61)。この結果、z’(K・l+k)が得られる。そして、補助情報から、各サブフレームのパワーを算出し、パワーから求められる平均振幅値を上記サブフレームの値に乗算する(ステップS62)。これにより、隠蔽信号Y(K・l+k)が求められる。以上のステップS4101〜S4421の処理は入力音声の終了まで繰り返される(ステップS4431)。
第7実施形態では、パワーの急激な変化(以下「トランジェント」という)に関する補助情報として、補助情報符号化対象となるフレーム中のトランジェントの位置と、トランジェントの位置におけるサブフレームのパワーとを用いる例を説明する。
第7実施形態でも、符号化部1の全体構成は図2の通りであり、復号部4の全体構成は図6の通りである。第7実施形態でも、第2〜6実施形態と同様に全体構成に関する説明を省略する。
上式により、トランジェントのパワーは0から63までのインデックスに量子化される。また、量子化には、事前に学習などにより定めたコードブックを用いて量子化を行ってもよいし、その他いかなる量子化手段を用いてもよい。なお、トランジェントフラグFtranがフレーム中にトランジェントを含む値を示さないときは、通常フレームを示す値が上式のIEに入力される。
復号部4の全体構成は第1実施形態で述べた図6の通りである。以下では、第7実施形態において特徴的な構成である補助情報復号部45および隠蔽信号修正部44の構成と動作について述べる。なお、第一隠蔽信号生成部43は、第1〜第6実施形態で述べた手法に加えて、例えばTS26.402 5.2節に示すような既存の標準技術により第一の隠蔽信号を生成してもよいし、標準ではない別の隠蔽信号生成技術により生成してもよい。
を補助情報蓄積部441から読み出す。
から、修正した各サブフレームのパワーを算出する(図25のステップS7121)。具体的には以下の手順で行う。まず、各サブフレームのパワーを以下の式に従い算出する。
次に、トランジェントの位置における第一隠蔽信号のパワーと復号トランジェントパワーの差分(差分トランジェントパワー)を算出する。
次にトランジェントの位置以降のサブフレームに対応する第一の隠蔽信号のパワーを、前記、差分トランジェントパワーを用いて修正し、修正隠蔽信号サブフレームパワーを求める。
から、修正隠蔽信号サブフレームパワー
を算出する方法として、次式のような方法を用いてもよい。
最後に予め定めた予測係数apを用いて修正隠蔽信号パワーを算出する。予測係数はサブフレームパワー系列の性質により切り替えてもよい。
(符号化部1の構成および動作)
第8実施形態における補助情報符号化部12は、図26に示す通り、トランジェント検出部124A、トランジェント位置量子化部125、トランジェントパワースカラ量子化部126、トランジェントパワーベクトル量子化部128、パラメータ符号化部127を備える。第8実施形態は、第7実施形態におけるトランジェントパワースカラ量子化部126に加えてトランジェントパワーベクトル量子化部128を備えている点と、補助情報復号部45の構成および動作が、第7実施形態とは異なる。
ベクトル量子化は以下の式に従う。
なお、Iはコードブック中の直線またはベクトルのエントリ数であり、Jは、選ばれた直線あるいはベクトルのインデックス(以下「コードベクトルインデックス」という)である。なお、ci(l)はコードブック中のi番目のコードベクトルのl番目の要素を表す。
第8実施形態と第7実施形態との違いは、図30の補助情報復号部45の構成および動作と、隠蔽信号修正部44における補助情報蓄積部441およびサブフレームパワー修正部442の動作である。図30に示すように、補助情報復号部45は、トランジェントフラグ復号部129、トランジェント位置復号部1212、トランジェントパワー復号部1213、トランジェントパワーベクトル復号部1214を備える。
次に、トランジェント位置に対応するサブフレームパワーと復号トランジェントパワーとの差分である差分トランジェントパワーを算出する。
次に、差分トランジェントパワーとコードベクトルを用いて修正隠蔽信号サブフレームパワーを算出する。
ここで、本実施形態では、符号化側でサブフレームパワー系列の値を正規化した上でベクトル量子化する例を示しているが、正規化を行わずにサブフレームパワー系列のベクトル量子化を行う構成としてもよい。正規化を行わない場合は、修正隠蔽信号サブフレームパワーを以下の通り算出する。
第9実施形態では、時間周波数変換した信号に対して第7、第8実施形態で行ったような処理を適用する例を説明する。なお、補助情報符号化対象フレームは、音声符号化対象フレームより1フレーム以上後ろのフレームであってもよいし、1フレーム以上前のフレームであってもよい。また、音声符号化対象のフレームより1フレーム以上前あるいは後ろのフレームから、2以上のフレームを選んで補助情報符号を算出して利用してもよい。
第9実施形態における符号化部1は、第1実施形態で述べた図2と同様の構成であり、全体の詳細な説明を省略する。時間周波数変換については第4実施形態で述べたとおりであり、周波数領域に変換された信号をV(k,l)とする。ここで、kは周波数ビンのインデックスであり(ただし0≦k≦K-1)、lはサブフレームのインデックス(ただし0≦l≦L-1)とする。
復号部4の全体構成は、第1実施形態で述べた図6と同様である。以下では第8実施形態において特徴的な構成である補助情報復号部45と、隠蔽信号修正部44の構成と動作について述べる。なお、第一隠蔽信号生成部43は、第1〜第6実施形態で述べた手段に加えて、例えばTS26.402 5.2節に示すような既存の標準技術により第一の隠蔽信号を生成してもよいし、標準ではない別の隠蔽信号生成技術により生成してもよい。
さらに、トランジェントの位置における第一隠蔽信号のパワーと復号トランジェントパワーの差分(差分トランジェントパワー)を算出する。
さらに、トランジェントの位置以降のサブフレームに対応する第一の隠蔽信号のパワーを、前記、差分トランジェントパワーを用いて修正し、修正隠蔽信号サブフレームパワーを求める。
第10実施形態では、符号化側において、入力信号がトランジェント信号の場合には第7あるいは第8実施形態の手段により補助情報符号を出力し、トランジェント信号以外の部分についても第1〜第3実施形態の手段を用いることによりパケットロスした信号をさらに高品質に隠蔽する。なお、周波数領域で表現された入力信号に対して、トランジェントの場合には第9実施形態の方法を、トランジェント以外の場合には第4〜第6実施形態の方法を用いてもよい。
図33に示すとおり、補助情報符号化部12は、減衰係数推定部122、減衰係数量子化部123、トランジェント検出部124A、トランジェント位置量子化部125、トランジェントパワースカラ量子化部126、およびパラメータ符号化部127を備える。個々の構成要素の動作は第1、第2、第7、第8実施形態にて述べた動作と同様である。以下、補助情報符号化部12全体の動作について説明する。補助情報符号化部12の動作は、図34のフローチャートに示した。
第10実施形態の全体構成も第1実施形態〜第9実施形態と同様であるので、主な差分である補助情報復号部45および隠蔽信号修正部44の動作について述べる。
図38に示す通り、補助情報符号化部12に符号長選択部128Aを追加することにより、トランジェントフラグの値がトランジェントの存在を示す値の場合のみ2ビット以上の値で補助情報を符号化し、トランジェントが存在しないことを示す値の場合は、トランジェントフラグを示す1ビットのみを補助情報として符号化する。以上のような可変長符号化により、補助情報を符号化してもよいし、トランジェントが存在しない場合にもトランジェント位置情報と量子化トランジェントパワーと同じビット数分だけゼロを詰めることで常に同じビット数での符号化としてもよいし、何らかの他の情報を変わりに符号化して補助情報符号としてもよい。
補助情報復号部45は、第7実施形態と同様、図22に示す通りトランジェントフラグ復号部129、トランジェント位置復号部1212、トランジェントパワー復号部1213を備える。
次に、トランジェント位置復号部1212は、量子化位置情報を復号し、得られた復号位置情報ltranを出力する(図40のステップS2403)。さらに、トランジェントパワー復号部1213は、量子化トランジェントパワーIEを復号し、得られた復号トランジェントパワーP(ltran)を出力する(図40のステップS2404)。
第12実施形態では、第7実施形態の変形例について述べる。本実施形態では、量子化トランジェントパワーのみを補助情報として伝送する例を説明する。
符号化部1の構成は第1実施形態と同様である。以下では、本実施形態において特徴的な構成である補助情報符号化部12の構成と動作について述べる。補助情報符号化部12の構成は図43に示したとおり、トランジェント検出部124Aと、トランジェントパワースカラ量子化部126と、パラメータ符号化部127とを備える。
復号部4の全体構成は第1実施形態と同様である(図6の通り)。以下では本実施形態において特徴的な構成である補助情報復号部45の構成と動作について述べる。なお、第一隠蔽信号生成部43は、第7実施形態と同様の方法で生成する。
第13実施形態では、第7実施形態の別の変形例について述べる。本実施形態では、トランジェントフラグと量子化トランジェントパワーのみを補助情報として伝送する例を説明する。
本実施形態において特徴的な構成である補助情報符号化部12の構成と動作について述べる。補助情報符号化部12の構成は図45に示したとおり、トランジェント検出部124Aと、トランジェントパワースカラ量子化部126と、パラメータ符号化部127とを備える。
復号部4の全体構成は第1実施形態と同様である(図6の通り)。以下では本実施形態において特徴的な構成である補助情報復号部45の構成と動作について述べる。本実施形態における補助情報復号部45の構成は、図46に示す通りである。
第14実施形態では、トランジェント位置におけるサブフレームをサブバンド毎に分割し、1つ以上のサブバンドのパワーを量子化して補助情報とする。1つ以上のサブバンドのパワーを量子化するにあたって、1つ以上のサブバンドに含まれる1つ以上のサブバンドを「コアサブバンド」とする。次に、コアサブバンド以外のサブバンドについては、当該サブバンド(コアサブバンド以外のサブバンド)のパワーとコアサブバンドのパワーとの差分を算出し、コアサブバンドのパワーおよび上記の差分を量子化して補助情報とする。なお、コアサブバンドのパワーは、補助情報に含めてもよいし、補助情報に含めずに音声符号そのものに含まれる値を代用してもよい。
本実施形態における符号化部1は、第1実施形態で述べた図10と同様の構成であり、全体の詳細な説明を省略する。時間周波数変換については第4実施形態において述べたとおりである。周波数領域に変換された信号をV(k,l)とする。ここで、kは周波数ビンのインデックスであり(ただし0≦k≦K-1)、lはサブフレームのインデックス(ただし0≦l≦L-1)とする。また、時間周波数変換部10は、周波数領域に変換された信号V(k,l)と、時間周波数領域変換する前の音声信号の両方を補助情報符号化部12に入力する。
を量子化し、コアサブバンドパワー符号を出力する。量子化には、予め定めた量子化コードブックを用いて量子化してもよいし、ハフマン符号化などを用いてエントロピ符号化により量子化してもよい。また、予め1つ以上のJ個のサブバンド
をコアサブバンドとし、上記J個のサブバンドのパワーの平均をコアサブバンドのパワーとしてもよい。また、J個のサブバンドの最大値、または最小値、または中央値をコアサブバンドのパワーとしてもよい。さらに、コアサブバンドパワー量子化部129Aは、コアサブバンドパワー符号を復号し、復号コアサブバンドパワー
を出力する。
を次式により算出して量子化し、差分サブバンドパワー符号を出力する。量子化には、予め定めた量子化コードブックを用いて量子化してもよいし、ハフマン符号化などを用いてエントロピ符号化により量子化してもよいし、差分サブバンドパワー系列が2以上のサブバンドを備える場合にはベクトル量子化により量子化してもよい。
本実施形態における補助情報復号部45の構成を図48に示す。補助情報復号部45は、トランジェントフラグ復号部129と、コアサブバンドパワー復号部1214Aと、差分復号部1215と、を備える。さらに、トランジェント位置復号部1212を含める構成としてもよいが、以下ではトランジェント位置復号部1212を含めない構成により説明する。
を出力する。さらに、差分復号部1215は、次式に従い、復号差分サブバンドパワー系列と復号コアサブバンドパワーとを加算して、トランジェントパワースペクトル
を算出する。
第15実施形態では、第14実施形態における図47のコアサブバンドパワー量子化部129Aおよび図48のコアサブバンドパワー復号部1214Aを省略した場合について述べる。
本実施形態における符号化部1は、第1実施形態で述べた図10と同様の構成であり、全体の詳細な説明を省略する。時間周波数変換は第14実施形態と同様である。
を次式により算出して量子化し、得られた差分サブバンドパワー符号を出力する。量子化では、予め定めた量子化コードブックを用いて量子化してもよいし、ハフマン符号化などを用いてエントロピ符号化により量子化してもよいし、差分サブバンドパワー系列が2以上のサブバンドを備える場合にはベクトル量子化により量子化してもよい。
本実施形態における補助情報復号部45の構成を図50に示す。補助情報復号部45は、トランジェントフラグ復号部129と、差分復号部1215と、を備える。さらに、トランジェント位置復号部1212を含める構成としてもよいが、以下ではトランジェント位置復号部1212を含めない構成により説明する。
を出力する。さらに、差分復号部1215は、下記の式に従い、復号差分サブバンドパワー系列と復号コアサブバンドパワーとを加算して、トランジェントパワースペクトル
を算出する。
まず、コンピュータを、本発明に係る音声符号化装置として動作させる音声符号化プログラムについて説明する。
Claims (2)
- 複数のフレームからなる音声信号を符号化する音声符号化装置であって、
音声信号を符号化する音声符号化部と、
音声信号を復号する際のパケットロス隠蔽に用いられる、音声信号のパワーの時間変化に関する補助情報を推定し符号化する補助情報符号化部と、
を備え、
前記補助情報符号化部は、
前記補助情報として、前記音声符号化部による符号化対象のフレームとは異なるフレームの音声信号におけるパワーの変化に関するフラグを推定し符号化し、
前記フラグが所定のモードである場合、前記補助情報として、さらに、前記符号化対象のフレームとは異なるフレームの音声信号におけるパワーの変化の位置での量子化トランジェントパワーを推定し符号化し、前記補助情報には、前記フラグ及び前記量子化トランジェントパワーのみが含まれ、
前記フラグが所定のモードでない場合、前記補助情報には、量子化トランジェントパワーを含めない、
音声符号化装置。 - 複数のフレームからなる音声信号を符号化する音声符号化装置、により実行される音声符号化方法であって、
音声信号を符号化する音声符号化ステップと、
音声信号を復号する際のパケットロス隠蔽に用いられる、音声信号のパワーの時間変化に関する補助情報を推定し符号化する補助情報符号化ステップと、
を備え、
前記補助情報符号化ステップでは、前記音声符号化装置は、
前記補助情報として、前記音声符号化ステップにおける符号化対象のフレームとは異なるフレームの音声信号におけるパワーの変化に関するフラグを推定し符号化し、
前記フラグが所定のモードである場合、前記補助情報として、さらに、前記符号化対象のフレームとは異なるフレームの音声信号におけるパワーの変化の位置での量子化トランジェントパワーを推定し符号化し、前記補助情報には、前記フラグ及び前記量子化トランジェントパワーのみが含まれ、
前記フラグが所定のモードでない場合、前記補助情報には、量子化トランジェントパワーを含めない、
音声符号化方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010260447 | 2010-11-22 | ||
JP2010260447 | 2010-11-22 | ||
JP2011033915 | 2011-02-18 | ||
JP2011033915 | 2011-02-18 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017102737A Division JP6450802B2 (ja) | 2010-11-22 | 2017-05-24 | 音声符号化装置および方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019216491A Division JP6789365B2 (ja) | 2010-11-22 | 2019-11-29 | 音声符号化装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019066868A JP2019066868A (ja) | 2019-04-25 |
JP6704037B2 true JP6704037B2 (ja) | 2020-06-03 |
Family
ID=46145720
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012545668A Active JP6000854B2 (ja) | 2010-11-22 | 2011-11-04 | 音声符号化装置および方法、並びに、音声復号装置および方法 |
JP2016127642A Active JP6151411B2 (ja) | 2010-11-22 | 2016-06-28 | 音声符号化装置および方法、並びに、音声復号装置および方法 |
JP2017102737A Active JP6450802B2 (ja) | 2010-11-22 | 2017-05-24 | 音声符号化装置および方法 |
JP2018230792A Active JP6704037B2 (ja) | 2010-11-22 | 2018-12-10 | 音声符号化装置および方法 |
JP2019216491A Active JP6789365B2 (ja) | 2010-11-22 | 2019-11-29 | 音声符号化装置および方法 |
JP2020183599A Active JP6951536B2 (ja) | 2010-11-22 | 2020-11-02 | 音声符号化装置および方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012545668A Active JP6000854B2 (ja) | 2010-11-22 | 2011-11-04 | 音声符号化装置および方法、並びに、音声復号装置および方法 |
JP2016127642A Active JP6151411B2 (ja) | 2010-11-22 | 2016-06-28 | 音声符号化装置および方法、並びに、音声復号装置および方法 |
JP2017102737A Active JP6450802B2 (ja) | 2010-11-22 | 2017-05-24 | 音声符号化装置および方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019216491A Active JP6789365B2 (ja) | 2010-11-22 | 2019-11-29 | 音声符号化装置および方法 |
JP2020183599A Active JP6951536B2 (ja) | 2010-11-22 | 2020-11-02 | 音声符号化装置および方法 |
Country Status (12)
Country | Link |
---|---|
US (5) | US9508350B2 (ja) |
EP (3) | EP2975610B1 (ja) |
JP (6) | JP6000854B2 (ja) |
CN (2) | CN104934036B (ja) |
DK (1) | DK2975610T3 (ja) |
ES (2) | ES2966665T3 (ja) |
FI (1) | FI3518234T3 (ja) |
HU (1) | HUE064739T2 (ja) |
PL (2) | PL2975610T3 (ja) |
PT (1) | PT2975610T (ja) |
TW (1) | TW201243825A (ja) |
WO (1) | WO2012070370A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
HUE064739T2 (hu) | 2010-11-22 | 2024-04-28 | Ntt Docomo Inc | Audio kódoló eszköz és eljárás |
CN103812824A (zh) * | 2012-11-07 | 2014-05-21 | 中兴通讯股份有限公司 | 音频多编码传输方法及相应装置 |
PL2922053T3 (pl) * | 2012-11-15 | 2019-11-29 | Ntt Docomo Inc | Urządzenie do kodowania audio, sposób kodowania audio, program do kodowania audio, urządzenie do dekodowania audio, sposób dekodowania audio, i program do dekodowania audio |
CN108364657B (zh) | 2013-07-16 | 2020-10-30 | 超清编解码有限公司 | 处理丢失帧的方法和解码器 |
JP5981408B2 (ja) * | 2013-10-29 | 2016-08-31 | 株式会社Nttドコモ | 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム |
US9608889B1 (en) * | 2013-11-22 | 2017-03-28 | Google Inc. | Audio click removal using packet loss concealment |
CN104681034A (zh) * | 2013-11-27 | 2015-06-03 | 杜比实验室特许公司 | 音频信号处理 |
CN106683681B (zh) * | 2014-06-25 | 2020-09-25 | 华为技术有限公司 | 处理丢失帧的方法和装置 |
US10580416B2 (en) * | 2015-07-06 | 2020-03-03 | Nokia Technologies Oy | Bit error detector for an audio signal decoder |
WO2017129270A1 (en) * | 2016-01-29 | 2017-08-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal |
KR102192999B1 (ko) | 2016-03-07 | 2020-12-18 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 적절히 디코딩된 오디오 프레임의 디코딩된 표현의 특성을 사용하는 에러 은닉 유닛, 오디오 디코더, 및 관련 방법과 컴퓨터 프로그램 |
MX2018010754A (es) | 2016-03-07 | 2019-01-14 | Fraunhofer Ges Forschung | Unidad de ocultamiento de error, decodificador de audio y método relacionado y programa de computadora que desaparece una trama de audio ocultada de acuerdo con factores de amortiguamiento diferentes para bandas de frecuencia diferentes. |
KR20220151953A (ko) * | 2021-05-07 | 2022-11-15 | 한국전자통신연구원 | 부가 정보를 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기 |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US862644A (en) * | 1906-08-03 | 1907-08-06 | Francis M Kepler | Screen. |
US4802171A (en) * | 1987-06-04 | 1989-01-31 | Motorola, Inc. | Method for error correction in digitally encoded speech |
US5748763A (en) * | 1993-11-18 | 1998-05-05 | Digimarc Corporation | Image steganography system featuring perceptually adaptive and globally scalable signal embedding |
JPH07336310A (ja) * | 1994-06-14 | 1995-12-22 | Matsushita Electric Ind Co Ltd | 音声復号化装置 |
US6904404B1 (en) * | 1996-07-01 | 2005-06-07 | Matsushita Electric Industrial Co., Ltd. | Multistage inverse quantization having the plurality of frequency bands |
WO2000060579A1 (en) * | 1999-04-05 | 2000-10-12 | Hughes Electronics Corporation | A frequency domain interpolative speech codec system |
JP4287545B2 (ja) * | 1999-07-26 | 2009-07-01 | パナソニック株式会社 | サブバンド符号化方式 |
JP4597360B2 (ja) * | 2000-12-26 | 2010-12-15 | パナソニック株式会社 | 音声復号装置及び音声復号方法 |
US7447639B2 (en) * | 2001-01-24 | 2008-11-04 | Nokia Corporation | System and method for error concealment in digital audio transmission |
US7412004B2 (en) * | 2001-06-29 | 2008-08-12 | Agere Systems Inc. | Method and apparatus for controlling buffer overflow in a communication system |
US7590525B2 (en) * | 2001-08-17 | 2009-09-15 | Broadcom Corporation | Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform |
US7200561B2 (en) * | 2001-08-23 | 2007-04-03 | Nippon Telegraph And Telephone Corporation | Digital signal coding and decoding methods and apparatuses and programs therefor |
JP4022427B2 (ja) * | 2002-04-19 | 2007-12-19 | 独立行政法人科学技術振興機構 | エラー隠蔽方法、エラー隠蔽プログラム、送信装置、受信装置及びエラー隠蔽装置 |
CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
SG108862A1 (en) * | 2002-07-24 | 2005-02-28 | St Microelectronics Asia | Method and system for parametric characterization of transient audio signals |
AU2003278013A1 (en) * | 2002-10-11 | 2004-05-04 | Voiceage Corporation | Methods and devices for source controlled variable bit-rate wideband speech coding |
US7657427B2 (en) * | 2002-10-11 | 2010-02-02 | Nokia Corporation | Methods and devices for source controlled variable bit-rate wideband speech coding |
US20040083110A1 (en) * | 2002-10-23 | 2004-04-29 | Nokia Corporation | Packet loss recovery based on music signal classification and mixing |
CN100471072C (zh) * | 2002-11-21 | 2009-03-18 | 日本电信电话株式会社 | 数字信号处理方法 |
US7343291B2 (en) * | 2003-07-18 | 2008-03-11 | Microsoft Corporation | Multi-pass variable bitrate media encoding |
CN100495930C (zh) * | 2003-09-02 | 2009-06-03 | 日本电信电话株式会社 | 浮点信号可逆编码方法、解码方法及其设备 |
CA2457988A1 (en) * | 2004-02-18 | 2005-08-18 | Voiceage Corporation | Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization |
US20090299756A1 (en) * | 2004-03-01 | 2009-12-03 | Dolby Laboratories Licensing Corporation | Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners |
DE602005005640T2 (de) * | 2004-03-01 | 2009-05-14 | Dolby Laboratories Licensing Corp., San Francisco | Mehrkanalige audiocodierung |
EP1722359B1 (en) * | 2004-03-05 | 2011-09-07 | Panasonic Corporation | Error conceal device and error conceal method |
US7392195B2 (en) * | 2004-03-25 | 2008-06-24 | Dts, Inc. | Lossless multi-channel audio codec |
US7668712B2 (en) * | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
CN1906663B (zh) * | 2004-05-10 | 2010-06-02 | 日本电信电话株式会社 | 声学信号分组通信方法、传送方法、接收方法、及其设备和程序 |
EP1814106B1 (en) * | 2005-01-14 | 2009-09-16 | Panasonic Corporation | Audio switching device and audio switching method |
US20070147518A1 (en) * | 2005-02-18 | 2007-06-28 | Bruno Bessette | Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX |
CN101213590B (zh) * | 2005-06-29 | 2011-09-21 | 松下电器产业株式会社 | 可扩展解码装置及丢失数据插值方法 |
US8069035B2 (en) * | 2005-10-14 | 2011-11-29 | Panasonic Corporation | Scalable encoding apparatus, scalable decoding apparatus, and methods of them |
US8620644B2 (en) * | 2005-10-26 | 2013-12-31 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
EP1852849A1 (en) * | 2006-05-05 | 2007-11-07 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream |
JP2007336310A (ja) | 2006-06-16 | 2007-12-27 | Onkyo Corp | 音響ミュート回路の制御装置 |
JP5123516B2 (ja) | 2006-10-30 | 2013-01-23 | 株式会社エヌ・ティ・ティ・ドコモ | 復号装置、符号化装置、復号方法及び符号化方法 |
KR100862662B1 (ko) * | 2006-11-28 | 2008-10-10 | 삼성전자주식회사 | 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치 |
CN101512909B (zh) * | 2006-11-30 | 2012-12-19 | 松下电器产业株式会社 | 信号处理装置 |
EP2128854B1 (en) * | 2007-03-02 | 2017-07-26 | III Holdings 12, LLC | Audio encoding device and audio decoding device |
JP4984983B2 (ja) * | 2007-03-09 | 2012-07-25 | 富士通株式会社 | 符号化装置および符号化方法 |
EP2143103A4 (en) * | 2007-03-29 | 2011-11-30 | Ericsson Telefon Ab L M | METHOD AND VOICE ENCODER WITH LENGTH ADJUSTMENT OF DISCONTINUOUS TRANSMISSION HOLD PERIOD |
JP2008261904A (ja) * | 2007-04-10 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 符号化装置、復号化装置、符号化方法および復号化方法 |
US8271268B2 (en) * | 2007-04-18 | 2012-09-18 | Nuance Communications, Inc. | Method to translate, cache and transmit text-based information contained in an audio signal |
CN101325537B (zh) * | 2007-06-15 | 2012-04-04 | 华为技术有限公司 | 一种丢帧隐藏的方法和设备 |
WO2009004727A1 (ja) * | 2007-07-04 | 2009-01-08 | Fujitsu Limited | 符号化装置、符号化方法および符号化プログラム |
JP5169059B2 (ja) * | 2007-08-06 | 2013-03-27 | パナソニック株式会社 | 音声通信装置 |
US8090588B2 (en) * | 2007-08-31 | 2012-01-03 | Nokia Corporation | System and method for providing AMR-WB DTX synchronization |
JP4640407B2 (ja) * | 2007-12-07 | 2011-03-02 | ソニー株式会社 | 信号処理装置、信号処理方法及びプログラム |
JP5262171B2 (ja) * | 2008-02-19 | 2013-08-14 | 富士通株式会社 | 符号化装置、符号化方法および符号化プログラム |
KR101570550B1 (ko) * | 2008-03-14 | 2015-11-19 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 부호화 장치, 복호 장치 및 이러한 방법 |
AU2009256551B2 (en) * | 2008-06-13 | 2015-08-13 | Nokia Technologies Oy | Method and apparatus for error concealment of encoded audio data |
US8380523B2 (en) * | 2008-07-07 | 2013-02-19 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
EP2346030B1 (en) * | 2008-07-11 | 2014-10-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, method for encoding an audio signal and computer program |
US8352279B2 (en) * | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
US8175888B2 (en) * | 2008-12-29 | 2012-05-08 | Motorola Mobility, Inc. | Enhanced layered gain factor balancing within a multiple-channel audio coding system |
JP5287546B2 (ja) * | 2009-06-29 | 2013-09-11 | 富士通株式会社 | 情報処理装置およびプログラム |
US8452606B2 (en) * | 2009-09-29 | 2013-05-28 | Skype | Speech encoding using multiple bit rates |
HUE064739T2 (hu) | 2010-11-22 | 2024-04-28 | Ntt Docomo Inc | Audio kódoló eszköz és eljárás |
FR3015826B1 (fr) | 2013-12-20 | 2016-01-01 | Schneider Electric Ind Sas | Procede de surveillance d'une communication entre un equipement emetteur et un equipement recepteur |
-
2011
- 2011-11-04 HU HUE19161209A patent/HUE064739T2/hu unknown
- 2011-11-04 FI FIEP19161209.2T patent/FI3518234T3/fi active
- 2011-11-04 CN CN201510317625.5A patent/CN104934036B/zh active Active
- 2011-11-04 EP EP15184203.6A patent/EP2975610B1/en active Active
- 2011-11-04 EP EP19161209.2A patent/EP3518234B1/en active Active
- 2011-11-04 WO PCT/JP2011/075489 patent/WO2012070370A1/ja active Application Filing
- 2011-11-04 ES ES19161209T patent/ES2966665T3/es active Active
- 2011-11-04 ES ES15184203T patent/ES2727748T3/es active Active
- 2011-11-04 DK DK15184203.6T patent/DK2975610T3/da active
- 2011-11-04 JP JP2012545668A patent/JP6000854B2/ja active Active
- 2011-11-04 PL PL15184203T patent/PL2975610T3/pl unknown
- 2011-11-04 PT PT15184203T patent/PT2975610T/pt unknown
- 2011-11-04 CN CN201180056122.7A patent/CN103229234B/zh active Active
- 2011-11-04 EP EP11842953.9A patent/EP2645366A4/en not_active Withdrawn
- 2011-11-04 PL PL19161209.2T patent/PL3518234T3/pl unknown
- 2011-11-18 TW TW100142348A patent/TW201243825A/zh unknown
-
2013
- 2013-05-21 US US13/899,233 patent/US9508350B2/en active Active
-
2016
- 2016-06-28 JP JP2016127642A patent/JP6151411B2/ja active Active
- 2016-10-20 US US15/298,979 patent/US10115402B2/en active Active
-
2017
- 2017-05-24 JP JP2017102737A patent/JP6450802B2/ja active Active
-
2018
- 2018-09-20 US US16/136,978 patent/US10762908B2/en active Active
- 2018-12-10 JP JP2018230792A patent/JP6704037B2/ja active Active
-
2019
- 2019-11-29 JP JP2019216491A patent/JP6789365B2/ja active Active
-
2020
- 2020-07-23 US US16/937,366 patent/US11322163B2/en active Active
- 2020-11-02 JP JP2020183599A patent/JP6951536B2/ja active Active
-
2022
- 2022-03-23 US US17/702,473 patent/US11756556B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6704037B2 (ja) | 音声符号化装置および方法 | |
KR102117051B1 (ko) | 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치 | |
KR20200010540A (ko) | 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치 | |
US8862463B2 (en) | Adaptive time/frequency-based audio encoding and decoding apparatuses and methods | |
JP5485909B2 (ja) | オーディオ信号処理方法及び装置 | |
JP6980871B2 (ja) | 信号符号化方法及びその装置、並びに信号復号方法及びその装置 | |
KR20100086000A (ko) | 오디오 신호 처리 방법 및 장치 | |
KR20090083070A (ko) | 적응적 lpc 계수 보간을 이용한 오디오 신호의 부호화,복호화 방법 및 장치 | |
US20090192789A1 (en) | Method and apparatus for encoding/decoding audio signals | |
KR102625143B1 (ko) | 신호 부호화방법 및 장치와 신호 복호화방법 및 장치 | |
KR20150032220A (ko) | 신호 부호화방법 및 장치와 신호 복호화방법 및 장치 | |
EP4239635A2 (en) | Audio encoding device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6704037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |