JP5123516B2 - 復号装置、符号化装置、復号方法及び符号化方法 - Google Patents
復号装置、符号化装置、復号方法及び符号化方法 Download PDFInfo
- Publication number
- JP5123516B2 JP5123516B2 JP2006294824A JP2006294824A JP5123516B2 JP 5123516 B2 JP5123516 B2 JP 5123516B2 JP 2006294824 A JP2006294824 A JP 2006294824A JP 2006294824 A JP2006294824 A JP 2006294824A JP 5123516 B2 JP5123516 B2 JP 5123516B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- signal
- auxiliary information
- concealment
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 92
- 230000005236 sound signal Effects 0.000 claims description 350
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 72
- 238000004364 calculation method Methods 0.000 claims description 61
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 abstract description 17
- 108091026890 Coding region Proteins 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 description 60
- 238000011156 evaluation Methods 0.000 description 17
- 238000010606 normalization Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
Description
ISO/IEC JTC1/SC29/WG11 MPEG、「International Standard IS 13818-7 Information Technology-Generic Coding of Moving Pictures and Associated Audio, Part 7」、MPEG-2 AAC、1997年 C.Parkins等、「A Survey of Packet Loss Recovery Techniques for Streaming Audio」、IEEE Network、1998年9/10月
本発明の第1の実施形態に係る復号装置10は、欠落フレーム(欠落区間)の音声信号を補償するための隠蔽信号を出力するように構成されている。
g’(k-1)=−agn(k)+egn(k-1) (数2)
により、損失パケットk-1に含まれる欠落フレームk-1のサブバンドnのサブバンド利得g’(k-1)を算出するように構成されている。
このとき、ピッチ周期情報復号部103Gは、必要に応じて、ピッチ周期予測誤差復号部103Fにより復号されたピッチ周期予測誤差を利用して、上述のピッチ周期予測誤差以外のピッチ周期情報を復号するように構成されている。
p’(k-1)=−bp(k)+ep(k-1) (数3)
により、損失パケットk-1に含まれる欠落フレームk-1の音声信号のピッチ周期p’(k-1)を算出するように構成されている。
Yn,k-1(m)=g’n(k-1)・xn,k-1(m) (数5)
によって、第2隠蔽信号変換係数Yn,k-1(m)を算出することができる。
Zn,k(m)=gn(k)・zn,k(m) (数6)
によって、変換係数Zn,k(m)を算出することができる。
図10の例では、現在のパケットkに、音声信号符号化部201から出力されたフレーム2k及びフレーム2k+1の音声信号符号化系列が格納されている。
egn(2k-1)=agn(2K)-gn(2k-1) (数7)
によって、
フレーム2k-1の音声信号のサブバンドnのサブバンド利得予測誤差egn(2k-1)を算出することができる。
第1に、図12を参照して、本発明の第1の実施形態に係る復号装置10の全体動作について説明する。
本発明の第1の実施形態に係る復号装置10及び符号化装置20によれば、現フレームの音声信号と欠落フレームの音声信号との相関を利用して、欠落フレームの音声信号を補償するための第2の隠蔽信号を生成するため、パケット損失等により欠落した音声信号を補償するために、送信側からの補助情報の伝送量を抑えつつ、受信側において十分な精度の隠蔽信号を生成することが実現できる。
図20乃至図25を参照して、本発明の第2の実施形態に係る復号装置10及び符号化装置20について説明する。以下、本実施形態に係る復号装置10及び符号化装置20について、上述の第1の実施形態に係る復号装置10及び符号化装置20との相違点に着目して説明する。
101…音声信号復号部
101A…音声信号符号化系列復号部
101B…サブバンド利得情報適用部
101C…周波数-時間変換部
102…第1隠蔽信号生成部
103…補助情報復号部
103A、202A…サブバンド利得算出部
103B…サブバンド利得予測誤差復号部
103C…サブバンド利得情報復号部
103D…隠蔽区間サブバンド利得算出部
103E…ピッチ周期算出部
103F…ピッチ周期予測誤差復号部
103G…ピッチ周期情報復号部
103H…隠蔽区間ピッチ周期算出部
104…第2隠蔽信号生成部
104A…第1隠蔽信号時間-周波数変換部
104B…第1隠蔽信号変換係数正規化部
104C…サブバンド利得情報適用部
104D…第2隠蔽信号周波数-時間変換部
20…符号化装置
201…音声信号符号化部
201A…時間-周波数変換部
201B…サブバンド利得符号化部
201C…変換係数正規化部
201D…正規化変換係数符号化部
201E…音声信号符号化系列出力部
202…補助情報符号化部
202B…サブバンド利得情報保持部
202C…サブバンド利得予測誤差算出部
202D…サブバンド利得予測誤差符号化部
202E…サブバンド利得情報符号化部
202F…サブバンド利得情報符号化系列出力部
203…隠蔽信号評価部
Claims (12)
- 損失パケットの発生によって音声信号が欠落した欠落フレームの音声信号を補償するための隠蔽信号を出力する復号装置であって、
入力された音声信号符号化系列から、現フレームの音声信号を復号するように構成されている音声信号復号部と、
前記音声信号復号部からの音声信号情報を利用して前記欠落フレームに対応する第1隠蔽信号を生成するように構成されている第1隠蔽信号生成部と、
前記現フレームの音声信号と前記欠落フレームの音声信号との相関を利用して、入力された補助情報符号化系列から、前記欠落フレームの音声信号の補助情報を復号するように構成されている補助情報復号部と、
生成された前記第1隠蔽信号を、前記補助情報復号部により復号された前記欠落フレームの音声信号の補助情報に従って修正することによって、前記欠落フレームに対応する第2隠蔽信号を生成して、前記隠蔽信号として出力するように構成されている第2隠蔽信号生成部とを具備することを特徴とする復号装置。 - 隠蔽信号選択情報が、前記第2隠蔽信号を出力するように指示している場合に、前記第2隠蔽信号生成部が、前記第2隠蔽信号を前記隠蔽信号として出力するように構成されており、
前記隠蔽信号選択情報が、前記第1隠蔽信号を出力するように指示している場合に、前記第1隠蔽信号生成部が、前記第1隠蔽信号を前記隠蔽信号として出力するように構成されていてもよいことを特徴とする請求項1に記載の復号装置。 - 前記補助情報復号部は、
入力された前記補助情報符号化系列から、前記現フレームの音声信号の補助情報から前記欠落フレームの音声信号の補助情報を予測した際の誤差を示す補助情報予測誤差を復号するように構成されている補助情報予測誤差復号部と、
前記現フレームの音声信号の補助情報と、復号された前記補助情報予測誤差とに基づいて、前記欠落フレームの音声信号の補助情報を算出するように構成されている欠落フレーム補助情報算出部とを具備することを特徴とする請求項1に記載の復号装置。 - 前記欠落フレーム補助情報算出部は、前記欠落フレームの音声信号から別の欠落フレームの音声信号を予測した際の誤差を示す第2の補助情報予測誤差に基づいて、前記第2の欠落フレームの音声信号の補助情報を算出するように構成されていることを特徴とする請求項3に記載の復号装置。
- 前記補助情報は、前記音声信号の周波数パワースペクトル包絡情報、前記音声信号の電力情報又は前記音声信号のピッチ情報の少なくとも1つを含むことを特徴とする請求項1乃至4のいずれか一項に記載の復号装置。
- 前記音声信号復号部は、変換符号化方式に基づいて、入力された前記音声信号符号化系列から前記現フレームの音声信号を復号するように構成されていることを特徴とする請求項1乃至5のいずれか一項に記載の復号装置。
- 損失パケットの発生によって音声信号が欠落した欠落フレームの音声信号を補償するための隠蔽信号を生成する復号装置と共に用いられる符号化装置であって、
現フレームの音声信号を符号化することによって音声信号符号化系列を生成して出力するように構成されている音声信号符号化部と、
前記現フレームの音声信号と前記欠落フレームの音声信号との相関を利用して、前記隠蔽信号の生成に用いられる前記欠落フレームの音声信号の補助情報を算出して符号化することによって補助情報符号化系列を生成して出力するように構成されている補助情報符号化部とを具備することを特徴とする符号化装置。 - 前記補助情報符号化部は、
前記現フレームの音声信号の補助情報から前記欠落フレームの音声信号の補助情報を予測した際の誤差を示す補助情報予測誤差を算出するように構成されている補助情報予測誤差算出部と、
前記欠落フレームの音声信号の前記補助情報予測誤差を符号化することによって前記補助情報符号化系列を生成して出力するように構成されている補助情報符号化系列出力部とを具備することを特徴とする請求項7に記載の符号化装置。 - 前記補助情報は、前記音声信号の周波数パワースペクトル包絡情報、前記音声信号の電力情報又は前記音声信号のピッチ情報の少なくとも1つを含むことを特徴とする請求項7又は8に記載の符号化装置。
- 前記音声信号符号化部は、変換符号化方式に基づいて、前記音声信号を符号化することによって前記音声信号符号化系列を生成して出力するように構成されていることを特徴とする請求項7乃至9のいずれか一項に記載の符号化装置。
- 損失パケットの発生によって音声信号が欠落した欠落フレームの音声信号を補償するための隠蔽信号を出力する復号方法であって、
入力された音声信号符号化系列から、現フレームの音声信号を復号する工程と、
前記音声信号復号部からの音声信号情報を利用して前記欠落フレームに対応する第1隠蔽信号を生成する工程と、
前記現フレームの音声信号と前記欠落フレームの音声信号との相関を利用して、入力された補助情報符号化系列から、前記欠落フレームの音声信号の補助情報を復号する工程と、
生成された前記第1隠蔽信号を、前記補助情報復号部により復号された前記欠落フレームの音声信号の補助情報に従って修正することによって、前記欠落フレームに対応する第2隠蔽信号を生成して、前記隠蔽信号として出力する工程とを有することを特徴とする復号方法。 - 損失パケットの発生によって音声信号が欠落した欠落フレームの音声信号を補償するための隠蔽信号を生成する復号装置と共に用いられる符号化方法であって、
現フレームの音声信号を符号化することによって音声信号符号化系列を生成して出力する工程と、
前記現フレームの音声信号と前記欠落フレームの音声信号との相関を利用して、前記隠蔽信号の生成に用いられる前記欠落フレームの音声信号の補助情報を算出して符号化することによって補助情報符号化系列を生成して出力する工程とを有することを特徴とする符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006294824A JP5123516B2 (ja) | 2006-10-30 | 2006-10-30 | 復号装置、符号化装置、復号方法及び符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006294824A JP5123516B2 (ja) | 2006-10-30 | 2006-10-30 | 復号装置、符号化装置、復号方法及び符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008111991A JP2008111991A (ja) | 2008-05-15 |
JP5123516B2 true JP5123516B2 (ja) | 2013-01-23 |
Family
ID=39444530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006294824A Active JP5123516B2 (ja) | 2006-10-30 | 2006-10-30 | 復号装置、符号化装置、復号方法及び符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5123516B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5013822B2 (ja) * | 2006-11-09 | 2012-08-29 | キヤノン株式会社 | 音声処理装置とその制御方法、及び、コンピュータプログラム |
EP4239635A3 (en) | 2010-11-22 | 2023-11-15 | Ntt Docomo, Inc. | Audio encoding device and method |
HUE064739T2 (hu) * | 2010-11-22 | 2024-04-28 | Ntt Docomo Inc | Audio kódoló eszköz és eljárás |
JP5694745B2 (ja) * | 2010-11-26 | 2015-04-01 | 株式会社Nttドコモ | 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム |
WO2013183977A1 (ko) | 2012-06-08 | 2013-12-12 | 삼성전자 주식회사 | 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치 |
WO2014042439A1 (ko) * | 2012-09-13 | 2014-03-20 | 엘지전자 주식회사 | 손실 프레임 복원 방법 및 오디오 복호화 방법과 이를 이용하는 장치 |
CN107731237B (zh) | 2012-09-24 | 2021-07-20 | 三星电子株式会社 | 时域帧错误隐藏设备 |
PL2922053T3 (pl) * | 2012-11-15 | 2019-11-29 | Ntt Docomo Inc | Urządzenie do kodowania audio, sposób kodowania audio, program do kodowania audio, urządzenie do dekodowania audio, sposób dekodowania audio, i program do dekodowania audio |
CN112489665B (zh) * | 2020-11-11 | 2024-02-23 | 北京融讯科创技术有限公司 | 语音处理方法、装置以及电子设备 |
CN112634912B (zh) * | 2020-12-18 | 2024-04-09 | 北京猿力未来科技有限公司 | 丢包补偿方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3186013B2 (ja) * | 1995-01-13 | 2001-07-11 | 日本電信電話株式会社 | 音響信号変換符号化方法及びその復号化方法 |
JPH1097295A (ja) * | 1996-09-24 | 1998-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号符号化方法及び復号化方法 |
US6757654B1 (en) * | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
EP1199709A1 (en) * | 2000-10-20 | 2002-04-24 | Telefonaktiebolaget Lm Ericsson | Error Concealment in relation to decoding of encoded acoustic signals |
JP2002162998A (ja) * | 2000-11-28 | 2002-06-07 | Fujitsu Ltd | パケット修復処理を伴なう音声符号化方法 |
JP3566931B2 (ja) * | 2001-01-26 | 2004-09-15 | 日本電信電話株式会社 | 音声信号の符号列のパケット組立方法、装置及びパケット分解方法、装置並びにこれらの方法を実行するプログラム、プログラムを記録する記録媒体 |
US6658383B2 (en) * | 2001-06-26 | 2003-12-02 | Microsoft Corporation | Method for coding speech and music signals |
JP3722366B2 (ja) * | 2002-02-22 | 2005-11-30 | 日本電信電話株式会社 | パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム |
CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
JP2005284162A (ja) * | 2004-03-30 | 2005-10-13 | Ntt Docomo Inc | 信号符号化装置、信号復号装置、信号符号化方法、及び、信号復号方法 |
CN1906663B (zh) * | 2004-05-10 | 2010-06-02 | 日本电信电话株式会社 | 声学信号分组通信方法、传送方法、接收方法、及其设备和程序 |
-
2006
- 2006-10-30 JP JP2006294824A patent/JP5123516B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008111991A (ja) | 2008-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5123516B2 (ja) | 復号装置、符号化装置、復号方法及び符号化方法 | |
JP6951536B2 (ja) | 音声符号化装置および方法 | |
KR101455915B1 (ko) | 일반 오디오 및 음성 프레임을 포함하는 오디오 신호용 디코더 | |
JP6073830B2 (ja) | フレームエラー隠匿装置 | |
KR101513184B1 (ko) | 계층적 디코딩 구조에서의 디지털 오디오 신호의 송신 에러에 대한 은닉 | |
JP5046653B2 (ja) | 音声符号化装置および音声符号化方法 | |
US7765100B2 (en) | Method and apparatus for recovering line spectrum pair parameter and speech decoding apparatus using same | |
US20080262853A1 (en) | Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof | |
US10504525B2 (en) | Adaptive forward error correction redundant payload generation | |
AU2017208369B2 (en) | Audio coding device, audio coding method, audio coding program, audio decoding device, audio decoding method, and audio decoding program | |
JPWO2007116809A1 (ja) | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 | |
US20140088974A1 (en) | Apparatus and method for audio frame loss recovery | |
JP2008261904A (ja) | 符号化装置、復号化装置、符号化方法および復号化方法 | |
KR100591350B1 (ko) | 오디오 데이터 보간장치 및 방법, 오디오 데이터관련 정보작성장치 및 방법, 오디오 데이터 보간 정보 송신장치 및방법, 및 그 프로그램 및 기록 매체 | |
JP2004138756A (ja) | 音声符号化装置、音声復号化装置、音声信号伝送方法及びプログラム | |
JP4216364B2 (ja) | 音声符号化/復号化方法および音声信号の成分分離方法 | |
JP2004102074A (ja) | 音声符号化装置、音声復号化装置、音声信号伝送方法及びプログラム | |
JP4536621B2 (ja) | 復号装置、および復号方法 | |
JP2004069963A (ja) | 音声符号変換装置及び音声符号化装置 | |
KR100594599B1 (ko) | 수신단 기반의 패킷 손실 복구 장치 및 그 방법 | |
KR20230023634A (ko) | 스트림 준수 비트 에러 복원력 | |
JP7420829B2 (ja) | 予測コーディングにおける低コスト誤り回復のための方法および装置 | |
EP1560201A1 (en) | Code conversion method and device for code conversion | |
JP2005284162A (ja) | 信号符号化装置、信号復号装置、信号符号化方法、及び、信号復号方法 | |
JP2005151235A (ja) | 復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120810 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121026 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5123516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |