CN105225666A - 处理丢失帧的方法和装置 - Google Patents
处理丢失帧的方法和装置 Download PDFInfo
- Publication number
- CN105225666A CN105225666A CN201410291123.5A CN201410291123A CN105225666A CN 105225666 A CN105225666 A CN 105225666A CN 201410291123 A CN201410291123 A CN 201410291123A CN 105225666 A CN105225666 A CN 105225666A
- Authority
- CN
- China
- Prior art keywords
- lost frames
- current lost
- described current
- band signal
- low band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 156
- 230000008569 process Effects 0.000 title claims abstract description 69
- 238000001228 spectrum Methods 0.000 claims abstract description 109
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000005086 pumping Methods 0.000 claims description 252
- 230000005284 excitation Effects 0.000 claims description 206
- 108090000623 proteins and genes Proteins 0.000 claims description 202
- 230000007704 transition Effects 0.000 claims description 20
- 230000005236 sound signal Effects 0.000 abstract description 31
- 238000010586 diagram Methods 0.000 description 20
- 238000011084 recovery Methods 0.000 description 13
- 230000007480 spreading Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000001143 conditioned effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
- G10L2025/932—Decision in previous or following frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Telephone Function (AREA)
- Circuits Of Receivers In General (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供一种处理丢失帧的方法和装置,一种处理丢失帧的方法包括:确定当前丢失帧的初始高频带信号;确定所述当前丢失帧的增益;确定所述当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中所述连续丢帧数为到所述当前丢失帧为止连续丢失的帧数;根据所述增益调整信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益;根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。本发明实施例提供的处理丢失帧的方法和装置,用于提高音频信号丢帧恢复的性能。
Description
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种处理丢失帧的方法和装置。
背景技术
随着通信技术的发展,用户对于语音通话质量的要求越来越高,提高语音通话质量的主要方法是提高语音信号的带宽。若采用传统的编码方式进行编码来增加语音信号的带宽会大大提高码率,但提高码率则需要更大的网络带宽来传输该语音信号,由于网络带宽的限制,单纯以提高码率增加语音信号带宽的方法很难在实际应用中使用。
为了在码率不变或变化不大的情况下编码带宽更宽的语音信号,目前主要采用频带扩展技术,频带扩展技术分为时域频带扩展技术和频域频带扩展技术。另外,在语音信号进行传输的过程中,丢包率是影响语音信号质量的关键因素,因此,如何在丢包发生时尽可能正确地恢复出丢失的帧,使得当发生丢帧时信号的过渡能够更加自然平稳是语音信号传输的重要技术。
但是在采用频带扩展技术时,若语音信号出现丢帧,现有的丢帧恢复方法可能导致恢复出的丢失帧与前后帧的过渡不连续,从而导致语音信号出现杂音。
发明内容
本发明实施例提供一种处理丢失帧的方法和装置,用于提高音频信号丢帧恢复的性能。
第一方面提供一种处理丢失帧的方法,包括:
确定当前丢失帧的初始高频带信号;
确定所述当前丢失帧的增益;
确定所述当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:
帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中所述连续丢帧数为到所述当前丢失帧为止连续丢失的帧数;
根据所述增益调整信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益;
根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
结合第一方面,在第一方面的第一种可能的实现方式中,所述增益调整信息包括帧的低频带信号能量,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比;
根据所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第一方面,在第一方面的第二种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
当所述连续丢帧数等于1,且
所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第一方面,在第一方面的第三种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
当所述连续丢帧数等于1,且
所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,
且所述当前丢失帧的低频带信号谱倾斜大于所述丢失帧的前一帧的低频带信号谱倾斜时,
根据预设的调整因子对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第一方面,在第一方面的第四种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜和连续丢帧数,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
当所述连续丢帧数等于1,且
所述当前丢失帧的类型不是清音且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第一方面,在第一方面的第五种可能的实现方式中,所述增益调整信息包括连续丢帧数,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
当所述连续丢帧数大于1且所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益时,
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第一方面,在第一方面的第六种可能的实现方式中,所述增益调整信息包括连续丢帧数和帧的低频带信号谱倾斜,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
当所述连续丢帧数大于1、所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益且所述当前丢失帧的低频带信号谱倾斜和所述当前丢失帧的前一帧的低频带信号谱都大于第二阈值时,
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第一方面至第一方面的第六种可能的实现方式中任一种可能的实现方式,在第一方面的第七种可能的实现方式中,所述确定所述当前丢失帧的增益调整信息之后,还包括:
确定初始激励调整因子;
根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子;
所述根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号,包括:
根据所述调整增益和所述调整后的激励调整因子对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
结合第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量,且
所述当前丢失帧的类型不是清音且所述当前丢失帧前的最后一个正常接收帧的类型不是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第一方面的第七种可能的实现方式,在第一方面的第九种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第一方面的第七种可能的实现方式,在第一方面的第十种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第一方面的第七种可能的实现方式,在第一方面的第十一种可能的实现方式中,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第一方面的第七种可能的实现方式,在第一方面的第十二种可能的实现方式中,所述增益调整信息包括帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1且所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第一方面的第七种可能的实现方式,在第一方面的第十三种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第一方面的第七种可能的实现方式,在第一方面的第十四种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第一方面的第七种可能的实现方式,在第一方面的第十五种可能的实现方式中,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
第二方面提供一种处理丢失帧的装置,所述处理丢失帧的装置包括:
确定模块,用于确定当前丢失帧的初始高频带信号;确定所述当前丢失帧的增益;确定所述当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中所述连续丢帧数为到所述当前丢失帧为止连续丢失的帧数;
调整模块,用于根据所述增益调整信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益;根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
结合第二方面,在第二方面的第一种可能的实现方式中,所述增益调整信息包括帧的低频带信号能量,所述调整模块,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比;根据所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第二方面,在第二方面的第二种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第二方面,在第二方面的第三种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,且所述当前丢失帧的低频带信号谱倾斜大于所述丢失帧的前一帧的低频带信号谱倾斜时,根据预设的调整因子对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第二方面,在第二方面的第四种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第二方面,在第二方面的第五种可能的实现方式中,所述增益调整信息包括连续丢帧数,所述调整模块,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;当所述连续丢帧数大于1且所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益时,根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第二方面,在第二方面的第六种可能的实现方式中,所述增益调整信息包括连续丢帧数和帧的低频带信号谱倾斜,所述调整模块,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;当所述连续丢帧数大于1、所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益且所述当前丢失帧的低频带信号谱倾斜和所述当前丢失帧的前一帧的低频带信号谱都大于第二阈值时,根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
结合第二方面至第二方面的第六种可能的实现方式中任一种可能的实现方式,在第二方面的第七种可能的实现方式中,所述确定模块,还用于确定初始激励调整因子;
所述调整模块,还用于根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子;根据所述调整增益和所述调整后的激励调整因子对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
结合第二方面的第七种可能的实现方式,在第二方面的第八种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数等于1,所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量,且所述当前丢失帧的类型不是清音且所述当前丢失帧前的最后一个正常接收帧的类型不是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第二方面的第七种可能的实现方式,在第二方面的第九种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第二方面的第七种可能的实现方式,在第二方面的第十种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第二方面的第七种可能的实现方式,在第二方面的第十一种可能的实现方式中,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第二方面的第七种可能的实现方式,在第二方面的第十二种可能的实现方式中,所述增益调整信息包括帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数大于1且所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第二方面的第七种可能的实现方式,在第二方面的第十三种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第二方面的第七种可能的实现方式,在第二方面的第十四种可能的实现方式中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
结合第二方面的第七种可能的实现方式,在第二方面的第十五种可能的实现方式中,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,所述调整模块,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
本发明实施例提供的处理丢失帧的方法和装置,在音频数据发生丢帧时,根据丢失帧的低频带信号对丢失帧的高频带信号进行了调整,从而使恢复的丢失帧高低频段帧间变化趋势一致,提高了丢帧恢复的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为采用时域频带扩展技术进行音频信号编码的原理图;
图2为采用时域频带扩展技术进行音频信号解码的原理图;
图3为本发明实施例提供的处理丢失帧的方法实施例一的流程图;
图4为本发明实施例提供的处理丢失帧的方法实施例二的流程图;
图5为本发明实施例提供的处理丢失帧的方法实施例三的流程图;
图6为本发明实施例提供的处理丢失帧的方法实施例四的流程图;
图7为本发明实施例提供的处理丢失帧的方法实施例五的流程图;
图8为本发明实施例提供的处理丢失帧的方法实施例六的流程图;
图9为本发明实施例提供的处理丢失帧的方法实施例七的流程图;
图10为本发明实施例提供的处理丢失帧的方法实施例八的流程图;
图11为本发明实施例提供的处理丢失帧的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了在码率不变或变化不大的情况下编码带宽更宽的语音信号,目前主要采用频带扩展技术。频带扩展技术的原理是:发送端将信号分割为高频带和低频带两个部分,其中将低频带部分使用编码器进行编码,而对于高频带部分仅提取部分信息以及高低频带相关参数等信息;接收端根据低频带部分的信号和高频带部分的相关信息以及高低频带相关参数将整个语音信号恢复。
一般来说,在频带扩展技术中,当语音信号传输出现丢帧时,使用丢失帧前N帧(N大于等于1)的信息来恢复丢失帧。其中丢失帧的低频带部分可以根据丢失帧前一帧的低频带信息进行恢复,丢失帧的高频带部分是根据语音信号的全局增益因子和子帧增益衰减因子进行恢复。但全局增益因子和子帧增益衰减因子都是基于在编码端对原始语音信号的高频带部分进行编码得到的,并没有使用原始语音信号的低频带部分进行高频带部分的丢帧恢复处理。而当丢帧发生时,如果丢失帧的低频带能量变化趋势与高频带能量变化趋势不一致,则会导致恢复出的帧与前后帧的能量过渡不连续,从而导致语音信号中出现杂音。
图1为采用时域频带扩展技术进行音频信号编码的原理图,图2为采用时域频带扩展技术进行音频信号解码的原理图。如图1和图2所示,在编码端,首先编码端采集音频信号101,音频信号101包括低频带部分和高频带部分,其中低频带部分和高频带部分是一个相对的概念,只要将音频信号按照频率划分为从0Hz到W1Hz的部分和从W1Hz到W2Hz的部分,从0Hz到W1Hz的部分即为低频带部分,从W1Hz到W2Hz的部分则为高频带部分。例如对于8kHz采样频率的音频信号,可以将0到4kHz的部分作为低频带部分,而将4kHz到8kHz的部分作为高频带部分;对于16kHz采样频率的音频信号,可以将0到6kHz的部分作为低频带部分,而将6k到16kHz的部分作为高频带部分。然后编码端计算得到音频信号101的低频带部分的参数,这些参数包括音频信号101的基音周期、代数码数、增益等,可以包括上述的一种或多种。为了方便描述本发明的技术方案,统一用编码参数102来表示,可以理解的是,编码参数102只是为了帮助理解本发明实施例而做出的一种示例,而不意味着对编码端使用的参数的具体限制。对于音频信号101的高频带部分,编码端对高频带部分做线性预测编码(LinearPredictiveCoding,LPC),得到高频带LPC系数103。由编码参数102计算得到高频带激励信号104,将高频带LPC系数103作为LPC合成滤波器的滤波系数,将高频带激励信号104经过LPC合成滤波器合成为高频带信号,比较音频信号101的原始高频带部分和合成的高频带信号得到子帧增益(SubGain)105和全局增益(FramGain)106,其中全局增益106是通过比较音频信号101每一帧的的原始高频带部分的能量和合成的高频带信号的能量得出的,子帧增益105是通过比较音频信号101每一帧中各子帧的原始高频带部分的能量和合成的高频带信号的能量得出的。将LPC系数103转化为线谱对频率(LinearSpectralFrequency,LSF)参数107,并将LSF参数107和子帧增益105、全局增益106量化后进行编码。最终编码端根据编码参数102、编码后的LSF参数107、子帧增益105和全局增益106得到编码码流108,并将编码码流108发送给解码端。
在解码端,解码端解码接收到的编码码流108得到语音信号的基音周期、代数码数、增益等参数,即编码参数102,并且解码端将接收到的编码码流108进行解码及反量化,得到LSF参数107和子帧增益105、全局增益106,并将LSF参数107转化为LPC系数103。由编码参数102计算得到高频带激励信号104,将LPC参数103作为LPC合成滤波器的滤波系数,将高频带激励信号104经过LPC合成滤波器合成为高频带信号,并将合成的高频带信号经过子帧增益105和全局增益106的调整恢复成音频信号101的高频带部分,根据编码参数102进行解码得到音频信号101的低频带部分,将音频信号101的高频带部分和低频带部分合成得到原始的音频信号101。
当音频信号的传输出现丢帧时,根据丢失帧前一帧的编码参数和LSF参数估计丢失帧的编码参数和LSF参数(例如将丢失帧前一帧的编码参数和LSF参数直接作为丢失帧的编码参数和LSF参数),根据丢失帧前一帧的全局增益、子帧增益和编码类型估计丢失帧的全局增益和子帧增益。这样就可以对估计出的丢失帧的编码参数进行解码从而恢复出丢失帧的低频带部分;并根据估计出的编码参数恢复出丢失帧的高频带激励信号,通过估计出的丢失帧的全局增益和子帧增益恢复出丢失帧的高频带部分,将恢复的低频带部分和高频带部分合成为丢失帧的信号。
根据图1和图2所示的音频信号的编码和解码原理可知,恢复丢失帧的低频带部分使用的是丢失帧前一帧的编码参数,而丢失帧前一帧的编码参数是根据丢失帧前一帧的低频带部分经过编码直接得到的,根据该编码参数可以较好地恢复丢失帧的低频带部分。而恢复丢失帧的高频带部分使用的是丢失帧前一帧的全局增益、子帧增益和编码类型,并且由于丢失帧前一帧的全局增益和子帧增益是通过编码、运算等处理得出的,因此恢复出的丢失帧的高频带部分可能出现误差。
在一种可能的解决方案中,一种恢复丢失帧的高频带部分的方法是对全局增益因子和子帧增益衰减因子进行调整,将丢失帧前一帧的全局增益因子和子帧增益衰减因子乘以固定的衰减因子后作为丢失帧的全局增益因子和子帧增益衰减因子。
在另外一种可能的解决方案中,利用丢失帧前一帧的编码类型、发生丢失帧前最后一个正常帧的编码类型、连续丢帧数、丢失帧前一帧的全局增益因子和子帧增益衰减因子自适应估计丢失帧的全局增益因子和子帧增益衰减因子。其中全局增益因子和子帧增益衰减因子是与全局增益和子帧增益相关的参数。初步恢复丢失帧的高频带部分使用了丢失帧前一帧的高频带信息和低频带信息,而在对初步恢复的丢失帧的高频带部分进行调整时只涉及丢失帧前一帧的高频带信息,当丢失帧的高频带部分和低频带部分的能量变化趋势不一致时,恢复后的丢失帧将导致音频信号整体前后过渡的不连续,从而出现杂音。
本发明实施例提供一种处理丢失帧的方法和装置,在现有技术使用音频信号的高频带部分恢复丢失帧的基础上,进一步地根据音频信号的低频带部分对丢失帧的增益和高频激励进行调整,从而使恢复后的丢失帧高低频段变化趋势保持一致,从而提升丢帧处理的性能。
图3为本发明实施例提供的处理丢失帧的方法实施例一的流程图,如图3所示,本实施例的方法包括:
步骤S301,确定当前丢失帧的初始高频带信号。
具体地,本实施例提供的处理丢失帧的方法应用于音频信号的接收端。首先,音频信号的接收端会接收到发送端发送的音频数据,接收端接收到的音频数据既可以是数据流的方式,也可以是数据包的方式。当接收端接收到的音频数据发生丢帧时,接收端可以侦测到该丢失帧。接收端判断接收到的音频数据是否发生丢帧的方法可以是现有技术的任一种方法,例如在音频数据的每个帧中都设置一个标志位,正常情况下该标志位为0,在发生丢帧时,该标志位会被置为1,接收端在接收到音频数据时对每个帧中的该标志位进行检测,当检测到标志位为1时则可以确定发生丢帧;在另一种可能的方法中,例如可以对音频数据的每一帧依次编号,若解码端接收到的当前帧的编号与接收到的前一帧的编号不连续,则可以确定发生丢帧。本实施例不对确定接收到的音频数据是否出现丢失帧的方法做限制。
确定音频信号出现丢失帧后,需要对丢失帧进行恢复。音频信号的丢失帧可以分为低频带信号和高频带信号两部分,首先使用当前丢失帧前一帧的低频带信息恢复当前丢失帧的低频带信息,具体地是根据当前丢失帧前一帧的编码参数估计当前丢失帧的编码参数,从而估计出当前丢失帧的低频带部分。可以理解的是,此处所指的丢失帧的前一帧既可以是正常接收到的帧,也可以是根据正常接收到的帧所恢复的帧。然后根据估计的当前丢失帧的编码参数恢复当前丢失帧的高频带激励信号,根据当前丢失帧前一帧的全局增益、子帧增益和编码类型估计当前丢失帧的全局增益和子帧增益,通过估计出的当前丢失帧的全局增益和子帧增益恢复出当前丢失帧的高频带信号。
将按照上述方法恢复出的当前丢失帧的高频带信号称为初始高频带信号,本实施例下述各步骤是对该初始高频信号进行调整,从而恢复出当前丢失帧更为准确的高频带信号。
步骤S302,确定当前丢失帧的增益。
具体地,从步骤S301中可知,根据当前丢失帧前一帧的全局增益、子帧增益和编码类型可以估计当前丢失帧的全局增益和子帧增益,由于本实施例是对当前丢失帧的高频带信号进行调整,而对当前丢失帧产生直接影响的是子帧增益,因此,本步骤中以及本实施例下述当前丢失帧的增益为当前丢失帧的子帧增益。
步骤S303,确定当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中连续丢帧数为到当前丢失帧为止连续丢失的帧数。
具体地,本实施例是对当前丢失帧的高频带信号进行调整,而高频带信号是通过高频带激励信号和增益得到的,因此通过调整丢失帧的增益,则可以达到对当前丢失帧的高频带进行进行调整的目的。调整增益需要使用增益调整信息,该增益调整信息可以包括以下至少一种:帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数。
其中,帧的类型可以根据当前丢失帧的前一帧的编码类型获得,帧的类型以及编码类型信息都是携带在帧的低频带信号部分。连续丢帧数为到当前丢失帧为止连续丢失的帧数。
丢帧前编码类型可以是指本次丢帧事件发生前的编码模式。通常,为了达到更好的编码性能,编码端在对信号编码前可以对信号分类,从而选择合适的编码模式。目前,编码模式可以包括:静音帧编码模式(INACTIVEmode),清音帧编码模式(UNVOICEDmode),浊音帧编码模式(VOICEDmode),普通帧编码模式(GENERICmode),瞬态帧编码模式(TRANSITIONmode),音频帧编码模式(AUDIOmode)。
丢帧前所接收到的最后一个帧的类型可以是指本次丢帧事件发生前解码端接收到的最近的一个帧的类型。例如,假设编码端向解码端发送了4帧,其中解码端正确地接收了第1帧和第2帧,而第3帧和第4帧丢失,那么丢帧前所接收到的最后一个帧可以指第2帧。通常,帧的类型可以包括:(1)清音、静音、噪声或浊音结尾等几种特性之一的帧(UNVOICED_CLASframe);(2)清音到浊音过渡,浊音开始但还比较微弱的帧(UNVOICED_TRANSITIONframe);(3)浊音之后的过渡,浊音特性已经很弱的帧(VOICED_TRANSITIONframe);(4)浊音特性的帧,其之前的帧为浊音或者浊音开始帧(VOICED_CLASframe);(5)明显浊音的开始帧(ONSETframe);(6)谐波和噪声混合的开始帧(SIN_ONSETframe);(7)非活动特性帧(INACTIVE_CLASframe)。
连续丢帧数可以是指本次丢帧事件中到当前丢失帧为止连续丢失的帧数。实质上,连续丢帧数可以指示当前丢失帧是连续丢失的帧中的第几帧。例如,编码端向解码端发送了5帧,解码端正确接收了第1帧和第2帧,第3帧至第5帧均丢失。如果当前丢失帧为第4帧,那么连续丢帧数就是2;如果当前丢失帧为第5帧,那么连续丢帧数为3。
由于帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数几个增益调整信息都是根据帧的低频带信号获得的,因此本实施例对帧的增益进行调整使用的是信号的低频带信号部分。
步骤S304,根据增益调整信息对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
具体地,根据增益调整信息即可对当前丢失帧的增益进行调整,具体地调整方法可以预设在音频信号的解码端,解码端确定了增益调整信息后,对增益调整信息进行判断,若满足相应的预设条件,则根据该预设条件所对应的调整方法对当前丢失帧的增益进行调整,最终得到当前丢失帧的调整增益。
步骤S305,根据调整增益对初始高频带信号进行调整,得到当前丢失帧的高频带信号。
具体地,根据调整增益即可对初始高频带信号进行调整,从而得到调整后的高频带信号,即当前丢失帧的高频带信号。一般而言,高频带信号为高频带激励信号与增益之积,因此,将调整增益与初始高频带信号相乘,即可得到当前丢失帧的高频带信号。
进一步地,将步骤S305得到的当前丢失帧的高频带信号和使用当前丢失帧前一帧的编码参数恢复的当前丢失帧的低频带信号进行合成,即可得到当前丢失帧,从而完成了对当前丢失帧的恢复处理。由于接收端在恢复当前丢失帧时除了使用高频带信号得到的相关参数进行当前丢失帧的恢复,还使用了低频带信号进行当前丢失帧的恢复,从而使恢复的当前丢失帧高低频段帧间变化趋势一致,提升了丢帧恢复的性能。
本实施例,在音频数据发生丢帧时,根据丢失帧的低频带信号对丢失帧的高频带信号进行了调整,从而使恢复的丢失帧高低频段帧间变化趋势一致,提高了丢帧恢复的性能。
上述步骤S304根据增益调整信息对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益的具体方法,可以预设在音频信号的接收端,下面以具体的实施例对根据增益调整信息对当前丢失帧的增益进行调整的方法进行进一步地说明。
图4为本发明实施例提供的处理丢失帧的方实施例二的流程图,如图4所示,本实施例的方法包括:
步骤S401,根据当前丢失帧的低频带信号能量得到当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比。
具体地,本实施例是对步骤S304进行的进一步地说明。其中,增益调整信息包括帧的低频带信号能量。在根据增益调整信息对当前丢失帧的增益进行调整时,首先获取当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比。当前丢失帧的低频带信号能量可以根据恢复出的当前丢失帧的低频带信号获得,当前丢失帧的前一帧的低频带信号能量同样可以根据当前丢失帧前一帧的低频带信号能量获得。
步骤S402,根据当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
具体地,当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比反映了当前丢失帧的低频带信号能量的变化趋势,因此,根据当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比对当前丢失帧的增益进行调整,则得到的调整增益反应了当前丢失帧的低频带信号的变化趋势。因此使用本实施例得到的调整增益对当前丢失帧的高频带信号进行调整,可以使当前丢失帧高低频段帧间变化趋势一致,提升了丢帧恢复的性能。
图5为本发明实施例提供的处理丢失帧的方法实施例三的流程图,如图5所示,本实施例的方法包括:
步骤S501,当连续丢帧数等于1,且当前丢失帧的类型不是清音且当前丢失帧的类型不是清音过渡、且当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据当前丢失帧的低频带信号能量得到当前丢失帧的高频激励能量与当前丢失帧的前一帧的高频激励能量的能量比。
具体地,本实施例是对步骤S304进行的进一步地说明。其中,增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数。在根据增益调整信息对当前丢失帧的增益进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数等于1,且当前丢失帧的类型不是清音(UNVOICED_CLAS)且当前丢失帧的类型不是清音过渡(UNVOICED_TRANSITION)、且当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间。
其中,低频带信号谱倾斜为低频带信号谱的斜率,第一阈值可以为一个预设的取值,例如在本实施例中,第一阈值可以设置为8。当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值的意义在于,当前丢失帧的前一帧的低频带信号变化不能过快,否则使用低频带信号对当前丢失帧的增益进行修正的精度将降低。当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间的意义在于,当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量差距不能过大,否则将影响对当前丢失帧进行修正的精度。上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍。另外,还需要增加一个判断条件,当前丢失帧的低频带信号谱倾斜小于等于当前丢失帧的前一帧的低频带信号谱倾斜。
步骤S502,根据当前丢失帧的前一帧高频激励能量与当前丢失帧的高频激励能量的能量比对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
具体地,若判断增益调整信息满足步骤S501中的条件,则根据当前丢失帧的高频激励能量与当前丢失帧的前一帧的高频激励能量的能量比对当前丢失帧的增益进行调整。设prev_ener_ratio表示丢失帧前一帧的高频激励能量与丢失帧的高频激励能量比的比值,此时再次根据prev_ener_ratio与当前丢失帧的增益的关系对当前丢失帧的增益进行调整。例如,在本实施例中,设当前丢失帧的增益为G,当前丢失帧的调整增益为G'。当prev_ener_ratio大于G的4倍时,则G'=0.4×prev_ener_ratio+0.6×G,当prev_ener_ratio大于G的2倍但小于等于G的4倍时,则G'=0.8×prev_ener_ratio+0.2×G,当prev_ener_ratio小于等于G的2倍时,G'=0.2×prev_ener_ratio+0.8×G。
图6为本发明实施例提供的处理丢失帧的方法实施例四的流程图,如图6所示,本实施例的方法包括:
步骤S601,判断连续丢帧数等于1,且当前丢失帧的类型不是清音且当前丢失帧的类型不是清音过渡、且当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,且当前丢失帧的低频带信号谱倾斜大于丢失帧的前一帧的低频带信号谱倾斜。
具体地,本实施例是对步骤S304进行的进一步地说明。其中,增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数。在根据增益调整信息对当前丢失帧的增益进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数等于1,且当前丢失帧的类型不是清音(UNVOICED_CLAS)且当前丢失帧的类型不是清音过渡(UNVOICED_TRANSITION)、且当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间。
其中,低频带信号谱倾斜为低频带信号谱的斜率,第一阈值可以为一个预设的取值,例如在本实施例中,第一阈值可以设置为8。当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值的意义在于,当前丢失帧的前一帧的低频带信号变化不能过快,否则使用低频带信号对当前丢失帧的增益进行修正的精度将降低。当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间的意义在于,当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量差距不能过大,否则将影响对当前丢失帧进行修正的精度。上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍。另外,还需要增加一个判断条件,当前丢失帧的低频带信号谱倾斜大于当前丢失帧的前一帧的低频带信号谱倾斜。
步骤S602,根据预设的调整因子对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
具体地,若判断增益调整信息满足步骤S601中的条件,则根据一个预设的调整因子对当前丢失帧的增益进行调整。G'=G×f。其中f为预设的调整因子,f等于当前丢失帧的低频带信号谱倾斜与当前丢失帧前一帧的低频带信号谱倾斜的比。
图7为本发明实施例提供的处理丢失帧的方法实施例五的流程图,如图7所示,本实施例的方法包括:
步骤S701,当连续丢帧数等于1,且当前丢失帧的类型不是清音且当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值、且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据当前丢失帧的低频带信号能量得到当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比。
具体地,本实施例是对步骤S304进行的进一步地说明。其中,增益调整信息包括帧的类型、帧的低频带信号谱倾斜和连续丢帧数。在根据增益调整信息对当前丢失帧的增益进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数等于1,且当前丢失帧的类型不是清音且当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值、且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间。
其中,低频带信号谱倾斜为低频带信号谱的斜率,第一阈值可以为一个预设的取值,例如在本实施例中,第一阈值可以设置为8。当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值的意义在于,当前丢失帧的前一帧的低频带信号变化较快,此时将减少使用低频带信号对当前丢失帧的增益进行修正的权重。当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间的意义在于,当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量差距不能过大,否则将影响对当前丢失帧进行修正的精度。上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍。
步骤S702,根据当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
具体地,若判断增益调整信息满足步骤S701中的条件,则根据当前丢失帧的高频激励能量与当前丢失帧的前一帧的高频激励能量的能量比对当前丢失帧的增益进行调整。例如,在本实施例中,G'=0.2×prev_ener_ratio+0.8×G。
图8为本发明实施例提供的处理丢失帧的方法实施例六的流程图,如图8所示,本实施例的方法包括:
步骤S801,根据当前丢失帧的低频带信号能量得到当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比。
具体地,本实施例是对步骤S304进行的进一步地说明。其中,增益调整信息包括连续丢帧数。首先根据当前丢失帧的低频带信号能量得到当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比。
步骤S802,当连续丢帧数大于1且当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比大于当前丢失帧的增益时,根据当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
具体地,在根据增益调整信息对当前丢失帧的增益进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数大于1且当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比大于当前丢失帧的增益。同时,还需要判断另一个条件,当前丢失帧的低频带信号谱倾斜和所述当前丢失帧的前一帧的低频带信号谱是否都小于等于第二阈值,第二阈值可以是预设的一个阈值,例如为10。若同时满足上述条件,则根据当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比对当前丢失帧的增益进行调整。例如,当prev_ener_ratio>4G时,则G'=min((0.5×prev_ener_ratio+0.5×G),4×G),这里表示G'等于0.5×prev_ener_ratio+0.5×G和4×G中较小的一个;当4G>prev_ener_ratio>G时,0.8×prev_ener_ratio+0.2×G。
图9为本发明实施例提供的处理丢失帧的方法实施例七的流程图,如图9所示,本实施例的方法包括:
步骤S901,根据当前丢失帧的低频带信号能量得到当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比。
具体地,本实施例是对步骤S304进行的进一步地说明。其中,增益调整信息包括连续丢帧数和帧的低频带信号谱倾斜。首先根据当前丢失帧的低频带信号能量得到当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比。
步骤S902,当连续丢帧数大于1、当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比大于当前丢失帧的增益且当前丢失帧的低频带信号谱倾斜和当前丢失帧的前一帧的低频带信号谱都大于第二阈值时,根据当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
具体地,在根据增益调整信息对当前丢失帧的增益进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数大于1且当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比大于当前丢失帧的增益。同时,还需要判断另一个条件,当前丢失帧的低频带信号谱倾斜和所述当前丢失帧的前一帧的低频带信号谱是否都大于第二阈值,第二阈值可以是预设的一个阈值,例如为10。若同时满足上述条件,则根据当前丢失帧的前一帧的高频激励能量与当前丢失帧的高频激励能量的能量比对当前丢失帧的增益进行调整。例如,当prev_ener_ratio>4G时,则G'=min((0.8×prev_ener_ratio+0.2×G),4×G),这里表示G'等于0.8×prev_ener_ratio+0.2×G和4×G中较小的一个;当4G>prev_ener_ratio>G时,0.5×prev_ener_ratio+0.5×G。
在Windows7平台下,使用MicrosoftVisualStudio2008编译环境,图5至图9所示实施例的处理丢失帧的方法可以采用如下代码实现。
图10为本发明实施例提供的处理丢失帧的方法实施例八的流程图,如图10所示,本实施例的方法包括:
步骤S1001,确定当前丢失帧的初始高频带信号。
步骤S1002,确定当前丢失帧的增益。
步骤S1003,确定当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中连续丢帧数为到当前丢失帧为止连续丢失的帧数。
步骤S1004,确定初始激励调整因子。
具体地,本实施例在图3所示实施例的基础上,进一步地对当前丢失帧的高频带激励信号进行调整,从而对当前丢失帧进行更精确地调整。激励调整因子是指对当前丢失帧的高频带激励信号进行调整所使用的一个因子,初始激励调整因子是根据丢失帧的子帧增益和全局增益得出的。
步骤S1005,根据增益修正信息对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,根据增益调整信息即可对初始激励调整因子进行调整,具体地调整方法可以预设在音频信号的解码端,解码端确定了增益调整信息后,对增益调整信息进行判断,若满足相应的预设条件,则根据该预设条件所对应的调整方法对初始激励调整因子进行调整,最终得到调整后的激励调整因子。
需要说明的是,为了保证丢帧情况帧间能量连续性,需要对调整后的激励调整因子进行平滑渐进处理,例如,可以使用公式:scale'=pow(scale',0.125)计算。即取scale'的0.125次幂。
步骤S1006,根据增益调整信息对当前丢失帧的增益进行调整,得到当前丢失帧的调整增益。
步骤S1007,根据调整增益和调整后的激励调整因子对初始高频带信号进行调整,得到当前丢失帧的高频带信号。
具体地,一般而言,高频带信号为高频带激励信号与增益之积,因此,根据激励调整因子可以对高频带激励信号进行调整,根据调整增益同样是对高频带激励信号进行调整,最终得到当前丢失帧的高频带信号。
进一步地,在步骤S1005中,根据增益修正信息对初始激励调整因子进行调整,得到调整后的激励调整因子的具体方法可以如下述各实现方式所示。
在一种可能的实现方式中,步骤S1005包括:当连续丢帧数等于1,当前丢失帧的高频激励能量大于当前丢失帧的前一帧的高频激励能量,且当前丢失帧的类型不是清音且当前丢失帧前的最后一个正常接收帧的类型不是清音时,根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子,增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数。
具体地,增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数等于1,当前丢失帧的高频激励能量大于当前丢失帧的前一帧的高频激励能量,且当前丢失帧的类型不是清音且当前丢失帧前的最后一个正常接收帧的类型不是清音。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。其中,当前丢失帧前的最后一个正常接收帧表示当前丢失帧前最后一个没有丢失的帧。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比。
在另一种可能的实现方式中,步骤S1005包括:当连续丢帧数等于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的类型是清音时,根据当前丢失帧的前一帧的低频带信号能量与当前丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数等于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的类型是清音。其中,上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比。
在另一种可能的实现方式中,步骤S1005包括:当连续丢帧数等于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧前的最后一个正常接收帧的类型是清音时,根据当前丢失帧的前一帧的低频带信号能量与当前丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数等于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧前的最后一个正常接收帧的类型是清音。其中,当前丢失帧前的最后一个正常接收帧表示当前丢失帧前最后一个没有丢失的帧;上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比。
在另一种可能的实现方式中,步骤S1005包括:当连续丢帧数等于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据当前丢失帧的前一帧的低频带信号能量与当前丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数等于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值。其中,上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍;第三阈值可以是预设的一个阈值,例如为5。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比。
在另一种可能的实现方式中,步骤S1005包括:当连续丢帧数大于1且当前丢失帧的高频激励能量大于当前丢失帧的前一帧的高频激励能量时,根据当前丢失帧的前一帧的低频带信号能量与当前丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,增益调整信息包括帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数大于1且当前丢失帧的高频激励能量大于当前丢失帧的前一帧的高频激励能量。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比。
在另一种可能的实现方式中,步骤S1005包括:当连续丢帧数大于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的类型是清音时,根据当前丢失帧的前一帧的低频带信号能量与当前丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数大于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的类型是清音。其中,上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比、3中较小的一个。
在另一种可能的实现方式中,步骤S1005包括:当连续丢帧数大于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧前的最后一个正常接收帧的类型是清音时,根据当前丢失帧的前一帧的低频带信号能量与当前丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数大于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧前的最后一个正常接收帧的类型是清音。其中,当前丢失帧前的最后一个正常接收帧表示当前丢失帧前最后一个没有丢失的帧;上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比、3中较小的一个。
在另一种可能的实现方式中,步骤S1005包括:当连续丢帧数大于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据当前丢失帧的前一帧的低频带信号能量与当前丢失帧的低频带信号能量对初始激励调整因子进行调整,得到调整后的激励调整因子。
具体地,增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数。在根据增益修正信息对初始激励调整因子进行调整时,首先判断增益调整信息是否满足同时如下条件:连续丢帧数大于1,且当前丢失帧的高频激励能量小于当前丢失帧的前一帧的高频激励能量的一半,且当前丢失帧的低频带信号能量与当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值。其中,上述预设区间一般可以设置为当前丢失帧的低频带信号能量大于当前丢失帧的前一帧的低频带信号能量的一半,且当前丢失帧的低频带信号能量小于当前丢失帧的前一帧的低频带信号能量的两倍;第三阈值可以是预设的一个阈值,例如为5。若判断同时满足上述条件,则根据当前丢失帧的前一帧的低频带信号能量与丢失帧的低频带信号能量对初始激励调整因子进行调整。例如,设初始激励调整因子为scale,调整后的激励调整因子为scale'。则,scale'等于当前丢失帧前一帧的低频带能量与当前丢失帧的低频带能量的比、3中较小的一个。
在Windows7平台下,使用MicrosoftVisualStudio2008编译环境,图10所示实施例及图10所示实施例的各种实现方式的处理丢失帧的方法可以采用如下代码实现。
本实施例提供的处理丢失帧的方法中,仅示出以丢失帧与丢失帧前一帧的低频带信号谱倾斜、低频带信号能量比、高频激励能量比、丢失帧的帧类型等信息对丢失帧增益和激励调整因子进行修正的具体方法,但本发明提供的处理丢失帧的方法不限于此,只要是根据丢失帧与丢失帧前至少一帧的低频带信息和编码类型信息修正丢失帧的高频带信息的丢帧处理方法都在本发明的保护范围之内。
本发明实施例提供的处理丢失帧的方法,由于基于前后帧低频段相互关系来指导高频段丢失帧的恢复,这种方法在低频段信息恢复准确的情况下能够使得恢复的丢失帧高频段能量更加连续,解决了高频段能量恢复不连续的情况,提高了丢失帧高频段性能。
图11为本发明实施例提供的处理丢失帧的装置的结构示意图,如图11所示,本实施例的处理丢失帧的装置包括:
确定模块111,用于确定当前丢失帧的初始高频带信号;确定所述当前丢失帧的增益;确定所述当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中所述连续丢帧数为到所述当前丢失帧为止连续丢失的帧数;
调整模块112,用于根据所述增益调整信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益;根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
本实施提供的处理丢失帧的装置用于执行图3所示的方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
进一步地,图11所示实施例中,所述增益调整信息包括帧的低频带信号能量,调整模块112,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比;根据所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,且所述当前丢失帧的低频带信号谱倾斜大于所述丢失帧的前一帧的低频带信号谱倾斜时,根据预设的调整因子对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜和连续丢帧数,调整模块112,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
进一步地,图11所示实施例中,所述增益调整信息包括连续丢帧数,调整模块112,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;当所述连续丢帧数大于1且所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益时,根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
进一步地,图11所示实施例中,所述增益调整信息包括连续丢帧数和帧的低频带信号谱倾斜,调整模块112,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;当所述连续丢帧数大于1、所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益且所述当前丢失帧的低频带信号谱倾斜和所述当前丢失帧的前一帧的低频带信号谱都大于第二阈值时,根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
进一步地,图11所示实施例中,确定模块111,还用于确定初始激励调整因子;调整模块111,还用于根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子;根据所述调整增益和所述调整后的激励调整因子对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数等于1,所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量,且所述当前丢失帧的类型不是清音且所述当前丢失帧前的最后一个正常接收帧的类型不是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
进一步地,图11所示实施例中,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
进一步地,图11所示实施例中,所述增益调整信息包括帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数大于1且所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
进一步地,图11所示实施例中,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
进一步地,图11所示实施例中,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,调整模块112,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (32)
1.一种处理丢失帧的方法,其特征在于,所述方法包括:
确定当前丢失帧的初始高频带信号;
确定所述当前丢失帧的增益;
确定所述当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:
帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中所述连续丢帧数为到所述当前丢失帧为止连续丢失的帧数;
根据所述增益调整信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益;
根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
2.根据权利要求1所述的方法,所述增益调整信息包括帧的低频带信号能量,其特征在于,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比;
根据所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
3.根据权利要求1所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
当所述连续丢帧数等于1,且
所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
4.根据权利要求1所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
当所述连续丢帧数等于1,且
所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,
且所述当前丢失帧的低频带信号谱倾斜大于所述丢失帧的前一帧的低频带信号谱倾斜时,
根据预设的调整因子对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
5.根据权利要求1所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
当所述连续丢帧数等于1,且
所述当前丢失帧的类型不是清音且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
6.根据权利要求1所述的方法,所述增益调整信息包括连续丢帧数,其特征在于,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
当所述连续丢帧数大于1且所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益时,
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
7.根据权利要求1所述的方法,所述增益调整信息包括连续丢帧数和帧的低频带信号谱倾斜,其特征在于,所述根据所述增益修正信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益,包括:
根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;
当所述连续丢帧数大于1、所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益且所述当前丢失帧的低频带信号谱倾斜和所述当前丢失帧的前一帧的低频带信号谱都大于第二阈值时,
根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
8.根据权利要求1~7任一项所述的方法,其特征在于,所述确定所述当前丢失帧的增益调整信息之后,还包括:
确定初始激励调整因子;
根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子;
所述根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号,包括:
根据所述调整增益和所述调整后的激励调整因子对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
9.根据权利要求8所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量,且
所述当前丢失帧的类型不是清音且所述当前丢失帧前的最后一个正常接收帧的类型不是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
10.根据权利要求8所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
11.根据权利要求8所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
12.根据权利要求8所述的方法,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
13.根据权利要求8所述的方法,所述增益调整信息包括帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1且所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
14.根据权利要求8所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
15.根据权利要求8所述的方法,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
16.根据权利要求8所述的方法,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子,包括:
当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,
根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
17.一种处理丢失帧的装置,其特征在于,所述处理丢失帧的装置包括:
确定模块,用于确定当前丢失帧的初始高频带信号;确定所述当前丢失帧的增益;确定所述当前丢失帧的增益调整信息,所述增益调整信息包括以下至少一种:帧的类型,帧的低频带信号谱倾斜,帧的低频带信号能量,连续丢帧数,其中所述连续丢帧数为到所述当前丢失帧为止连续丢失的帧数;
调整模块,用于根据所述增益调整信息对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益;根据所述调整增益对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
18.根据权利要求17所述的处理丢失帧的装置,所述增益调整信息包括帧的低频带信号能量,其特征在于,所述调整模块,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比;根据所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
19.根据权利要求17所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
20.根据权利要求17所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的类型不是清音过渡、且所述当前丢失帧的前一帧的低频带信号谱倾斜小于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,且所述当前丢失帧的低频带信号谱倾斜大于所述丢失帧的前一帧的低频带信号谱倾斜时,根据预设的调整因子对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
21.根据权利要求17所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号谱倾斜和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的类型不是清音且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第一阈值、且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间时,根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
22.根据权利要求17所述的处理丢失帧的装置,所述增益调整信息包括连续丢帧数,其特征在于,所述调整模块,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;当所述连续丢帧数大于1且所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益时,根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
23.根据权利要求17所述的处理丢失帧的装置,所述增益调整信息包括连续丢帧数和帧的低频带信号谱倾斜,其特征在于,所述调整模块,具体用于根据所述当前丢失帧的低频带信号能量得到所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比;当所述连续丢帧数大于1、所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比大于所述当前丢失帧的增益且所述当前丢失帧的低频带信号谱倾斜和所述当前丢失帧的前一帧的低频带信号谱都大于第二阈值时,根据所述当前丢失帧的前一帧的高频激励能量与所述当前丢失帧的高频激励能量的能量比对所述当前丢失帧的增益进行调整,得到所述当前丢失帧的调整增益。
24.根据权利要求17~23任一项所述的处理丢失帧的装置,其特征在于,所述确定模块,还用于确定初始激励调整因子;
所述调整模块,还用于根据所述增益修正信息对所述初始激励调整因子进行调整,得到调整后的激励调整因子;根据所述调整增益和所述调整后的激励调整因子对所述初始高频带信号进行调整,得到所述当前丢失帧的高频带信号。
25.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数等于1,所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量,且所述当前丢失帧的类型不是清音且所述当前丢失帧前的最后一个正常接收帧的类型不是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
26.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
27.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
28.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数等于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
29.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数大于1且所述当前丢失帧的高频激励能量大于所述当前丢失帧的前一帧的高频激励能量时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
30.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
31.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的类型、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧前的最后一个正常接收帧的类型是清音时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
32.根据权利要求24所述的处理丢失帧的装置,所述增益调整信息包括帧的低频带信号谱倾斜、帧的低频带信号能量和连续丢帧数,其特征在于,所述调整模块,具体用于当所述连续丢帧数大于1,且所述当前丢失帧的高频激励能量小于所述当前丢失帧的前一帧的高频激励能量的一半,且所述当前丢失帧的低频带信号能量与所述当前丢失帧的前一帧的低频带信号能量的能量比位于预设区间,且所述当前丢失帧的前一帧的低频带信号谱倾斜大于第三阈值时,根据所述当前丢失帧的前一帧的低频带信号能量与所述当前丢失帧的低频带信号能量对所述初始激励调整因子进行调整,得到调整后的激励调整因子。
Priority Applications (18)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611045641.4A CN106683681B (zh) | 2014-06-25 | 2014-06-25 | 处理丢失帧的方法和装置 |
CN201410291123.5A CN105225666B (zh) | 2014-06-25 | 2014-06-25 | 处理丢失帧的方法和装置 |
KR1020167033869A KR101942411B1 (ko) | 2014-06-25 | 2015-01-28 | 손실 프레임을 처리하는 방법 및 장치 |
EP18203005.6A EP3534366B1 (en) | 2014-06-25 | 2015-01-28 | Method and apparatus for processing lost frame |
BR112016027113-0A BR112016027113B1 (pt) | 2014-06-25 | 2015-01-28 | Método e aparelho para processar quadro perdido |
EP15811619.4A EP3133596B1 (en) | 2014-06-25 | 2015-01-28 | Dropped frame processing method and device |
PCT/CN2015/071728 WO2015196803A1 (zh) | 2014-06-25 | 2015-01-28 | 处理丢失帧的方法和装置 |
MYPI2016704115A MY178408A (en) | 2014-06-25 | 2015-01-28 | Method and apparatus for processing lost frame |
CA2949266A CA2949266C (en) | 2014-06-25 | 2015-01-28 | Method and apparatus for processing lost frame |
JP2016572825A JP6439804B2 (ja) | 2014-06-25 | 2015-01-28 | 損失フレームを処理するための方法および装置 |
MX2016017007A MX359500B (es) | 2014-06-25 | 2015-01-28 | Metodo y aparato para procesar trama perdida. |
AU2015281722A AU2015281722B2 (en) | 2014-06-25 | 2015-01-28 | Method and apparatus for processing lost frame |
SG11201609526RA SG11201609526RA (en) | 2014-06-25 | 2015-01-28 | Method and apparatus for processing lost frame |
RU2016151461A RU2666471C2 (ru) | 2014-06-25 | 2015-01-28 | Способ и устройство для обработки потери кадра |
HK16107770.3A HK1219801A1 (zh) | 2014-06-25 | 2016-07-05 | 處理丟失幀的方法和裝置 |
US15/385,881 US9852738B2 (en) | 2014-06-25 | 2016-12-21 | Method and apparatus for processing lost frame |
US15/817,296 US10311885B2 (en) | 2014-06-25 | 2017-11-20 | Method and apparatus for recovering lost frames |
US16/396,253 US10529351B2 (en) | 2014-06-25 | 2019-04-26 | Method and apparatus for recovering lost frames |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410291123.5A CN105225666B (zh) | 2014-06-25 | 2014-06-25 | 处理丢失帧的方法和装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611045641.4A Division CN106683681B (zh) | 2014-06-25 | 2014-06-25 | 处理丢失帧的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105225666A true CN105225666A (zh) | 2016-01-06 |
CN105225666B CN105225666B (zh) | 2016-12-28 |
Family
ID=54936693
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611045641.4A Active CN106683681B (zh) | 2014-06-25 | 2014-06-25 | 处理丢失帧的方法和装置 |
CN201410291123.5A Active CN105225666B (zh) | 2014-06-25 | 2014-06-25 | 处理丢失帧的方法和装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611045641.4A Active CN106683681B (zh) | 2014-06-25 | 2014-06-25 | 处理丢失帧的方法和装置 |
Country Status (14)
Country | Link |
---|---|
US (3) | US9852738B2 (zh) |
EP (2) | EP3534366B1 (zh) |
JP (1) | JP6439804B2 (zh) |
KR (1) | KR101942411B1 (zh) |
CN (2) | CN106683681B (zh) |
AU (1) | AU2015281722B2 (zh) |
BR (1) | BR112016027113B1 (zh) |
CA (1) | CA2949266C (zh) |
HK (1) | HK1219801A1 (zh) |
MX (1) | MX359500B (zh) |
MY (1) | MY178408A (zh) |
RU (1) | RU2666471C2 (zh) |
SG (1) | SG11201609526RA (zh) |
WO (1) | WO2015196803A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108922551A (zh) * | 2017-05-16 | 2018-11-30 | 博通集成电路(上海)股份有限公司 | 用于补偿丢失帧的电路及方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102423753B1 (ko) * | 2015-08-20 | 2022-07-21 | 삼성전자주식회사 | 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 |
CN112384976A (zh) * | 2018-07-12 | 2021-02-19 | 杜比国际公司 | 动态eq |
WO2020146870A1 (en) * | 2019-01-13 | 2020-07-16 | Huawei Technologies Co., Ltd. | High resolution audio coding |
Family Cites Families (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5450449A (en) * | 1994-03-14 | 1995-09-12 | At&T Ipm Corp. | Linear prediction coefficient generation during frame erasure or packet loss |
US5699485A (en) * | 1995-06-07 | 1997-12-16 | Lucent Technologies Inc. | Pitch delay modification during frame erasures |
JP3616432B2 (ja) * | 1995-07-27 | 2005-02-02 | 日本電気株式会社 | 音声符号化装置 |
JP3308783B2 (ja) | 1995-11-10 | 2002-07-29 | 日本電気株式会社 | 音声復号化装置 |
US5819217A (en) * | 1995-12-21 | 1998-10-06 | Nynex Science & Technology, Inc. | Method and system for differentiating between speech and noise |
FR2765715B1 (fr) * | 1997-07-04 | 1999-09-17 | Sextant Avionique | Procede de recherche d'un modele de bruit dans des signaux sonores bruites |
FR2774827B1 (fr) * | 1998-02-06 | 2000-04-14 | France Telecom | Procede de decodage d'un flux binaire representatif d'un signal audio |
US6260010B1 (en) * | 1998-08-24 | 2001-07-10 | Conexant Systems, Inc. | Speech encoder using gain normalization that combines open and closed loop gains |
US6493664B1 (en) * | 1999-04-05 | 2002-12-10 | Hughes Electronics Corporation | Spectral magnitude modeling and quantization in a frequency domain interpolative speech codec system |
JP2000305599A (ja) * | 1999-04-22 | 2000-11-02 | Sony Corp | 音声合成装置及び方法、電話装置並びにプログラム提供媒体 |
US6604070B1 (en) | 1999-09-22 | 2003-08-05 | Conexant Systems, Inc. | System of encoding and decoding speech signals |
US6574593B1 (en) * | 1999-09-22 | 2003-06-03 | Conexant Systems, Inc. | Codebook tables for encoding and decoding |
US6636829B1 (en) * | 1999-09-22 | 2003-10-21 | Mindspeed Technologies, Inc. | Speech communication system and method for handling lost frames |
DE60117471T2 (de) * | 2001-01-19 | 2006-09-21 | Koninklijke Philips Electronics N.V. | Breitband-signalübertragungssystem |
SE521693C3 (sv) * | 2001-03-30 | 2004-02-04 | Ericsson Telefon Ab L M | En metod och anordning för brusundertryckning |
WO2003003350A1 (en) * | 2001-06-28 | 2003-01-09 | Koninklijke Philips Electronics N.V. | Wideband signal transmission system |
US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
US7457757B1 (en) * | 2002-05-30 | 2008-11-25 | Plantronics, Inc. | Intelligibility control for speech communications systems |
CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
WO2003107591A1 (en) * | 2002-06-14 | 2003-12-24 | Nokia Corporation | Enhanced error concealment for spatial audio |
ES2259158T3 (es) * | 2002-09-19 | 2006-09-16 | Matsushita Electric Industrial Co., Ltd. | Metodo y aparato decodificador audio. |
US20040064308A1 (en) * | 2002-09-30 | 2004-04-01 | Intel Corporation | Method and apparatus for speech packet loss recovery |
US7330812B2 (en) * | 2002-10-04 | 2008-02-12 | National Research Council Of Canada | Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel |
KR100501930B1 (ko) * | 2002-11-29 | 2005-07-18 | 삼성전자주식회사 | 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 |
US6985856B2 (en) | 2002-12-31 | 2006-01-10 | Nokia Corporation | Method and device for compressed-domain packet loss concealment |
WO2004090870A1 (ja) * | 2003-04-04 | 2004-10-21 | Kabushiki Kaisha Toshiba | 広帯域音声を符号化または復号化するための方法及び装置 |
US20050004793A1 (en) * | 2003-07-03 | 2005-01-06 | Pasi Ojala | Signal adaptation for higher band coding in a codec utilizing band split coding |
US8725501B2 (en) | 2004-07-20 | 2014-05-13 | Panasonic Corporation | Audio decoding device and compensation frame generation method |
EP1808684B1 (en) * | 2004-11-05 | 2014-07-30 | Panasonic Intellectual Property Corporation of America | Scalable decoding apparatus |
US8160868B2 (en) | 2005-03-14 | 2012-04-17 | Panasonic Corporation | Scalable decoder and scalable decoding method |
TWI317933B (en) * | 2005-04-22 | 2009-12-01 | Qualcomm Inc | Methods, data storage medium,apparatus of signal processing,and cellular telephone including the same |
US20060262851A1 (en) * | 2005-05-19 | 2006-11-23 | Celtro Ltd. | Method and system for efficient transmission of communication traffic |
EP1727131A2 (en) * | 2005-05-26 | 2006-11-29 | Yamaha Hatsudoki Kabushiki Kaisha | Noise cancellation helmet, motor vehicle system including the noise cancellation helmet and method of canceling noise in helmet |
US7831421B2 (en) * | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
US8150684B2 (en) | 2005-06-29 | 2012-04-03 | Panasonic Corporation | Scalable decoder preventing signal degradation and lost data interpolation method |
US7734462B2 (en) * | 2005-09-02 | 2010-06-08 | Nortel Networks Limited | Method and apparatus for extending the bandwidth of a speech signal |
US8255207B2 (en) * | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
CN100571314C (zh) * | 2006-04-18 | 2009-12-16 | 华为技术有限公司 | 对丢失的语音业务数据帧进行补偿的方法 |
CN1983909B (zh) | 2006-06-08 | 2010-07-28 | 华为技术有限公司 | 一种丢帧隐藏装置和方法 |
CN101496099B (zh) * | 2006-07-31 | 2012-07-18 | 高通股份有限公司 | 用于对有效帧进行宽带编码和解码的***、方法和设备 |
US8532984B2 (en) * | 2006-07-31 | 2013-09-10 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of active frames |
US8015000B2 (en) * | 2006-08-03 | 2011-09-06 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
US8374857B2 (en) | 2006-08-08 | 2013-02-12 | Stmicroelectronics Asia Pacific Pte, Ltd. | Estimating rate controlling parameters in perceptual audio encoders |
KR101008508B1 (ko) | 2006-08-15 | 2011-01-17 | 브로드콤 코포레이션 | 패킷 손실 후의 디코더 상태의 리페이징 |
JP5224666B2 (ja) * | 2006-09-08 | 2013-07-03 | 株式会社東芝 | オーディオ符号化装置 |
JP4827675B2 (ja) * | 2006-09-25 | 2011-11-30 | 三洋電機株式会社 | 低周波帯域音声復元装置、音声信号処理装置および録音機器 |
CN101155140A (zh) | 2006-10-01 | 2008-04-02 | 华为技术有限公司 | 音频流错误隐藏的方法、装置和*** |
RU2462769C2 (ru) * | 2006-10-24 | 2012-09-27 | Войсэйдж Корпорейшн | Способ и устройство кодирования кадров перехода в речевых сигналах |
US8010351B2 (en) * | 2006-12-26 | 2011-08-30 | Yang Gao | Speech coding system to improve packet loss concealment |
CN101286319B (zh) | 2006-12-26 | 2013-05-01 | 华为技术有限公司 | 改进语音丢包修补质量的语音编码方法 |
US20080208575A1 (en) * | 2007-02-27 | 2008-08-28 | Nokia Corporation | Split-band encoding and decoding of an audio signal |
CN101321033B (zh) | 2007-06-10 | 2011-08-10 | 华为技术有限公司 | 帧补偿方法及*** |
US9653088B2 (en) | 2007-06-13 | 2017-05-16 | Qualcomm Incorporated | Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding |
CN101325537B (zh) | 2007-06-15 | 2012-04-04 | 华为技术有限公司 | 一种丢帧隐藏的方法和设备 |
RU2441286C2 (ru) * | 2007-06-22 | 2012-01-27 | Войсэйдж Корпорейшн | Способ и устройство для обнаружения звуковой активности и классификации звуковых сигналов |
US8185388B2 (en) | 2007-07-30 | 2012-05-22 | Huawei Technologies Co., Ltd. | Apparatus for improving packet loss, frame erasure, or jitter concealment |
CN100524462C (zh) * | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
CN101335003B (zh) * | 2007-09-28 | 2010-07-07 | 华为技术有限公司 | 噪声生成装置、及方法 |
CN101207665B (zh) | 2007-11-05 | 2010-12-08 | 华为技术有限公司 | 一种衰减因子的获取方法 |
KR101235830B1 (ko) * | 2007-12-06 | 2013-02-21 | 한국전자통신연구원 | 음성코덱의 품질향상장치 및 그 방법 |
US8180064B1 (en) * | 2007-12-21 | 2012-05-15 | Audience, Inc. | System and method for providing voice equalization |
FR2929466A1 (fr) * | 2008-03-28 | 2009-10-02 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique |
CN101588341B (zh) | 2008-05-22 | 2012-07-04 | 华为技术有限公司 | 一种丢帧隐藏的方法及装置 |
EP2410522B1 (en) * | 2008-07-11 | 2017-10-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal encoder, method for encoding an audio signal and computer program |
US8718804B2 (en) * | 2009-05-05 | 2014-05-06 | Huawei Technologies Co., Ltd. | System and method for correcting for lost data in a digital audio signal |
WO2010137300A1 (ja) * | 2009-05-26 | 2010-12-02 | パナソニック株式会社 | 復号装置及び復号方法 |
US8428938B2 (en) * | 2009-06-04 | 2013-04-23 | Qualcomm Incorporated | Systems and methods for reconstructing an erased speech frame |
CN101958119B (zh) | 2009-07-16 | 2012-02-29 | 中兴通讯股份有限公司 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
GB0919673D0 (en) * | 2009-11-10 | 2009-12-23 | Skype Ltd | Gain control for an audio signal |
WO2011141772A1 (en) * | 2010-05-12 | 2011-11-17 | Nokia Corporation | Method and apparatus for processing an audio signal based on an estimated loudness |
US8744091B2 (en) * | 2010-11-12 | 2014-06-03 | Apple Inc. | Intelligibility control using ambient noise detection |
ES2966665T3 (es) * | 2010-11-22 | 2024-04-23 | Ntt Docomo Inc | Dispositivo y método de codificación de audio |
WO2012110447A1 (en) * | 2011-02-14 | 2012-08-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for error concealment in low-delay unified speech and audio coding (usac) |
CA2821577C (en) * | 2011-02-15 | 2020-03-24 | Voiceage Corporation | Device and method for quantizing the gains of the adaptive and fixed contributions of the excitation in a celp codec |
EP3244405B1 (en) * | 2011-03-04 | 2019-06-19 | Telefonaktiebolaget LM Ericsson (publ) | Audio decoder with post-quantization gain correction |
CN102915737B (zh) | 2011-07-31 | 2018-01-19 | 中兴通讯股份有限公司 | 一种浊音起始帧后丢帧的补偿方法和装置 |
WO2013060223A1 (zh) * | 2011-10-24 | 2013-05-02 | 中兴通讯股份有限公司 | 语音频信号的丢帧补偿方法和装置 |
CN104254886B (zh) * | 2011-12-21 | 2018-08-14 | 华为技术有限公司 | 自适应编码浊音语音的基音周期 |
CN103295578B (zh) | 2012-03-01 | 2016-05-18 | 华为技术有限公司 | 一种语音频信号处理方法和装置 |
CN103325373A (zh) * | 2012-03-23 | 2013-09-25 | 杜比实验室特许公司 | 用于传送和接收音频信号的方法和设备 |
CN102833037B (zh) * | 2012-07-18 | 2015-04-29 | 华为技术有限公司 | 一种语音数据丢包的补偿方法及装置 |
US9633662B2 (en) * | 2012-09-13 | 2017-04-25 | Lg Electronics Inc. | Frame loss recovering method, and audio decoding method and device using same |
WO2014046526A1 (ko) * | 2012-09-24 | 2014-03-27 | 삼성전자 주식회사 | 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치 |
US9123328B2 (en) * | 2012-09-26 | 2015-09-01 | Google Technology Holdings LLC | Apparatus and method for audio frame loss recovery |
CN103854649B (zh) * | 2012-11-29 | 2018-08-28 | 中兴通讯股份有限公司 | 一种变换域的丢帧补偿方法及装置 |
EP2757558A1 (en) * | 2013-01-18 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Time domain level adjustment for audio signal decoding or encoding |
US9711156B2 (en) * | 2013-02-08 | 2017-07-18 | Qualcomm Incorporated | Systems and methods of performing filtering for gain determination |
US9208775B2 (en) * | 2013-02-21 | 2015-12-08 | Qualcomm Incorporated | Systems and methods for determining pitch pulse period signal boundaries |
US9524720B2 (en) * | 2013-12-15 | 2016-12-20 | Qualcomm Incorporated | Systems and methods of blind bandwidth extension |
JP6318621B2 (ja) * | 2014-01-06 | 2018-05-09 | 株式会社デンソー | 音声処理装置、音声処理システム、音声処理方法、音声処理プログラム |
US9697843B2 (en) * | 2014-04-30 | 2017-07-04 | Qualcomm Incorporated | High band excitation signal generation |
-
2014
- 2014-06-25 CN CN201611045641.4A patent/CN106683681B/zh active Active
- 2014-06-25 CN CN201410291123.5A patent/CN105225666B/zh active Active
-
2015
- 2015-01-28 EP EP18203005.6A patent/EP3534366B1/en active Active
- 2015-01-28 EP EP15811619.4A patent/EP3133596B1/en active Active
- 2015-01-28 BR BR112016027113-0A patent/BR112016027113B1/pt active IP Right Grant
- 2015-01-28 CA CA2949266A patent/CA2949266C/en active Active
- 2015-01-28 MX MX2016017007A patent/MX359500B/es active IP Right Grant
- 2015-01-28 RU RU2016151461A patent/RU2666471C2/ru active
- 2015-01-28 AU AU2015281722A patent/AU2015281722B2/en active Active
- 2015-01-28 SG SG11201609526RA patent/SG11201609526RA/en unknown
- 2015-01-28 WO PCT/CN2015/071728 patent/WO2015196803A1/zh active Application Filing
- 2015-01-28 KR KR1020167033869A patent/KR101942411B1/ko active IP Right Grant
- 2015-01-28 MY MYPI2016704115A patent/MY178408A/en unknown
- 2015-01-28 JP JP2016572825A patent/JP6439804B2/ja active Active
-
2016
- 2016-07-05 HK HK16107770.3A patent/HK1219801A1/zh unknown
- 2016-12-21 US US15/385,881 patent/US9852738B2/en active Active
-
2017
- 2017-11-20 US US15/817,296 patent/US10311885B2/en active Active
-
2019
- 2019-04-26 US US16/396,253 patent/US10529351B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108922551A (zh) * | 2017-05-16 | 2018-11-30 | 博通集成电路(上海)股份有限公司 | 用于补偿丢失帧的电路及方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2418323C2 (ru) | Системы и способы для изменения окна с кадром, ассоциированным с аудио сигналом | |
EP3613042B1 (en) | Non-harmonic speech detection and bandwidth extension in a multi-source environment | |
CN106847297B (zh) | 高频带信号的预测方法、编/解码设备 | |
CN103299365B (zh) | 用于自适应地编码和解码带水印信号的装置 | |
EP3055860B1 (en) | Gain shape estimation for improved tracking of high-band temporal characteristics | |
KR20060131851A (ko) | 통신 장치 및 신호 부호화/복호화 방법 | |
CN105225666A (zh) | 处理丢失帧的方法和装置 | |
KR101590239B1 (ko) | 워터마킹된 신호를 인코딩 및 디코딩하는 디바이스들 | |
EP3593348B1 (en) | Inter-channel bandwidth extension spectral mapping and adjustment | |
EP4293666A2 (en) | Signal encoding method and apparatus and signal decoding method and apparatus | |
CN114550732B (zh) | 一种高频音频信号的编解码方法和相关装置 | |
US20130085751A1 (en) | Voice communication system encoding and decoding voice and non-voice information | |
TW201921338A (zh) | 時間偏移估計 | |
EP3109861A1 (en) | Signal classifying method and device, and audio encoding method and device using same | |
US20150334501A1 (en) | Method and Apparatus for Generating Sideband Residual Signal | |
EP2988445B1 (en) | Method for processing dropped frames and decoder | |
CN101266798B (zh) | 一种在语音解码器中进行增益平滑的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1219801 Country of ref document: HK |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1219801 Country of ref document: HK |