KR20210125534A - 전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 lc3 은닉을 위한 디코더 및 디코딩 방법 - Google Patents

전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 lc3 은닉을 위한 디코더 및 디코딩 방법 Download PDF

Info

Publication number
KR20210125534A
KR20210125534A KR1020217028812A KR20217028812A KR20210125534A KR 20210125534 A KR20210125534 A KR 20210125534A KR 1020217028812 A KR1020217028812 A KR 1020217028812A KR 20217028812 A KR20217028812 A KR 20217028812A KR 20210125534 A KR20210125534 A KR 20210125534A
Authority
KR
South Korea
Prior art keywords
spectrum
decoding module
frame
previous
spectral
Prior art date
Application number
KR1020217028812A
Other languages
English (en)
Inventor
아드리안 토마세크
랄프 스페르슈나이더
얀 뷔테
콘라드 벤도르프
마틴 디에츠
마르쿠스 슈넬
막시밀리안 슐레겔
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19156997.9A external-priority patent/EP3697005A1/en
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority claimed from PCT/EP2020/053620 external-priority patent/WO2020165265A1/en
Publication of KR20210125534A publication Critical patent/KR20210125534A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/07—Arithmetic codes
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/13—Linear codes
    • H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
    • H03M13/151—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes using error location or error correction polynomials
    • H03M13/1515—Reed-Solomon codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0032—Without explicit signalling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H04L1/0042—Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0046—Code rate detection or code type detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083—Formatting with frames or packets; Protocol or part of protocol for error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0084—Formats for payload data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Alarm Systems (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

도 1은 일 실시예에 따라 오디오 신호를 재구성하기 위해 현재 프레임을 디코딩하기 위한 디코더(100)를 도시한다. 오디오 신호는 현재 프레임 내에서 인코딩된다. 현재 프레임은 현재 비트스트림 페이로드를 포함한다. 현재 비트스트림 페이로드는 복수의 페이로드 비트를 포함한다. 복수의 페이로드 비트는 오디오 신호의 스펙트럼의 복수의 스펙트럼 라인을 인코딩한다. 페이로드 비트 각각은 현재 비트스트림 페이로드 내의 위치를 나타낸다. 디코더(100)는 디코딩 모듈(110) 및 출력 인터페이스(120)를 포함한다. 디코딩 모듈(110)은 오디오 신호를 재구성하도록 구성된다. 출력 인터페이스(120)는 오디오 신호를 출력하도록 구성된다. 디코딩 모듈(110)은 디코딩 모듈(110)이 상기 오류 은닉 모드에 있는 경우, 디코딩 모듈(110)은 임계 주파수보다 큰 주파수를 나타내는 오디오 신호 스펙트럼의 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 오디오 신호를 재구성하도록 구성되는, 은닉 모드를 포함한다. 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 디코딩 모듈(110)은 현재 프레임에 선행하는 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파인 오디오 신호의 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 오류 은닉을 수행하도록 구성된다.

Description

전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 LC3 은닉을 위한 디코더 및 디코딩 방법
본 발명은 전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 LC3 프레임 손실 은닉을 위한 디코더 및 디코딩 방법에 관한 것이다.
변환 기반 오디오 코덱은 오디오 프레임 스펙트럼의 코딩된 표현에 의존한다. 이러한 스펙트럼은 복수의 스펙트럼 라인으로 구성된다. 다양한 이유로 인해 일부 또는 모든 스펙트럼 라인이 디코더 측에서 사용 가능하지 않을 수 있다. 주파수 영역의 오디오 오류 은닉 개념은 예를 들어, 이러한 누락된 스펙트럼 라인으로 인해 발생하는 아티팩트를 완화하는 수단을 제공하기 위한 것이다. 일반적인 접근 방식은 가능한 한 좋은 대체를 찾는 것이다.
종래 기술에서 다양한 프레임 손실 은닉 기술이 이용 가능하다.
주파수 영역에서 프레임 손실 은닉 개념은 예를 들어 [1]에서 논의되며, 여기서 특히 뮤팅, 반복, 잡음 대체 및 예측이 언급된다. 이러한 기술은 항상 페이드 아웃 프로세스와 결합되며, 이는 신호를 - 일반적으로 여러 손실 프레임에 걸쳐 - 0 쪽으로 또는 일종의 배경 잡음/편안한 잡음으로 페이드한다.
[2]에서 주파수 대역에 대한 다른 감쇠 계수는 해당 대역의 에너지에 따라 제안되고: 감쇠 계수가 클수록 예를 들어 임계값보다 더 높은 에너지를 갖는 대역에 적용될 수 있고, 감쇠 계수가 적을수록 해당 임계값 미만의 에너지를 가진 대역에 적용될 수 있다. 또한 [2]에서 마지막 양호한 프레임에 대한 에너지 진행이 관찰된다. 마지막 양호한 프레임의 에너지가 마지막 하나의 양호한 프레임보다 작으면 더 강한 감쇠가 적용된다.
또한, 신호의 스펙트럼 모양이 일종의 일반적인 모양으로 페이드될 수도 있다. 이 접근 방식은 특히 선형 예측 코딩(LPC) 기반 코덱, 예를 들어 EVS(향상된 음성 서비스)에서 사용되고, 이 때 LPC 계수는 제공된 일부 평균 계수 쪽으로 혼합된다.
본 발명의 목적은 오류 은닉에 대한 개선된 개념을 제공하는 것이다. 본 발명의 목적은 청구항 1에 따른 디코더, 제39항에 따른 방법 및 제40항에 따른 컴퓨터 프로그램에 의해 해결된다.
오디오 신호를 재구성하기 위해 현재 프레임을 디코딩하기 위한 디코더가 제공된다. 오디오 신호는 현재 프레임 내에서 인코딩된다. 현재 프레임은 현재 비트스트림 페이로드를 포함한다. 현재 비트스트림 페이로드는 복수의 페이로드 비트를 포함한다. 복수의 페이로드 비트는 오디오 신호의 스펙트럼의 복수의 스펙트럼 라인을 인코딩한다. 페이로드 비트 각각은 현재 비트스트림 페이로드 내의 위치를 나타낸다. 디코더는 디코딩 모듈 및 출력 인터페이스를 포함한다. 디코딩 모듈은 오디오 신호를 재구성하도록 구성된다. 출력 인터페이스는 오디오 신호를 출력하도록 구성된다. 디코딩 모듈은 디코딩 모듈이 상기 오류 은닉 모드에 있는 경우, 디코딩 모듈은 임계 주파수보다 큰 주파수를 나타내는 오디오 신호 스펙트럼의 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 오디오 신호를 재구성하도록 구성되는, 은닉 모드를 포함한다. 디코딩 모듈에 의해 오류 은닉이 수행되는 경우, 디코딩 모듈은 현재 프레임에 선행하는 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파인 오디오 신호의 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 오류 은닉을 수행하도록 구성된다.
더욱, 오디오 신호를 복원하기 위해 현재 프레임을 디코딩하는 방법이 제공된다. 상기 오디오 신호는 상기 현재 프레임 내에서 인코딩되고, 상기 현재 프레임은 현재 비트스트림 페이로드를 포함하고, 상기 현재 비트스트림 페이로드는 복수의 페이로드 비트를 포함하고, 상기 복수의 페이로드 비트는 상기 오디오 신호의 스펙트럼의 복수의 스펙트럼 라인을 인코딩하고, 상기 페이로드 비트의 각각은 상기 비트스트림 페이로드 내의 위치를 나타낸다. 상기 방법은: 상기 오디오 신호를 복원하는 단계 - 오류 은닉 모드에서, 상기 오디오 신호를 복원하는 단계는 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 수행되고; 및/또는 오류 은닉이 수행되는 경우, 오류 은닉은 상기 현재 프레임에 선행하는 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파인 오디오 신호의 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 수행됨 - ; 및 상기 오디오 신호를 출력하는 단계를 포함한다.
또한, 컴퓨터 또는 신호 프로세서 상에서 실행될 때 상술한 방법을 구현하기 위한 컴퓨터 프로그램이 제공된다.
일부 상황에서는 오류 은닉 개념이 예를 들어 전체 프레임이 손실되거나 유효하지 않은 것으로 표시된 경우, 또는 스펙트럼의 일부를 사용할 수 있는 경우에도, 전 프레임 손실 은닉이 가능한 최상의 오류 은닉 전략으로 간주되는 경우에, 전체 프레임에 적용될 수 있다.
그러나 다른 상황에서, 오류 은닉 기술은 예를 들어, 스펙트럼의 일부가 사용 가능한 경우 프레임의 일부에만 적용될 수 있다.
스펙트럼의 일부를 사용할 수 있는 상황은 예를 들어, 확장 가능한 코딩, 예를 들어 AAC 확장 가능, AAC SLS 또는 BSAC에서 발생할 수 있으며, 이 때 일부 레이어는 수신되지만 다른 레이어는 수신되지 않는다 (AAC = 고급 오디오 코딩, SLS = 무손실로 확장 가능, BSAC = 비트 슬라이스 산술 코딩).
또는 스펙트럼의 일부는 예를 들어, 손실된 프레임의 중복 저 품질 사본을 사용할 수 있는 중복 프레임 코딩에서, 즉 VoIP 또는 VoLTE의 컨텍스트에서 중복 저 품질 사본을 사용할 수 있다 ((VoIP 및 VoLTE의 견고성 및 오류 복원력에 대한 자세한 내용은 [3] 및 [4] 참조; VoIP = VoIP = VoIP/인터넷 프로토콜을 통한 음성, VoLTE = LTE를 통한 음성/장기적 진화에 대한 음성).
또는 스펙트럼의 일부는 예를 들어, 선택적 오류 감지가 수행될 때, 예를 들어, 특정 스케일 팩터가 손상된 것으로 감지되어 특정 개수의 스펙트럼 라인이 손상될 수 있는 스케일 팩터 데이터에 대한 RVLC(가역 가변 길이 코딩)가 있는 AAC에서, 또는 스펙트럼 부분의 코드화된 표현(심리음향적으로 덜 중요한 스펙트럼 범위를 나타냄)의 오류가 별도로 감지될 수 있는, 예를 들어 DECT의 경우 LC3에서 (디지털 강화 무선 통신)에서 수행될 수 있다.
다음에서, 본 발명의 실시 예가 다음 도면을 참조하여 보다 상세하게 설명된다:
도 1은 일 실시 예에 따라 오디오 신호의 오디오 신호 부분을 복원하기 위해 현재 프레임을 디코딩하기 위한 디코더를 도시한다.
도 2는 특정 실시 예에 따른 디코딩 모듈을 도시한다.
도 3은 클린 채널 디코딩을 위한 일실시 예에 따른 디코딩 모듈 개요를 도시한다.
도 4는 전 프레임 손실 은닉을 위한 일 실시 예에 따른 디코딩 모듈 개요를 도시한다.
도 5는 부분 프레임 손실 은닉을 위한 일 실시 예에 따른 디코딩 모듈 개요를 도시한다.
도 6은 일 행(a row)의 손실 프레임의 수에 의존하고 프레임 길이에 더 의존하는, 일 실시 예에 따른 페이딩 기능을 도시한다.
도 7은 일 행의 손실 프레임의 수에 의존하고 프레임 길이에 더 의존하는, 일 실시 예에 따른 부호 스크램블링에 대한 임계값을 도시한다.
도 8은 일 행의 손실 프레임의 수에 의존하고 프레임 길이에 더 의존하는, 일 실시 예에 따른 에너지 임계 지수를 도시한다.
도 9는 일 행의 손실 프레임의 수에 의존하는, 일 실시 예에 따른 비선형 감쇠를 도시한다.
도 1은 일 실시 예에 따라 오디오 신호를 복원하기 위해 현재 프레임을 디코딩하는 디코더(100)를 도시한다.
오디오 신호는 현재 프레임 내에서 인코딩된다. 현재 프레임은 현재 비트스트림 페이로드를 포함한다. 현재 비트스트림 페이로드는 복수의 페이로드 비트를 포함한다. 복수의 페이로드 비트는 오디오 신호의 스펙트럼의 복수의 스펙트럼 라인을 인코딩한다. 페이로드 비트 각각은 현재 비트스트림 페이로드 내의 위치를 나타낸다.
디코더(100)는 디코딩 모듈(110) 및 출력 인터페이스(120)를 포함한다.
디코딩 모듈(110)은 오디오 신호를 복원하도록 구성된다.
출력 인터페이스(120)는 오디오 신호를 출력하도록 구성된다.
디코딩 모듈(110)은 오류 은닉 모드를 포함하고, 여기서 디코딩 모듈(110)이 상기 오류 은닉 모드에 있는 경우, 디코딩 모듈(110)은 임계 주파수보다 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 오디오 신호를 복원하도록 구성되고/되거나, 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 디코딩 모듈(110)은 현재 프레임에 선행하는 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파인 오디오 신호의 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 오류 은닉을 수행하도록 구성된다.
일부 실시 예에서, 현재 프레임의 현재 비트스트림 페이로드가 수정 불가능한 오류를 포함하는 경우 및/또는 현재 프레임이 손실된 경우, 디코딩 모듈은 예를 들어, 상기 오류 은닉 모드에 있을 수 있다. 현재 비트스트림 페이로드는, 디코더(100)에 의해 오류 정정이 수행된 경우; 또는 현재 비트스트림 페이로드가 오류를 포함하고 오류 정정이 전혀 수행되지 않는 경우, 예를 들어 수정 불가능한 오류를 포함할 수 있다. 수정 불가능한 오류를 포함하는 프레임은 예를 들어, 손상된 프레임으로 지칭될 수 있다.
예를 들어, 일 실시 예에 따르면, 특정 오류 은닉 매개변수는 예를 들어 현재 프레임에 선행하는 상기 이전 프레임의 상기 이전 비트스트림 페이로드가 음조 또는 고조파인 오디오 신호의 상기 신호 성분을 인코딩하는지 여부에 따라 구성될 수 있다.
일 실시 예에 따르면, 이전 프레임은 예를 들어, 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 디코딩 모듈(110)에 의해 디코딩된 마지막 수신 프레임일 수 있다.
이하, 실시 예를 보다 상세히 설명한다.
스펙트럼은 예를 들어, 사용 가능하고 사용해야 하는 스펙트럼 라인과, 사용할 수 없거나 사용해서는 안되는(예를 들어, 이들은 사용 가능한 경우에도) 스펙트럼 라인으로 세분되는 것으로 간주된다.
일부 실시 예에 따르면, 예를 들어 다음과 같이 진행할 수 있다:
어떤 상황에서는 모든 스펙트럼 라인을 사용할 수 있고 사용해야 하므로, 프레임 손실 은닉은 수행될 수 없다.
다른 상황에서는 특정 스펙트럼 라인을 사용할 수 있으며 사용되어야 하고, 부분 프레임 손실 은닉은 예를 들어 누락된 스펙트럼 라인에 대해 수행될 수 있다.
또 다른 상황에서는 스펙트럼 라인을 사용할 수 없거나 사용할 수 없으며 전 프레임 손실 은닉이 수행될 수 있다.
다음에서, 일부 실시 예에 따른 음조에 따른 오류 은닉이 설명된다.
일 실시 예에서, 오류 은닉이 디코딩 모듈(110)에 의해 수행되는 경우, 디코딩 모듈(110)은 예를 들어 오디오 신호의 이전 스펙트럼의 복수의 부호를 사용하여 오류 은닉을 수행함으로써 오디오 신호의 현재 스펙트럼을 복원하도록 구성될 수 있고, 상기 복수의 부호는 이전 프레임 내에서 인코딩되고, 여기서 디코딩 모듈(110)은 예를 들어, 상기 이전 프레임이 음조 또는 고조파 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 오류 은닉을 수행하도록 구성될 수 있다. 예를 들어, 오류 은닉을 위한 매개변수는 예를 들어 신호 성분이 음조인지 고조파인지에 따라 다른 방식으로 선택될 수 있다.
일 실시 예에서, 상기 이전 프레임은 예를 들어, 오류 은닉을 수행하지 않고 디코딩 모듈(110)에 의해 디코딩된 마지막 수신 프레임일 수 있다. 또는, 상기 이전 프레임은 예를 들어, 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 디코딩 모듈(110)에 의해 디코딩된 마지막 수신 프레임일 수 있다. 또는, 상기 이전 프레임은 예를 들어 부분 프레임 손실 은닉 모드 또는 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 디코딩 모듈(110)에 의해 디코딩된 마지막 수신 프레임일 수 있다.
일 실시 예에 따르면, 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 및 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파인 신호 성분을 인코딩하는 경우, 디코딩 모듈(110)은, 예를 들어, 현재 스펙트럼을 복원하기 위해 이전 스펙트럼의 복수의 부호의 하나 이상의 부호를 반전하도록 구성될 수 있고, 여기서, 현재 스펙트럼을 복원하기 위해 디코딩 모듈(110)에 의해 반전될 이전 스펙트럼의 복수의 부호의 부호에 대한 확률을 나타내는 백분율 값 p는, 예를 들어, 0% ≤ p ≤ 50%일 수 있고, 여기서 디코딩 모듈(110)은 예를 들어 백분율 값 p를 결정하도록 구성될 수 있다. 일 실시 예에서, 디코딩 모듈(110)은 예를 들어 의사 난수의 시퀀스를 사용하여 이전 스펙트럼의 고려된 부호가 백분율 값 p에 따라 실제로 반전할지 여부를 결정할 수 있다.
일 실시 예에서, 디코딩 모듈(110)은, 예를 들어, 후속 프레임들의 수에 따라 백분율 값 p를 증가시키도록 구성될 수 있다. 후속 프레임의 상기 수는, 예를 들어, 디코딩 모듈(110)에 의해 연속적으로(부분적으로 또는 완전히) 손실된 프레임 오류 은닉이 얼마나 많이 수행되었는지를 나타낼 수 있고; 또는 상기 후속 프레임의 수는, 예를 들어, 얼마나 많은 후속 프레임에 대해서 특정 오류 은닉 모드의 오류 은닉이 디코딩 모듈(110)에 의해 수행되었는지를 나타낼 수 있다.
일 실시 예에서, 디코딩 모듈(110)은, 예를 들어, 상기 후속 프레임들의 수에 의존하는 함수에 따라 백분율 값 p를 결정하도록 구성될 수 있고, 상기 후속 프레임의 수는 상기 함수의 인수이다.
일 실시 예에 따르면, 디코딩 모듈(110)은 예를 들어 후속 프레임의 수가 제 1 임계값보다 작은 경우 p는 0%가 되고; 상기 후속 프레임의 수가 제 1 임계값 이상이고 제 2 임계값보다 작은 경우 0 % ≤ p ≤ 50 %가 되고; 후속 프레임의 수가 제 2 임계값보다 큰 경우 p = 50%가 되도록 백분율 값 p를 결정하도록 구성된다.
일 실시 예에서, 디코딩 모듈(110)은 예를 들어, 백분율 값 p가 후속 프레임의 수에 따라 제1 임계값과 제2 임계값 사이의 범위에서 선형적으로 증가하도록 백분율 값 p를 결정하도록 구성된다.
일 실시 예에 따르면, 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우 및 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파 신호 성분을 인코딩하지 않는 경우, 디코딩 모듈(110)은, 예를 들어, 현재 스펙트럼을 복원하기 위해 이전 스펙트럼의 복수의 부호의 50%를 반전하도록 구성될 수 있다.
일 실시 예에서, 오류 은닉이 디코딩 모듈(110)에 의해 수행되는 경우, 디코딩 모듈(110)은 예를 들어, 이전 프레임이 음조 또는 고조파 신호 성분을 인코딩하는지 여부에 따라, 오디오 신호의 이전 스펙트럼의 복수의 진폭을 사용하여 오류 은닉을 수행함으로써 오디오 신호의 현재 스펙트럼을 복원하도록 구성될 수 있고, 상기 복수의 진폭은 이전 프레임 내에서 인코딩된다.
일 실시 예에 따르면, 디코딩 모듈(110)에 의해 오류 은닉이 수행되면, 디코딩 모듈(110)은 예를 들어, 현재 스펙트럼을 복원하기 위해 비선형 감쇠 특성에 따라 이전 스펙트럼의 복수의 진폭을 감쇠하도록 구성될 수 있고, 여기서 비선형 감쇠 특성은 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파 신호 성분을 인코딩하는지 여부에 따라 좌우된다. 예를 들어, 비선형 감쇠 특성에 대한 매개변수는 예를 들어 신호 성분이 음조인지 고조파인지에 따라 다른 방식으로 선택될 수 있다.
일 실시 예에서, 오류 은닉이 디코딩 모듈(110)에 의해 수행되는 경우, 및 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파 신호 성분을 인코딩하는 경우, 디코딩 모듈(110)은, 예를 들어, 안정성 계수에 따라 이전 스펙트럼의 복수의 진폭을 감쇠하도록 구성될 수 있고, 여기서 상기 안정성 계수는 현재 스펙트럼과 이전 스펙트럼 사이의 유사성을 나타내고; 또는 상기 안정성 계수는 이전 스펙트럼과 이전 프레임에 선행하는 더 이전 프레임의 더 이전 스펙트럼 사이의 유사성을 나타낸다.
일 실시 예에 따르면, 상기 더 이전 프레임은 예를 들어 오류 은닉을 수행하지 않고 디코딩 모듈(110)에 의해 디코딩된 이전 프레임 이전에 마지막으로 수신된 프레임일 수 있다. 또는, 상기 더 이전 프레임은 예를 들어, 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 디코딩 모듈(110)에 의해 디코딩된 이전 프레임 이전에 마지막으로 수신된 프레임일 수 있다 (예를 들어, 마지막에서 두 번째로 수신된 프레임). 또는, 상기 더 이전 프레임은 예를 들어 부분 프레임 손실 은닉 모드 또는 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 디코딩 모듈(110)에 의해 디코딩된 이전 프레임 이전에 마지막으로 수신된 프레임일 수 있다.
일 실시 예에서, 디코딩 모듈(110)이 부분 프레임 손실 은닉을 수행하도록 설정된 경우, 상기 안정성 계수는 예를 들어, 현재 스펙트럼과 이전 스펙트럼 사이의 상기 유사성을 나타낼 수 있다. 디코딩 모듈(110)이 전 프레임 손실 은닉을 수행하도록 설정된 경우, 상기 안정성 계수는 예를 들어, 이전 스펙트럼과 더 이전 스펙트럼 사이의 상기 유사성을 나타낼 수 있다.
일 실시 예에 따르면, 디코딩 모듈(110)은, 예를 들어, 이전 스펙트럼의 스펙트럼 빈의 에너지를 결정하도록 구성될 수 있다. 더욱이, 디코딩 모듈(110)은, 예를 들어, 상기 스펙트럼 빈의 상기 에너지가 에너지 임계값보다 작은지 여부를 결정하도록 구성될 수 있다. 상기 에너지가 상기 에너지 임계값보다 작은 경우, 디코딩 모듈(110)은 예를 들어, 제1 페이딩 계수로 상기 스펙트럼 빈에 할당되는 복수의 진폭 중 하나의 진폭을 감쇠하도록 구성될 수 있다. 상기 에너지가 상기 에너지 임계값보다 크거나 같으면, 디코딩 모듈(110)은 예를 들어, 제1 페이딩 계수보다 작은 제2 페이딩 계수로 상기 스펙트럼 빈에 할당되는 복수의 진폭 중 상기 진폭을 감쇠시키도록 구성될 수 있다. 디코딩 모듈(110)은, 예를 들어, 복수의 진폭 중 하나의 감쇠에 대해 더 작은 페이딩 계수를 사용함으로써 진폭 중 상기 하나의 감쇠가 증가하도록 감쇠를 수행하도록 구성될 수 있다.
실시 예에서, 디코딩 모듈(110)은, 예를 들어, 이전 스펙트럼의 복수의 스펙트럼 빈을 포함하는 스펙트럼 대역의 에너지를 결정하도록 구성될 수 있다. 디코딩 모듈(110)은 예를 들어, 상기 스펙트럼 대역의 상기 에너지가 에너지 임계값보다 작은지 여부를 결정하도록 구성될 수 있다. 상기 에너지가 상기 에너지 임계값보다 작은 경우, 디코딩 모듈(110)은 예를 들어, 제1 페이딩 계수로 상기 스펙트럼 대역의 상기 스펙트럼 빈에 할당되는 복수의 진폭의 진폭을 감쇠하도록 구성될 수 있다. 상기 에너지가 상기 에너지 임계값보다 크거나 같으면, 디코딩 모듈(110)은, 예를 들어, 제1 페이딩 계수보다 작은 제2 페이딩 계수로 상기 스펙트럼 대역의 상기 스펙트럼 빈에 할당되는 복수의 진폭 중 상기 진폭을 감쇠시키도록 구성될 수 있다. 디코딩 모듈(110)은, 예를 들어, 복수의 진폭 중 하나의 감쇠에 대해 더 작은 페이딩 계수를 사용함으로써 진폭 중 하나의 감쇠가 증가하도록 감쇠를 수행하도록 구성될 수 있다.
일 실시 예에 따르면, 디코딩 모듈(110)은, 예를 들어, 후속 프레임들의 상기 수에 따라, 제1 페이딩 계수가 더 작아지도록 제1 페이딩 계수를 결정하도록 구성될 수 있다. 더욱이, 디코딩 모듈(110)은, 예를 들어, 상기 후속 프레임들의 수에 따라, 제2 페이딩 계수가 더 작아지도록 제2 페이딩 계수를 결정하도록 구성될 수 있다.
일 실시 예에서, 디코딩 모듈(110)은 예를 들어, 현재 프레임이 후속 프레임 중 제 1 프레임인 경우,
cum_fading_slow = 1, 및
cum_fading_fast = 1이 되고,
현재 프레임이 후속 프레임 중 제 1 프레임에 이어지는 프레임들 중 하나인 경우, 제 1 페이딩 계수 및 제 2 페이딩 계수는 예를 들어:
cum_fading_slow = cum_fading_slow * slow;
cum_fading_fast = cum_fading_fast * fast;
에 따라 상기 후속 프레임의 수에 따라 결정될 수 있도록 제1 페이딩 계수 및 제2 페이딩 계수를 결정하도록 구성될 수 있다.
여기서 상기 수학식의 오른쪽의 cum_fading_slow는 이전 프레임의 제 1 페이딩 계수이고 (예를 들어, 제 1 손실 프레임에서 1로 초기화됨), 상기 수학식의 왼쪽에 있는 cum_fading_slow는 현재 프레임의 제 1 페이딩 계수이고, 상기 수학식의 오른쪽에 있는 cum_fading_fast는 이전 프레임의 제 2 페이딩 계수이고 (예를 들어, 제 1 손실 프레임에서 1로 초기화됨), 상기 수학식의 왼쪽에 있는 cum_fading_fast는 현재 프레임의 제 2 페이딩 계수이며, 여기서 1 > slow > fast > 0이다.
일 실시 예에 따르면, 1 > slow > fast > 0.3이다.
일 실시 예에서, 디코딩 모듈(110)은 예를 들어, 상기 후속 프레임의 수가 제3 임계값보다 작은 경우, 상기 에너지 임계값이 제1 에너지 값과 같고; 상기 후속 프레임의 수가 제3 임계값 이상이고 제4 임계값보다 작은 경우, 상기 에너지 임계값이 상기 제1 에너지 값보다 작고 제2 에너지 값보다 크고; 상기 후속 프레임의 수가 제4 임계값보다 큰 경우, 상기 에너지 임계값이 상기 제2 에너지 값과 같도록, 상기 에너지 임계값을 결정하도록 구성될 수 있다.
실시 예에 따르면, 디코딩 모듈(110)은, 예를 들어, 에너지 임계값은 후속 프레임의 수에 따라 제3 임계값과 제4 임계값 사이의 범위에서 선형적으로 감소하도록 에너지 임계값을 결정하도록 구성될 수 있다.
사용불가능하거나 사용할 수 없는 스펙트럼 라인에 대해, 대체 라인이 생성되는 반면, 이전에 수신된 신호의 음조에 따라, 이 정보가 사용 가능한 경우 현재 수신된 신호의 음조에 따라 어느 정도의 음조는 유지된다:
지표가 마지막으로 양호한 신호가 음조였음을 나타내는 경우, 더 많은 음조가 보존된다.
지표가 마지막으로 양호한 신호가 음조가 아니었음을 나타내는 경우 더 적은 음조가 보존된다.
음조는 주로 한 프레임 내의 다양한 빈 사이의 위상 관계 및/또는 후속 프레임에 대한 동일한 빈의 위상 관계로 표현된다.
일부 실시 예는 제 1 양태, 즉 음조가 주로 하나의 프레임 내의 다양한 빈 사이의 위상 관계에 의해 표현된다는 점에 초점을 맞춘다.
한 프레임 내 다양한 빈의 위상은 주로 해당 기호만이 아니라, 인접 빈의 진폭의 관계에 의해서도 특징된다. 따라서 진폭 관계의 보존과 부호의 보존은 고도로 보존된 음조로 이어진다. 그 반대로, 진폭 및/또는 부호 관계가 후속 빈 간에서 더 변경될수록, 음조는 더 적게 보존된다.
일부 실시 예에 따른 부호의 취급이 이제 설명된다.
최신 기술에서는, 두 가지 접근 방식이 알려져 있다.
제 1 접근 방식에 따르면 프레임 반복이 적용되고: 부호는 이전 스펙트럼에서 보존된다.
제 2 접근 방식에서는 잡음 대체가 수행된다. 부호는 이전 스펙트럼과 관련하여 스크램블되고; 무작위로 부호의 50%가 반전된다.
무성 신호의 경우, 잡음 대체가 좋은 결과를 제공한다.
음성 신호의 경우, 프레임 반복을 대신 사용할 수 있지만, 더 긴 손실의 경우 보존된 음조(손실 시작 시 선호됨)는 불편한 것이 될 수 있다.
실시 예는 유성 신호에 대해 프레임 반복과 잡음 대체 사이의 전이 위상이 바람직하다는 발견에 기초한다.
일부 실시 예에 따르면, 이는 예를 들어, 프레임당 부호의 특정 백분율을 무작위로 반전하여 달성될 수 있으며, 이 때 이 비율은 0%에서 50% 사이에 있으며 시간이 지남에 따라 증가한다.
이제, 일부 실시 예에 따른 진폭의 취급에 대해 설명된다.
최신 기술에서 자주 사용되는 가장 간단한 방법은 모든 주파수 빈에 특정 감쇠 계수를 적용하는 것이다. 이 감쇠 계수는 부드러운 페이드 아웃을 달성하기 위해 프레임마다 증가한다. 페이드 아웃 속도는 고정되거나 신호 특성에 따라 달라질 수 있다. 이 접근 방식을 사용하면 전 프레임의 스펙트럼 모양뿐만 아니라 인접한 빈의 크기 관계가 유지된다.
또한 각 대역 내의 에너지에 따라 상이한 감쇠 계수를 사용하는 대역별 감쇠가 당해 기술 분야에 공지되어 있다. 이 접근 방식은 또한 각 대역 내에서 인접한 빈의 크기 관계를 유지하지만, 전 프레임의 스펙트럼 모양은 평평해진다.
일부 실시 예에 따르면, 더 큰 값을 갖는 빈은 더 작은 값을 갖는 빈보다 더 강하게 감쇠된다. 이를 위해 일부 실시 예는 예를 들어 비선형 감쇠 특성을 정의할 수 있다. 이 비선형 감쇠 특성은 중첩 추가 동안 앨리어스 삭제 보장되지 않기 때문에 발생할 수 있는 오버슈트를 방지하고, 인접한 빈의 크기 관계를 변경하여 더 평평한 스펙트럼 모양이 결과되게 한다. 일부 실시 예는 인접한 빈의 크기 비율이 사전에 1 이상인 경우, 1 이상으로 유지되어야 하고, 비율이 사전에 1 미만인 경우 비율이 1 미만으로 유지되어야 한다는 발견을 기반으로 한다.
이 감쇠를 정상적으로 적용하기 위해서, 일부 실시 예에서, 비선형 특성은 예를 들어 손실 시작 시 작을 수 있으며, 예를 들어 차후에 증가할 수 있다. 실시 예에서, 시간에 따른 조정은 예를 들어 신호의 음조에 따라 달라질 수 있다. 일부 실시 예에 따르면, 무성 신호의 경우, 비선형성은 예를 들어, 유성 신호보다 더 강할 수 있다.
이러한 비선형 감쇠 특성은 스펙트럼 모양에 영향을 준다. 실시 예에서, 스펙트럼은 예를 들어 시간이 지남에 따라 더 평평해질 수 있으며, 이로 인해 버스트 손실 동안 불편한 합성 사운드 아티팩트가 생기는 것을 줄여준다.
다음에서, 일부 실시 예에 따른 부분 프레임 손실 은닉이 설명된다.
일 실시 예에 따르면, 상기 오류 은닉 모드는 예를 들어, 부분 프레임 손실 은닉 모드일 수 있고, 여기서, 디코딩 모듈(110)이 부분 프레임 손실 은닉 모드에 있는 경우, 디코딩 모듈(110)은 예를 들어, 임계 주파수보다 작거나 같은 주파수를 나타내는 스펙트럼의 복수의 스펙트럼 라인 중 하나 이상의 제1 스펙트럼 라인에 대해 오류 은닉을 수행하지 않고 오디오 신호를 복원하도록 구성될 수 있고, 여기서 상기 하나 이상의 제1 스펙트럼 라인은 복수의 페이로드 비트 중 하나 이상의 제1 그룹에 의해 인코딩된다. 더욱이, 디코딩 모듈(110)은, 예를 들어, 임계 주파수보다 더 큰 주파수를 나타내는, 스펙트럼의 복수의 스펙트럼 라인의 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 오디오 신호를 복원하도록 구성될 수 있고, 여기서 상기 하나 이상의 제2 스펙트럼 라인은 복수의 페이로드 비트 중 하나 이상의 제2 그룹에 의해 인코딩된다.
일 실시 예에서, 디코딩 모듈(110)은, 예를 들어, 현재 프레임이 임계 주파수 보다 작거나 동일한 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 임의의 손상된 비트를 포함하지 않는지 여부를 검출하도록 구성될 수 있다. 더욱이, 디코딩 모듈(110)은, 예를 들어, 현재 프레임이 임계값 주파수 보다 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인을 인코딩하는 하나 이상의 손상된 비트를 포함하는지 여부를 검출하도록 구성될 수 있다. 상기 하나 이상의 손상된 비트는 왜곡되거나 왜곡될 가능성이 있는 페이로드 비트 중 하나 이상이다. 현재 프레임이 임계 주파수보다 작거나 같은 주파수를 나타내는 오디오 신호 스펙트럼의 상기 하나 이상의 제 1 스펙트럼 라인을 인코딩하는 손상된 비트를 포함하지 않는 경우 및 현재 프레임이 임계 주파수보다 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인을 인코딩하는 상기 하나 이상의 손상된 비트를 포함하는 경우, 디코딩 모듈(110)은, 예를 들어, 임계 주파수보다 더 큰 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 부분 프레임 손실 은닉 모드에서 오류 은닉을 수행하도록 구성될 수 있다.
일 실시 예에 따르면, 현재 프레임이 임계 주파수보다 작거나 같은 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 임의의 손상된 비트를 포함하지 않는 경우 및 현재 프레임이 임계 주파수보다 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인을 인코딩하는 상기 하나 이상의 손상된 비트를 포함하는 경우, 디코딩 모듈(110)은 예를 들어, 임계 주파수보다 작거나 같은 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 복수의 페이로드 비트 중 하나 이상의 상기 제1 그룹을 디코딩하여 오디오 신호를 복원하도록 구성될 수 있다.
일 실시 예에서, 디코딩 모듈(110)은 예를 들어 현재 프레임이 손실되었는지 여부를 검출하도록 구성될 수 있고, 여기서, 디코더(100)가 현재 프레임이 손실된 것을 검출한 경우, 디코딩 모듈(110)은, 예를 들어, 임계 주파수보다 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 오디오 신호를 복원하도록 구성될 수 있다. 또한, 디코딩 모듈(110)은 예를 들어, 상기 제1 그룹에 대한 오류 은닉을 수행하지 않고, 상기 임계 주파수 보다 적거나 동일한 오디오 신호의 스펙트럼의 상기 하나 이상의 제1 주파수에 대해 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 복수의 페이로드 비트 중 하나 이상의 상기 제1 그룹을 디코딩하도록 구성될 수 있고, 상기 복수의 페이로드 비트 중 하나 이상의 상기 제1 그룹은 현재 프레임과 상이한 리던던트 프레임의 하나 이상의 페이로드 비트이다.
일 실시 예에서, 리던던트 프레임은 예를 들어, 현재 프레임의 대역폭 제한 버전일 수 있다. 예를 들어, 중복 프레임은 현재 프레임과 동일한 시간 기간 동안 오디오 신호를 인코딩하는 데이터(예를 들어, 현재 프레임에 비해 감소된 데이터 세트)를 제공할 수 있다. 이 데이터는, 예를 들어, 임계 주파수보다 작거나 같은 오디오 신호의 스펙트럼의 상기 하나 이상의 제1 주파수에 대해 상기 하나 이상의 제1 스펙트럼 라인의 오디오 신호를 인코딩하는 복수의 페이로드 비트에 대해 상이할 수 있는데, 현재 프레임의 동일한 기간 동안 스펙트럼의 상기 제1 주파수의 현재 프레임보다 적은 비트로 인코딩되기 때문이다.
일 실시 예에서, 디코딩 모듈(110)이 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하도록 구성되는 경우, 디코딩 모듈(110)은 (전체) 스펙트럼의 모든 스펙트럼 라인에 대해 오류 은닉을 수행하도록 구성된다 (그렇지 않으면 현재 프레임의 현재 비트스트림 페이로드의 모든 페이로드 비트에 의해 복원 가능함).
일 실시 예에 따르면, 복수의 페이로드 비트는 복수의 현재 페이로드 비트이다. 디코딩 모듈(110)이 부분 프레임 손실 은닉 모드에 있는 경우, 디코딩 모듈(110)은, 예를 들어, 이전 프레임의 이전 비트스트림 페이로드의 하나 이상의 이전 페이로드 비트에 의해 인코딩된 하나 이상의 저장된 스펙트럼 라인을 사용하여, 임계 주파수보다 더 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행하도록 구성될 수 있다.
일 실시 예에서, 스펙트럼은 예를 들어 현재 양자화된 스펙트럼일 수 있다. 디코딩 모듈(110)이 부분 프레임 손실 은닉 모드에서 오류 은닉을 수행하는 경우, 디코딩 모듈(110)은, 예를 들어, 상기 현재 양자화된 스펙트럼의 하나 이상의 중간 스펙트럼 라인을 얻기 위해서, 임계 주파수보다 더 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행하도록 구성될 수 있다.
일 실시 예에 따르면, 스펙트럼은 현재 양자화된 스펙트럼이다. 디코딩 모듈(110)이 부분 프레임 손실 은닉 모드에서 오류 은닉을 수행하는 경우, 디코딩 모듈(110)은 예를 들어, 상기 현재 양자화된 스펙트럼의 하나 이상의 중간 스펙트럼 라인을 얻기 위해서, 임계 주파수보다 더 큰 주파수를 나타내는 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행하도록 구성될 수 있고, 여기서 디코딩 모듈(110)은 예를 들어 오디오 신호를 복원하기 위해 재조정 계수를 사용하여 하나 이상의 중간 스펙트럼 라인을 재조정하도록 구성될 수 있다.
일 실시 예에서, 디코딩 모듈(110)은, 예를 들어, 다음 중 적어도 하나에 따라 재조정 계수를 결정하도록 구성될 수 있다:
- 상기 현재 비트스트림 페이로드 내에서 인코딩되는 전역 이득 및
- 상기 이전 비트스트림 페이로드 내에서 인코딩되는 전역 이득, 및
- 상기 이전 프레임의 이전 양자화된 스펙트럼의 에너지, 상기 이전 프레임의 이전 디코딩된 스펙트럼의 에너지, 및
- 상기 현재 프레임의 상기 현재 양자화된 스펙트럼의 에너지.
일 실시 예에 따르면, 디코딩 모듈(110)은, 예를 들어, 다음 여부에 따라 재조정 계수를 결정하도록 구성될 수 있다:
- 오류 은닉을 수행하지 않고 복원될 수 없는 제 1 스펙트럼 빈에서 시작하여 스펙트럼의 상단까지 이전 프레임의 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈까지 이전 프레임의 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지 이상인지, 또는
- 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈까지 현재 프레임의 상기 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈까지 이전 프레임의 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지보다 크거나 같은지.
일 실시 예에서,
- 오류 은닉을 수행하지 않고 복원될 수 없는 상기 제 1 스펙트럼 빈에서 시작하여 스펙트럼의 상단까지 이전 프레임의 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈까지 이전 프레임의 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지보다 작은 경우,
- 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈까지 현재 프레임의 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈까지 이전 프레임의 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지보다 작은 경우,
디코딩 모듈(110)은, 예를 들어, 재조정 계수가
- 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈에 현재 프레임의 이득 계수의 제곱을 곱한 값 까지 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지
대
- 0부터 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈에 이전 프레임의 이득 계수의 제곱을 곱한 값 까지 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지
의 비율의 제곱근과 동일하도록 재조정 계수를 결정하도록 구성된다.
일 실시 예에 따르면, 디코딩 모듈(110)은, 예를 들어, 전체 재조정 계수인 상기 재조정 계수가 전역 이득 재조정 계수에 의존하는 것을 결정하도록 구성될 수 있으며, 여기서 디코딩 모듈(110)은:
Figure pct00001
에 따라 전역 이득 재조정 계수를 결정하도록 구성될 수 있다.
여기서 gg는 현재 프레임의 전역 이득을 나타내고, ggprev는 상기 이전 프레임의 전역 이득을 나타내고, facgg는 전역 이득 재조정 계수이다.
일 실시 예에서,
Figure pct00002
이거나,
Figure pct00003
이면,
디코딩 모듈(110)은, 예를 들어, 총 재조정 계수가 전역 이득 재조정 계수와 동일한지 결정하도록 구성될 수 있고, 여기서 k는 스펙트럼 빈을 나타내고, kbe는 복구될 수 없는 제 1 스펙트럼 빈을 나타내며, NF는 스펙트럼 라인의 수를 나타내며,
Figure pct00004
는 이전 프레임의 이전 양자화된 스펙트럼이 마지막 비 이 아닌 전 프레임 손실 은닉 프레임임을 나타내고,
Figure pct00005
는 현재 프레임의 현재 양자화된 스펙트럼을 나타내고,
Figure pct00006
는 이전 프레임의 이전 디코딩된 스펙트럼이 상기 마지막 전체가 아닌 프레임 손실 은닉 프레임임을 나타낸다.
일 실시 예에 따르면,
Figure pct00007
이거나,
Figure pct00008
이면,
디코딩 모듈(110)은, 예를 들어, 전체 재조정 계수가 또한 에너지 재조정 계수,
Figure pct00009
에 의존한다고 결정하도록 구성될 수 있고, 이것은 예를 들어, 전체 재조정 계수
Figure pct00010
를 형성하기 위해 사용될 수 있다.
여기서, facener는 에너지 재조정 계수를 나타내며, k는 스펙트럼 빈을 나타내고, kbe는 복구되 수 없는 제 1 스펙트럼 빈을 나타내며, NF는 스펙트럼 라인의 수를 나타내며,
Figure pct00011
는 이전 프레임의 이전 양자화된 스펙트럼이 마지막 비 전 프레임 손실 은닉 프레임인 것을 나타내고,
Figure pct00012
는 현재 프레임의 현재 양자화된 스펙트럼을 나타내고,
Figure pct00013
는 이전 프레임의 이전 디코딩된 스펙트럼이 상기 마지막 비 전 프레임 손실 은닉 프레임인 것을 나타낸다.
부분 프레임 손실 은닉이 적용되는 시나리오에서, 비트스트림 페이로드의 더 민감한 비트에 오류가 없는 것으로 가정되거나 결정되었다.
실시 예에서, 현재 프레임의 양자화된 스펙트럼
Figure pct00014
는 예를 들어, 본 명세서에서 주파수 빈 kbe-1로 지칭되는 특정 주파수 빈까지 복원될 수 있다. 따라서 부분 프레임 손실 은닉은 이 주파수 위의 양자화된 스펙트럼 라인을 은닉하게 된다.
일부 실시 예에 따라 부분 프레임 손실 은닉을 수행할 때, 마지막 비-FFLC 프레임
Figure pct00015
의 양자화된 스펙트럼의 스펙트럼 라인은 예를 들어 재사용될 수 있다(FFLC = 전 프레임 손실 은닉).
전환 프레임에서 에너지가 변하는 고에너지 아티팩트를 방지하기 위해, 은닉 스펙트럼 라인은 후속적으로 재조정되는 반면, 결과적인 재조정 계수는 예를 들어 다음 중 적어도 하나에 의존할 수 있다:
a) 전역 이득
b) 스펙트럼의 에너지
바람직하게는, 결과적인 재조정 계수는 예를 들어 스펙트럼의 전역 이득 및 에너지 둘 모두에 의존할 수 있다. 전역 이득을 기반으로 한 재조정 계수는 현재 전역 이득에 대한 이전 전역 이득의 비율과 같다.
에너지에 기반한 재조정 계수는:
주파수 빈 kbe(오류 은닉을 수행하지 않고 복원할 수 없는 제 1 스펙트럼 빈)에서 시작하여 스펙트럼의 상단까지 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지가 0에서 시작하여 주파수 빈 kbe-1까지 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지보다 크거나 같은 경우 (오류 은닉을 수행하지 않고 복원될 수 있는 마지막 스펙트럼 빈);
0에서 시작하여 주파수 빈 kbe-1까지 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지가 0에서 시작하여 주파수 빈 kbe-1까지 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지보다 크거나 같은 경우에,
1로 초기화된다 (예를 들어, 재조정이 수행되지 않음/예를 들어, 재조정은 적용되지 않음):
그렇지 않으면, 재조정 계수는:
0에서 시작하여 주파수 빈 kbe-1에 현재 프레임의 이득 계수의 제곱을 곱한 값까지 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지; 대
0에서 시작하여 주파수 빈 kbe-1에 이전 프레임의 이득 계수의 제곱을 곱한 값까지 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지의 비율의 제곱근과 같다.
그렇지 않으면, 재조정 계수는:
0에서 시작하여 주파수 빈 kbe-1에 현재 프레임의 이득 계수의 제곱을 곱한 값까지 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지; 대
0에서 시작하여 주파수 빈 kbe-1에 이전 프레임의 이득 계수의 제곱을 곱한 값까지 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지의 비율의 제곱근과 같다.
이 경우 두 계수를 곱하면, 이득 계수는 서로 상쇄된다. 따라서 재조정 계수는:
0에서 시작하여 주파수 빈 kbe-1까지 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지; 대
0에서 시작하여 주파수 빈 kbe-1까지 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지의 비율의 제곱근과 같다.
그 후, 은닉된 양자화된 스펙트럼은 예를 들어 오류가 없는 양자화된 스펙트럼으로서 처리될 수 있다. 이는 잡음 채움, 잡음 성형 또는 매개변수가 오류 없는 비트스트림 페이로드에 저장되는 기타 작업과 같은, 후속 디코더 작업이 이후에 용될 수 있다는 것을 의미한다. 따라서 가능한 은닉 아티팩트가 완화된다.
이에 따라, 전술한 바와 유사한 페이딩 프로세스가 예를 들어 주파수 빈 kbe에서 시작하여 스펙트럼의 상단까지 스펙트럼에 적용될 수 있으며; 가능한 사용 가능한 음조 특성은 예를 들어, 잡음 쪽으로 서서히 사라질 수 있고/있거나; 예를 들어, 가능하게 표명된 스펙트럼 형상은 예를 들어 평평해질 수 있고/있거나; 에너지는 예를 들어 감소될 수 있다.
이하, 실시 예를 상세히 설명한다.
도 2는 특정 실시 예에 따른 디코딩 모듈(110)을 도시한다.
도 2의 디코딩 모듈(110)은 디코딩된 스펙트럼 저장 모듈(330), 및 선택적으로 양자화된 스펙트럼 저장 모듈(310), 부분 프레임 반복 및 재조정 모듈(320) 및 페이드아웃 및 부호 스크램블링 모듈(340)을 포함한다. 도 2의 특정 디코딩 모듈(110)의 이러한 (서브)모듈의 특정 세부사항은 도 3 내지 도 5를 참조하여 설명된다.
도 3 내지 도 5는 실시 예에 따른 LC3 디코더(예를 들어 독창적인 방식으로 수정된 최첨단 변환 코더로 사용됨)의 고수준 개요를 제공한다. 특히, 도 3 내지 도 5는 디코딩 모듈(110)에 대한 상이한 종류의 특정 실시 예를 제공한다.
일 실시 예에서, 디코딩 모듈(110)은, 예를 들어, 오디오 신호의 양자화된 스펙트럼을 저장하도록 구성된 양자화된 스펙트럼 저장 모듈(310)을 포함할 수 있고, 여기서 양자화된 스펙트럼 저장 모듈(310)은 마지막 비-전 프레임 손실 은닉 양자화된 스펙트럼을 제공하도록 구성된다. 더욱이, 디코딩 모듈(110)은 예를 들어 오디오 신호의 디코딩된 스펙트럼을 저장하도록 구성된 디코딩된 스펙트럼 저장 모듈(330)을 포함할 수 있고, 여기서 디코딩된 스펙트럼 저장 모듈(330)은 마지막 비-전 프레임 손실 은닉 디코딩된 스펙트럼을 제공하도록 구성된다.
도 3은 클린 채널 디코딩을 위한 실시 예에 따른 디코딩 모듈(110) 개요를 도시한다. 특히, 도 3은 정상적인 디코더 동작을 나타낸다. 전 프레임 손실 은닉 및 부분 프레임 손실 은닉에 필요한 처리 블록은 처리 블록(310 및 330)이다.
양자화된 스펙트럼 저장 모듈(310)은, 예를 들어, 양자화된 스펙트럼의 저장을 위해 구성될 수 있다: 양자화된 스펙트럼 저장 모듈(310)은 부분 프레임 손실 은닉의 경우에 재사용을 허용하기 위해 마지막 비-FFLC 양자화된 스펙트럼을 저장한다.
디코딩된 스펙트럼 저장 모듈(330)은 스펙트럼의 저장을 위해 구성된다 (예를 들어, 디코딩된 스펙트럼이라고 함): 이 처리 블록은 전 프레임 손실 은닉의 경우 재사용을 허용하기 위해 마지막 비 FFLC 스펙트럼을 저장한다. 예를 들어, 부분 프레임 손실 은닉 동안 재조정을 위해 사용될 수도 있다.
일 실시 예에서, 디코딩 모듈(110)은 예를 들어 오디오 신호의 디코딩된 스펙트럼을 저장하도록 구성된 디코딩된 스펙트럼 저장 모듈(330)을 포함할 수 있고, 여기서 디코딩된 스펙트럼 저장 모듈(330)은 마지막 비-전 프레임 손실 은닉 디코딩된 스펙트럼을 제공하도록 구성된다. 더욱이, 디코딩 모듈(110)은 예를 들어 스펙트럼의 스펙트럼 라인에 대한 페이드 아웃 및 부호 스크램블링을 위해 구성되는 페이드아웃 및 부호 스크램블링 모듈(340)을 포함할 수 있다.
또한, 일 실시 예에 따르면, 디코딩 모듈(110)은 예를 들어, 오디오 신호의 양자화된 스펙트럼을 저장하도록 구성된 양자화된 스펙트럼 저장 모듈(310)을 포함할 수 있으며, 여기서, 양자화된 스펙트럼 저장 모듈(310)은 마지막 비-전 프레임 손실 은닉 양자화된 스펙트럼을 제공하도록 구성된다. 또한, 디코딩 모듈(110)은, 예를 들어, 부분 프레임 반복 및 재조정을 위해 구성된 부분 프레임 반복 및 재조정 모듈(320)을 포함할 수 있고, 여기서 부분 프레임 반복 및 재조정 모듈(320)은 디코딩 모듈(110)에 의해 디코딩될 수 없는 스펙트럼 라인을 추가함으로써 스펙트럼을 보완하도록 구성되며, 부분 프레임 반복 및 재조정 모듈(320)은 상기 스펙트럼 라인을 재조정하도록 구성된다.
도 4는 전 프레임 손실 은닉을 위한 실시 예에 따른 디코딩 모듈(110) 개요를 도시한다. 특히, 도 4는 전 프레임 손실 은닉을 수행하도록 구성된 실시 예를 도시한다. 전 프레임 손실 은닉에 필요한 처리 블록은 처리 블록(330 및 340)이다. 처리 블록(330 및 340)은 예를 들어, 다음 작업을 가질 수 있다.
디코딩된 스펙트럼 저장 모듈(330)은, 예를 들어, 스펙트럼(예를 들어, 다시 디코딩된 스펙트럼으로 지칭됨)의 저장을 위해 구성될 수 있다: 이 처리 블록(330)은 마지막 비-FFLC 스펙트럼을 제공한다.
페이드아웃 및 부호 스크램블링 모듈(340)은 예를 들어, 다음과 같이 페이드아웃 및 부호 스크램블링을 위해 구성될 수 있다. 이 처리 블록은 아래에서 설명하는 것처럼 마지막 비 FFLC 프레임의 스펙트럼 라인을 처리하여 스펙트럼을 생성하도록 구성된다.
도 5는 부분 프레임 손실 은닉을 위한 실시 예에 따른 디코딩 모듈(110) 개요를 도시한다.
특히, 도 5는 부분 프레임 손실 은닉의 적용을 나타낸다. 부분 프레임 손실 은닉에 필요한 처리 블록은 처리 블록(310, 320, 330, 340)이다. 이러한 처리 블록(310, 320, 330 및 340)은 다음 작업을 수행한다.
양자화된 스펙트럼 저장 모듈(310)은, 예를 들어, 양자화된 스펙트럼의 저장을 위해 구성될 수 있다: 양자화된 스펙트럼 저장 모듈(310)은, 예를 들어, 마지막 비-FFLC 양자화된 스펙트럼을 제공하도록 구성될 수 있다.
부분 프레임 반복 및 재조정 모듈(320)은 예를 들어 부분 프레임 반복 및 재조정을 위해 구성될 수 있다: 이 처리 블록은 예를 들어 디코딩될 수 없는 스펙트럼 라인을 추가함으로써 스펙트럼을 보완하도록 구성될 수 있다. 그 후에, 그 스펙트럼 라인은 예를 들어, 아래에서 설명되는 바와 같이 재조정될 수 있고 특정 임계값 미만의 값은 0으로 양자화된다.
디코딩된 스펙트럼 저장 모듈(330)은, 예를 들어, 스펙트럼(예를 들어, 다시 디코딩된 스펙트럼으로 지칭됨)의 저장을 위해 구성될 수 있다: 디코딩된 스펙트럼 저장 모듈(330)은, 예를 들어, 재조정 계수를 계산하기 위해 사용될 수 있는 마지막 비-FFLC 스펙트럼을 제공하도록 구성될 수 있다.
페이드아웃 및 부호 스크램블링 모듈(340)은 예를 들어, 다음과 같이 페이드아웃 및 부호 스크램블링을 위해 구성될 수 있다: 페이드아웃 및 부호 스크램블링 모듈(340)은 예를 들어, 부분 프레임 손실 은닉에 의해 이전에 제공되었던 스펙트럼 라인을 처리하도록 구성될 수 있다. 이하 설명한다.
이하에서는 일부 실시 예에 따른 계조에 따른 오류 은닉에 대해 보다 구체적으로 설명한다.
먼저, 일부 실시 예에 따른 페이딩 함수가 제공된다.
아래에 설명된 바와 같이, 부호 스크램블링 및 비선형 감쇠를 위해 구현된 페이딩 프로세스의 경우, 특정 값(plc_start_inFrames)까지 1이고, 특정 값(plc_end_inFrames)부터 영이고; plc_start_inFrames와 plc_end_inFrames 사이에서는 1과 0 사이에서 (1 > x > 0) 선형적으로 감소하는, 이후에 손실된 프레임 수에 따른 함수(nbLostFramesInRow)가 이용될 수 있다.
특정 실시 예는 예를 들어 다음과 같이 구현될 수 있다:
plc_duration_inFrames = plc_end_inFrames - plc_start_inFrames;
x = max(plc_start_inFrames, (min (nbLostFramesInRow, plc_end_inFrames)));
m = -1 / plc_duration_inFrames;
b = - plc_end_inFrames;
linFuncStartStop = m * (x + b);
여기서,
plc_start_inFrames - linFuncStartStop의 값은 1과 같을 때 까지 이후에 손실된 프레임 수,
plc_end_inFrames - linFuncStartStop의 값은 0과 같을 때 부터 이후에 손실된 프레임 수,
linFuncStartStop - 페이딩 함수의 값,
시작 값과 끝 값은 신호 특성(예: 유성음 대 무성음) 및 프레임 손실 은닉(예: PFLC 대 FFLC)에 따라 다르게 선택될 수 있다 (PFLC = 부분 프레임 손실 은닉, FFLC = 전 프레임 손실 은닉).
도 6은 연속된 손실 프레임의 수에 의존하는 실시 예에 따른 페이딩 함수를 도시한다 (연속적으로 손실된 프레임 수).
특히, 도 6은 20ms와 60ms 사이에서 선형적으로 감소하도록 구성된 이 페이딩 함수의 예를 제공한다.
이하에서는 일부 실시 예에 따른 부호의 취급을 보다 구체적으로 설명한다.
전제 조건으로서, 부호 스크램블링에 대한 임계값은 예를 들어 위에서 도출된 페이딩 값(linFuncStartStop)에 기초하여 결정될 수 있다.
randThreshold = -32768 * linFuncStartStop;
도 7은 일 실시 예에 따른 부호 스크램블링에 대한 임계값을 도시하며, 이는 연속적으로 손실된 프레임의 수(연속적으로 손실된 프레임의 수)에 의존하고 또한 프레임 길이에 의존한다.
특히, 도 7은 페이딩 기능을 사용하여 연속적으로 손실된 프레임의 수에 의존하는 임계값에 대한 예를 제공하고, 여기서 임계값 0은 50% 부호 반전에 해당하는 반면, 임계값 -32768은 0% 부호 반전에 해당한다.
실시 예는 예를 들어 다음 의사 코드에 의해 실현될 수 있다:
for k=kbe.. NF-1
seed = 16831+seed*12821;
seed = seed-round(seed*2^-16)*2^16;
if seed==32768
seed=-32768;
end
if (seed < 0 && pitch_present == 0) || seed < randThreshold
spec(k) = -spec_prev(k);
else
spec(k) = spec_prev(k);
end
end
여기서:
k - 스펙트럼 빈
kbe - 복구될 수 없는 제 1 스펙트럼 빈
NF - 스펙트럼 라인의 수
seed - 예시적인 초기값이 24607인 임의의 값
pitch_present - 현재 프레임의 신호가 음조인지 여부
spec_prev(k) - 마지막 양호한 프레임에서 빈 k의 스펙트럼 값
Figure pct00016
라고도 함)
spec(k) - 현재 프레임에서 빈 k의 스펙트럼 값.
이 예에서 시드(즉, 임의 값)는 32768과 -32768 사이에서 다양한다. 무성 신호(pitch_present == 0)의 경우 부호 반전 임계값은 0이며, 이는 50% 확률이 된다.음성 신호의 경우, -32768(부호 반전 확률 0%)과 0(부호 반전 확률 50%) 사이에 있는 가변 임계값(randThreshold)이 적용된다.
다음에서, 일부 실시 예에 따른 진폭의 취급이 더 상세하게 설명된다.
특정 실시 예에서, 2개의 감쇠 계수는 예를 들어 다음과 같이 안정성 측정에 따라 정의될 수 있다:
slow = 0.8 + 0.2 * stabFac;
fast = 0.3 + 0.2 * stabFac.
여기서 stabFac는 FFLC 경우 마지막 프레임과 마지막에서 두 번째 프레임 사이 또는 PFLC 경우 현재와 마지막 프레임 사이의 안정성 값을 나타낸다.
안정성 계수는, 예를 들어, 두 신호 사이, 예를 들어, 현재 신호와 과거 신호 사이의 유사성을 나타낼 수 있다. 예를 들어, 안정성 계수는 예를 들어 [0:1]로 제한될 수 있다. 1 또는 1에 가까운 안정성 계수는 예를 들어 두 신호가 매우 유사함을 의미할 수 있고, 0 또는 0에 가까운 안정성 계수는 예를 들어 두 신호가 매우 다르다는 것을 의미할 수 있다. 유사성은 예를 들어 2개의 오디오 신호의 스펙트럼 엔벨로프에 대해 계산될 수 있다.
안정성 계수 θ는 예를 들어 다음과 같이 계산될 수 있다:
Figure pct00017
여기서:
scfQcurr은 현재 프레임의 스케일팩터 벡터를 나타내고,
scfQprev는 이전 프레임의 스케일팩터 벡터를 나타내고,
N은 스케일팩터 벡터 내의 스케일팩터의 수를 나타내고,
θ는 0≤θ≤1로 경계를 이루는 안정성 계수를 나타내고,
k는 스케일팩터 벡터에 대한 인덱스를 나타낸다.
일부 실시 예에서, stabFac는 예를 들어 FFLC 및 PFLC에 대해 상이하게 사용될 수 있고; 즉 이것은 FFLC의 경우 안정성에 따라 0과 1 사이의 값을 설정할 수 있는 반면, PFLC의 경우에는 1로 설정할 수 있다.
결과적으로, 예를 들어 다음과 같이 프레임 마다 변경될 수 있는 해당 누적 감쇠 계수 (cum_fading_slow 및 cum_fading_fast, 각 버스트 손실의 시작 부분에서 1로 초기화됨)가 파생될 수 있다.
cum_fading_slow = cum_fading_slow * slow;
cum_fading_fast = cum_fading_fast * fast;
여기서, cum_fading_slow는 느린 누적 감쇠 계수를 나타내고, cum_fading_fast는 빠른 누적 감쇠 계수를 나타낸다.
일 실시 예에서, 축적은 예를 들어 FFLC에 대해서만 수행될 수 있지만, PFLC에 대해서는 수행되지 않을 수 있다.
또한, 일 실시 예에 따르면, 예를 들어, 제1 임계값(ad_ThreshFac_start) 및 마지막 임계값(ad_ThreshFac_end)에 대한 값이 정의될 수 있다. 일부 실시 예에서, 이러한 값은 예를 들어 경험적으로 선택될 수 있다. 일반적으로 두 값은 예를 들어 1 보다 클 수 있으며 제 1 임계값은 마지막 임계값보다 더 크다. 이러한 두 임계값 제한에 기초하여, 현재 프레임(ad_threshFac)에 대한 임계값은 예를 들어 위에서 도출된 페이딩 값(linFuncStartStop)에 기초하여 결정될 수 있다:
ad_ThreshFac_start = 10;
ad_ThreshFac_end = 1.2;
ad_threshFac = (ad_ThreshFac_start - ad_ThreshFac_end) *
linFuncStartStop + ad_ThreshFac_end;
여기서 ad_ThreshFac_start는 더 강한 감쇠가 적용되는 에너지를 의미하는 제 1 요소를 나타내며; ad_ThreshFac_stop은 더 강한 감쇠가 적용되는 에너지를 의미하는 마지막 요소를 나타낸다.
임계값 조정은 FFLC에 대해서만 수행될 수 있고, PFLC에 대해서는 수행될 수 없다. 이 경우 임계값은 후속 프레임에 대해 수정된다.
도 8은 일 실시 예에 따른 에너지 임계 지수를 도시하며, 이는 연속된 손실 프레임의 수에 의존하고 프레임 길이에 더 의존한다.
특히, 도 8은 페이딩 기능을 사용하여 연속적으로 손실된 프레임의 수에 따른 임계 지수에 대한 예를 제공하고, 여기서 임계 지수는 20ms와 60ms 사이에서 10에서 1.2로 감소한다.
특정 실시 예에서, 적응적 페이딩은 빈 입도에서 동작한다. 이것은 다음과 같이 실현할 수 있다:
frame_energy = mean(spec(kbe.. NF-1).^2);
energThreshold = ad_threshFac * frame_energy;
for k=kbe.. NF-1
if (spec(k)^2) < energThreshold
m = cum_fading_slow;
n = 0;
else
m = cum_fading_fast;
n = (cum_fading_slow-cum_fading_fast)
* sqrt(energThreshold)
* sign(spec_prev(k));
end
spec(k) = m * spec_prev(k) + n;
end
여기서:
k - 스펙트럼 빈
kbe - 복구될 수 없는 제 1 스펙트럼 빈
NF - 스펙트럼 라인의 수
spec_prev(k) - 마지막 양호한 프레임에서 빈 k의 스펙트럼 값(아래에서
Figure pct00018
라고 함)
spec(k) - 현재 프레임에서 빈 k의 스펙트럼 값.
그 외 경로에서 n을 유도하면 감쇠 곡선이 더 큰 값을 더 크게 유지하고 더 작은 값을 더 작게 유지한다.
도 9는 누적 감쇠가 적용된 예를 도시한다. 예제에서 가능한 입력 값은 0에서 1000 사이이다. n=0은 수신된 프레임을 나타내며 일종의 참조를 제공한다. 예에서 초기 저속 감쇠 계수는 0.9로 설정되고 초기 고속 감쇠 계수는 0.4로 설정된다(stabFac=0.5). 제 2 프레임에서, 이들 값의 제곱이 사용되는 등으로 후속 곡선이 더 평평해진다. 동시에, 임계값이 예를 들어, 감소될 수 있고, 이로 인해 연속적 곡선이 왼쪽으로 더 비틀어지게 한다.
다른 특정 실시 예에서, 적응적 페이딩은 대역별로 동작한다. 이 예에서 대역별 에너지가 파생되고 모든 대역의 평균보다 높은 대역의 빈에 적응형 감쇠가 적용된다. 그러한 경우에, 그 대역의 에너지는 예를 들어, 빈 단위 적응 감쇠에 대한 임계값으로 사용될 수 있다. 예시적인 구현은 예를 들어 다음과 같이 실현될 수 있다:
bin_energy_per_band = zeros(ceil((
Figure pct00019
-
Figure pct00020
)/8),1);
idx = 1;
for k=
Figure pct00021
:8:(
Figure pct00022
-7)
bin_energy_per_band(idx) = mean(spec(k:k+7).^2);
idx = idx + 1;
end
energThreshold = ad_threshFac * mean(bin_energy_per_band);
idx = 1;
for k=
Figure pct00023
:8:(
Figure pct00024
-7)
if bin_energy_per_band(idx) < energThreshold
m = cum_fading_slow;
spec(k:k+7) = m * spec_prev(k:k+7);
else
for j=k:k+7
if (spec(j)^2) < bin_energy_per_band(idx)
m = cum_fading_slow;
n = 0;
else
m = cum_fading_fast;
n = (cum_fading_slow-cum_fading_fast) * sqrt(energThreshold) * sign(spec_prev(j));
end
spec(j) = m * spec_prev(j) + n;
end
end
idx = idx + 1;
end
여기서:
k, j - 스펙트럼 빈
kbe - 복구될 수 없는 제 1 스펙트럼 빈
NF - 스펙트럼 라인의 수
spec_prev(k) - 마지막 양호한 프레임에서 빈 k의 스펙트럼 값(아래에서
Figure pct00025
라고 함)
spec(k) - 현재 프레임에서 빈 k의 스펙트럼 값.
idx - 대역 지수
bin_energy_per_band - 대역당 빈 에너지
수신된 프레임 동안 스펙트럼 라인의 저장과 (부분적으로 또는 완전히) 손실된 프레임 동안 스펙트럼 라인 삽입은 일반적으로 비트스트림에 제공된 정보에 기초한 스펙트럼의 디코딩과 시간 도메인으로의 변환 사이의 임의의 위치에서 수행될 수 있다. LC3를 참조하면, 이것은 특히 예를 들어 SNS 디코딩(SNS = Spectral Noise Shaping) 전후, 예를 들어, TNS 디코딩 전후(TNS = Temporal Noise Shaping), 예를 들어, 전역 이득 적용 전 또는 후에, 및/또는 예를 들어 잡음 채움 전이나 후에 수행될 수 있다.
선호하는 위치의 선택은 부분적으로 또는 완전히 손실된 프레임에 대한 추가 정보의 가용성에 따라 달라질 수도 있다. 이것은 예를 들어, 부분적으로 프레임이 손실된 경우(부분 프레임 손실 은닉) 신호 처리의 시작 부분에서 수행될 수 있는데; 이는 후속 신호 처리 단계에 대한 매개변수를 사용할 수 있기 때문이다. 예를 들어, 프레임이 완전히 손실된 경우(전 프레임 손실 은닉) 나중 단계에서 수행될 수 있는데, 이는 후속 신호 처리 단계의 매개변수를 사용할 수 없기 때문이다. 그러나 예를 들어 SNS 디코딩 전에 여전히 수행될 수 있는데, 이 단계가 전용 스펙트럼 형성을 허용하기 때문이다.
다음에서, 일부 실시 예에 따른 부분 프레임 손실 은닉에 대해 더 자세히 설명한다.
부분 프레임 손실 은닉을 위한 특정 구현은 예를 들어 먼저 재조정 계수를 적용한 다음에, 예를 들어 특정 임계값 아래의 스펙트럼 빈을 0으로 양자화할 수 있다. 이것은 다음 예제 의사 코드에 표시되어 있다:
for k=
Figure pct00026
..
Figure pct00027
Figure pct00028
=
Figure pct00029
;
if |
Figure pct00030
| < threshold
Figure pct00031
= 0;
여기서:
k - 스펙트럼 빈
NF - 스펙트럼 라인의 수
kbe - 복구될 수 없는 제 1 스펙트럼 빈
Figure pct00032
- 현재 프레임의 양자화된 스펙트럼 라인 k
Figure pct00033
- 마지막 비-FFLC 프레임의 양자화된 스펙트럼 라인 k
fac - 재조정 계수
임계값 - 0으로 양자화하기 위한 예시적인 값이 0.625인 임계값.
전역 이득 facgg에 따른 재조정 계수는 현재 전역 이득과 과거 전역 이득 간의 비율로 파생된다:
Figure pct00034
에너지 facener에 따른 재조정 계수는 1로 초기화된다. 다음 조건:
Figure pct00035
이 충족되는 경우, 이 재조정 계수는 해당 전역 이득의 제곱을 곱한 현재와 과거 양자화된 스펙트럼 사이의 비율의 근으로 설정된다:
Figure pct00036
총 재조정 계수는 다음과 같이 유도된다:
Figure pct00037
facener≠1일 때, 이것은 다음이 된다(전역 이득 값이 서로 상쇄됨):
Figure pct00038
위 방정식에서 변수의 의미는 다음과 같다.
k - 스펙트럼 빈
kbe - 복구될 수 없는 제 1 스펙트럼 빈
NF - 스펙트럼 라인의 수
Figure pct00039
- 마지막 비-FFLC 프레임의 양자화된 스펙트럼
Figure pct00040
- 현재 프레임의 양자화된 스펙트럼
Figure pct00041
- 마지막 비-FFLC 프레임의 디코딩된 스펙트럼
gg - 현재 프레임의 전역 이득(비트스트림에 코딩된 양자화된 스펙트럼이 전역 이득으로 재조정되는 경우)
ggprev - 마지막 비-FFLC 프레임의 전역 이득(비트스트림에 코딩된 양자화된 스펙트럼이 전역 이득으로 재조정되는 경우).
다음 예시 의사 코드는 예시적인 구현에 따른 재조정 계수의 결정을 보여준다:
fac =
Figure pct00042
;
mean_nrg_high = mean(
Figure pct00043
(
Figure pct00044
:
Figure pct00045
).^2);
mean_nrg_low = mean(
Figure pct00046
(0:
Figure pct00047
-1).^2);
if (mean_nrg_low > mean_nrg_high)
ener_prev = sum(
Figure pct00048
(0:
Figure pct00049
-1).^2);
ener_curr = sum(
Figure pct00050
(0:
Figure pct00051
-1).^2);
if ener_prev*
Figure pct00052
^2 > ener_curr*
Figure pct00053
^2
fac = sqrt(ener_curr/ener_prev);
여기서:
fac - 재조정 계수
gg - 현재 프레임의 전역 이득(비트스트림에 코딩된 양자화된 스펙트럼이 전역 이득으로 재조정되는 경우)
ggprev - 마지막 비-FFLC 프레임의 전역 이득(비트스트림에 코딩된 양자화된 스펙트럼이 전역 이득으로 재조정되는 경우)
kbe - 복구될 수 없는 제 1 스펙트럼 빈
NF - 스펙트럼 라인의 수
Figure pct00054
- 마지막 비-FFLC 프레임의 디코딩된 스펙트럼
Figure pct00055
- 마지막 비-FFLC 프레임의 양자화된 스펙트럼
Figure pct00056
- 현재 프레임의 양자화된 스펙트럼
sqrt - 제곱근 함수.
일부 양태가 장치의 맥락에서 설명되었지만, 이러한 양태는 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징에 대응하는 해당 방법의 설명을 나타내는 것이 분명한다. 유사하게, 방법 단계의 맥락에서 설명된 양태는 또한 대응하는 장치의 대응 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계의 일부 또는 전부는 예를 들어 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해 (또는 이를 사용하여) 실행될 수 있다. 일부 실시 예에서, 가장 중요한 방법 단계 중 하나 이상이 그러한 장치에 의해 실행될 수 있다.
특정 구현 요구 사항에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어, 또는 적어도 일부가 하드웨어로, 또는 적어도 일부가 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력하는 (또는 협력할 수 있는) 전자적으로 판독 가능한 제어 신호가 저장되어 있는, 플로피 디스크, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리와 같은 디지털 저장 매체를 사용하여 수행할 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시 예는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함하며, 이는 본 명세서에서 설명된 방법 중 하나가 수행되는 것과 같이, 프로그래밍 가능한 컴퓨터 시스템과 협력할 수 있다.
일반적으로, 본 발명의 실시 예는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 구현될 수 있으며, 이 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법 중 하나를 수행하기 위해 작동한다. 프로그램 코드는 예를 들어 기계 판독 가능 캐리어에 저장될 수 있다.
다른 실시 예는 기계 판독 가능 캐리어에 저장된 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 실시 예는 컴퓨터 프로그램은 컴퓨터에서 실행될 때,본 명세서에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서 본 발명의 방법의 추가 실시 예는, 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 기록되어 있는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형적 및/또는 비 과도적이다.
따라서 본 발명의 방법의 추가 실시 예는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호 시퀀스이다. 데이터 스트림 또는 신호 시퀀스는 예를 들어 데이터 통신 연결을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시 예는 본 명세서에서 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 처리 수단, 예를 들어 컴퓨터, 또는 프로그래밍 가능한 논리 장치를 포함한다.
추가 실시 예는 본 명세서에서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시 예는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시 예에서, 프로그래밍 가능 논리 장치 (예를 들어, 필드 프로그래밍 가능 게이트 어레이)는 본 명세서에서 설명된 방법의 기능의 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시 예에서, 필드 프로그래밍 가능 게이트 어레이는 본 명세서에서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에 설명된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 설명된 방법은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
전술한 실시 예는 본 발명의 원리에 대한 예시일 뿐이다. 본 명세서에 기술된 배열 및 세부 사항의 정정 및 변경은 당업자에게 명백할 것임이 이해된다. 따라서, 본 명세서의 실시 예의 설명 및 설명에 의해 제시된 특정 세부 사항이 아니라 임박한 특허 청구 범위에 의해서만 제한하고자 한다.
[참고문헌]
[1] P. Lauuber 및 R. Sperschneider, "압축 디지털 오디오에 대한 오류 은닉", 2001년 오디오 엔지니어링 학회.
[2] J. Lecomte 및 A. Tomasek, "상이한 주파수 대역에 대한 상이한 감쇠율에 따라 은닉된 오디오 프레임을 페이드아웃하는 오류 은닉 장치, 오디오 디코더 및 관련 방법 및 컴퓨터 프로그램" 2017년 공개된 WO 2017/153299 A2.
[3] A. Ramo, A. Kurittu 및 H. Toukomaa, "프레임 삭제에 대한 EVS 채널 인식 모드 견고성", Interspeech 2016, San Francisco, CA, USA, 2016.
[4] A. Venkatraman, DJ Sinder, S. Shaminda, R. Vivek, D. Duminda, C. Venkata, V. Imre, K. Venkatesh, S. Benjamin, L. Jeremie, Z. Xingtao 및 M. Lei, "3GPP EVS 채널 인식 코딩으로 VoLTE 및 VoIP에 대한 향상된 오류 복원력", 2015년 ICASSP.
[5] M. Schnabel, G. Markovic, R. Sperschneider, C. Helmrich 및 J. Lecomte, "fdns 적용 이전에 백색 잡음에 대한 mdct 스펙트럼의 페이딩을 실현하는 장치 및 방법". 2017년 공개된 유럽 특허 EP 3 011 559 B1.

Claims (40)

  1. 현재 프레임을 디코딩하여 오디오 신호를 복원하는 디코더(100)에 있어서,
    상기 오디오 신호는 상기 현재 프레임 내에서 인코딩되고, 상기 현재 프레임은 현재 비트스트림 페이로드를 포함하고, 상기 현재 비트스트림 페이로드는 복수의 페이로드 비트를 포함하고, 상기 복수의 페이로드 비트는 상기 오디오 신호의 스펙트럼의 복수의 스펙트럼 라인을 인코딩하고, 상기 페이로드 비트의 각각은 상기 현재 비트스트림 페이로드 내의 위치를 나타내고,
    상기 디코더(100)는,
    상기 오디오 신호를 복원하도록 구성된 디코딩 모듈(110), 및
    상기 오디오 신호를 출력하도록 구성된 출력 인터페이스(120)
    를 포함하고,
    상기 디코딩 모듈(110)은 오류 은닉 모드를 포함하고,
    상기 디코딩 모듈(110)이 상기 오류 은닉 모드에 있는 경우, 상기 디코딩 모듈(110)은 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 상기 오디오 신호를 복원하도록 구성되며; 및/또는
    상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 상기 디코딩 모듈(110)은 상기 현재 프레임에 선행하는 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파인 상기 오디오 신호의 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 오류 은닉을 수행하도록 구성되는, 디코더(100).
  2. 제 1 항에 있어서,
    상기 오류 은닉 모드는 부분 프레임 손실 은닉 모드이고, 상기 디코딩 모듈(110)이 상기 부분 프레임 손실 은닉 모드에 있는 경우, 상기 디코딩 모듈(110)은:
    상기 임계 주파수보다 작거나 같은 주파수를 나타내는 상기 스펙트럼의 상기 복수의 스펙트럼 라인 중 하나 이상의 제1 스펙트럼 라인에 대해 오류 은닉을 수행하지 않고 상기 오디오 신호를 복원하고 - 상기 하나 이상의 제1 스펙트럼 라인은 상기 복수의 페이로드 비트 중 하나 이상의 제1 그룹에 의해 인코딩됨 -
    상기 임계 주파수보다 큰 주파수를 나타내는 상기 스펙트럼의 상기 복수의 스펙트럼 라인 중 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 상기 오디오 신호를 복원하도록 - 상기 하나 이상의 제2 스펙트럼 라인은 상기 복수의 페이로드 비트 중 하나 이상의 제2 그룹에 의해 인코딩됨 -
    구성되는, 디코더(100).
  3. 제 2 항에 있어서,
    상기 디코딩 모듈(110)은 상기 현재 프레임이 상기 임계 주파수보다 작거나 같은 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 임의의 손상된 비트를 포함하지 않는지를 검출하도록 구성되고,
    상기 디코딩 모듈(110)은 현재 프레임이 상기 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인을 인코딩하는 하나 이상의 손상된 비트를 포함하는지 여부를 검출하도록 구성되고,
    상기 하나 이상의 손상된 비트는 왜곡되거나 왜곡될 가능성이 있는 상기 페이로드 비트 중 하나 이상이고,
    상기 현재 프레임이 상기 임계 주파수보다 작거나 같은 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 임의의 손상된 비트를 포함하지 않는 경우 및 상기 현재 프레임이 상기 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인을 인코딩하는 상기 하나 이상의 손상된 비트를 포함하는 경우, 상기 디코딩 모듈(110)은 상기 임계 주파수보다 큰 상기 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 상기 부분 프레임 손실 은닉 모드에서 오류 은닉을 수행하도록 구성되는, 디코더(100).
  4. 제 3 항에 있어서,
    상기 현재 프레임이 상기 임계 주파수보다 작거나 같은 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 임의의 손상된 비트를 포함하지 않는 경우 및 상기 현재 프레임이 상기 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인을 인코딩하는 상기 하나 이상의 손상된 비트를 포함하는 경우, 상기 디코딩 모듈(110)은 상기 임계 주파수보다 작거나 같은 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 상기 복수의 페이로드 비트 중 상기 하나 이상의 상기 제1 그룹을 디코딩하여 상기 오디오 신호를 복원하도록 구성되는, 디코더(100).
  5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 디코딩 모듈(110)은 상기 현재 프레임이 손실되었는지 여부를 검출하도록 구성되고,
    상기 디코더(100)가 상기 현재 프레임이 손실된 것을 검출한 경우, 상기 디코딩 모듈(110)은
    상기 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행하고,
    오류 은닉을 수행하지 않고, 상기 임계 주파수 보다 작거나 같은 상기 오디오 신호의 상기 스펙트럼의 상기 하나 이상의 제1 주파수에 대해 상기 하나 이상의 제1 스펙트럼 라인을 인코딩하는 상기 복수의 페이로드 비트 중 상기 하나 이상의 상기 제1 그룹을 디코딩함으로써,
    상기 오디오 신호를 복원하도록 구성되고,
    상기 복수의 페이로드 비트 중 상기 하나 이상의 상기 제1 그룹은 상기 현재 프레임과 상이한 리던던트 프레임의 하나 이상의 페이로드 비트인, 디코더(100).
  6. 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 디코딩 모듈(110)이 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하도록 구성된 경우, 상기 디코딩 모듈(110)은 상기 스펙트럼의 모든 스펙트럼 라인에 대해 오류 은닉을 수행하도록 구성되는, 디코더(100).
  7. 제 6 항에 있어서,
    상기 복수의 페이로드 비트는 복수의 현재 페이로드 비트이고,
    상기 디코딩 모듈(110)이 부분 프레임 손실 은닉 모드에 있는 경우, 상기 디코딩 모듈(110)은 상기 이전 프레임의 상기 이전 비트스트림 페이로드의 하나 이상의 이전 페이로드 비트에 의해 인코딩된 하나 이상의 저장된 스펙트럼 라인을 사용하여, 상기 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행하도록 구성되는, 디코더(100).
  8. 제 7 항에 있어서,
    상기 스펙트럼은 현재 양자화된 스펙트럼이고,
    상기 디코딩 모듈(110)이 상기 부분 프레임 손실 은닉 모드에서 오류 은닉을 수행하는 경우, 상기 디코딩 모듈(110)은 상기 현재 양자화된 스펙트럼의 하나 이상의 중간 스펙트럼 라인을 얻기 위해서, 상기 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 스펙트럼의 상기 하나 이상의 제2 스펙트럼 라인에 대해 오류 은닉을 수행하도록 구성되고, 상기 디코딩 모듈(110)은 오디오 신호를 복원하기 위해 재조정 계수를 사용하여 상기 하나 이상의 중간 스펙트럼 라인을 재조정하도록 구성되는, 디코더(100).
  9. 제 8 항에 있어서,
    상기 디코딩 모듈(110)은
    상기 현재 비트스트림 페이로드 내에서 인코딩되는 전역 이득,
    상기 이전 비트스트림 페이로드 내에서 인코딩되는 전역 이득,
    상기 이전 프레임의 이전 양자화된 스펙트럼의 에너지, 상기 이전 프레임의 이전 디코딩된 스펙트럼의 에너지, 및
    상기 현재 프레임의 상기 현재 양자화된 스펙트럼의 에너지
    중 적어도 하나에 따라 상기 재조정 계수를 결정하도록 구성되는, 디코더(100).
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 디코딩 모듈(110)은:
    오류 은닉을 수행하지 않고 복원될 수 없는 제 1 스펙트럼 빈에서 시작하여 상기 스펙트럼의 상단까지 상기 이전 프레임의 상기 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈까지 상기 이전 프레임의 상기 이전 디코딩된 스펙트럼의 스펙트럼 빈의 평균 에너지 보다 크거나 같은지, 또는
    0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈까지 상기 현재 프레임의 상기 현재 양자화된 스펙트럼의 스펙트럼 빈의 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈까지 상기 이전 프레임의 상기 이전 양자화된 스펙트럼의 스펙트럼 빈의 에너지보다 크거나 같은지
    에 따라서 상기 재조정 계수를 결정하도록 구성되는, 디코더(100).
  11. 제 10 항에 있어서,
    오류 은닉을 수행하지 않고 복원될 수 없는 상기 제1 스펙트럼 빈으로부터 시작하여 상기 스펙트럼의 상단까지 상기 이전 프레임의 상기 이전 디코딩된 스펙트럼의 상기 스펙트럼 빈의 상기 평균 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈까지 상기 이전 프레임의 상기 이전 디코딩된 스펙트럼의 상기 스펙트럼 빈의 상기 평균 에너지보다 작고,
    0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈까지 상기 현재 프레임의 상기 현재 양자화된 스펙트럼의 스펙트럼 빈의 상기 에너지가 0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈까지 상기 이전 프레임의 상기 이전 양자화된 스펙트럼의 상기 스펙트럼 빈의 상기 에너지보다 작은 경우,
    상기 디코딩 모듈(110)은 상기 재조정 계수가
    0에서 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈에 상기 현재 프레임의 이득 계수의 제곱을 곱한 값까지 상기 현재 양자화된 스펙트럼의 상기 스펙트럼 빈의 상기 에너지, 대(to)
    0부터 시작하여 오류 은닉을 수행하지 않고 복원될 수 있는 상기 마지막 스펙트럼 빈에 상기 이전 프레임의 이득 계수의 제곱을 곱한 값까지 상기 이전 양자화된 스펙트럼의 상기 스펙트럼 빈의 상기 에너지
    의 비율의 제곱근과 동일하도록 상기 재조정 계수를 결정하도록 구성되는, 디코더(100).
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 디코딩 모듈(110)은 전체 재조정 계수인 상기 재조정 계수가 전역 이득 재조정 계수에 따라 좌우된다고 결정하도록 구성되며,
    상기 디코딩 모듈(110)은 상기 전역 이득 재조정 계수를:
    Figure pct00057

    에 따라 결정하도록 구성되고,
    gg는 상기 현재 비트스트림 페이로드 내에서 인코딩되는 상기 전역 이득을 나타내고,
    ggprev는 상기 전역 이득이 상기 이전 비트스트림 페이로드 내에서 인코딩되는 것을 나타내고,
    facgg는 상기 전역 이득 재조정 계수인, 디코더(100).
  13. 제 12 항에 있어서,
    Figure pct00058
    이거나,
    Figure pct00059
    인 경우,
    상기 디코딩 모듈(110)은 상기 전체 재조정 계수가 상기 전역 이득 재조정 계수와 동일한지 결정하도록 구성되고,
    k는 스펙트럼 빈을 나타내고, kbe는 복구될 수 없는 제 1 스펙트럼 빈을 나타내며, NF는 스펙트럼 라인의 수를 나타내며,
    Figure pct00060
    는 상기 이전 프레임의 상기 이전 양자화된 스펙트럼이 마지막 비-전 프레임 손실 은닉 프레임인 것을 나타내고,
    Figure pct00061
    는 상기 현재 프레임의 상기 현재 양자화된 스펙트럼을 나타내고,
    Figure pct00062
    는 상기 이전 프레임의 상기 이전 디코딩된 스펙트럼이 상기 마지막 비-전 프레임 손실 은닉 프레임인 것을 나타내는, 디코더(100).
  14. 제 12 항 또는 제 13 항에 있어서,
    Figure pct00063
    이거나,
    Figure pct00064
    인 경우,
    상기 디코딩 모듈(110)은 상기 총 재조정 계수가 또한 에너지 재조정 계수,
    Figure pct00065

    에 의존한다고 결정하도록 구성되고,
    k는 스펙트럼 빈을 나타내고, kbe는 복구될 수 없는 제 1 스펙트럼 빈을 나타내며, NF는 스펙트럼 라인의 수를 나타내며,
    Figure pct00066
    는 상기 이전 프레임의 상기 이전 양자화된 스펙트럼이 마지막 비-전 프레임 손실 은닉 프레임인 것을 나타내고,
    Figure pct00067
    는 상기 현재 프레임의 상기 현재 양자화된 스펙트럼을 나타내고,
    Figure pct00068
    는 상기 이전 프레임의 상기 이전 디코딩된 스펙트럼이 상기 마지막 비-전 프레임 손실 은닉 프레임인 것을 나타내는, 디코더(100).
  15. 제 14 항에 있어서,
    Figure pct00069
    인 경우, 및
    Figure pct00070
    인 경우,
    상기 디코딩 모듈(110)은 총 재조정 계수 fac를
    Figure pct00071
    에 따라, 또는
    Figure pct00072
    에 따라, 또는
    Figure pct00073
    에 따라 결정하도록 구성되는, 디코더(100).
  16. 이전 항들 중 어느 한 항에 따라서,
    상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 상기 디코딩 모듈(110)은 상기 오디오 신호의 이전 스펙트럼의 복수의 부호를 사용하여 오류 은닉을 수행함으로써 상기 오디오 신호의 현재 스펙트럼을 복원하도록 구성되고, 상기 복수의 부호는 상기 이전 프레임 내에서 인코딩되고, 상기 디코딩 모듈(110)은 상기 이전 프레임이 음조 또는 고조파 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 오류 은닉을 수행하도록 구성되는, 디코더(100).
  17. 제 16 항에 있어서,
    상기 이전 프레임은 오류 은닉을 수행하지 않고 상기 디코딩 모듈(110)에 의해 디코딩된 마지막 수신 프레임이거나,
    상기 이전 프레임은 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 상기 디코딩 모듈(110)에 의해 디코딩된, 마지막 수신 프레임이거나,
    상기 이전 프레임은 부분 프레임 손실 은닉 모드 또는 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 상기 디코딩 모듈(110)에 의해 디코딩된 마지막 수신 프레임인, 디코더(100).
  18. 제 16 항 또는 제 17 항에 있어서,
    상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 및 상기 이전 프레임의 상기 이전 비트스트림 페이로드가 음조 또는 고조파 신호 성분을 인코딩하는 경우, 상기 디코딩 모듈(110)은 상기 현재 스펙트럼을 복원하기 위해 상기 이전 스펙트럼의 상기 복수의 부호 중 하나 이상의 부호를 반전하도록 구성되고, 상기 현재 스펙트럼을 복원하기 위해 상기 이전 스펙트럼의 상기 복수의 부호 중 하나의 부호가 상기 디코딩 모듈(110)에 의해 반전될 확률을 나타내는 백분율 값 p은 0% ≤ p ≤ 50% 사이이고, 상기 디코딩 모듈(110)은 상기 백분율 값 p를 결정하도록 구성되는, 디코더(100).
  19. 제 18 항에 있어서,
    상기 디코딩 모듈(110)은 후속 프레임의 수에 따라 상기 백분율 값 p를 증가시키도록 구성되고;
    상기 후속 프레임의 수는 얼마나 많은 후속하는 부분 또는 완전 손실된 프레임에 대해 상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는지를 나타내고; 또는 상기 후속 프레임의 수는 특정 오류 은닉 모드에서 얼마나 많은 후속 프레임에 대해 디코딩 모듈(110)에 의해 오류 은닉이 수행되었는지를 나타내는, 디코더(100).
  20. 제 19 항에 있어서,
    상기 디코딩 모듈(110)은 상기 후속 프레임의 수에 의존하는 함수에 따라 백분율 값 p를 결정하도록 구성되고, 상기 후속 프레임의 수는 상기 함수의 인수인, 디코더(100).
  21. 제 20 항에 있어서,
    상기 디코딩 모듈(110)은,
    상기 후속 프레임의 수가 제1 임계값보다 작은 경우, p가 0%가 되고;
    상기 후속 프레임의 수가 상기 제1 임계값보다 크거나 같고 제2 임계값보다 작은 경우, 0 % ≤ p ≤ 50 %가 되고; 및
    상기 후속 프레임의 수가 상기 제2 임계값보다 큰 경우, p = 50%가 되도록
    상기 백분율 값 p를 결정하도록 구성되는, 디코더(100).
  22. 제 21 항에 있어서, 상기 디코딩 모듈(110)은, 상기 백분율 값 p가 후속 프레임의 수에 따라 상기 제1 임계값과 상기 제2 임계값 사이의 범위에서 선형적으로 증가하도록 상기 백분율 값 p를 결정하도록 구성되는, 디코더(100).
  23. 제 18 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 및 상기 이전 프레임의 상기 이전 비트스트림 페이로드가 음조 또는 고조파 신호 성분을 인코딩하지 않는 경우, 상기 디코딩 모듈(110)은 상기 현재 스펙트럼을 복원하기 위해 상기 이전 스펙트럼의 상기 복수의 부호의 50%를 반전하도록 구성되는, 디코더(100).
  24. 이전 항들 중 어느 한 항에 따라서,
    상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 상기 디코딩 모듈(110)은 상기 이전 프레임이 음조 또는 고조파인 신호 성분을 인코딩하는지 여부에 따라, 상기 오디오 신호의 상기 이전 스펙트럼의 복수의 진폭을 사용하여 오류 은닉을 수행하여 상기 오디오 신호의 현재 스펙트럼을 복원하도록 구성되고, 상기 복수의 진폭은 상기 이전 프레임 내에서 인코딩되는, 디코더(100).
  25. 제 24 항에 있어서,
    상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 상기 디코딩 모듈(110)은 상기 현재 스펙트럼을 복원하기 위해 비선형 감쇠 특성에 따라 상기 이전 스펙트럼의 상기 복수의 진폭을 감쇠하도록 구성되고, 상기 비선형 감쇠 특성은 상기 이전 프레임이 음조 또는 고조파인 신호 성분을 인코딩하는지 여부에 따라 의존하는, 디코더(100).
  26. 제 24 항 또는 제 25 항에 있어서,
    상기 디코딩 모듈(110)에 의해 오류 은닉이 수행되는 경우, 및 상기 이전 프레임의 상기 이전 비트스트림 페이로드가 음조 또는 고조파 신호 성분을 인코딩하는 경우, 상기 디코딩 모듈(110)은 안정성 계수에 따라 상기 이전 스펙트럼의 상기 복수의 진폭을 감쇠하도록 구성되고, 상기 안정성 계수는 상기 현재 스펙트럼과 상기 이전 스펙트럼 사이의 유사성을 나타내거나; 상기 안정성 계수는 상기 이전 스펙트럼과 상기 이전 프레임에 선행하는 더 이전 프레임의 더 이전 스펙트럼 사이의 유사성을 나타내는, 디코더(100).
  27. 제 26 항에 있어서,
    상기 더 이전 프레임은 오류 은닉을 수행하지 않고 상기 디코딩 모듈(110)에 의해 디코딩된 상기 이전 프레임 이전에 마지막으로 수신된 프레임이거나,
    상기 더 이전 프레임은 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 상기 디코딩 모듈(110)에 의해 디코딩된 상기 이전 프레임 이전에 마지막으로 수신된 프레임이거나,
    상기 더 이전 프레임은 부분 프레임 손실 은닉 모드 또는 전 프레임 손실 은닉 모드에서 오류 은닉을 수행하지 않고 상기 디코딩 모듈(110)에 의해 디코딩된 상기 이전 프레임 이전에 마지막으로 수신된 프레임인, 디코더(100).
  28. 제 26 항 또는 제 27 항에 있어서,
    상기 디코딩 모듈(110)이 부분 프레임 손실 은닉을 수행하도록 설정된 경우, 상기 안정성 계수는 상기 현재 스펙트럼과 상기 이전 스펙트럼 사이의 상기 유사성을 나타내고;
    상기 디코딩 모듈(110)이 전 프레임 손실 은닉을 수행하도록 설정된 경우, 상기 안정성 계수는 상기 이전 스펙트럼과 상기 더 이전 스펙트럼 사이의 상기 유사성을 나타내는, 디코더(100).
  29. 제 26 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 디코딩 모듈(110)은 상기 이전 스펙트럼의 스펙트럼 빈의 에너지를 결정하도록 구성되고;
    상기 디코딩 모듈(110)은 상기 스펙트럼 빈의 상기 에너지가 에너지 임계값보다 작은지 여부를 결정하도록 구성되고;
    상기 에너지가 상기 에너지 임계값보다 작은 경우, 상기 디코딩 모듈(110)은 제1 페이딩 계수로 상기 스펙트럼 빈에 할당되는 상기 복수의 진폭 중 하나의 진폭을 감쇠하도록 구성되고,
    상기 에너지가 상기 에너지 임계값보다 크거나 같으면, 상기 디코딩 모듈(110)은 상기 제1 페이딩 계수보다 작은 제2 페이딩 계수로 상기 스펙트럼 빈에 할당되는 상기 복수의 진폭 중 상기 진폭을 감쇠하도록 구성되고,
    상기 디코딩 모듈(110)은 감쇠를 수행할 때 상기 복수의 진폭 중 하나의 상기 감쇠에 대해 더 작은 페이딩 계수를 사용함으로써 상기 진폭 중 상기 하나의 상기 감쇠가 증가하도록 구성되는, 디코더(100).
  30. 제 26 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 디코딩 모듈(110)은 상기 이전 스펙트럼의 복수의 스펙트럼 빈을 포함하는 스펙트럼 대역의 에너지를 결정하도록 구성되고;
    상기 디코딩 모듈(110)은 상기 스펙트럼 대역의 상기 에너지가 에너지 임계값보다 작은지 여부를 결정하도록 구성되고;
    상기 에너지가 상기 에너지 임계값보다 작은 경우, 상기 디코딩 모듈(110)은 제1 페이딩 계수로 상기 스펙트럼 대역의 상기 스펙트럼 빈에 할당되는 상기 복수의 진폭 중 하나의 진폭을 감쇠하도록 구성되고,
    상기 에너지가 상기 에너지 임계값보다 크거나 같으면, 상기 디코딩 모듈(110)은 상기 제1 페이딩 계수보다 작은 제2 페이딩 계수로 상기 스펙트럼 대역의 상기 스펙트럼 빈에 할당되는 상기 복수의 진폭 중 상기 진폭을 감쇠하도록 구성되고,
    상기 디코딩 모듈(110)은 감쇠를 수행할 때 상기 복수의 진폭 중 하나의 상기 감쇠를 위해 더 작은 페이딩 계수를 사용함으로써 상기 진폭들 중 상기 하나의 상기 감쇠가 증가되도록 구성되는, 디코더(100).
  31. 제 19 항 또는 제 30 항에 있어서,
    상기 디코딩 모듈(110)은 상기 후속 프레임의 수에 따라, 상기 제 1 페이딩 계수가 더 작아지도록 상기 제1 페이딩 계수를 결정하도록 구성되고,
    상기 디코딩 모듈(110)은 상기 후속 프레임의 수에 따라, 상기 제 2 페이딩 계수가 더 작아지도록 상기 제 2 페이딩 계수를 결정하도록 구성되는, 디코더(100).
  32. 제 31 항에 있어서,
    상기 디코딩 모듈(110)은 상기 제1 페이딩 계수 및 상기 제2 페이딩 계수를 결정하도록 구성되므로,
    상기 현재 프레임이 상기 후속 프레임 중 제 1 프레임인 경우,
    cum_fading_slow = 1, 및
    cum_fading_fast = 1 이고,
    상기 현재 프레임이 상기 후속 프레임 중 상기 제 1 프레임에 이어지는 프레임 중 하나인 경우, 상기 제1 페이딩 계수 및 상기 제 2 페이딩 계수는
    cum_fading_slow = cum_fading_slow * slow;
    cum_fading_fast = cum_fading_fast * fast;
    에 따라 상기 후속 프레임의 수에 따라 결정되고,
    상기 수학식의 오른쪽의 cum_fading_slow는 상기 이전 프레임의 상기 제 1 페이딩 계수이며,
    상기 수학식의 왼쪽에 있는 cum_fading_slow는 상기 현재 프레임의 상기 제 1 페이딩 계수이고,
    상기 수학식의 오른쪽에 있는 cum_fading_fast는 상기 이전 프레임의 상기 제 2 페이딩 계수이고,
    상기 수학식의 왼쪽에 있는 cum_fading_fast는 상기 현재 프레임의 상기 제 2 페이딩 계수이고,
    1 > slow > fast > 0인, 디코더(100).
  33. 제 32 항에 있어서, 1 > slow > fast > 0.3인, 디코더(100).
  34. 제 19 항 또는 제 29 항 내지 제 33 항 중 한 항에 있어서,
    상기 디코딩 모듈(110)은,
    상기 후속 프레임의 수가 제 3 임계값보다 작은 경우, 상기 에너지 임계값이 제 1 에너지 값과 같고;
    상기 후속 프레임의 수가 상기 제 3 임계값보다 크거나 같고 제4 임계값보다 작은 경우, 상기 에너지 임계값이 상기 제1 에너지 값보다 작고 제2 에너지 값보다 크고; 및
    상기 후속 프레임의 수가 상기 제4 임계값보다 큰 경우, 상기 에너지 임계값이 상기 제2 에너지 값과 같도록
    상기 에너지 임계값을 결정하게 구성되는, 디코더(100).
  35. 제 34 항에 있어서, 상기 디코딩 모듈(110)은 상기 에너지 임계값이 상기 후속 프레임의 수에 따라 상기 제3 임계값과 상기 제4 임계값 사이의 범위에서 선형적으로 감소하도록 상기 에너지 임계값을 결정하게 구성되는, 디코더(100).
  36. 제 1 항 또는 제 15 항 내지 제 35 항 중 어느 한 항에 있어서,
    상기 디코딩 모듈(110)은 상기 오디오 신호의 디코딩된 스펙트럼을 저장하도록 구성된 디코딩된 스펙트럼 저장 모듈(330)을 포함하고, 상기 디코딩된 스펙트럼 저장 모듈(330)은 마지막 비-전 프레임 손실 은닉 디코딩된 스펙트럼을 제공하도록 구성되고,
    상기 디코딩 모듈(110)은 상기 스펙트럼의 스펙트럼 라인에 대한 페이드아웃 및 부호 스크램블링을 위해 구성되는 페이드아웃 및 부호 스크램블링 모듈(340)을 포함하는, 디코더(100).
  37. 제 36 항에 있어서,
    상기 디코딩 모듈(110)은 상기 오디오 신호의 양자화된 스펙트럼을 저장하도록 구성된 양자화된 스펙트럼 저장 모듈(310)을 포함하고, 상기 양자화된 스펙트럼 저장 모듈(310)은 마지막 비-전 프레임 손실 은닉 양자화된 스펙트럼을 제공하도록 구성되고,
    상기 디코딩 모듈(110)은 부분 프레임 반복 및 재조정을 위해 구성된 부분 프레임 반복 및 재조정 모듈(320)을 포함하고, 상기 부분 프레임 반복 및 재조정 모듈(320)은 상기 디코딩 모듈(110)에 의해 디코딩될 수 없는 스펙트럼 라인을 추가함으로써 상기 스펙트럼을 보완하도록 구성되고, 상기 부분 프레임 반복 및 재조정 모듈(320)은 상기 스펙트럼 라인을 재조정하도록 구성되는, 디코더(100).
  38. 제 2 항 내지 제 14 항에 있어서,
    상기 디코딩 모듈(110)은 상기 오디오 신호의 양자화된 스펙트럼을 저장하도록 구성된 양자화된 스펙트럼 저장 모듈(310)을 포함하고, 상기 양자화된 스펙트럼 저장 모듈(310)은 마지막 비-전 프레임 손실 은닉 양자화된 스펙트럼을 제공하도록 구성되고,
    상기 디코딩 모듈(110)은 상기 오디오 신호의 디코딩된 스펙트럼을 저장하도록 구성된 디코딩된 스펙트럼 저장 모듈(330)을 포함하고, 상기 디코딩된 스펙트럼 저장 모듈(330)은 마지막 비-전 프레임 손실 은닉 디코딩된 스펙트럼을 제공하도록 구성되는, 디코더(100).
  39. 오디오 신호를 복원하기 위해 현재 프레임을 디코딩하는 방법에 있어서,
    상기 오디오 신호는 상기 현재 프레임 내에서 인코딩되고, 상기 현재 프레임은 현재 비트스트림 페이로드를 포함하고, 상기 현재 비트스트림 페이로드는 복수의 페이로드 비트를 포함하고, 상기 복수의 페이로드 비트는 상기 오디오 신호의 스펙트럼의 복수의 스펙트럼 라인을 인코딩하고, 상기 페이로드 비트의 각각은 상기 비트스트림 페이로드 내의 위치를 나타내고, 상기 방법은:
    상기 오디오 신호를 복원하는 단계 - 오류 은닉 모드에서, 상기 오디오 신호를 복원하는 단계는 임계 주파수보다 큰 주파수를 나타내는 상기 오디오 신호의 상기 스펙트럼의 스펙트럼 라인에 대해 오류 은닉을 수행함으로써 수행되고; 및/또는 오류 은닉이 수행되는 경우, 오류 은닉은 상기 현재 프레임에 선행하는 이전 프레임의 이전 비트스트림 페이로드가 음조 또는 고조파인 오디오 신호의 신호 성분을 인코딩하는지 여부에 의존하는 방식으로 수행됨 - ; 및
    상기 오디오 신호를 출력하는 단계
    를 포함하는, 방법.
  40. 컴퓨터 또는 신호 프로세서 상에서 실행될 때 제 39 항의 방법을 구현하기 위한 컴퓨터 프로그램.
KR1020217028812A 2019-02-13 2020-02-12 전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 lc3 은닉을 위한 디코더 및 디코딩 방법 KR20210125534A (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
EP19157047.2 2019-02-13
EP19157036 2019-02-13
EP19157036.5 2019-02-13
EP19157042.3 2019-02-13
EP19156997.9A EP3697005A1 (en) 2019-02-13 2019-02-13 Multi-mode channel coding with mode specific coloration sequences
EP19156997.9 2019-02-13
EP19157047 2019-02-13
EP19157042 2019-02-13
PCT/EP2019/065172 WO2020164751A1 (en) 2019-02-13 2019-06-11 Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
PCT/EP2019/065209 WO2020164753A1 (en) 2019-02-13 2019-06-11 Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
EPPCT/EP2019/065205 2019-06-11
EPPCT/EP2019/065172 2019-06-11
EPPCT/EP2019/065209 2019-06-11
PCT/EP2019/065205 WO2020164752A1 (en) 2019-02-13 2019-06-11 Audio transmitter processor, audio receiver processor and related methods and computer programs
PCT/EP2020/053620 WO2020165265A1 (en) 2019-02-13 2020-02-12 Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment

Publications (1)

Publication Number Publication Date
KR20210125534A true KR20210125534A (ko) 2021-10-18

Family

ID=66776368

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020237021253A KR20230098370A (ko) 2019-02-13 2020-02-12 오디오 송신기 프로세서, 오디오 수신기 프로세서 및 관련 방법 및 컴퓨터 프로그램
KR1020217028182A KR20210143177A (ko) 2019-02-13 2020-02-12 오류 은닉 모드를 선택하는 디코더와 디코딩 방법, 및 인코더와 인코딩 방법
KR1020217029146A KR102640740B1 (ko) 2019-02-13 2020-02-12 모드 특이적 컬러레이션 시퀀스가 있는 멀티-모드 채널 코딩
KR1020217029147A KR102637530B1 (ko) 2019-02-13 2020-02-12 오디오 송신기 프로세서, 오디오 수신기 프로세서 및 관련 방법 및 컴퓨터 프로그램
KR1020237034159A KR102662188B1 (ko) 2019-02-13 2020-02-12 모드 특이적 컬러레이션 시퀀스가 있는 멀티-모드 채널 코딩
KR1020217028812A KR20210125534A (ko) 2019-02-13 2020-02-12 전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 lc3 은닉을 위한 디코더 및 디코딩 방법
KR1020237034158A KR20230147747A (ko) 2019-02-13 2020-02-12 모드 특이적 컬러레이션 시퀀스가 있는 멀티-모드 채널 코딩

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020237021253A KR20230098370A (ko) 2019-02-13 2020-02-12 오디오 송신기 프로세서, 오디오 수신기 프로세서 및 관련 방법 및 컴퓨터 프로그램
KR1020217028182A KR20210143177A (ko) 2019-02-13 2020-02-12 오류 은닉 모드를 선택하는 디코더와 디코딩 방법, 및 인코더와 인코딩 방법
KR1020217029146A KR102640740B1 (ko) 2019-02-13 2020-02-12 모드 특이적 컬러레이션 시퀀스가 있는 멀티-모드 채널 코딩
KR1020217029147A KR102637530B1 (ko) 2019-02-13 2020-02-12 오디오 송신기 프로세서, 오디오 수신기 프로세서 및 관련 방법 및 컴퓨터 프로그램
KR1020237034159A KR102662188B1 (ko) 2019-02-13 2020-02-12 모드 특이적 컬러레이션 시퀀스가 있는 멀티-모드 채널 코딩

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237034158A KR20230147747A (ko) 2019-02-13 2020-02-12 모드 특이적 컬러레이션 시퀀스가 있는 멀티-모드 채널 코딩

Country Status (13)

Country Link
US (6) US12039986B2 (ko)
EP (7) EP3925103A1 (ko)
JP (6) JP7358490B2 (ko)
KR (7) KR20230098370A (ko)
CN (4) CN113544773A (ko)
AU (8) AU2020223488A1 (ko)
BR (4) BR112021015532A2 (ko)
CA (7) CA3231339A1 (ko)
MX (4) MX2021009728A (ko)
SG (4) SG11202108673QA (ko)
TW (4) TWI785309B (ko)
WO (3) WO2020164751A1 (ko)
ZA (4) ZA202105719B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018178877A1 (en) 2017-03-27 2018-10-04 Clearpath Robotics, Inc. Systems and methods for autonomous lineside parts delivery to an assembly line process
CN112151044B (zh) * 2020-09-23 2024-06-11 北京百瑞互联技术股份有限公司 在lc3音频编码器中自动调节蓝牙播放设备频响曲线的方法、装置及存储介质
CN112735446B (zh) * 2020-12-30 2022-05-17 北京百瑞互联技术有限公司 在lc3音频码流中添加额外信息的方法、***及介质
US12014068B2 (en) * 2021-04-27 2024-06-18 Microchip Technology Inc. System and method for double data rate (DDR) chip-kill recovery
CN112992160B (zh) * 2021-05-08 2021-07-27 北京百瑞互联技术有限公司 一种音频错误隐藏方法及装置
US11934696B2 (en) 2021-05-18 2024-03-19 Microchip Technology Inc. Machine learning assisted quality of service (QoS) for solid state drives
US20230326473A1 (en) * 2022-04-08 2023-10-12 Digital Voice Systems, Inc. Tone Frame Detector for Digital Speech

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8402411A (nl) * 1984-08-02 1986-03-03 Philips Nv Inrichting voor het korrigeren en maskeren van fouten in een informatiestroom, en weergeeftoestel voor het weergeven van beeld en/of geluid voorzien van zo een inrichting.
JP2998254B2 (ja) * 1990-04-17 2000-01-11 松下電器産業株式会社 可変長符号化データの伝送方法
DE69126565T2 (de) * 1990-04-17 1998-01-02 Matsushita Electric Ind Co Ltd Verfahren zur Übertragung von Kodes mit variabler Länge
US5230003A (en) 1991-02-08 1993-07-20 Ericsson-Ge Mobile Communications Holding, Inc. Decoding system for distinguishing different types of convolutionally-encoded signals
JP2746033B2 (ja) * 1992-12-24 1998-04-28 日本電気株式会社 音声復号化装置
JP3171973B2 (ja) * 1993-01-07 2001-06-04 株式会社東芝 音声符号化の誤り制御方法
JP3328093B2 (ja) 1994-07-12 2002-09-24 三菱電機株式会社 エラー訂正装置
JP2003289539A (ja) 1995-03-15 2003-10-10 Toshiba Corp 動画像符号化装置および方法
EP1802135A3 (en) 1995-03-15 2008-11-12 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems
US6104754A (en) 1995-03-15 2000-08-15 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system
JP4065025B2 (ja) * 1995-09-22 2008-03-19 パシフィック コミュニケーション サイエンシーズ，インコーポレイテッド 複数の符号レートを用いるセルラー通信システム
US6415398B1 (en) 1995-09-29 2002-07-02 Kabushiki Kaisha Toshiba Coding system and decoding system
GB2311699B (en) * 1996-03-29 2000-09-20 Nokia Mobile Phones Ltd Method and apparatus for digital communication
JP3583551B2 (ja) * 1996-07-01 2004-11-04 松下電器産業株式会社 誤り補償装置
JPH10233692A (ja) * 1997-01-16 1998-09-02 Sony Corp オーディオ信号符号化装置および符号化方法並びにオーディオ信号復号装置および復号方法
JP3184868B2 (ja) 1997-06-05 2001-07-09 株式会社日立製作所 Ｗｅｂページの真正性確認システム
US6279133B1 (en) 1997-12-31 2001-08-21 Kawasaki Steel Corporation Method and apparatus for significantly improving the reliability of multilevel memory architecture
US6405338B1 (en) * 1998-02-11 2002-06-11 Lucent Technologies Inc. Unequal error protection for perceptual audio coders
US6256487B1 (en) 1998-09-01 2001-07-03 Telefonaktiebolaget Lm Ericsson (Publ) Multiple mode transmitter using multiple speech/channel coding modes wherein the coding mode is conveyed to the receiver with the transmitted signal
JP2000123083A (ja) 1998-10-15 2000-04-28 Sony Corp 情報提供システムおよび方法、並びに提供媒体
AU754877B2 (en) * 1998-12-28 2002-11-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method and devices for coding or decoding an audio signal or bit stream
DE19907728C2 (de) 1999-02-23 2001-03-01 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und Vorrichtung und Verfahren zum Lesen eines Datenstroms
FI107676B (fi) * 1999-06-21 2001-09-14 Nokia Mobile Phones Ltd Menetelmä ja järjestely tietyn signaalinkäsittelymetodin käyttämiseksi informaation välittämiseen
US6570509B2 (en) 2000-03-03 2003-05-27 Motorola, Inc. Method and system for encoding to mitigate decoding errors in a receiver
FR2813722B1 (fr) 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
US6810078B2 (en) * 2000-12-08 2004-10-26 Prairiecomm, Inc. Blind rate determination
US6876705B2 (en) 2001-03-05 2005-04-05 Intervideo, Inc. Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder
US6694474B2 (en) 2001-03-22 2004-02-17 Agere Systems Inc. Channel coding with unequal error protection for multi-mode source coded information
US7146553B2 (en) * 2001-11-21 2006-12-05 Infinera Corporation Error correction improvement for concatenated codes
EP1471756B8 (en) 2002-01-31 2012-02-15 Research in Motion Limited Information communication method
US7266750B1 (en) 2002-07-10 2007-09-04 Maxtor Corporation Error recovery strategies for iterative decoders
US7536305B2 (en) * 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
US6985856B2 (en) * 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
US7356748B2 (en) * 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
JP4252596B2 (ja) 2004-03-03 2009-04-08 三菱電機株式会社 パケット転送装置
JP4698593B2 (ja) 2004-07-20 2011-06-08 パナソニック株式会社 音声復号化装置および音声復号化方法
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
KR20060101889A (ko) * 2005-03-22 2006-09-27 엘지전자 주식회사 디지털 오디오의 신호 처리 방법 및 장치
JP4261506B2 (ja) 2005-03-31 2009-04-30 株式会社東芝 無線通信装置及び適法制御方法
US7177804B2 (en) * 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
US8050915B2 (en) 2005-07-11 2011-11-01 Lg Electronics Inc. Apparatus and method of encoding and decoding audio signals using hierarchical block switching and linear prediction coding
FR2889534B1 (fr) * 2005-08-04 2012-11-02 Lab Francais Du Fractionnement Anticorps anti-idiotypique neutralisant l'activite inhibitrice d'un anticorps inhibiteur du facteur viii
US7623725B2 (en) 2005-10-14 2009-11-24 Hewlett-Packard Development Company, L.P. Method and system for denoising pairs of mutually interfering signals
DE602006006346D1 (de) * 2005-12-16 2009-05-28 Dolby Sweden Ab Vorrichtung zum erzeugen und interpretieren eines datenstroms mit einer reihe von segmenten unter verwendung von daten in nachfolgenden datenrahmen
WO2007084475A2 (en) * 2006-01-17 2007-07-26 Thomson Licensing Methods and apparatus for low complexity error resilient motion estimation and coding mode selection
KR100763207B1 (ko) 2006-05-03 2007-10-04 삼성전자주식회사 비압축 ａⅴ 데이터를 송수신하는 방법, 장치, 및 전송프레임 구조
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
US7610195B2 (en) 2006-06-01 2009-10-27 Nokia Corporation Decoding of predictively coded data using buffer adaptation
EP1901496B1 (en) 2006-09-12 2010-09-01 Panasonic Corporation Link adaptation dependent on control signaling
CN101174931A (zh) * 2006-10-30 2008-05-07 华为技术有限公司 一种重传类型选择方法、相应的发送设备、接收设备及***
KR101292771B1 (ko) * 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
KR101291193B1 (ko) * 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
WO2008139721A1 (ja) * 2007-05-07 2008-11-20 Panasonic Corporation 復号化装置及び復号化方法
US20080301536A1 (en) * 2007-05-31 2008-12-04 Interdigital Technology Corporation Channel coding and rate matching for lte control channels
JP5219699B2 (ja) * 2007-08-30 2013-06-26 パナソニック株式会社 符号化装置及び復号装置
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
CN101261833B (zh) * 2008-01-24 2011-04-27 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法
FR2929466A1 (fr) 2008-03-28 2009-10-02 France Telecom Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
US8301440B2 (en) * 2008-05-09 2012-10-30 Broadcom Corporation Bit error concealment for audio coding systems
JP2009276890A (ja) * 2008-05-13 2009-11-26 Hitachi Systems & Services Ltd データ通信の誤り検出方法
RU2475868C2 (ru) * 2008-06-13 2013-02-20 Нокиа Корпорейшн Способ и устройство для маскирования ошибок кодированных аудиоданных
WO2010000303A1 (en) * 2008-06-30 2010-01-07 Nokia Corporation Speech decoder with error concealment
BRPI0910811B1 (pt) * 2008-07-11 2021-09-21 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio.
CA2730355C (en) 2008-07-11 2016-03-22 Guillaume Fuchs Apparatus and method for encoding/decoding an audio signal using an aliasing switch scheme
KR101756834B1 (ko) 2008-07-14 2017-07-12 삼성전자주식회사 오디오/스피치 신호의 부호화 및 복호화 방법 및 장치
EP2146343A1 (en) 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
EP2329654B1 (en) * 2008-09-26 2014-08-06 Telegent Systems, Inc. Devices of digital video reception and output having error detection and concealment circuitry and techniques
CN105704366B (zh) 2009-01-30 2019-01-08 英特赛尔美国有限公司 混合格式媒体传输***和方法
WO2010103607A1 (ja) * 2009-03-09 2010-09-16 富士通株式会社 データ転送装置及びデータ転送装置の制御方法
US8300979B2 (en) 2009-07-29 2012-10-30 Hewlett-Packard Development Company, L.P. Method and system for robust universal denoising of noisy data sets
US8625692B2 (en) * 2009-09-28 2014-01-07 Samsung Electronics Co., Ltd. Transmission/reception apparatus and method for improving throughput in a multi-input multi-output communication system
AU2010309838B2 (en) * 2009-10-20 2014-05-08 Dolby International Ab Audio signal encoder, audio signal decoder, method for encoding or decoding an audio signal using an aliasing-cancellation
US8428959B2 (en) * 2010-01-29 2013-04-23 Polycom, Inc. Audio packet loss concealment by transform interpolation
EP2362658A1 (en) * 2010-02-26 2011-08-31 Research In Motion Limited Encoding and decoding methods and devices employing dual codesets
WO2012031628A1 (en) * 2010-09-09 2012-03-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy encoding and decoding scheme
CN102034478B (zh) * 2010-11-17 2013-10-30 南京邮电大学 基于压缩感知和信息隐藏的语音保密通信***设计方法
TWI484479B (zh) * 2011-02-14 2015-05-11 Fraunhofer Ges Forschung 用於低延遲聯合語音及音訊編碼中之錯誤隱藏之裝置和方法
US9026434B2 (en) * 2011-04-11 2015-05-05 Samsung Electronic Co., Ltd. Frame erasure concealment for a multi rate speech and audio codec
CN102163430B (zh) * 2011-05-06 2012-09-26 中国科学技术大学苏州研究院 采用信息隐藏技术进行amr-wb语音编码或解码的方法
CN103688306B (zh) * 2011-05-16 2017-05-17 谷歌公司 对被编码为连续帧序列的音频信号进行解码的方法和装置
JP2012242785A (ja) * 2011-05-24 2012-12-10 Sony Corp 信号処理装置、信号処理方法、およびプログラム
KR102172279B1 (ko) 2011-11-14 2020-10-30 한국전자통신연구원 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
US9203757B2 (en) * 2012-03-22 2015-12-01 Texas Instruments Incorporated Network throughput using multiple reed-solomon blocks
CN108806703B (zh) * 2012-06-08 2023-07-18 三星电子株式会社 用于隐藏帧错误的方法和设备
US10223831B2 (en) 2012-08-30 2019-03-05 Atheer, Inc. Method and apparatus for selectively presenting content
US9823745B1 (en) 2012-08-30 2017-11-21 Atheer, Inc. Method and apparatus for selectively presenting content
CN104641624B (zh) 2012-09-19 2017-11-28 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
TWI606440B (zh) * 2012-09-24 2017-11-21 三星電子股份有限公司 訊框錯誤隱藏裝置
WO2014072260A2 (en) 2012-11-07 2014-05-15 Dolby International Ab Reduced complexity converter snr calculation
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
CN110289005B (zh) 2013-06-21 2024-02-09 弗朗霍夫应用科学研究促进协会 用于产生舒缓噪声的自适应频谱形状的装置及方法
CA2927716C (en) * 2013-10-18 2020-09-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information
ES2732952T3 (es) * 2013-10-31 2019-11-26 Fraunhofer Ges Forschung Decodificador de audio y procedimiento para proporcionar una información de audio decodificada usando un ocultamiento de error basado en una señal de excitación en el dominio del tiempo
EP2922056A1 (en) * 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation
NO2780522T3 (ko) 2014-05-15 2018-06-09
CN104021769B (zh) * 2014-05-30 2016-06-15 京东方科技集团股份有限公司 一种移位寄存器、栅线集成驱动电路及显示屏
TWI602172B (zh) * 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
CN107004417B (zh) 2014-12-09 2021-05-07 杜比国际公司 Mdct域错误掩盖
US20160171740A1 (en) 2014-12-15 2016-06-16 Calay Venture S.à r.l. Real-time method for collaborative animation
US10756997B2 (en) 2015-09-28 2020-08-25 Cybrook Inc. Bandwidth adjustment for real-time video transmission
JP6356360B2 (ja) * 2015-11-13 2018-07-11 株式会社日立国際電気 音声通信システム
WO2017129270A1 (en) 2016-01-29 2017-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal
JP6826126B2 (ja) 2016-03-07 2021-02-03 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 異なる周波数帯域の異なる減衰係数に従って隠蔽されたオーディオフレームをフェードアウトする誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム
JP6883047B2 (ja) * 2016-03-07 2021-06-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム
MX2018010753A (es) * 2016-03-07 2019-01-14 Fraunhofer Ges Forschung Método de ocultamiento híbrido: combinación de ocultamiento de pérdida paquete de dominio de frecuencia y tiempo en códecs de audio.
US10432234B2 (en) * 2016-07-19 2019-10-01 Mediatek Inc. Low complexity rate matching for polar codes
US10312945B2 (en) * 2017-02-13 2019-06-04 Lg Electronics Inc. Channel coding method using concatenated code structure and apparatus therefor

Also Published As

Publication number Publication date
JP2024026178A (ja) 2024-02-28
AU2023204176A1 (en) 2023-07-20
US20230274750A1 (en) 2023-08-31
JP2022520609A (ja) 2022-03-31
MX2021009731A (es) 2021-09-08
KR20210125555A (ko) 2021-10-18
EP4369334A3 (en) 2024-07-24
TWI745862B (zh) 2021-11-11
EP4369334A2 (en) 2024-05-15
SG11202108537YA (en) 2021-09-29
JP7472154B2 (ja) 2024-04-22
TW202044779A (zh) 2020-12-01
CA3231339A1 (en) 2020-08-20
CA3205152A1 (en) 2020-08-20
KR20230147747A (ko) 2023-10-23
TWI748339B (zh) 2021-12-01
TWI797422B (zh) 2023-04-01
JP2022520816A (ja) 2022-04-01
TW202044777A (zh) 2020-12-01
CN113491080B (zh) 2024-05-31
AU2020220383B2 (en) 2023-04-13
KR102637530B1 (ko) 2024-02-19
JP2022521487A (ja) 2022-04-08
TWI785309B (zh) 2022-12-01
ZA202105722B (en) 2022-07-27
EP4239924A2 (en) 2023-09-06
BR112021015533A2 (pt) 2021-10-05
ZA202105720B (en) 2022-07-27
EP4239924A3 (en) 2023-11-15
WO2020164751A1 (en) 2020-08-20
CN113544773A (zh) 2021-10-22
WO2020164753A1 (en) 2020-08-20
AU2020221993B2 (en) 2023-05-18
CA3231332A1 (en) 2020-08-20
EP3924963A1 (en) 2021-12-22
EP4109444A1 (en) 2022-12-28
ZA202105719B (en) 2022-06-29
BR112021016022A2 (pt) 2021-10-05
AU2020223488A1 (en) 2021-10-07
AU2023226770A1 (en) 2023-09-28
AU2020220383A1 (en) 2021-10-07
JP2023145493A (ja) 2023-10-11
US20210385012A1 (en) 2021-12-09
US20230230606A1 (en) 2023-07-20
AU2020220383C1 (en) 2023-07-06
CA3128783A1 (en) 2020-08-20
BR112021015532A2 (pt) 2021-10-05
SG11202108674TA (en) 2021-09-29
US12009002B2 (en) 2024-06-11
CN113490981B (zh) 2024-07-16
MX2021009728A (es) 2021-10-13
US11875806B2 (en) 2024-01-16
JP7348297B2 (ja) 2023-09-20
WO2020164752A1 (en) 2020-08-20
KR102662188B1 (ko) 2024-05-03
US20210375295A1 (en) 2021-12-02
KR20230098370A (ko) 2023-07-03
CA3129610A1 (en) 2020-08-20
ZA202105721B (en) 2022-07-27
MX2021009733A (es) 2021-09-08
BR112021015608A2 (pt) 2021-10-05
AU2023216863A1 (en) 2023-09-07
SG11202108673QA (en) 2021-09-29
AU2023204659A1 (en) 2023-08-03
KR102640740B1 (ko) 2024-02-27
TW202101426A (zh) 2021-01-01
TW202044231A (zh) 2020-12-01
US20210366498A1 (en) 2021-11-25
JP2022520608A (ja) 2022-03-31
EP3925104A2 (en) 2021-12-22
EP3925105A2 (en) 2021-12-22
AU2020221993A1 (en) 2021-10-07
US12039986B2 (en) 2024-07-16
JP7358490B2 (ja) 2023-10-10
EP3925103A1 (en) 2021-12-22
SG11202108672XA (en) 2021-09-29
KR20230147748A (ko) 2023-10-23
KR20210143177A (ko) 2021-11-26
CN113491079A (zh) 2021-10-08
US20220014310A1 (en) 2022-01-13
JP2023175750A (ja) 2023-12-12
KR20210118948A (ko) 2021-10-01
CA3129616A1 (en) 2020-08-20
CA3128781A1 (en) 2020-08-20
CN113491080A (zh) 2021-10-08
CN113490981A (zh) 2021-10-08
AU2020221602A1 (en) 2021-10-07
MX2021009729A (es) 2021-10-26

Similar Documents

Publication Publication Date Title
KR20210125534A (ko) 전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 lc3 은닉을 위한 디코더 및 디코딩 방법
JP5849106B2 (ja) 低遅延の統合されたスピーチ及びオーディオ符号化におけるエラー隠しのための装置及び方法
KR100882752B1 (ko) 인코드된 음향신호의 디코딩에 관한 에러 은폐
JP6423460B2 (ja) フレームエラー隠匿装置
WO2020165265A1 (en) Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
AU2001284608A1 (en) Error concealment in relation to decoding of encoded acoustic signals
US9325544B2 (en) Packet-loss concealment for a degraded frame using replacement data from a non-degraded frame
JP6228298B2 (ja) エネルギー調整モジュールを備えた帯域幅拡大モジュールを有するオーディオ復号器
US20080255860A1 (en) Audio decoding apparatus and decoding method
RU2795500C2 (ru) Декодер и способ декодирования для маскировки lc3, включающий в себя маскировку полных потерь кадров и маскировку частичных потерь кадров
KR102132326B1 (ko) 통신 시스템에서 오류 은닉 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal