KR20220066749A - 잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기 - Google Patents

잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기 Download PDF

Info

Publication number
KR20220066749A
KR20220066749A KR1020200153114A KR20200153114A KR20220066749A KR 20220066749 A KR20220066749 A KR 20220066749A KR 1020200153114 A KR1020200153114 A KR 1020200153114A KR 20200153114 A KR20200153114 A KR 20200153114A KR 20220066749 A KR20220066749 A KR 20220066749A
Authority
KR
South Korea
Prior art keywords
residual signal
signal
frequency domain
information
generating
Prior art date
Application number
KR1020200153114A
Other languages
English (en)
Inventor
백승권
성종모
이태진
임우택
장인선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200153114A priority Critical patent/KR20220066749A/ko
Priority to US17/507,746 priority patent/US11978465B2/en
Publication of KR20220066749A publication Critical patent/KR20220066749A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/13—Residual excited linear prediction [RELP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명의 일실시예에 따른 부호화기가 수행하는 잔차 신호의 생성 방법은 오디오 샘플로 구성되는 입력 신호를 식별하는 단계; LPC(Linear Prediction Coding)을 이용하여 입력 신호로부터 제1 잔차 신호를 생성하는 단계; 상기 제1 잔차 신호를 변환하여, 상기 제1 잔차 신호의 정보량 보다 정보량이 적은 제2 잔차 신호를 생성하는 단계; 상기 제2 잔차 신호를 주파수 도메인으로 변환하는 단계; 및 FDP(Frequency Domain Prediction) 인코딩을 이용하여, 상기 변환된 제2 잔차 신호로부터 상기 제2 잔차 신호의 정보량 보다 정보량이 적은 제3 잔차 신호를 생성하는 단계를 포함할 수 있다.

Description

잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기 {METHOD OF GENERATING A RESIDUAL SIGNAL AND AN ENCODER AND A DECODER PERFORMING THE METHOD}
본 발명은 잔차 신호의 생성 방법과 잔차 신호의 생성 방법을 이용한 오디오 신호의 부호화 및 복호화 방법 및 그 방법들을 수행하는 장치에 관한 것으로, 보다 구체적으로는, 효율적인 부호화를 위해 잔차 신호의 생성에 이용되는 정보량을 줄이는 기술에 관한 것이다.
오디오 코딩 기술은 오디오 신호를 압축 전송하기 위한 기술로 지속적으로 연구되고 있다. MPEG 오디오 코딩 기술은 기술은 지각적 음질 손실을 최소화하기 위하여 인간의 심리음향 모델에 근거한 양자화기를 설계하고 데이터를 압축하는 방식으로 개발되어 왔다.
최근에는, USAC(Unified Speech and Audio Coding)이 등장하면서, 저 비트율 음성의 음질을 개선하는 연구가 활발하게 이루어지고 있다. 다만, 아직까지 종래 오디오 코딩 기술은 부호화 과정에 요구되는 정보량으로 인해 저 비트율에서 오디오 신호를 복원하는 데 어려움이 있다.
따라서, 효율적인 부호화를 위하여 부호화 과정에 요구되는 정보량을 최소화할 수 있는 기술이 요구된다.
본 발명은 오디오 신호를 부호화 및 복호화함에 있어, 잔차 신호의 정보량을 최소화함으로써 양자화 효율을 높일 수 있는 방법 및 장치를 제공한다.
또한, 본 발명은 최소한의 정보량을 갖는 잔차 신호를 생성함으로써 비트율이 낮게 할당되는 경우에도 오디오 신호를 효율적으로 복원할 수 있는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 부호화기가 수행하는 잔차 신호의 생성 방법은 오디오 샘플로 구성되는 입력 신호를 식별하는 단계; LPC(Linear Prediction Coding)을 이용하여 입력 신호로부터 제1 잔차 신호를 생성하는 단계; 상기 제1 잔차 신호를 변환하여, 상기 제1 잔차 신호의 정보량 보다 정보량이 적은 제2 잔차 신호를 생성하는 단계; 상기 제2 잔차 신호를 주파수 도메인으로 변환하는 단계; 및 FDP(Frequency Domain Prediction) 인코딩을 이용하여, 상기 변환된 제2 잔차 신호로부터 상기 제2 잔차 신호의 정보량 보다 정보량이 적은 제3 잔차 신호를 생성하는 단계를 포함할 수 있다.
상기 제3 잔차 신호를 양자화하여 비트스트림으로 팩킹하는 단계; 및 상기 비트스트림을 복호화기로 전송하는 단계를 더 포함할 수 있다.
상기 제2 잔차 신호를 생성하는 단계는, 상기 제1 잔차 신호를 주파수 도메인으로 변환하는 단계; 상기 변환된 제1 잔차 신호로부터 LPC 계수를 추출하는 단계; 상기 LPC 계수를 이용하여 상기 변환된 제1 잔차 신호로부터 주파수 도메인의 제2 잔차 신호를 생성하는 단계; 및 상기 주파수 도메인의 제2 잔차 신호를 시간 도메인으로 역변환하는 단계를 포함할 수 있다.
상기 제3 잔차 신호를 생성하는 단계는, 상기 제2 잔차 신호로부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하는 단계; 및 상기 피크에 대한 정보를 이용하여, 상기 제2 잔차 신호에서 고조파 억제가 처리된 상기 제3 잔차 신호를 결정하는 단계를 포함할 수 있다.
상기 피크에 대한 정보를 추출하는 단계는, 상기 제2 잔차 신호에 대해 상관(correlation) 연산을 수행하는 단계; 상기 상관 연산의 결과로부터 상기 제2 잔차 신호의 피크들을 추출하는 단계; 상기 추출된 피크들에 기초하여 피치 체인(pitch chain)을 생성하는 단계; 및 상기 피치 체인을 이용하여 상기 피크에 대한 정보를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화기가 수행하는 잔차 신호의 생성 방법에 있어서, 부호화기로부터 수신한 비트스트림을 언팩킹하는 단계; 상기 언팩킹된 비트스트림으로부터 추출한 제3 잔차 신호를 역양자화하는 단계; FDP(Frequency Domain Prediction) 디코딩을 이용하여 상기 역양자화된 제3 잔차 신호로부터 주파수 도메인으로 변환된 제2 잔차 신호를 결정하는 단계-상기 제2 잔차 신호의 정보량은 상기 역양자화된 제3 잔차 신호의 정보량 보다 적음; 상기 주파수 도메인으로 변환된 제2 잔차 신호를 시간 도메인으로 변환하는 단계; 및 상기 시간 도메인으로 변환된 제2 잔차 신호를 역변환하여, 상기 제2 잔차 신호의 정보량 보다 정보량이 큰 제1 잔차 신호를 생성하는 단계를 포함할 수 있다.
LPC(Linear Prediction Coding)을 이용하여 상기 제1 잔차 신호로부터 출력 신호를 복호화하는 단계를 더 포함할 수 있다.
상기 제2 잔차 신호를 결정하는 단계는, 상기 언팩킹된 비트스트림으로부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하는 단계; 및 상기 역양자화된 제3 잔차 신호와 상기 피크에 대한 정보로부터 상기 주파수 도메인으로 변환된 제2 잔차 신호를 생성하는 단계를 포함할 수 있다.
상기 제1 잔차 신호를 추출하는 단계는, 상기 시간 도메인으로 변환된 제2 잔차 신호를 주파수 도메인으로 변환하는 단계; 상기 변환된 제2 잔차 신호로부터 LPC(Linear Prediction Coding) 계수를 추출하는 단계; 상기 제2 잔차 신호와 상기 추출된 LPC 계수에 기초하여 주파수 도메인의 제1 잔차 신호를 생성하는 단계; 및 상기 주파수 도메인의 제1 잔차 신호를 시간 도메인으로 변환하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 잔차 신호의 생성 방법을 수행하는 부호화기에 있어서, 상기 부호화기는 프로세서를 포함하고, 상기 프로세서는, 오디오 샘플로 구성되는 입력 신호를 식별하고, LPC(Linear Prediction Coding)을 이용하여 입력 신호로부터 제1 잔차 신호를 생성하고, 상기 제1 잔차 신호를 변환하여, 상기 제1 잔차 신호의 정보량 보다 정보량이 적은 제2 잔차 신호를 생성하고, 상기 제2 잔차 신호를 주파수 도메인으로 변환하고, FDP(Frequency Domain Prediction) 인코딩을 이용하여, 상기 변환된 제2 잔차 신호로부터 상기 제2 잔차 신호의 정보량 보다 정보량이 적은 제3 잔차 신호를 생성할 수 있다.
상기 프로세서는, 상기 제3 잔차 신호를 양자화하여 비트스트림으로 팩킹하고, 상기 비트스트림을 복호화기로 전송할 수 있다.
상기 프로세서는, 상기 제1 잔차 신호를 주파수 도메인으로 변환하고, 상기 변환된 제1 잔차 신호로부터 LPC 계수를 추출하고, 상기 LPC 계수를 이용하여 상기 변환된 제1 잔차 신호로부터 주파수 도메인의 제2 잔차 신호를 생성하고, 상기 주파수 도메인의 제2 잔차 신호를 시간 도메인으로 역변환할 수 있다.
상기 프로세서는, 상기 제2 잔차 신호로부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하고, 상기 피크에 대한 정보를 이용하여, 상기 제2 잔차 신호에서 고조파 억제가 처리된 상기 제3 잔차 신호를 결정할 수 있다.
상기 프로세서는, 상기 제2 잔차 신호에 대해 상관(correlation) 연산을 수행하고, 상기 상관 연산의 결과로부터 상기 제2 잔차 신호의 피크들을 추출하고, 상기 추출된 피크들에 기초하여 피치 체인(pitch chain)을 생성하고, 상기 피치 체인을 이용하여 상기 피크에 대한 정보를 결정할 수 있다.
본 발명의 일실시예에 따른 잔차 신호의 생성 방법을 수행하는 복호화기에 있어서, 상기 복호화기는 프로세서를 포함하고, 상기 프로세서는, 부호화기로부터 수신한 비트스트림을 언팩킹하고, 상기 언팩킹된 비트스트림으로부터 추출한 제3 잔차 신호를 역양자화하고, FDP(Frequency Domain Prediction) 디코딩을 이용하여 상기 역양자화된 제3 잔차 신호로부터 주파수 도메인으로 변환된 제2 잔차 신호를 결정하고, 상기 주파수 도메인으로 변환된 제2 잔차 신호를 시간 도메인으로 변환하고, 상기 시간 도메인으로 변환된 제2 잔차 신호를 역변환하여, 상기 제2 잔차 신호의 정보량 보다 정보량이 큰 제1 잔차 신호를 생성할 수 있다.
상기 프로세서는, LPC(Linear Prediction Coding)을 이용하여 상기 제1 잔차 신호로부터 출력 신호를 복호화할 수 있다.
상기 프로세서는, 상기 언팩킹된 비트스트림으로부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하고, 상기 역양자화된 제3 잔차 신호와 상기 피크에 대한 정보로부터 상기 주파수 도메인으로 변환된 제2 잔차 신호를 생성할 수 있다.
상기 프로세서는, 상기 시간 도메인으로 변환된 제2 잔차 신호를 주파수 도메인으로 변환하고, 상기 변환된 제2 잔차 신호로부터 LPC(Linear Prediction Coding) 계수를 추출하고, 상기 제2 잔차 신호와 상기 추출된 LPC 계수에 기초하여 주파수 도메인의 제1 잔차 신호를 생성하고, 상기 주파수 도메인의 제1 잔차 신호를 시간 도메인으로 변환할 수 있다.
본 발명의 일실시예에 따르면 오디오 신호를 부호화 및 복호화함에 있어, 잔차 신호의 정보량을 최소화함으로써 양자화 효율을 높일 수 있다.
또한, 본 발명의 일실시예에 따르면 최소한의 정보량을 갖는 잔차 신호를 생성함으로써 비트율이 낮게 할당되는 경우에도 오디오 신호를 효율적으로 복원할 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화기와 복호화기를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화기 및 복호화기에서 수행되는 잔차 신호의 생성 방법의 구체적인 과정을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 부호화기에서 제2 잔차 신호를 생성하는 과정을 도시한 도면이다.
도 4은 본 발명의 일실시예에 따른 복호화기에서 제1 잔차 신호를 생성하는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 부호화기에서 제3 잔차 신호를 생성하는 과정을 도시한 도면이다.
도 6A-6C는 본 발명의 일실시예에 따른 부호화기에서 제3 잔차 신호를 생성하는 과정을 그래프로 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 복호화기에서 변환된 제2 잔차 신호를 생성하는 과정을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 실험 그래프를 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 부호화기와 복호화기를 도시한 도면이다.
본 발명은 오디오 신호를 부호화 및 복호화함에 있어, 오디오 신호로부터 잔차 신호를 생성하는 과정을 통해 잔차 신호의 정보량을 최소한으로 줄임으로써 부호화의 효율을 높일 수 있는 방법과 그 방법을 수행하는 부호화기(101) 및 복호화기(102)에 관한 것이다.
부호화기(101) 및 복호화기(102)는 각각 데스크톱, 노트북 등과 같이 프로세서를 포함하는 장치이며, 부호화기(101) 및 복호화기(102)는 서로 동일한 장치에 대응할 수 있다. 부호화기(101) 및 복호화기(102)에 포함된 프로세서는 본 발명의 잔차 신호의 생성 방법을 수행한다.
도 1을 참조하면, 부호화기(101)는 오디오 샘플로 구성되는 입력 신호(103)를 수신하고, 잔차 신호를 생성한다. 즉, 부호화기(101)는 입력 신호(103)를 잔차 신호로 부호화한다.
부호화기(101)는 생성된 잔차 신호를 양자화하여 비트스트림으로 팩킹(packing)한다. 부호화기(101)는 비트스트림을 복호화기(102)로 전송한다. 복호화기(102)는 부호화기(101)로부터 수신한 비트스트림을 언팩킹하여 잔차 신호를 생성하고, 잔차 신호로부터 입력 신호(103)에 대응하는 출력 신호(104)를 복호화한다.
본 발명은 양자화의 효율을 높이기 위해 양자화의 대상이 되는 잔차 신호를 가공하여 정보량이 감축된 잔차 신호를 생성하고, 이를 부호화 및 복호화한다. 부호화기(101) 및 복호화기(102)에서 처리되는 과정에 대한 구체적인 설명은 도 2에서 후술한다.
도 2는 본 발명의 일실시예에 따른 부호화기 및 복호화기에서 수행되는 잔차 신호의 생성 방법의 구체적인 과정을 도시한 도면이다.
부호화기(101)에서는, 입력 신호(200)로부터 잔차 신호를 생성하고 이를 부호화하기 위한 과정(201-205)들이 수행된다. LPC(Linear Prediction Coding) residual 과정(201)에서, 부호화기(101)는, 오디오 신호에 대응하는 입력 신호(200)를 식별하고, LPC를 이용하여 입력 신호(200)로부터 제1 잔차 신호를 생성한다. 즉, 부호화기(101)는 선형 예측 코딩(LPC)을 이용하여 입력 신호(200)로부터 제1 잔차 신호를 생성한다.
일례로, 수학식 1을 통해, 부호화기(101)는 입력 신호(200)로부터 제1 잔차 신호를 결정할 수 있다.
Figure pat00001
x(n)은 입력 신호(200)의 n번째 오디오 샘플을 의미한다. p는 선형 예측 차수를 의미한다. 을 의미한다. ak는 k번째 LPC 계수를 의미한다. r(n)은 n번째 오디오 샘플에 대응하는 제1 잔차 신호를 의미한다.
Complex TNS(Temporary Noise Shaping) residual 과정(202)에서, 부호화기(101)는, 제1 잔차 신호를 변환하여, 제2 잔차 신호를 생성한다. 제2 잔차 신호는 제1 잔차 신호의 정보량 보다 정보량이 적은 잔차 신호를 의미한다. 구체적인 과정은 도 3에서 후술한다.
MDCT(Modified Discrete Cosine Transform) 과정(203)에서, 부호화기(101)는, 제2 잔차 신호를 주파수 도메인으로 변환한다. 예를 들어, 부호화기(101)는 제2 잔차 신호를 MDCT 변환함으로써 제2 잔차 신호를 주파수 도메인으로 변환할 수 있다. 다만, 주파수 도메인으로 변환하는 방법은 DCT (Discrete Cosine Transform), DFT(Discrete Fourier Transform) 등 다양한 방법이 이용될 수 있으며, 특정한 예로 제한되지 않는다.
FDP(Frequency Domain Prediction) Encoding 과정(204)에서, 부호화기(101)는, FDP 인코딩을 이용하여, 변환된 제2 잔차 신호로부터 제2 잔차 신호의 정보량 보다 정보량이 적은 제3 잔차 신호를 생성한다. 구체적으로, 제3 잔차 신호는, 제2 잔차 신호에서 고조파 억제가 처리된 잔차 신호를 의미한다.
즉, 부호화기(101)는 FDP Encoding 과정(204)에서, 변환된 제2 잔차 신호의 고조파(harmonic) 성분에 대한 잔차 신호인 제3 잔차 신호를 생성한다. 이에 대한 구체적인 과정은 도 5에서 후술한다.
Quantization 과정(205)에서, 부호화기(101)는, 제3 잔차 신호를 양자화하여 비트스트림(206)으로 팩킹한다. 그리고, 부호화기(101)는, 비트스트림(206)을 복호화기(102)로 전송한다.
복호화기(102)에서는, 비트스트림(206)이 언팩킹되고, 출력 신호(217)를 생성하기 위해 과정(211-216)들이 수행된다. 복호화기(102)는, 부호화기(101)로부터 수신한 비트스트림(206)을 식별한다. 그리고, de-Qunatization 과정(211)에서, 복호화기(102)는 언팩킹된 비트스트림(206)으로부터 제3 잔차 신호를 추출하고, 제 잔차 신호를 역양자화환다.
FDP Decoding 과정(212)에서, 복호화기(102)는, FDP 디코딩을 이용하여 제3 잔차 신호로부터 주파수 도메인으로 변환된 제2 잔차 신호를 결정한다. FDP Decoding 과정(212)의 구체적인 내용은 도 7에서 후술한다.
IMDCT 과정(213)에서, 복호화기(102)는, 복호화기(102)는 주파수 도메인으로 변환된 제2 잔차 신호를 시간 도메인으로 변환한다. 이 때, IMDCT는 MDCT의 역변환 과정이며, 주파수 도메인으로 변환하는 방법에 따라 역변환 방법도 결정될 수 있다.
그리고, OLA(Overlap-Add) 과정(214)은 MDCT 과정에서 발생하는 시간 영역의 얼라이어싱(aliasing)을 제거하기 위한 과정으로, 복호화기(102)는 시간 도메인으로 변환된 제2 잔차 신호에 대해 오버랩-애드 연산을 수행한다.
Complex TNS synthesis 과정(215)에서, 복호화기(102)는, 시간 도메인으로 변환된 제2 잔차 신호를 역변환하여, 제2 잔차 신호의 정보량 보다 정보량이 큰 제1 잔차 신호를 생성한다. 이에 대한 구체적인 과정은 도 4에서 후술한다.
LPC synthesis 과정(216)에서, 복호화기(102)는, LPC를 이용하여 제1 잔차 신호로부터 원 신호를 복원한다. 다시 말해, 복호화기(102)는, 제1 잔차 신호로부터 원 신호인 출력 신호(217)를 생성할 수 있다. 부호화기(101)는 LPC을 이용하여 제1 잔차 신호로부터 출력 신호(217)를 복호화한다. 일례로, 복호화기(102)는 아래 수학식 2를 통해 출력 신호(217)를 획득할 수 있다.
Figure pat00002
수학식 2에서, x(n)은 출력 신호(217)의 n번째 오디오 샘플을 의미한다. p는 선형 예측 차수를 의미한다. 을 의미한다. ak는 k번째 LPC 계수를 의미한다. r(n)은 n번째 오디오 샘플에 대응하는 제1 잔차 신호를 의미한다.
도 3은 본 발명의 일실시예에 따른 부호화기에서 제2 잔차 신호를 생성하는 과정을 도시한 도면이다.
부호화기는 제1 잔차 신호(300)로부터 제2 잔차 신호(305)를 생성하기 위하여 과정(301-304)들을 수행한다. 즉, 도 2의 과정(202)의 세부적인 단계들을 도시한 도면이다.
DFT 과정(301)에서, 부호화기는, 제1 잔차 신호(300)를 주파수 도메인으로 변환한다. 예를 들어, 부호화기는 제1 잔차 신호(300)를 DFT 변환함으로써, 제1 잔차 신호(300)를 주파수 도메인으로 변환할 수 있다.
이 때, 제1 잔차 신호(300)는 실수 파트와 허수 파트로 구성되는 복소수 신호로 나타난다. 그리고, Complex LPC(302) 과정에서, 부호화기는 변환된 제1 잔차 신호(300)의 실수 파트와 허수 파트 각각에 대한 LPC 계수를 추출한다.
Complex LPC residual 과정(303)에서, 부호화기는 추출된 실수 파트와 허수 파트 각각에 대한 LPC 계수를 이용하여, 주파수 도메인으로 변환된 제1 잔차 신호(300)의 실수 파트 및 허수 파트 각각에 대한 잔차 신호를 결정함으로써 제2 잔차 신호(305)를 생성할 수 있다.
구체적으로, 부호화기는 실수 파트에 대한 LPC 계수에 기초하여 제1 잔차 신호(300)의 실수 파트에 대한 잔차 신호를 결정한다. 결정된 잔차 신호는 제2 잔차 신호(305)의 실수 파트에 대응한다. 그리고, 부호화기는 허수 파트에 대한 LPC 계수에 기초하여 제1 잔차 신호(300)의 허수 파트에 대한 잔차 신호를 결정한다. 결정된 잔차 신호를 제2 잔차 신호(305)의 허수 파트에 대응한다.
일례로, 부호화기는 수학식 1을 이용하여 제1 잔차 신호(300)의 실수 파트 및 허수 파트 각각에 대한 잔차 신호를 결정할 수 있다.
생성된 제2 잔차 신호(305)는 주파수 도메인으로 표현되고, IDFT 과정(304)에서, 부호화기는, 제2 잔차 신호(305)를 시간 도메인으로 변환한다. 즉, 도 3을 참조하면, 부호화기는 주파수 도메인으로 변환된 제1 잔차 신호(300)의 실수 파트 및 허수 파트에 대해 LPC를 이용하여, 제1 잔차 신호(300)로부터 정보량이 감축된 제2 잔차 신호(305)를 생성한다.
그리고, 부호화기는, 복호화기에서 제2 잔차 신호(305)로부터 제1 잔차 신호(300)를 생성하기 위해, 복소수 신호로 변환된 제1 잔차 신호(300)로부터 추출된 LPC 계수를 제3 잔차 신호와 함께 양자화하고 비트스트림으로 팩킹하여 복호화기에 전송한다.
도 4은 본 발명의 일실시예에 따른 복호화기에서 제1 잔차 신호를 생성하는 과정을 도시한 도면이다.
도 3에서 제2 잔치 신호(400)를 생성한 과정의 역으로서, 복호화기에서, 제2 잔치 신호(400)로부터 제1 잔치 신호(404)를 생성하는 과정에 대한 것이다. 즉, 도 2의 과정(215)의 세부적인 단계들을 도시한 도면이다.
구체적으로, 복호화기는 비트스트림을 언팩킹하고, 역양자화하여, 부호화기에서 복소수 신호로 변환된 제1 잔치 신호로부터, 추출되는 LPC 계수를 획득한다. 획득한 LPC 계수는 실수 파트에 대한 LPC 계수 및 허수 파트에 대한 LPC 계수로 구성된다. 복호화기는 LPC 계수를 이용하여 제2 잔치 신호(400)로부터 제1 잔치 신호(404)를 생성한다.
DFT 과정(401)에서, 복호화기는, 시간 도메인으로 표현되는 제2 잔치 신호(400)를 주파수 도메인으로 변환한다. 예를 들어, 복호화기는 제2 잔치 신호(400)를 DFT 변환함으로써, 제2 잔치 신호(400)를 주파수 도메인으로 변환할 수 있다.
이 때, 변환된 제2 잔치 신호(400)는 실수 파트와 허수 파트로 구성되는 복소수 신호로 나타난다. Complex LPC synthesis과정(402)에서, 복호화기는 부호화기로부터 수신한 LPC 계수를 이용하여 제2 잔치 신호(400)의 원 신호인 제1 잔치 신호(404)를 복원한 다.
Complex LPC synthesis과정(402)에서, 복호화기는 실수 파트와 허수 파트 각각에 대한 LPC 계수를 이용하여, 주파수 도메인으로 변환된 제2 잔치 신호(400)의 실수 파트 및 허수 파트 각각에 대한 원 신호를 결정함으로써 제1 잔치 신호(404)를 생성할 수 있다. 일례로, 복호화기는 수학식 2을 이용하여 제2 잔치 신호(400)의 실수 파트 및 허수 파트 각각에 대한 원 신호를 결정할 수 있다.
생성된 제1 잔치 신호(404)는 주파수 도메인으로 표현되고, IDFT 과정(403)에서, 복호화기는, 제1 잔치 신호(404)를 시간 도메인으로 변환한다. 즉, 도 4를 참조하면, 복호화기는 제2 잔치 신호(400)의 실수 파트 및 허수 파트에 대해 LPC를 이용하여, 제2 잔치 신호(400)로부터 제1 잔치 신호(404)를 복원한다.
도 5는 본 발명의 일실시예에 따른 부호화기에서 제3 잔차 신호를 생성하는 과정을 도시한 도면이다.
부호화기는, 제2 잔차 신호(500)의 고조파 성분을 추출하여 고조파 억제가 처리된 제3 잔차 신호(514)를 생성하기 위해, FDP 인코딩 과정(501-513)들을 수행한다. 제3 잔차 신호(514)의 정보량은 제2 잔차 신호(500)보다 적다. 즉, 도 2의 과정(204)의 세부적인 단계들을 도시한 도면이다.
구체적으로, 부호화기는 제2 잔차 신호(500)의 고조파 예측을 위해 과정(501-509)들을 수행한다. Correlation 과정(501)에서, 부호화기는, 제2 잔차 신호(500)에 대해 상관 연산을 수행한다. 부호화기는 상관 함수에 제2 잔차 신호(500)를 입력하여 결과 신호를 획득한다. 일례로, 제2 잔차 신호(500)와 제2 잔차 신호(500)에 대해 상관 연산이 수행된 결과 신호는 도 6A의 (a), (b)와 같이 나타날 수 있다.
그리고, Moving 과정(502)은 이동 평균(Moving Average)를 계산하는 과정이다. 부호화기는 Moving 과정(502)에서, 부호화기는 상관 함수에 제2 잔차 신호(500)를 입력하여 획득한 결과 신호의 이동 평균을 결정한다. 구체적으로, 부호화기는 결과 신호를 일정한 구간 마다 결과 신호의 평균을 계산하고, 계산된 평균을 그 구간의 대표 값으로 결정하여 결과 신호의 이동 평균으로 결정되는 평균 신호를 획득한다.
일례로, 일정한 구간은 3개 또는 5개의 오디오 샘플에 대응하는 길이일 수 있다. 상관 함수에 제2 잔차 신호(500)를 입력하여 획득한 결과 신호의 평균 신호는 도 6A의 (c)와 같이 나타날 수 있다.
그리고, Differential 과정(503)은 차분 신호를 구하는 과정으로, 부호화기는 Differential 과정(503)에서, 평균 신호의 차분 신호를 결정한다. 즉, 부호화기는 시간 상에 인접하는 평균 신호 간의 차이를 계산함으로써 차분 신호를 결정한다. 일례로, 차분 신호는 도 6B의 (a)와 같이 나타날 수 있다.
Negative level cut 과정(504)과 Positive level cut 과정(505)은 Peak picking 과정(508)을 명확하게 하기 위한 과정으로, 차분 신호에서 음의 신호와 양의 신호를 구분하기 위한 과정이다. Negative level cut 과정(504)과 Positive level cut 과정(505)에서, 부호화기는, 음의 신호 중 최소값과 양의 신호 중 최대값을 결정할 수 있다. 최대값 및 최소값은 제로 인덱스를 기준으로 한다.
과정(506)에서, 부호화기는, 음의 신호와 양의 신호로 구분된 차분 신호를 최소값 및 최대값에 따라 클리핑(clipping)한다.
그리고, Search threshold 과정(507)에서, 부호화기는, 음양이 구분된 차분 신호에서 피크(peak)들의 파워 값에 기초하여 임계치를 결정한다. 그리고, Peak picking 과정(508)에서, 부호화기는, 음양이 구분된 차분 신호에서 임계치를 초과하는 피크들을 추출한다. 즉, 부호화기는 상관 연산의 결과인 결과 신호로부터 제2 잔차 신호(500)의 피크들을 추출한다.
Peak strength 과정(509)에서, 부호화기는 결정된 피크들이 유효한지 검증한다. 구체적으로, 부호화기는 현재 피크의 파워 값이, 이전 피크의 파워 값의 50% 이상인 경우, 현재 피크를 유효한 피크로 결정한다. 반대로, 부호화기는 현재 피크의 파워 값이, 이전 피크의 파워 값의 50% 미만인 경우, 현재 피크를 유효하지 않은 피크로 결정한다.
Pitch chain 과정(510)에서, 부호화기는 유효한 것으로 결정된 피크들로 피치 체인(pitch chain)을 결정한다. 일례로, 도 6A의 (a)에 도시된 제2 잔차 신호(500)의 피치 체인은 도 6B의 (c)와 같이 나타날 수 있다. 피치 체인은 제2 잔차 신호(500)의 유효한 피크들로 구성되며, 제2 잔차 신호(500)의 고조파 성분을 나타낸다. 부호화기는 유효한 피크들의 간격에 기초하여 피치 체인을 생성한다.
Pitch chain refinement 과정(511)은 고조파 성분의 위치가 피치 체인에 정확하게 대응하도록 조정하는 과정이다. Pitch chain refinement 과정(511)에서, 부호화기는 결정된 피치 체인을 기준으로 로컬 맥시멈 피크(local maximum peak)를 다시 탐색하고, 탐색된 피크로 피치 체인을 업데이트한다. 구체적으로, 부호화기는 각 피크들의 위치를 기준으로 미리 설정된 구간 내에 새로운 최대값이 있는지 탐색함으로써, 로컬 맥시멈 피크를 다시 탐색한다.
일례로, 업데이트된 피치 체인은 도 6C의 (a)와 같이 나타날 수 있다.
Pitch chain masker generation 과정(512)에서, 부호화기는 업데이트된 피치 체인에 기초하여, 피크들의 위치 등 제2 잔차 신호(500)의 피크에 대한 정보를 결정하고, 피크에 대한 정보를 이용하여 제2 잔차 신호(500)에서 피크 부분의 에너지를 감쇄하기 위한 펄스 마스커(pulse masker)를 생성한다. 펄스 마스커에서 펄스의 크기가 커질수록 감쇄되는 정도도 커진다.
펄스의 크기는, 미리 결정되는 펄스 스케일 팩터(pulse scale factor)에 의해 결정될 수 있다. 펄스 마스커는, 펄스의 위치 정보로 구성된 데이터를 의미할 수 있다.
피크에 대한 정보는 제3 잔차 신호(514)와 함께 양자화되고 비트스트림으로 패킹되어 복호화기로 전송된다. 과정(513)에서, 부호화기는 피크에 대한 정보를 이용하여, 제2 잔차 신호(500)에서 고조파 억제가 처리된 제3 잔차 신호(514)를 결정한다.
구체적으로, 과정(513)에서, 부호화기는 제2 잔차 신호에 대해 펄스 마스크를 Element-wise로 나누는 연산을 처리한다. 즉, 부호화기는 피크에 대한 정보로부터 생성된 펄스 마스커를 이용하여 제2 잔차 신호(500)로부터, 제3 잔차 신호(514)를 생성할 수 있다.
제3 잔차 신호(514)는 제2 잔차 신호(500)의 정보량 보다 적은 정보량이 요구된다. 일례로, 고조파 억제가 처리된 제3 잔차 신호(514)는 도 6C의 (b)와 같이 나타날 수 있다.
도 6A-6C는 본 발명의 일실시예에 따른 부호화기에서 제3 잔차 신호를 생성하는 과정을 그래프로 도시한 도면이다.
도 6A-6C에 도시된 그래프에서, 세로 축은 펄스의 크기를 의미하고, 가로 축은 주파수 축을 의미한다.
도 6A의 (a)는 도 5의 FDP encoding 과정에서 이용되는 제2 잔차 신호의 일례를 도시한 도면이다. 그래프의 x축은 시간을 의미하며, y축은 주파수의 진폭을 의미한다. 즉, 도 6A의 (a)에 도시된 그래프는, MDCT 변환된 제2 잔차 신호의 시간에 따른 주파수의 진폭을 도시한 그래프이다.
도 6A의 (b)는 제2 잔차 신호에 상관 연산이 수행된 결과 신호를 도시한 도면이다. 즉, 도 6A의 (b)는 제2 잔차 신호가 상관 함수에 입력된 결과를 그래프로 나타낸 도면이다.
도 6A의 (c)는 도 6A의 (b)의 결과 신호에 대한 이동 평균으로 결정된 평균 신호를 도시한 도면이다. 도 6B의 (a)는 평균 신호에 대한 차분 신호를 도시한 도면이다. 도 6A의 (c), 도 6B의 (a)-(c) 및 도 6C의 (a), (b)에서 실선은 진폭이 음수인 신호를 의미하며, 점선은 진폭이 양수인 신호를 의미한다. 음수인 신호와 양수인 신호는 도 5의 Negative level cut 과정(504)과 Positive level cut 과정(505)을 통해 결정된다.
도 6B의 (b)와 도 6B의 (c)는 제2 잔차 신호의 피크들에 기초하여 생성된 피치 체인을 도시한 도면이다. 그리고, 도 6C의 (a)는, 고조파 성분과 피치 체인의 위치가 대응되도록 하기 위해, 도 6B의 (c)의 피치 체인에서 업데이트된 피치 체인을 도시한 도면이다.
도 6C의 (b)는 도 6A의 (a)에 도시된 제2 잔차 신호로부터 생성된 제3 잔차 신호가 양자화된 결과를 도시한 그래프이다. 도 6C의 (b)의 제3 잔차 신호는 도 6A의 (a)에 도시된 제2 잔차 신호에서 고조파 성분이 억제된 잔차 신호를 의미한다.
도 7은 본 발명의 일실시예에 따른 복호화기에서 변환된 제2 잔차 신호를 생성하는 과정을 도시한 도면이다.
도 7은, 도 5의 역과정에 대한 것으로, 제3 잔차 신호(700)로부터 변환된 제2 잔차 신호(703)를 얻기 위한 FDP decoding 과정을 도시한 도면이다. 즉, 도 2의 과정(212)의 세부적인 단계들을 도시한 도면이다.
복호화기는 FDP 디코딩을 이용하여 제3 잔차 신호(700)로부터 주파수 도메인으로 변환된 제2 잔차 신호(703)를 결정한다. 이 때, 변환된 제2 잔차 신호(703)는 MDCT 변환된 제2 잔차 신호(703)일 수 있다.
도 7을 참조하면, 복호화기는, 비트스트림으로부터 추출한 제3 잔차 신호(700)와 피크에 대한 정보를 이용하여 제2 잔차 신호(703)를 결정한다.
구체적으로, 복호화기는 피크에 대한 정보를 이용하여, 부호화 과정에서 이용된 피치 체인에 대한 펄스 마스커를 생성한다. 과정(702)에서, 부호화기는 제3 잔차 신호(700)에 대해 펄스 마스크를 Element-wise로 곱하는 연산을 처리한다. 그리고, 복호화기는 제3 잔차 신호(700)와 펄스 마스커를 이용하여 고조파가 복원된 제2 잔차 신호(703)를 생성한다.
도 8은 본 발명의 일실시예에 따른 실험 그래프를 도시한 도면이다.
본 발명의 기술을 적용하여 24kHz 오디오 신호를 1.4kbps로 오디오 음원을 복원한 것이다. 본 발명의 일실시예에 따르면 오디오 부호화 비트율을 극단적으로 낮게 할당하더라도 오디오 신호를 성공적으로 복원할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 부호화기
102: 복호화기
103: 입력 신호
104: 비트스트림
105: 출력 신호

Claims (18)

  1. 부호화기가 수행하는 잔차 신호의 생성 방법에 있어서,
    오디오 샘플로 구성되는 입력 신호를 식별하는 단계;
    LPC(Linear Prediction Coding)을 이용하여 입력 신호로부터 제1 잔차 신호를 생성하는 단계;
    상기 제1 잔차 신호를 변환하여, 상기 제1 잔차 신호의 정보량 보다 정보량이 적은 제2 잔차 신호를 생성하는 단계;
    상기 제2 잔차 신호를 주파수 도메인으로 변환하는 단계; 및
    FDP(Frequency Domain Prediction) 인코딩을 이용하여, 상기 변환된 제2 잔차 신호로부터 상기 제2 잔차 신호의 정보량 보다 정보량이 적은 제3 잔차 신호를 생성하는 단계
    를 포함하는 잔차 신호의 생성 방법.
  2. 제1항에 있어서,
    상기 제3 잔차 신호를 양자화하여 비트스트림으로 팩킹(packing)하는 단계; 및
    상기 비트스트림을 복호화기로 전송하는 단계를 더 포함하는 생성 방법.
  3. 제1항에 있어서,
    상기 제2 잔차 신호를 생성하는 단계는,
    상기 제1 잔차 신호를 주파수 도메인으로 변환하는 단계;
    상기 변환된 제1 잔차 신호로부터 LPC 계수를 추출하는 단계;
    상기 LPC 계수를 이용하여 상기 변환된 제1 잔차 신호로부터 주파수 도메인의 제2 잔차 신호를 생성하는 단계; 및
    상기 주파수 도메인의 제2 잔차 신호를 시간 도메인으로 역변환하는 단계
    를 포함하는 생성 방법.
  4. 제1항에 있어서,
    상기 제3 잔차 신호를 생성하는 단계는,
    상기 제2 잔차 신호로부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하는 단계; 및
    상기 피크에 대한 정보를 이용하여, 상기 제2 잔차 신호에서 고조파 억제가 처리된 상기 제3 잔차 신호를 결정하는 단계
    를 포함하는 생성 방법.
  5. 제4항에 있어서,
    상기 피크에 대한 정보를 추출하는 단계는,
    상기 제2 잔차 신호에 대해 상관(correlation) 연산을 수행하는 단계;
    상기 상관 연산의 결과로부터 상기 제2 잔차 신호의 피크들을 추출하는 단계;
    상기 추출된 피크들에 기초하여 피치 체인(pitch chain)을 생성하는 단계; 및
    상기 피치 체인을 이용하여 상기 피크에 대한 정보를 결정하는 단계
    를 포함하는 생성 방법.
  6. 복호화기가 수행하는 잔차 신호의 생성 방법에 있어서,
    부호화기로부터 수신한 비트스트림을 언팩킹(unpacking)하는 단계;
    상기 언팩킹된 비트스트림으로부터 추출한 제3 잔차 신호를 역양자화하는 단계;
    FDP(Frequency Domain Prediction) 디코딩을 이용하여 상기 역양자화된 제3 잔차 신호로부터 주파수 도메인으로 변환된 제2 잔차 신호를 결정하는 단계-상기 제2 잔차 신호의 정보량은 상기 역양자화된 제3 잔차 신호의 정보량 보다 적음;
    상기 주파수 도메인으로 변환된 제2 잔차 신호를 시간 도메인으로 변환하는 단계; 및
    상기 시간 도메인으로 변환된 제2 잔차 신호를 역변환하여, 상기 제2 잔차 신호의 정보량 보다 정보량이 큰 제1 잔차 신호를 생성하는 단계
    를 포함하는 생성 방법.
  7. 제6항에 있어서,
    LPC(Linear Prediction Coding)을 이용하여 상기 제1 잔차 신호로부터 출력 신호를 복호화하는 단계를 더 포함하는 생성 방법.
  8. 제6항에 있어서,
    상기 제2 잔차 신호를 결정하는 단계는,
    상기 언팩킹된 비트스트림으로부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하는 단계; 및
    상기 역양자화된 제3 잔차 신호와 상기 피크에 대한 정보로부터 상기 주파수 도메인으로 변환된 제2 잔차 신호를 생성하는 단계
    를 포함하는 생성 방법.
  9. 제6항에 있어서,
    상기 제1 잔차 신호를 추출하는 단계는,
    상기 시간 도메인으로 변환된 제2 잔차 신호를 주파수 도메인으로 변환하는 단계;
    상기 변환된 제2 잔차 신호로부터 LPC(Linear Prediction Coding) 계수를 추출하는 단계;
    상기 제2 잔차 신호와 상기 추출된 LPC 계수에 기초하여 주파수 도메인의 제1 잔차 신호를 생성하는 단계; 및
    상기 주파수 도메인의 제1 잔차 신호를 시간 도메인으로 변환하는 단계
    를 포함하는 생성 방법.
  10. 잔차 신호의 생성 방법을 수행하는 부호화기에 있어서,
    상기 부호화기는 프로세서를 포함하고,
    상기 프로세서는,
    오디오 샘플로 구성되는 입력 신호를 식별하고, LPC(Linear Prediction Coding)을 이용하여 입력 신호로부터 제1 잔차 신호를 생성하고, 상기 제1 잔차 신호를 변환하여, 상기 제1 잔차 신호의 정보량 보다 정보량이 적은 제2 잔차 신호를 생성하고, 상기 제2 잔차 신호를 주파수 도메인으로 변환하고, FDP(Frequency Domain Prediction) 인코딩을 이용하여, 상기 변환된 제2 잔차 신호로부터 상기 제2 잔차 신호의 정보량 보다 정보량이 적은 제3 잔차 신호를 생성하는,
    부호화기.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 제3 잔차 신호를 양자화하여 비트스트림으로 팩킹(packing)하고, 상기 비트스트림을 복호화기로 전송하는, 부호화기.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 제1 잔차 신호를 주파수 도메인으로 변환하고, 상기 변환된 제1 잔차 신호로부터 LPC 계수를 추출하고, 상기 LPC 계수를 이용하여 상기 변환된 제1 잔차 신호로부터 주파수 도메인의 제2 잔차 신호를 생성하고, 상기 주파수 도메인의 제2 잔차 신호를 시간 도메인으로 역변환하는, 부호화기.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 제2 잔차 신호로부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하고, 상기 피크에 대한 정보를 이용하여, 상기 제2 잔차 신호에서 고조파 억제가 처리된 상기 제3 잔차 신호를 결정하는, 부호화기.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 제2 잔차 신호에 대해 상관(correlation) 연산을 수행하고, 상기 상관 연산의 결과로부터 상기 제2 잔차 신호의 피크들을 추출하고, 상기 추출된 피크들에 기초하여 피치 체인(pitch chain)을 생성하고, 상기 피치 체인을 이용하여 상기 피크에 대한 정보를 결정하는, 부호화기.
  15. 잔차 신호의 생성 방법을 수행하는 복호화기에 있어서,
    상기 복호화기는 프로세서를 포함하고,
    상기 프로세서는,
    부호화기로부터 수신한 비트스트림을 언팩킹(unpacking)하고, 상기 언팩킹된 비트스트림으부터 추출한 제3 잔차 신호를 역양자화하고, FDP(Frequency Domain Prediction) 디코딩을 이용하여 상기 역양자화된 제3 잔차 신호로부터 주파수 도메인으로 변환된 제2 잔차 신호를 결정하고, 상기 주파수 도메인으로 변환된 제2 잔차 신호를 시간 도메인으로 변환하고, 상기 시간 도메인으로 변환된 제2 잔차 신호를 역변환하여, 상기 제2 잔차 신호의 정보량 보다 정보량이 큰 제1 잔차 신호를 생성하는,
    복호화기.
  16. 제15항에 있어서,
    상기 프로세서는,
    LPC(Linear Prediction Coding)을 이용하여 상기 제1 잔차 신호로부터 출력 신호를 복호화하는, 복호화기.
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 언팩킹된 비트스트림으부터 상기 제2 잔차 신호의 피크에 대한 정보를 추출하고, 상기 역양자화된 제3 잔차 신호와 상기 피크에 대한 정보로부터 상기 주파수 도메인으로 변환된 제2 잔차 신호를 생성하는, 복호화기.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 시간 도메인으로 변환된 제2 잔차 신호를 주파수 도메인으로 변환하고, 상기 변환된 제2 잔차 신호로부터 LPC(Linear Prediction Coding) 계수를 추출하고, 상기 제2 잔차 신호와 상기 추출된 LPC 계수에 기초하여 주파수 도메인의 제1 잔차 신호를 생성하고, 상기 주파수 도메인의 제1 잔차 신호를 시간 도메인으로 변환하는, 복호화기.
KR1020200153114A 2020-11-16 2020-11-16 잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기 KR20220066749A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200153114A KR20220066749A (ko) 2020-11-16 2020-11-16 잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기
US17/507,746 US11978465B2 (en) 2020-11-16 2021-10-21 Method of generating residual signal, and encoder and decoder performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200153114A KR20220066749A (ko) 2020-11-16 2020-11-16 잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기

Publications (1)

Publication Number Publication Date
KR20220066749A true KR20220066749A (ko) 2022-05-24

Family

ID=81586796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200153114A KR20220066749A (ko) 2020-11-16 2020-11-16 잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기

Country Status (2)

Country Link
US (1) US11978465B2 (ko)
KR (1) KR20220066749A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101183857B1 (ko) 2004-06-21 2012-09-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 다중 채널 오디오 신호를 인코딩/디코딩하기 위한 방법 및 장치
US7599833B2 (en) 2005-05-30 2009-10-06 Electronics And Telecommunications Research Institute Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same
KR101649376B1 (ko) 2008-10-13 2016-08-31 한국전자통신연구원 Ｍｄｃｔ 기반 음성/오디오 통합 부호화기의 ｌｐｃ 잔차신호 부호화/복호화 장치
KR20110001130A (ko) * 2009-06-29 2011-01-06 삼성전자주식회사 가중 선형 예측 변환을 이용한 오디오 신호 부호화 및 복호화 장치 및 그 방법
RU2591661C2 (ru) * 2009-10-08 2016-07-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Многорежимный декодировщик аудио сигнала, многорежимный кодировщик аудио сигналов, способы и компьютерные программы с использованием кодирования с линейным предсказанием на основе ограничения шума
ES2797525T3 (es) * 2009-10-15 2020-12-02 Voiceage Corp Conformación simultánea de ruido en el dominio del tiempo y el dominio de la frecuencia para transformaciones TDAC
JP5772723B2 (ja) * 2012-05-31 2015-09-02 ヤマハ株式会社 音響処理装置および分離マスク生成装置
EP4066242A1 (en) * 2019-11-27 2022-10-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, encoding method and decoding method for frequency domain long-term prediction of tonal signals for audio coding

Also Published As

Publication number Publication date
US11978465B2 (en) 2024-05-07
US20220157326A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
KR101373004B1 (ko) 고주파수 신호 부호화 및 복호화 장치 및 방법
JP6170520B2 (ja) オーディオ及び／またはスピーチ信号符号化及び／または復号化方法及び装置
JP4950210B2 (ja) オーディオ圧縮
CA2373520C (en) Reduction of quantization-induced block-discontinuities in an audio coder
US7181404B2 (en) Method and apparatus for audio compression
EP1852851A1 (en) An enhanced audio encoding/decoding device and method
WO2009029557A1 (en) Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
KR20070121254A (ko) 광대역 부호화 및 복호화 방법 및 장치
US20090192789A1 (en) Method and apparatus for encoding/decoding audio signals
RU2762301C2 (ru) Устройство и способ для кодирования и декодирования аудиосигнала с использованием понижающей дискретизации или интерполяции масштабных параметров
JPWO2008108078A1 (ja) 符号化装置および符号化方法
WO2010016270A1 (ja) 量子化装置、符号化装置、量子化方法及び符号化方法
US8825494B2 (en) Computation apparatus and method, quantization apparatus and method, audio encoding apparatus and method, and program
KR20040055916A (ko) 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치
KR20220066749A (ko) 잔차 신호의 생성 방법과 그 방법을 수행하는 부호화기 및 복호화기
US11580999B2 (en) Method and apparatus for encoding and decoding audio signal to reduce quantization noise
KR100911994B1 (ko) Ｈｈｔ를 이용한 음성 및 오디오 신호의 부호화/복호화장치 및 방법
KR20220118158A (ko) 주파수 대역의 확장을 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기
CN116114016A (zh) 音频量化器和音频去量化器以及相关方法
KR20220117019A (ko) 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법과 그 학습 모델의 트레이닝 방법 및 이를 수행하는 부호화기 및 복호화기
KR20210133554A (ko) 선형 예측 코딩을 이용한 오디오 신호의 부호화 및 복호화 방법과 이를 수행하는 부호화기 및 복호화기
WO2019173195A1 (en) Signals in transform-based audio codecs
CA2914771A1 (en) Apparatus and method for audio signal envelope encoding, processing and decoding by modelling a cumulative sum representation employing distribution quantization and coding
Reyes et al. Wavelet-based approach for transient modeling with application to parametric audio coding
KR20220009563A (ko) 오디오 신호의 부호화 및 복호화 방법과 이를 수행하는 부호화기 및 복호화기

Legal Events

Date Code Title Description
A201 Request for examination