KR101380170B1 - 미디어 신호 인코딩/디코딩 방법 및 장치 - Google Patents

미디어 신호 인코딩/디코딩 방법 및 장치 Download PDF

Info

Publication number
KR101380170B1
KR101380170B1 KR1020070088301A KR20070088301A KR101380170B1 KR 101380170 B1 KR101380170 B1 KR 101380170B1 KR 1020070088301 A KR1020070088301 A KR 1020070088301A KR 20070088301 A KR20070088301 A KR 20070088301A KR 101380170 B1 KR101380170 B1 KR 101380170B1
Authority
KR
South Korea
Prior art keywords
frequency
frame section
harmonics
harmonic
previous frame
Prior art date
Application number
KR1020070088301A
Other languages
English (en)
Other versions
KR20090022711A (ko
Inventor
정종훈
이건형
이남숙
오재원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070088301A priority Critical patent/KR101380170B1/ko
Priority to EP08766466.0A priority patent/EP2183919A4/en
Priority to PCT/KR2008/003506 priority patent/WO2009028790A1/en
Priority to CN2008801048424A priority patent/CN101790887B/zh
Priority to US12/186,128 priority patent/US20090063163A1/en
Publication of KR20090022711A publication Critical patent/KR20090022711A/ko
Application granted granted Critical
Publication of KR101380170B1 publication Critical patent/KR101380170B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/093—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using sinusoidal excitation models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

미디어 신호 인코딩/디코딩 방법 및 장치가 개시된다. 본 발명에 따른 미디어 신호 인코딩 방법은 이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 인코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 단계 및 상기 예측된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차로 레지듀얼 신호를 생성하는 단계를 포함한다.
Figure R1020070088301
파라메트릭, 하모닉, 고조파

Description

미디어 신호 인코딩/디코딩 방법 및 장치{A method for encoding/decoding a media signal and an apparatus thereof}
본 발명은 미디어 신호 인코딩 및 디코딩에 대한 것으로 보다 구체적으로는 고조파 성질을 이용하여 인코딩 및 디코딩을 보다 효율적으로 수행하는 미디어 신호 인코딩/디코딩 방법 및 장치에 대한 것이다.
미디어 신호를 전송할 때, 신호의 대역폭 또는 비트 레이트를 감소시키기 위해 압축 기술이 이용된다. 파라메트릭(parametric) 인코딩 방법은 미디어 신호를 특정 성질을 가지는 성분 신호들로 분리하고, 분리된 성분 신호의 특성을 나타내는 파라미터를 부호화하는 방식이다. 파라메트릭 인코딩 장치(미도시)는 미디어 신호를 세그먼트들 또는 프레임들로 분리하고, 각 프레임별로 미디어 신호가 과도(transient) 성분, 정현파(sinusoidal) 성분 및 노이즈(noise) 성분으로 구성된 것으로 가정한다. 파라메트릭 인코딩 장치는 미디어 신호를 각 성분으로 분해하고, 분해된 각 성분을 양자화 및 부호화한다. 그러나, 이와 같은 방식은 유사한 성분 신호가 존재하는 프레임이 복수인 경우에도 동일한 데이터를 중복하여 부호화하여야 하므로 비효율적이다. 또한, 신호의 생성 및 전송 과정에서 신호들 간의 중첩으 로 인한 변형 등의 왜곡이 발생하여 인코딩/디코딩 효율이 떨어질 수 있다.
본 발명이 해결하고자 하는 과제는 시간의 변화에 따른 프레임 간의 신호 변화를 고려하여, 변화된 성분을 파라미터화하여 전송함으로써, 신호의 왜곡을 최소화하여 신호 충실도를 향상시킬 수 있는 인코딩/디코딩 방법 및 장치를 제공하는 데 있다.
또한, 본 발명이 해결하고자 하는 과제는 미디어 신호의 인접 프레임 간의 유사성이 높은 특성을 이용하여, 인접 프레임 구간의 고조파로 현재 프레임 구간의 고조파를 예측하고, 예측 결과 오차가 발생할 경우 이에 대한 보정값을 압축함으로써 압축 효율을 향상시킬 수 있는 인코딩/디코딩 방법 및 장치를 제공하는 데 있다.
또한, 본 발명이 해결하고자 하는 과제는 미디어 신호의 특정 프레임 구간의 고조파를 모두 부호화하지 않고, 인접 프레임 구간의 고조파와의 차이값만을 부호화함으로써 적은 용량으로 미디어 신호를 부호화/복호화할 수 있는 인코딩/디코딩 방법 및 장치를 제공하는 데 있다.
상기 과제를 이루기 위해 본 발명의 일 측면에 따르면 이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 인코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 단계 및 상기 예측 된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차로 레지듀얼 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 현재 프레임 구간의 고조파의 주파수를 예측하는 단계는 상기 현재 프레임 구간의 정현파의 기본 주파수 및 상기 이전 프레임 구간의 정현파의 기본 주파수를 이용하여 기본 주파수 변화량을 구하는 단계 및 2 이상의 정수 n에 대해, 이전 프레임 구간의 제n차 고조파의 주파수 및 상기 기본 주파수 변화량을 이용하여 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계를 포함할 수 있다. 또한, 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계는 상기 이전 프레임 구간의 정현파의 기본 주파수를 n배 하여 상기 이전 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계 및 상기 이전 프레임 구간의 정현파 중 상기 예측된 이전 프레임 구간의 제n차 고조파의 주파수와 소정 범위 내에 있는 주파수를 가진 정현파를 상기 이전 프레임 구간의 제n차 고조파로 정하고, 상기 정한 고조파를 추출하는 단계를 포함한다. 또한, 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계는 상기 기본 주파수 변화량의 n배를 상기 이전 프레임 구간의 제n차 고조파의 주파수에 더한 값을 상기 현재 프레임 구간의 제n차 고조파의 주파수로 예측하는 단계를 더 포함한다. 또한, 상기 방법은 상기 기본 주파수 변화량을 인코딩하는 단계 및 상기 레지듀얼 신호를 인코딩하는 단계를 더 포함한다. 또한, 상기 이전 프레임 구간의 정현파 중 고조파가 존재하지 않는 경우, 상기 현재 프레임 구간의 정현파의 실제 주파수를 인코딩하는 단계를 더 포함한다. 또한, 상기 방법은 상기 현재 프레임 구간의 정현파의 위상 및 진폭을 인코딩하는 단계를 더 포함한다.
본 발명의 다른 측면에 따르면 복수의 프레임을 포함하는 미디어 신호를 디코딩하는 방법에 있어서, 이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 디코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 단계 및 상기 예측된 고조파의 주파수를 이용하여 상기 현재 프레임 구간의 실제 고조파의 주파수를 구하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 디코딩 방법을 제공할 수 있다.
본 발명의 또 다른 측면에 따르면 복수의 프레임을 포함하는 미디어 신호를 인코딩하는 장치에 있어서, 이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 인코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 파라미터 예측부 및 상기 예측된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차로 레지듀얼(residual) 신호를 생성하는 레지듀얼 신호 생성부를 포함하는 것을 특징으로 하는 미디어 신호 인코딩 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 복수의 프레임을 포함하는 미디어 신호를 디코딩하는 장치에 있어서, 이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 디코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 파라미터 예측부, 상기 예측된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차인 레지듀얼 신호를 상기 미디어 신호로부터 추출하는 레지듀얼 신호 추출부 및 상기 예측된 고조파 및 상기 레지듀얼 신호를 이용하여 상기 현재 프레임 구간의 고조파의 주파수를 구하는 파라미터 복원부를 포함하는 것을 특징으로 하는 미디어 신호 디코딩 장치를 제공할 수 있다.
본 발명에 의하면 시간의 변화에 따른 프레임 간의 신호 변화를 고려하여, 변화된 성분을 파라미터화하여 전송함으로써, 신호의 왜곡을 최소화할 수 있는 인코딩/디코딩 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면 미디어 신호의 고조파 성질을 이용하여 고조파의 주파수를 모두 부호화하지 않고, 이전 프레임의 주파수와의 차이값만을 부호화함으로써 적은 용량으로 미디어 신호를 부호화/복호화할 수 있는 인코딩/디코딩 방법 및 장치를 제공할 수 있다.
도면을 참조하여 본 발명을 상세히 설명하기로 한다.
본 발명에서 미디어 신호는 오디오 신호, 비디오 신호, 기타 데이터 등을 포함한다. 이하, 미디어 신호의 예로 오디오 신호를 가지고 설명하기로 하나, 본 발명이 이에 한정되는 것은 아니다.
오디오 신호의 경우, 음원으로부터 발생된 신호는 소리를 전달하는 과정에서 매질의 특성 및 신호의 반사, 굴절, 회절, 공진 등의 영향에 의하여 기본음(fundamental tone)과 고조파(harmonic)들로 구성되는 복합음(complex tone)을 형성하게 된다. 하모닉 코딩은 이러한 복합음의 형성방법을 이용하는 것으로써, 입력 신호를 기본 주파수와 고조파의 주파수의 조합으로 가정하고 신호의 모델링을 수행하는 신호 처리 기법이다. 하모닉 코딩은 이들 규칙에 따라 추출된 정현파를 파라미터화(parameteric)하여 코딩을 수행함으로써 압축률 향상을 가져올 수 있다. 본 발명은 파라메트릭 코딩에 하모닉 코딩 방법을 추가함과 동시에 신호의 왜곡을 야기시키는 잔차 성분에 대한 정보를 추가로 전달함으로써 향상된 신호의 압축/복원을 가능케 한다.
도 1은 본 발명의 일 실시예에 따른 미디어 신호 파라메트릭 인코딩 장치의 구성도이다. 도 1을 참조하면 본 발명에 따른 파라메트릭 인코딩 장치는 정현파 분석부(101), 파라미터 추출부(103), 파라미터 저장부(105), 기본 주파수 추출부(107), 레지듀얼 신호 처리부(109) 및 인코딩부(111)를 포함한다. 정현파 분석부(101)는 입력된 미디어 신호를 세그먼트(segment)나 프레임(frame) 등의 시간 단위로 나누고, 각 시간 구간별로 입력된 미디어 신호에 대한 정현파를 분석하여 이를 추출한다. 정현파 분석부는 주파수 영역의 피크(peak) 값을 추출하는 방법, 분석 윈도우(analysis window)의 특성을 고려하여 인터폴레이션을 이용하는 방법, 신호의 미분을 이용한 higj-resolution FFT를 이용하는 방법 등을 이용하여 정현파를 분석한다. 정현파 분석부(101)는 추출한 정현파를 파라미터 추출부(103)로 보낸다. 파라미터 추출부(103)는 각 시간 구간별로 정현파의 위상, 진폭, 주파수를 추출한다. 파라미터 저장부(105)는 파라미터 추출부(103)가 추출한 파라미터를 저장한다. 본 발명은 미디어 신호의 인접 프레임 간의 유사성이 높은 특성을 이용하여, 인접 프레임 구간의 고조파의 주파수로 현재 프레임 구간의 고조파의 주파수를 예측하므로, 파라미터 저장부(105)는 각 시간 구간별로 추출된 정현파의 위상, 진폭, 주파수 중 주파수만을 저장할 수 있다. 정현파의 주파수는 정현파의 기본 주파수(f0)및 고조파의 주파수를 포함하며, 미디어 신호 중 고조파 성분으로 분리되지 않는 정현파의 주파수도 포함한다. 사인파가 아닌 주기적 반복파형은 기본 주파수를 가지는 사인파와 사인파의 정수배(整數倍)의 주파수를 갖는 파동으로 분해되는데, 이때 반복파형을 구성하는 기본파 이외의 파동들을 고조파라 한다. 이하, n을 2 이상의 정수라고 할 때, 주파수가 기본 주파수의 n배인 고조파를 제n차 고조파라 하며, 그 때의 고조파의 주파수를 fn으로 표기한다.
파라미터 추출부(103)는 정현파의 주파수를 제외한 위상이나 진폭 등의 파라미터를 인코딩부(111)로 보낸다. 기본 주파수 추출부(107)는 입력된 미디어 신호로부터 기본 주파수를 추출한다. 기본 주파수 추출부(107)는 컨벌루션을 이용하는 방법, 주파수의 피크 값을 이용하는 방법, 타임 쉬프트 윈도우를 이용하는 방법 등의 다양한 알고리즘을 이용하여 기본 주파수를 추출할 수 있다. 기본 주파수 추출부(107)는 추출한 기본 주파수를 레지듀얼 신호 처리부(109)로 보낸다.
레지듀얼 신호 처리부(109)는 파라미터 저장부(105)에 기 저장된 이전 프레임 구간의 정현파의 기본 주파수를 이용하여 현재 프레임 구간의 정현파의 기본 주파수와의 차분값을 구한다. 레지듀얼 신호 처리부(109)는 기본 주파수 변화량(△f0) 및 파라미터 저장부(105)에 기 저장되어 있는 이전 프레임 구간에 대한 파라미터를 이용하여 현재 프레임 구간에 대한 파라미터를 예측한다. 레지듀얼 신호 처리부(109)는 예측된 파라미터 값과 실제 파라미터 값의 차를 계산하여 레지듀얼(residual) 신호를 생성하고, 생성된 레지듀얼 신호를 인코딩부(111)로 보낸다. 인코딩부(111)는 생성된 레지듀얼 신호 및 기본 주파수 변화량(△f0) 등을 인코딩하여 비트스트림을 생성하고 이를 미디어 신호 파라메트릭 디코딩 장치(미도시)로 전송한다. 인코딩부(111)는 파라미터 추출부(103)로부터 받은 주파수 이외의 파라미터 또한 인코딩하여 디코딩 장치로 전송할 수 있다.
도 2는 도 1에 도시된 미디어 신호 파라메트릭 인코딩 장치의 레지듀얼 신호 처리부를 상세히 도시한 구성도이다. 도 2를 참조하면, 본 발명에 따른 파라메트릭 인코딩 장치는 정현파 분석부(101), 파라미터 추출부(103), 파라미터 저장부(105), 기본 주파수 추출부(107), 레지듀얼 신호 처리부(109) 및 인코딩부(111)를 포함한다. 정현파 분석부(101)는 입력 신호를 복수의 정현파로 분리한다. 파라미터 추출부(103)는 정현파 분석부(101)가 분리한 정현파로부터 파라미터를 추출하고 이를 파라미터 저장부(105) 및 인코딩부(111)로 보낸다. 파라미터는 위상, 진폭, 주파수를 포함할 수 있다. 전술한 바와 같이, 본 발명은 파라미터 중 주파수를 이용하므로 파라미터 추출부(103)는 주파수를 파라미터 저장부(105)로, 위상과 진폭을 인코딩부(111)로 보낼 수 있다. 기본 주파수 추출부(107)는 입력되는 미디어 신호로부터 현재 인코딩하려는 프레임 구간의 정현파의 기본 주파수를 추출하고, 추출된 기본 주파수를 파라미터 저장부(105) 및 레지듀얼 신호 처리부(109)의 기본 주파수 변화량 연산부(201)로 보낸다. 파라미터 저장부(105)는 기본 주파수 추출부(107) 및 파라미터 추출부(103)로부터 받은 각 프레임 구간의 정현파들의 주파수를 저장한다. 전술한 바와 같이 정현파의 주파수는 기본 주파수(f0) 및 고조파의 주파수(fn )를 포함한다.
레지듀얼 신호 처리부(109)는 이전 프레임 구간의 정현파의 주파수를 이용하여 현재 프레임 구간의 정현파의 주파수를 예측하고, 예측된 값과 실제의 주파수의 차를 추출한다. 레지듀얼 신호 처리부(109)는 기본 주파수 변화량 연산부(201), 파라미터 예측부(203) 및 레지듀얼 신호 생성부(205)를 포함한다. 기본 주파수 변화량 연산부(201)는 파라미터 저장부(105)로부터 이전 프레임 구간의 정현파의 기본 주파수를 추출하고, 기본 주파수 추출부(107)로부터 현재 인코딩하려는 프레임 구간의 정현파의 기본 주파수를 받아, 현재 프레임 구간의 정현파의 기본 주파수 및 이전 프레임 구간의 정현파의 기본 주파수의 차인 기본 주파수 변화량(△f0)을 계산한다. 이를 수학식으로 표현하면 아래 수학식 1과 같다.
Figure 112007063643586-pat00001
(f0 , cur는 현재 프레임 구간의 정현파의 기본 주파수, f0 , prev는 이전 프레임 구간의 정현파의 기본 주파수)
기본 주파수 변화량 연산부(201)는 구한 기본 주파수 변화량(△f0)을 파라미터 예측부(203) 및 인코딩부(111)로 보낸다. 디코딩 장치는 미디어 신호를 복원할 때, 최초 프레임 구간의 기본 주파수 값을 알고 있어야 한다. 따라서, 기본 주파수 추출부(107)는 최초 프레임 구간의 기본 주파수 값을 인코딩부(111)로 보내고, 인코딩부(111)는 최초 프레임 구간의 기본 주파수 값도 인코딩하여 디코딩 장치로 보낸다. 기본 주파수 추출부(107)는 현재 프레임이 최초 프레임이 아닌 경우에도 현재 프레임의 기본 주파수를 인코딩부(111)로 보낼 수도 있다. 사용자가 미디어 신호를 처음부터 재생하지 않는 경우, 디코딩 장치는 사용자가 재생을 원하는 시점부터 재생을 시작하므로, 재생을 시작하는 프레임의 기본 주파수를 알고 있어야 한다. 따라서, 인코딩 장치는 일정한 간격 또는 랜덤한 간격으로 프레임의 기본 주파수를 디코딩 장치로 전송한다.
파라미터 예측부(203)는 이전 프레임 구간의 정현파의 고조파를 이용하여 현재 인코딩하려는 프레임 구간의 고조파의 주파수를 예측한다. 이를 위해 파라미터 예측부(203)는 파라미터 저장부(105)에 기 저장되어 있는 이전 프레임 구간의 정현파의 주파수를 추출한다. 파라미터 예측부(203)는 추출한 이전 프레임 구간의 정현파의 기본 주파수를 정수배하여 이전 프레임 구간의 고조파를 예측할 수 있다. 이를 식으로 표시하면 아래 수학식 2와 같다.
Figure 112007063643586-pat00002
(fn , prev _ est는 예측되는 이전 프레임 구간의 정현파의 제n차 고조파의 주파수)
파라미터 예측부(203)는 파라미터 저장부(105)로부터 기 저장되어 있는 이전 프레임 구간의 정현파의 주파수들을 추출하는데, 추출되는 정현파는 고조파일 수도 있고 그렇지 않을 수도 있다. 전술한 바와 같이, 고조파는 기본 주파수의 정수배의 주파수를 갖는 정현파이므로, 파라미터 예측부(203)는 이전 프레임 구간의 정현파의 기본 주파수 f0 의 정수배를 고조파라고 예측한다.
파라미터 예측부(203)는 파라미터 저장부(105)에서 추출한 정현파 중 예측된 고조파 주파수를 갖는 정현파를 추출한다. 이를 위해 파라미터 예측부(203)는 예측되는 고조파 주파수와의 차가 일정 범위 이내인 주파수를 가진 정현파를 고조파로 판단할 수 있다. 이를 수학식으로 표현하면 아래 수학식 3과 같다.
Figure 112007063643586-pat00003
, 여기서 a는 임의의 판단 범위.
파라미터 예측부(203)는 파라미터 저장부(105)로부터 추출한 정현파 중 수학식 3을 만족하는 정현파를 고조파로 판단한다.
파라미터 예측부(105)는 이전 프레임 구간의 고조파로 판단된 정현파를 이용 하여 현재 프레임 구간의 고조파를 예측할 수 있다. 파라미터 예측부(203)는 프레임 간의 진폭, 주파수, 위상 정보들을 이용하여 연결 가능성이 높은 신호를 찾는 트래킹(tracking) 방법 등을 이용하여 현재 프레임 구간의 고조파를 예측할 수 있다. 파라미터 예측부(203)는 이전 프레임 구간의 제n차 고조파의 주파수에 기본 주파수 변화량을 n의 정수로 정수배한 값을 더하여 현재 프레임 구간의 제n차 고조파의 주파수를 예측할 수 있다. 고조파는 기본 주파수의 정수배의 주파수를 갖는 정현파이므로, 이전 프레임 구간과 현재 프레임 구간의 정현파의 기본 주파수 차가 △f0인 경우, 제n차 고조파의 주파수 차는 n*△f0 가 된다. 이를 식으로 표시하면 아래 수학식 4와 같다.
Figure 112007063643586-pat00004
(fn , curest는 현재 프레임 구간에서 예측되는 제n차 고조파의 주파수)
파라미터 예측부(203)는 예측된 현재 프레임 구간의 고조파의 주파수를 레지듀얼 신호 생성부(205)로 보낸다. 레지듀얼 신호 생성부(205)는 파라미터 예측부로부터 현재 프레임 구간에서 예측되는 고조파의 주파수 값을 받고 파라미터 추출부(103)로부터 현재 프레임 구간의 실제 고조파의 주파수 값을 받는다. 레지듀얼 신호 생성부(205)는 아래 수학식 5와 같이 예측된 현재 프레임 구간의 고조파의 주파수와 현재 프레임 구간의 실제 고조파의 주파수의 차를 구하고 이를 이용하여 레 지듀얼 (residual) 신호를 생성하고 생성된 레지듀얼 신호를 인코딩부(111)로 보낸다.
Figure 112007063643586-pat00005
인코딩 장치는 현재 프레임 구간의 실제 고조파의 주파수를 모두 인코딩하는 대신, 현재 프레임 구간의 고조파의 주파수와 이전 프레임 구간의 고조파의 주파수와의 차이 값만을 인코딩하여 전송함으로써 비트량이 감소하여 압축 효율 및 전송 효율이 향상될 수 있다. 또한, 이전 프레임 구간의 정현파 중 고조파가 존재하는지 여부로 현재 프레임의 고조파를 판단하므로 파라미터 별로 고조파인지 여부를 별도로 표시할 필요가 없다.
인코딩부(111)는 기본 주파수 변화량 연산부(201)로부터 받은 기본 주파수 변화량(△f0) 및 레지듀얼 신호 생성부(205)로부터 받은 레지듀얼 신호를 엔트로피 인코딩한다. 엔트로피 인코딩 방법은 발생하는 신호의 통계적인 특성을 이용하여 압축을 수행하는 것으로써, run-length 인코딩, dictionary 인코딩, VLC 방법, arthmetic coding 등의 다양한 방법들을 포함한다.
파라미터 예측부(203)는 상술한 수학식 3을 만족하는 정현파가 존재하지 않는 경우, 즉, 이전 프레임 구간의 정현파 중 수학식 3을 만족하는 고조파로 판단된 정현파가 존재하지 않는 경우, 레지듀얼 신호 생성부(205)에 예측된 현재 프레임 구간의 고조파의 주파수를 보낼 수 없다. 따라서, 레지듀얼 신호 생성부(205)도 레 지듀얼 신호를 생성하지 않는다. 인코딩부(111)는 레지듀얼 신호 생성부(205)로부터 레지듀얼 신호를 받지 못한 경우에는 파라미터 추출부(103)로부터 현재 프레임 구간의 정현파의 주파수를 받아 이를 인코딩한다. 인코딩부(111)는 인코딩한 신호를 미디어 신호 파라메트릭 디코딩 장치(미도시)로 전송한다.
도 3은 본 발명의 일 실시 예에 따른 미디어 신호 파라메트릭 디코딩 장치의 구성도이다. 도 3을 참조하면, 본 발명에 따른 미디어 신호 파라메트릭 디코딩 장치는 디코딩부(301), 기본 주파수 변화량 추출부(303), 기본 주파수 연산부(305), 파라미터 저장부(307), 파라미터 예측부(309), 파라미터 복원부(311), 정현파 복원부(313) 및 레지듀얼 신호 추출부(315)를 포함한다. 디코딩부(301)는 파라메트릭 인코딩 장치로부터 인코딩된 미디어 신호를 전송받고 이를 각 신호별로 파싱하고, 파싱된 신호를 엔트로피 디코딩한다.
기본 주파수 변화량 추출부(303)는 현재 프레임 구간의 정현파의 주파수를 계산하기 위해 기본 주파수 변화량(△f0)을 추출한다. 기본 주파수 변화량 추출부(303)는 추출한 기본 주파수 변화량을 기본 주파수 연산부(305)로 보낸다. 기본 주파수 연산부(305)는 파라미터 저장부(307)에 기 저장되어 있는 이전 프레임 구간의 정현파의 주파수를 추출한다. 기본 주파수 연산부(305)는 파라미터 저장부(307)로부터 이전 프레임 구간의 정현파의 기본 주파수를 추출하고, 추출된 이전 프레임 구간의 정현파의 기본 주파수 및 기본 주파수 변화량 추출부(303)로부터 받은 기본 주파수 변화량을 이용하여 현재 디코딩하려는 프레임 구간의 정현파의 기본 주파수 를 구한다. 즉, 기본 주파수 연산부(305)는 수학식 1을 이용하여 전송된 △f0 및 저장부(313)에 기 저장되어 있는 이전 프레임 구간의 정현파의 기본 주파수를 이용하여 f0,cur = f0,prev + △f0를 이용하여 현재 프레임 구간의 정현파의 기본 주파수를 구할 수 있다.
파라미터 저장부(307)는 정현파의 파라미터들을 저장한다. 파라미터 저장부(307)는 이미 디코딩된 이전 프레임 구간의 정현파의 주파수를 저장하고, 파라미터 예측부(309)나 기본 주파수 연산부(305)가 이전 프레임 구간의 정현파의 주파수를 이용하고자 할 때, 주파수를 추출하여 보낸다. 파라미터 저장부(307)는 또한, 기본 주파수 연산부(305)가 계산한 현재 프레임의 기본 주파수를 저장하고 파라미터 복원부(311)가 복원하는 현재 프레임의 고조파의 주파수를 받아 저장한다.
파라미터 예측부(309)는 도 2의 파라메트릭 인코딩 장치의 파라미터 예측부(203)와 동일한 기능을 수행한다. 파라미터 예측부(309)는 이전 프레임 구간의 정현파 중 고조파가 존재하는 경우, 그 고조파의 주파수를 이용하여 현재 프레임 구간의 고조파의 주파수를 예측할 수 있다. 이를 위해 파라미터 예측부(309)는 디코딩부(301)에 의해 디코딩되어 파라미터 저장부(307)에 저장되어 있는 이전 프레임 구간의 정현파 중 고조파가 존재하는지를 판단한다. 파라미터 예측부(309)는 위의 수학식 2를 이용하여 파라미터 저장부(307)로부터 추출한 이전 프레임 구간의 정현파의 기본 주파수를 정수배 하여 기본 주파수의 정수배의 주파수를 갖는 이전 프레임 구간의 고조파를 예측할 수 있다.
파라미터 예측부(309)는 파라미터 저장부(307)에서 추출한 이전 프레임 구간의 정현파 중 예측된 고조파 주파수를 갖는 정현파를 추출한다. 파라미터 예측부(309)는 위의 수학식 3을 이용하여 수학식 2에서 구한 예측되는 고조파 주파수와의 차가, 일정 범위 이내인 주파수를 가진 정현파를 고조파로 판단할 수 있다. 파라미터 예측부(309)는 이전 프레임 구간의 고조파로 판단된 정현파를 이용하여 현재 프레임 구간의 고조파를 예측할 수 있다. 파라미터 예측부(309)는 위의 수학식 4를 이용하여 이전 프레임 구간의 제n차 고조파의 주파수에 기본 주파수 변화량을 n배 한 값을 더하여 현재 프레임 구간의 제n차 고조파의 주파수를 예측한다. 파라미터 예측부(309)는 예측된 현재 프레임 구간의 고조파의 주파수를 파라미터 복원부(311)로 보낸다.
레지듀얼 신호 추출부(315)는 인코딩 장치가 위의 수학식 5를 이용하여 생성한 레지듀얼 신호를 디코딩된 미디어 신호로부터 추출한다. 전술한 바와 같이 레지듀얼 신호는 현재 프레임 구간의 예측된 고조파의 주파수와 현재 프레임 구간의 실제 고조파의 주파수 차이다. 신호 추출부(315)는 추출한 레지듀얼 신호를 파라미터 복원부(311)로 보낸다.
파라미터 복원부(311)는 위의 수학식 5를 이용하여, 파라미터 예측부(309)로부터 받은 예측된 현재 프레임 구간의 고조파의 주파수와 레지듀얼 신호 추출부(315)로부터 레지듀얼 신호를 이용하여 현재 프레임 구간의 실제 고조파의 주파수를 구한다. 파라미터 복원부(311)는 복원된 현재 프레임 구간의 고조파의 주파수를 정현파 복원부(313) 및 파라미터 저장부(307)에 보낸다. 파라미터 저장부(307) 는 파라미터 복원부(311)로부터 받은 현재 프레임 구간의 고조파의 주파수를 저장한다.
파라미터 예측부(309)는 파라미터 저장부(307)에 기 저장되어 있는 이전 프레임 구간의 정현파 중 고조파가 존재하지 않는 경우, 레지듀얼 신호를 이용하여 현재 프레임 구간의 정현파의 고조파를 구할 수 없다. 이 경우, 파라미터 복원부(311)는 디코딩부(301)가 디코딩한 현재 프레임 구간의 정현파의 파라미터를 추출한다.
정현파 복원부(313)는 파라미터 저장부(307)에 이전 프레임 구간의 고조파가 존재하는 경우는 레지듀얼 신호를 이용하여 복원된 현재 프레임 구간의 정현파의 주파수 파라미터를 이용하여 정현파를 복원하고, 기 저장되어 있는 이전 프레임 구간에 고조파가 존재하지 않는 경우는 파라미터 복원부(311)가 추출한 파라미터를 이용하여 정현파를 복원한다.
도 4는 본 발명의 기술적 사상을 그래프로 도시한 도면이다. 도 4의 그래프는 가로축 변수는 시간이고, 세로축 변수는 주파수이다. 미디어 신호는 세그먼트나 프레임 등의 시간 영역으로 나뉠 수 있으며, 각 시간 영역마다 복수의 정현파로 분리된다. 도 2 및 3의 파라미터 예측부(203, 309)는 이전 프레임 구간의 정현파의 주파수를 이용하여 현재 프레임 구간의 정현파의 주파수를 예측한다. 이전 프레임 구간의 정현파는 기본 주파수, 기본 주파수의 정수배 또는 기본 주파수의 정수배가 아닌 주파수를 갖는 정현파를 포함할 수 있다. 파라미터 예측부(203, 309)는 이전 프레임 구간의 정현파의 기본 주파수를 정수배하여 이전 프레임 구간의 고조파의 주파수를 예측한다. 파라미터 예측부(203, 309)는 이전 프레임 구간의 정현파 중 예측된 주파수와 일정 범위 내의 주파수를 갖는 정현파를 고주파로 판단한다. 도 4에서 이전 프레임 구간의 정현파의 주파수 중, 위에서 두 번째의 주파수는 기본 주파수의 정수배와 일정 범위 밖에 있다고 가정한다. 파라미터 예측부(203, 309)는 이전 프레임 구간의 정현파 주파수 중 위에서 두 번째의 주파수를 제외한 주파수를 고조파의 주파수로 판단한다.
파라미터 예측부(203, 309)는 이전 프레임 구간의 고조파의 주파수에 기본 주파수 변화량을 더하여 현재 프레임 구간의 고조파의 주파수를 예측할 수 있다. 이전 프레임 구간과 현재 프레임 구간의 정현파의 기본 주파수 차가 △f0인 경우, 제n차 고조파의 주파수 차는 n*△f0가 된다. 파라미터 예측부(203, 309)는 이전 프레임 구간의 제n차 고조파의 주파수에 n*△f0 를 더하여 현재 프레임 구간의 제n차 고조파의 주파수를 예측한다. 도 4에서, 현재 프레임 구간에 나열된 십자가 중 속이 빈 십자가는 이전 프레임 구간의 주파수로부터 예측된 값이고, 속이 찬 십자가는 현재 프레임 구간의 실제 고조파의 주파수이다.
인코딩 장치의 파라미터 예측부(203)는 예측된 현재 프레임 구간의 고조파의 주파수를 추출하고 이를 레지듀얼 신호 생성부(205)로 보낸다. 레지듀얼 신호 생성부(205)는 파라미터 예측부(203)가 보낸 현재 프레임 구간에서 예측되는 고조파의 주파수와 실제 고조파의 주파수 값의 차로 레지듀얼 신호를 생성한다. 인코딩 장치는 레지듀얼 신호 및 기본 주파수 변화량을 인코딩한다.
이전 프레임 구간의 정현파 중 고조파로 판단된 정현파가 존재하지 않는 경우, 파라미터 예측부(203)는 예측된 현재 프레임 구간의 고조파의 주파수를 레지듀얼 신호 생성부(205)에 보낼 수 없다. 이 경우, 레지듀얼 신호 생성부(205)는 현재 프레임 구간의 정현파의 실제 주파수를 인코딩한다.
디코딩 장치의 파라미터 예측부(309)는 예측된 현재 프레임 구간의 고조파의 주파수를 파라미터 복원부(311)로 보낸다. 레지듀얼 신호 추출부(315)는 디코딩 장치에 입력된 미디어 신호 중 레지듀얼 신호를 추출하고 이를 파라미터 복원부(311)로 보낸다. 파라미터 복원부(311)는 예측된 현재 프레임 구간의 고조파의 주파수와 레지듀얼 신호를 더하여 현재 프레임 구간의 실제 주파수 파라미터를 복원한다. 이전 프레임 구간의 정현파 중 고조파로 판단된 정현파가 존재하지 않는 경우, 디코딩 장치는 미디어 신호로부터 현재 프레임 구간의 실제 정현파의 주파수를 추출하고 이를 이용하여 정현파를 복원한다.
도 5는 본 발명의 일 실시 예에 따른 미디어 신호 파라메트릭 인코딩 방법을 나타낸 순서도이다. 인코딩 장치는 입력되는 미디어 신호를 프레임 단위로 나누고, 각 프레임 구간에서 정현파를 추출한다. 인코딩 장치는 인코딩하려는 현재 프레임 구간의 주파수를 예측하기 위해 기 저장된 이전 프레임 구간 정현파의 주파수 중 이전 프레임 구간의 기본 주파수의 정수배의 주파수를 갖는 고조파가 있는지를 판단한다(단계 501). 인코딩 장치는 이전 프레임 구간의 정현파 중 고조파가 존재하는 경우, 고조파의 주파수를 추출한다(단계 503). 인코딩 장치는 현재 프레임 구간의 기본 주파수와 이전 프레임 구간의 정현파의 기본 주파수를 이용하여 기본 주파 수 변화량을 구한다(단계 505). 인코딩 장치는 단계 503 및 505에서 구한 이전 프레임 구간의 고조파의 주파수 및 기본 주파수 변화량을 이용하여 현재 프레임 구간의 고조파의 주파수를 예측한다(단계 507). 인코딩 장치는 예측된 현재 프레임 구간의 고조파의 주파수와 현재 프레임 구간의 실제 고조파의 주파수 차를 이용하여 레지듀얼 신호를 생성한다(단계 509). 인코딩 장치는 기본 주파수 변화량 및 생성된 레지듀얼 신호를 인코딩한다(단계511). 인코딩 장치는 이전 프레임 구간의 정현파 중 현재 프레임 구간의 정현파의 주파수를 예측할 고조파가 존재하지 않는 경우, 현재 프레임 구간의 정현파의 주파수를 인코딩한다(단계 513).
도 6은 본 발명의 일 실시 예에 따른 이전 프레임 구간의 고조파의 주파수를 이용하여 현재 프레임 구간의 고조파의 주파수를 예측하는 방법을 나타낸 순서도이다. 디코딩 장치는 인코딩 장치로부터 전송된 미디어 신호를 신호의 종류에 따라 파싱하고, 파싱된 신호를 각각 디코딩한다. 디코딩 장치는 현재 프레임 구간의 정현파의 파라미터를 복원하기 위해 이전 프레임 구간의 정현파 중 고조파가 존재하는지를 판단한다(단계 601). 이전 프레임 구간의 정현파 중 고조파가 존재하는 경우, 디코딩 장치는 이전 프레임 구간의 기본 주파수를 이용하여 이전 프레임 구간의 고조파의 주파수를 추출한다(단계 603). 디코딩 장치는 미디어 신호로부터 기본 주파수 변화량을 추출하고, 기 저장되어 있던 이전 프레임의 기본 주파수를 이용하여 현재 프레임의 기본 주파수를 구한다(단계 605). 전술한 바와 같이 현재 프레임의 기본 주파수는 인코딩 장치로부터 일정한 간격 또는 랜덤한 간격으로 전송받을 수 있다. 이 경우, 디코딩 장치는 미디어 신호로부터 현재 프레임의 기본 주파수를 추출할 수 있다. 디코딩 장치는 이전 프레임 구간의 고조파의 주파수 및 기본 주파수 변화량을 이용하여 현재 프레임 구간의 고조파의 주파수를 예측한다(단계 607). 디코딩 장치는 미디어 신호로부터 레지듀얼 신호를 추출한다(단계 609). 디코딩 장치는 레지듀얼 신호 및 예측된 현재 프레임 구간의 고조파의 주파수를 이용하여 현재 프레임 구간의 실제 고조파의 주파수의 파라미터를 구한다(단계 611). 이전 프레임 구간의 정현파 중 고조파가 존재하지 않는 경우, 디코딩 장치는 미디어 신호로부터 현재 프레임 구간의 실제 고조파의 주파수 파라미터를 추출한다(단계 613). 디코딩 장치는 파라미터를 이용하여 원래의 정현파를 복원한다(단계 615).
도 1은 본 발명의 일 실시예에 따른 미디어 신호 파라메트릭 인코딩 장치의 구성도이다.
도 2는 도 1에 도시된 미디어 신호 파라메트릭 인코딩 장치의 레지듀얼 신호 처리부를 상세히 도시한 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 미디어 신호 파라메트릭 디코딩 장치의 구성도이다.
도 4는 본 발명의 기술적 사상을 그래프로 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 미디어 신호 파라메트릭 인코딩 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 이전 프레임 구간의 고조파의 주파수를 이용하여 현재 프레임 구간의 고조파의 주파수를 예측하는 방법을 나타낸 순서도이다.
<도면의 주요 부분에 대한 부호의 설명>
107: 기본 주파수 추출부 109: 레지듀얼 신호 처리부
201: 기본 주파수 변화량 연산부 203, 309: 파라미터 예측부
205: 레지듀얼 신호 생성부 303: 기본 주파수 변화량 추출부
305: 기본 주파수 연산부 311: 파라미터 복원부
313: 정현파 복원부 315: 레지듀얼 신호 처리부

Claims (24)

  1. 복수의 프레임을 포함하는 미디어 신호 인코딩 방법에 있어서,
    이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 인코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 단계; 및
    상기 예측된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차로 레지듀얼 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  2. 제1 항에 있어서, 상기 현재 프레임 구간의 고조파의 주파수를 예측하는 단계는
    상기 현재 프레임 구간의 정현파의 기본 주파수 및 상기 이전 프레임 구간의 정현파의 기본 주파수를 이용하여 기본 주파수 변화량을 구하는 단계; 및
    2 이상의 정수 n에 대해, 이전 프레임 구간의 제n차 고조파의 주파수 및 상기 기본 주파수 변화량을 이용하여 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  3. 제2 항에 있어서, 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계는
    상기 이전 프레임 구간의 정현파의 기본 주파수를 n배 하여 상기 이전 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계; 및
    상기 이전 프레임 구간의 정현파 중 상기 예측된 이전 프레임 구간의 제n차 고조파의 주파수와 소정 범위 내에 있는 주파수를 가진 정현파를 상기 이전 프레임 구간의 제n차 고조파로 정하고, 상기 정한 고조파를 추출하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  4. 제3 항에 있어서, 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계는
    상기 기본 주파수 변화량의 n배를 상기 이전 프레임 구간의 제n차 고조파의 주파수에 더한 값을 상기 현재 프레임 구간의 제n차 고조파의 주파수로 예측하는 단계를 더 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  5. 제2 항에 있어서, 상기 방법은
    상기 기본 주파수 변화량을 인코딩하는 단계; 및
    상기 레지듀얼 신호를 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  6. 제1 항에 있어서, 상기 방법은
    상기 이전 프레임 구간의 정현파 중 고조파가 존재하지 않는 경우, 상기 현 재 프레임 구간의 정현파의 실제 주파수를 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  7. 제1 항에 있어서, 상기 방법은
    상기 현재 프레임 구간의 정현파의 위상 및 진폭을 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  8. 복수의 프레임을 포함하는 미디어 신호를 디코딩하는 방법에 있어서,
    이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 디코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 단계; 및
    상기 예측된 고조파의 주파수를 이용하여 상기 현재 프레임 구간의 실제 고조파의 주파수를 구하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 디코딩 방법.
  9. 제8 항에 있어서, 상기 현재 프레임 구간의 실제 고조파의 주파수를 구하는 단계는
    상기 예측된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차인 레지듀얼 신호를 상기 미디어 신호로부터 추출하는 단계; 및
    상기 예측된 고조파의 주파수 및 상기 레지듀얼 신호를 이용하여 상기 현재 프레임 구간의 고조파 주파수를 구하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 디코딩 방법.
  10. 제8 항에 있어서, 상기 현재 프레임 구간의 고조파의 주파수를 예측하는 단계는
    상기 현재 프레임 구간의 정현파의 기본 주파수 및 상기 이전 프레임 구간의 정현파의 기본 주파수 차인 기본 주파수 변화량을 상기 미디어 신호로부터 추출하는 단계; 및
    2 이상의 정수 n에 대하여, 상기 이전 프레임 구간의 제n차 고조파 및 상기 기본 주파수 변화량을 이용하여 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 디코딩 방법.
  11. 제10 항에 있어서, 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계는
    상기 이전 프레임 구간의 정현파의 기본 주파수를 n배 하여 상기 이전 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계; 및
    상기 기 저장된 이전 프레임 구간의 정현파 중 예측된 이전 프레임 구간의 제n 차 고조파의 주파수와 소정 범위 내에 있는 고조파의 주파수를 가진 정현파를 상기 이전 프레임 구간의 제n 차 고조파로 정하고, 상기 정한 고조파를 추출하는 단계를 포함하는 것을 특징으로 하는 미디어 신호 디코딩 방법.
  12. 제10 항에 있어서, 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 단계는
    상기 기본 주파수 변화량의 n배를 상기 이전 프레임 구간의 제n차 고조파의 주파수에 더한 값을 상기 현재 프레임 구간의 제n차 고조파의 주파수로 예측하는 단계를 더 포함하는 것을 특징으로 하는 미디어 신호 인코딩 방법.
  13. 제8 항에 있어서, 상기 방법은
    상기 이전 프레임 구간의 정현파 중 고조파가 존재하지 않는 경우, 상기 현재 프레임 구간의 정현파의 실제 주파수를 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 미디어 신호 디코딩 방법.
  14. 제8 항에 있어서, 상기 방법은
    상기 현재 프레임 구간의 정현파의 기본파 및 고조파의 위상 및 진폭을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 미디어 디코딩 방법.
  15. 복수의 프레임을 포함하는 미디어 신호를 인코딩하는 장치에 있어서,
    이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 인코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 파라미터 예측부; 및
    상기 예측된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차로 레지듀얼(residual) 신호를 생성하는 레지듀얼 신호 생성부를 포함하는 것을 특징으로 하는 미디어 신호 인코딩 장치.
  16. 제15 항에 있어서, 상기 장치는
    상기 현재 프레임 구간의 정현파의 기본 주파수 및 상기 이전 프레임 구간의 정현파의 기본 주파수를 이용하여 기본 주파수 변화량을 구하는 기본 주파수 변화량 연산부를 더 포함하고,
    상기 파라미터 예측부는 2 이상의 정수 n에 대해, 상기 이전 프레임 구간의 제n차 고조파의 주파수 및 상기 기본 주파수 변화량을 이용하여 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 것을 특징으로 하는 미디어 신호 인코딩 장치.
  17. 제16 항에 있어서, 상기 파라미터 예측부는
    상기 이전 프레임 구간의 정현파의 기본 주파수를 n배 하여 상기 이전 프레임 구간의 제n차 고조파의 주파수를 예측하고, 상기 이전 프레임 구간의 정현파 중 상기 예측된 이전 프레임 구간의 제n차 고조파의 주파수와 소정 범위 내에 있는 주파수를 가진 정현파를 상기 이전 프레임 구간의 제n차 고조파로 정하고, 상기 정한 고조파를 추출하는 것을 특징으로 하는 미디어 신호 인코딩 장치.
  18. 제17 항에 있어서, 상기 파라미터 예측부는
    상기 기본 주파수 변화량의 n배를 상기 이전 프레임 구간의 제n차 고조파의 주파수에 더한 값을 상기 현재 프레임 구간의 제n차 고조파의 주파수로 예측하는 것을 특징으로 하는 미디어 신호 인코딩 장치.
  19. 제16 항에 있어서, 상기 장치는
    상기 기본 주파수 변화량을 인코딩하고, 상기 레지듀얼 신호를 인코딩하는 인코딩부를 더 포함하는 것을 특징으로 하는 미디어 신호 인코딩 장치.
  20. 제19 항에 있어서, 상기 인코딩부는
    상기 이전 프레임 구간의 정현파 중 고조파가 존재하지 않는 경우, 상기 현재 프레임 구간의 정현파의 실제 주파수를 인코딩하는 것을 특징으로 하는 미디어 신호 인코딩 장치.
  21. 복수의 프레임을 포함하는 미디어 신호를 디코딩하는 장치에 있어서,
    이전 프레임 구간의 정현파 중 고조파(harmonics)가 존재하는 경우, 상기 고조파의 주파수를 이용하여 디코딩하려는 현재 프레임 구간의 고조파의 주파수를 예측하는 파라미터 예측부;
    상기 예측된 고조파의 주파수와 상기 현재 프레임 구간의 실제 고조파의 주파수 차인 레지듀얼 신호를 상기 미디어 신호로부터 추출하는 레지듀얼 신호 추출 부; 및
    상기 예측된 고조파 및 상기 레지듀얼 신호를 이용하여 상기 현재 프레임 구간의 고조파의 주파수를 구하는 파라미터 복원부를 포함하는 것을 특징으로 하는 미디어 신호 디코딩 장치.
  22. 제21 항에 있어서, 상기 장치는
    상기 현재 프레임 구간과 상기 이전 프레임 구간의 정현파의 기본 주파수 차인 기본 주파수 변화량을 상기 미디어 신호로부터 추출하는 기본 주파수 변화량 추출부를 더 포함하고,
    상기 파라미터 예측부는 2 이상의 정수 n에 대하여, 상기 이전 프레임 구간의 제n 차 고조파 및 상기 기본 주파수 변화량을 이용하여 상기 현재 프레임 구간의 제n차 고조파의 주파수를 예측하는 것을 특징으로 하는 미디어 신호 디코딩 장치.
  23. 제22 항에 있어서, 상기 파라미터 예측부는
    상기 이전 프레임 구간의 정현파의 기본 주파수를 n배 하여 상기 이전 프레임 구간의 제n차 고조파의 주파수를 예측하고, 상기 이전 프레임 구간의 정현파 중 상기 예측된 이전 프레임 구간의 제n차 고조파의 주파수와 소정 범위 내에 있는 주파수를 가진 정현파를 상기 이전 프레임 구간의 제n 차 고조파로 정하고, 상기 정한 고조파를 추출하는 것을 특징으로 하는 미디어 신호 디코딩 장치.
  24. 제22 항에 있어서, 상기 파라미터 예측부는
    상기 기본 주파수 변화량의 n배를 상기 이전 프레임 구간의 제n차 고조파의 주파수에 더한 값을 상기 현재 프레임 구간의 제n차 고조파의 주파수로 예측하는 것을 특징으로 하는 미디어 신호 디코딩 장치.
KR1020070088301A 2007-08-31 2007-08-31 미디어 신호 인코딩/디코딩 방법 및 장치 KR101380170B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020070088301A KR101380170B1 (ko) 2007-08-31 2007-08-31 미디어 신호 인코딩/디코딩 방법 및 장치
EP08766466.0A EP2183919A4 (en) 2007-08-31 2008-06-20 METHOD AND APPARATUS FOR ENCODING / DECODING MULTIMEDIA SIGNAL
PCT/KR2008/003506 WO2009028790A1 (en) 2007-08-31 2008-06-20 Method and apparatus for encoding/decoding media signal
CN2008801048424A CN101790887B (zh) 2007-08-31 2008-06-20 用于对媒体信号编码/解码的方法和设备
US12/186,128 US20090063163A1 (en) 2007-08-31 2008-08-05 Method and apparatus for encoding/decoding media signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070088301A KR101380170B1 (ko) 2007-08-31 2007-08-31 미디어 신호 인코딩/디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090022711A KR20090022711A (ko) 2009-03-04
KR101380170B1 true KR101380170B1 (ko) 2014-04-02

Family

ID=40387475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070088301A KR101380170B1 (ko) 2007-08-31 2007-08-31 미디어 신호 인코딩/디코딩 방법 및 장치

Country Status (5)

Country Link
US (1) US20090063163A1 (ko)
EP (1) EP2183919A4 (ko)
KR (1) KR101380170B1 (ko)
CN (1) CN101790887B (ko)
WO (1) WO2009028790A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110018107A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
US10816579B2 (en) * 2012-03-13 2020-10-27 Informetis Corporation Sensor, sensor signal processor, and power line signal encoder
EP2685448B1 (en) 2012-07-12 2018-09-05 Harman Becker Automotive Systems GmbH Engine sound synthesis
CN108074579B (zh) * 2012-11-13 2022-06-24 三星电子株式会社 用于确定编码模式的方法以及音频编码方法
US9659567B2 (en) * 2013-01-08 2017-05-23 Dolby International Ab Model based prediction in a critically sampled filterbank
US11227614B2 (en) * 2020-06-11 2022-01-18 Silicon Laboratories Inc. End node spectrogram compression for machine learning speech recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050231396A1 (en) 2002-05-10 2005-10-20 Scala Technology Limited Audio compression
US20060149538A1 (en) 2004-12-31 2006-07-06 Samsung Electronics Co., Ltd. High-band speech coding apparatus and high-band speech decoding apparatus in wide-band speech coding/decoding system and high-band speech coding and decoding method performed by the apparatuses
US20070040709A1 (en) 2005-07-13 2007-02-22 Hosang Sung Scalable audio encoding and/or decoding method and apparatus

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4856068A (en) * 1985-03-18 1989-08-08 Massachusetts Institute Of Technology Audio pre-processing methods and apparatus
US4797926A (en) * 1986-09-11 1989-01-10 American Telephone And Telegraph Company, At&T Bell Laboratories Digital speech vocoder
US5054072A (en) * 1987-04-02 1991-10-01 Massachusetts Institute Of Technology Coding of acoustic waveforms
US5630011A (en) * 1990-12-05 1997-05-13 Digital Voice Systems, Inc. Quantization of harmonic amplitudes representing speech
US5884253A (en) * 1992-04-09 1999-03-16 Lucent Technologies, Inc. Prototype waveform speech coding with interpolation of pitch, pitch-period waveforms, and synthesis filter
US5574823A (en) * 1993-06-23 1996-11-12 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Communications Frequency selective harmonic coding
US5886276A (en) * 1997-01-16 1999-03-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for multiresolution scalable audio signal encoding
US6161089A (en) * 1997-03-14 2000-12-12 Digital Voice Systems, Inc. Multi-subframe quantization of spectral parameters
US6993480B1 (en) * 1998-11-03 2006-01-31 Srs Labs, Inc. Voice intelligibility enhancement system
CA2399706C (en) * 2000-02-11 2006-01-24 Comsat Corporation Background noise reduction in sinusoidal based speech coding systems
CN1293534C (zh) * 2001-01-16 2007-01-03 皇家菲利浦电子有限公司 参数编码器和参数编码方法及参数译码器和参数译码方法
WO2002056298A1 (en) * 2001-01-16 2002-07-18 Koninklijke Philips Electronics N.V. Linking of signal components in parametric encoding
BR0205527A (pt) * 2001-06-08 2003-07-08 Koninkl Philips Electronics Nv Métodos para editar um sinal de áudio original, e para decodificar um fluxo de áudio, editor de áudio, reprodutor de áudio, sistema de áudio, fluxo de áudio, e, meio de armazenagem
JP2005506581A (ja) * 2001-10-19 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 正弦波モデルパラメータの周波数差分符号化
CN1319043C (zh) * 2001-10-26 2007-05-30 皇家飞利浦电子股份有限公司 用于编码和解码音频信号的方法与设备以及包括这样的设备的***
WO2003090209A1 (en) * 2002-04-22 2003-10-30 Nokia Corporation Method and device for obtaining parameters for parametric speech coding of frames
KR100462615B1 (ko) * 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
CA2464408C (en) * 2002-08-01 2012-02-21 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method for band expansion with aliasing suppression
CN1846253B (zh) * 2003-09-05 2010-06-16 皇家飞利浦电子股份有限公司 低比特率音频编码
US20060015329A1 (en) * 2004-07-19 2006-01-19 Chu Wai C Apparatus and method for audio coding
CN101006496B (zh) * 2004-08-17 2012-03-21 皇家飞利浦电子股份有限公司 可分级音频编码
KR100750115B1 (ko) * 2004-10-26 2007-08-21 삼성전자주식회사 오디오 신호 부호화 및 복호화 방법 및 그 장치
WO2006051451A1 (en) * 2004-11-09 2006-05-18 Koninklijke Philips Electronics N.V. Audio coding and decoding
JP5542306B2 (ja) * 2005-01-11 2014-07-09 コーニンクレッカ フィリップス エヌ ヴェ オーディオ信号のスケーラブル符号化及び復号
US7720677B2 (en) * 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
KR101221919B1 (ko) * 2008-03-03 2013-01-15 연세대학교 산학협력단 오디오 신호 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050231396A1 (en) 2002-05-10 2005-10-20 Scala Technology Limited Audio compression
US20060149538A1 (en) 2004-12-31 2006-07-06 Samsung Electronics Co., Ltd. High-band speech coding apparatus and high-band speech decoding apparatus in wide-band speech coding/decoding system and high-band speech coding and decoding method performed by the apparatuses
US20070040709A1 (en) 2005-07-13 2007-02-22 Hosang Sung Scalable audio encoding and/or decoding method and apparatus

Also Published As

Publication number Publication date
EP2183919A1 (en) 2010-05-12
US20090063163A1 (en) 2009-03-05
WO2009028790A1 (en) 2009-03-05
CN101790887B (zh) 2013-03-13
CN101790887A (zh) 2010-07-28
KR20090022711A (ko) 2009-03-04
EP2183919A4 (en) 2013-10-16

Similar Documents

Publication Publication Date Title
US10096323B2 (en) Frame error concealment method and apparatus and decoding method and apparatus using the same
RU2321901C2 (ru) Аудиокодирование
KR101380170B1 (ko) 미디어 신호 인코딩/디코딩 방법 및 장치
RU2640722C2 (ru) Усовершенствованный квантователь
CN107452392B (zh) 临界采样滤波器组中的基于模型的预测
JP2011203752A (ja) オーディオ符号化方法及び装置
KR101058064B1 (ko) 저비트율 오디오 인코딩
KR20150096494A (ko) 오디오 신호의 불연속 전송에서 높은 스펙트럼-시간 해상도를 가진 편안한 잡음의 생성
US7363216B2 (en) Method and system for parametric characterization of transient audio signals
KR20060083202A (ko) 낮은 비트율 오디오 인코딩
JP2003108197A (ja) オーディオ信号復号化装置およびオーディオ信号符号化装置
KR101299155B1 (ko) 오디오 부호화 및 복호화 장치와 그 방법
KR20220104049A (ko) 오디오 코딩을 위한 음조 신호의 주파수 도메인 장기 예측을 위한 인코더, 디코더, 인코딩 방법 및 디코딩 방법
US20080189120A1 (en) Method and apparatus for parametric encoding and parametric decoding
EP3248190B1 (en) Method of encoding, method of decoding, encoder, and decoder of an audio signal
KR20050049543A (ko) 위상 갱신을 사용한 사인 오디오 코딩
JP2794842B2 (ja) 符号化方法とその復号化方法
KR101425355B1 (ko) 파라메트릭 오디오 부호화 및 복호화 장치와 그 방법
JP2000268509A (ja) 符号化装置
CN115968532A (zh) 用于电信号的有效编解码器
JP2002111503A (ja) 復号化装置
JP2008040452A (ja) 符号化装置及び復号化装置
JP2002073067A (ja) オーディオ信号の復号方法、及びオーディオ信号の復号装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee