KR20100035128A - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20100035128A
KR20100035128A KR1020090090705A KR20090090705A KR20100035128A KR 20100035128 A KR20100035128 A KR 20100035128A KR 1020090090705 A KR1020090090705 A KR 1020090090705A KR 20090090705 A KR20090090705 A KR 20090090705A KR 20100035128 A KR20100035128 A KR 20100035128A
Authority
KR
South Korea
Prior art keywords
band
band extension
spectral data
frequency band
low frequency
Prior art date
Application number
KR1020090090705A
Other languages
English (en)
Other versions
KR101108955B1 (ko
Inventor
이현국
김동수
윤성용
방희석
임재현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP10005705.8A priority Critical patent/EP2224433B1/en
Priority to EP09012221.9A priority patent/EP2169670B1/en
Priority to US12/567,559 priority patent/US8831958B2/en
Priority to PCT/KR2009/005499 priority patent/WO2010036061A2/en
Publication of KR20100035128A publication Critical patent/KR20100035128A/ko
Application granted granted Critical
Publication of KR101108955B1 publication Critical patent/KR101108955B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 처리 장치에 의해서, 제1 밴드 확장 방식 및 제2 밴드 확장 방식을 포함하는 복수의 밴드 확장 방식 중에서, 오디오 신호의 현재 프레임에 대한 특정 밴드 확장 방식을 지시하는 타입 정보, 및 저주파 대역의 스펙트럴 데이터를 수신하는 단계; 상기 타입 정보가 상기 현재 프레임에 대해 상기 제1 밴드 확장 방식을 지시하는 경우, 제1 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 단계; 및, 상기 타입 정보가 상기 현재 프레임에 대해 상기 제2 밴드 확장 방식을 지시하는 경우, 제2 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 단계를 포함하고, 상기 제1 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제1 데이터 영역을 기초로 하고, 상기 제2 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제2 데이터 영역을 기초로 한다.
Figure P1020090090705
오디오, 음성, 밴드 확장

Description

오디오 신호 처리 방법 및 장치{A METHOD AND AN APPARATUS FOR PROCESSING AN AUDIO SIGNAL}
본 발명은 오디오 신호를 인코딩 하거나 디코딩 할 수 있는 신호 처리 방법 및 장치에 관한 것이다.
일반적으로, 오디오 신호는 하나의 프레임 내에서 저주파 대역의 신호와 고주파 대역의 신호간의 유사성(correlation)이 있는 데, 이러한 유사성을 원리로 하여, 저주파 대역의 스펙트럴 데이터를 이용하여 고주파 대역의 스펙트럴 데이터를 인코딩하는 대역 확장 기술을 이용하여 오디오 신호를 압축한다.
종래에는 저주파 대역의 신호와 고주파 대역의 신호간의 유사성이 낮을 경우, 대역 확장 방식을 적용하여 오디오 신호를 압축하면, 오디오 신호의 음질이 나빠지는 문제점이 있다.
특히, 치찰음(sibilant) 등과 같은 경우, 상기 연관성(correlation)이 높지 않기 때문에, 오디오 신호의 대역 확장 방식은 부적절한 문제점이 있다.
한편, 대역 확장 방식에는 여러 타입이 있을 수 있는데, 시간에 따라서 오디오 신호에 적용되는 대역 확장 방식의 타입이 다를 수 있다. 이때, 다른 타입이 변하는 구간에서 순간적으로 음질이 나빠질 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 오디오 신호의 특성에 따라서 대역 확장 방식을 선택적으로 적용할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 프레임 별 오디오 신호의 특성에 따라서, 대역 확장 방식 대신, 적절한 방식을 적응적으로 적용할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 오디오 신호 특성을 분석한 결과, 오디오 신호의 특성이 치찰음에 가까운 경우, 대역 확장 방식의 적용을 회피함으로써, 음질을 유지할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 오디오 신호의 특성에 따라 여러 타입의 대역 확장 방식을 시간별로 적용하기 위한 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 여러 타입의 대역 확장 방식을 적용하는 데 있어서, 대역 확장 방식의 타입이 변하는 구간에서 아티팩트(artifact)를 감소시키기 위한 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명은 다음과 같은 효과와 이점을 제공한다.
첫째, 프레임 별 신호의 특성에 따라서, 프레임 별로 대역 확장 방식을 선별적으로 적용하기 때문에, 비트 수를 크게 증가시키지 않으면서 음질을 향상시킬 수 있는 효과가 있다.
둘째, 치찰음 등의 고주파 대역의 에너지가 높은 음이 포함되어 있다고 판단되는 프레임에 대해서, 대역 확장 방식 대신에, 음성 신호(speech 신호)에 적합한 LPC(linear Predictive coding) 방식이나, HBE(High band extension) 방식, 본원에서 새롭게 제안한 방식(PSDD)을 이용함으로써, 음질의 손실을 최소화할 수 있다.
셋째, 오디오 신호의 특성에 따라 여러 타입의 대역 확장 방식을 시간별로 적용할 수 있고, 나아가 여러 타입의 대역 확장 방식을 적용하는 데 있어서, 대역 확장 방식의 타입이 변하는 구간에서 아티팩트(artifact)를 감소시킬 수 있기 때문에, 대역 확장 방식을 적용하면서도 음질이 향상될 수 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.
여기서 오디오 신호(audio signal)란, 광의로는, 비디오 신호와 구분되는 개념으로서, 재생 시 청각으로 식별할 수 있는 신호를 지칭하고, 협의로는, 음성(speech) 신호와 구분되는 개념으로서, 음성 특성이 없거나 적은 신호를 의미한다. 본 발명에서의 오디오 신호는 광의로 해석되어야 하며 음성 신호와 구분되어 사용될 때 협의의 오디오 신호로 이해될 수 있다.
우선, 도 1은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 구성을 보여주는 도면이다. 도 1을 참조하면, 오디오 신호 처리 장치의 인코더 측(100)은 치찰음 검출 유닛(sibilant detecting unit)(110), 제1 인코딩 유닛(first encoding unit)(122), 제2 인코딩 유닛(second encoding unit)(124), 멀티플렉싱 유닛(multiplexing unit)(130)을 포함할 수 있다. 오디오 신호 처리 장치의 디코더 측(200)는 디멀티플렉서(de-multiplexer)(210), 제1 디코딩 유닛(first decoding unit)(222), 제2 디코딩 유닛(second decoding unit)(224)를 포함할 수 있다.
오디오 신호 처리 장치의 인코더 측(100)은 오디오 신호의 특성에 따라서, 밴드 확장 방식(band extension scheme)을 적용할 지 여부를 결정하고 그 결정에 따라 코딩 방식 정보(coding scheme information)를 생성하고, 디코더 측(200)은 코딩 방식 정보(coding scheme information)에 따라서 프레임 별로 밴드 확장 방식(band extension scheme)을 적용할 지 여부를 선택한다.
치찰음 검출 유닛(sibilant detecting unit)(110)은 오디오 신호의 현재 프레임에 대하여 치찰음 정도(sibilant proportion)을 검출하고, 치찰음 정도를 근거로 하여, 현재 프레임에 밴드 확장 방식 이 적용될지 여부를 지시하는 코딩 방식 정보 을 생성한다. 여기서 치찰음 정도(sibilant proportion)란, 현재 프레임에 치찰음(sibilant)인지 여부에 대한 정도를 나타내는 것이다. 치찰음(sibilant)이란, 일반적으로 닿소리를 발음할 때 공기가 좁은 틈을 이빨 쪽으로 통과되면서 발생하는 마찰을 이용해서 내는 소리로서, 한국어 중 ㅅ, ㅆ이 그 예이고, 영어 중 s가 그 예이다. 한편 파찰음 (affricate)는 닿소리를 발음할 때 폐쇄를 형성해서 공기 의 흐름을 막았다가 완전히 파열하지 않고 조금씩 개방해서 좁은 틈 사이로 공기를 통과시키면서 내는 소리로서, 한국어 중 'ㅈ', 'ㅉ', 'ㅊ' 등이 그 예이다. 본원에서의 치찰음(sibilant)란, 특정 음소에 국한되지 않고, 최대 에너지를 갖는 피크 밴드(peak band)가 다른 음소들 보다 고주파 대역에 속하는 음소를 일컫는다. 치찰음 검출 유닛(110)의 세부적인 구성은 추후 도 2와 함께 설명하고자 한다.
치찰음 정도가 검출된 결과, 치찰음 정도가 낮다 판단되는 프레임은, 제1 인코딩 유닛(first encoding unit)(122)에 의해 오디오 신호가 인코딩되고, 치찰음 정도가 높다고 판단되는 프레임은, 제2 인코딩 유닛(second encoding unit)(124)에 의해 오디오 신호가 인코딩된다.
제1 인코딩 유닛(first encoding unit)(122)이란, 주파수 도메인 기반의 밴드 확장 방식에서 따라서, 오디오 신호를 인코딩하는 구성요소이다. 여기서 주파수 도메인 기반의 밴드 확장 방식(band extension scheme)이란, 광 대역(wide band)의 스펙트럴 데이터 중 고주파 대역(higher band)에 해당하는 스펙트럴 데이터를 협대역(narrow band)의 전부 또는 일부(all or portion)를 이용하여 인코딩하는 것이다. 이 방식은 고주파 대역과 저주파 대역간의 유사성을 원리로 비트 수를 절감할 수 있다. 이때, 상기 밴드 확장 방식은 주파수 도메인 기반이고, 상기 스펙트럴 데이터는 QMF (Quadrature mirror filter) 필터 뱅크(filterbank)등에 의해 주파수 변환된 데이터이다. 디코더에서는, 밴드 확장 정보를 이용하여 협대역 스펙트럴 데이터로부터 고주파 대역(higher band)의 스펙트럴 데이터를 복원한다. 여기서 고주파 대역(higher band)는 경계 주파수(boundary frequency)보다 같거나 높은 밴드이 고, 저주파 대역(narrow band)는 경계 주파수(boundary frequency) 보다 같거나 낮은 밴드로서, 연속된 밴드들로 구성된다. 이러한 주파수 도메인 기반의 대역 확장 방식은, SBR(Spectral Band Replication) 또는 eSBR(enhanced Spectral Band Replication) 표준에 따를 수 있지만, 본 발명은 이에 한정되지 아니한다.
한편, 이러한 주파수 도메인 기반의 밴드 확장 방식(band extension scheme)은 고주파 대역과 저주파 대역간의 유사성을 기반으로 하는데, 이 유사성은 오디오 신호의 특성에 따라서 강할 수도 있고 약할 수도 있다. 특히 앞서 설명한 치찰음(sibilant)의 경우, 상기 유사성이 약하기 때문에, 치찰음(sibilant)에 해당하는 프레임에 밴드 확장 방식(band extension scheme)을 적용하는 경우, 음질이 저하될 수 있다. 추후 도 3 및 도 4와 함께 치찰음(sibilant)의 에너지 특성과 주파수 도메인 기반의 밴드 확장 방식의 적용간의 관계를 상세히 설명하고자 한다. 제1 인코딩 유닛(122)은 도 8와 함께 추후에 설명될 오디오 신호 인코더까지 포함하는 개념일 수 있으나, 본 발명은 이에 한정되지 아니한다.
제2 인코딩 유닛(124)은 상기 주파수 도메인 기반의 밴드 확장 방식을 사용하지 않고, 오디오 신호를 인코딩하는 유닛이다. 여기서 모든 유형의 밴드 확장 방식이 사용되지 않는 것이 아니라, 제1 인코딩 유닛(first encoding unit)(122)에서 적용되는 특정한 주파수 도메인 기반의 밴드 확장 방식이 사용되지 않는 것이다. 제2 인코딩 유닛(124)은 첫째, LPC(linear predictive coding) 방식을 적용하는 음성 신호 인코더에 해당하거나, 둘째, 음성 인코더를 뿐만 아니라 시간 도메인 기반의 밴드 확장 방식에 따른 모듈을 더 포함하거나, 셋째, 본원에서 새로 제시한 PSDD(Partial Spectral Data Duplication) 방식에 따른 모듈을 더 포함할 수 있는데, 이에 대한 설명은 도 5 내지 도 8와 함께 후술하고자 한다. 한편, 상기 둘째의 시간 도메인 기반의 밴드 확장 방식에는 AMR-WB(Adaptive Multi Rate WideBand) 표준에 적용된 HBE(High Band Extension) 방식을 따른 것일 수 있지만 본 발명은 이에 한정되지 아니한다.
멀티 플렉서(130)는 제1 인코딩 유닛(122)과 넌 밴드 확장 인코딩 유닛(124)에서 인코딩된 오디오 신호 및, 치찰음 검출 유닛(sibilant detecting unit)(110)에서 생성된 코딩 방식 정보를 멀티플렉싱하여 하나 이상의 비트스트림을 생성한다.
디코더 측의 디멀티플렉서(210)는 비트스트림으로부터 코딩 방식 정보 을 추출하고, 코딩 방식 정보 를 근거로, 현재 프레임의 오디오 신호를 제1 디코딩 유닛(first decoding unit)(222) 또는 제2 디코딩 유닛(second decoding unit)(224)으로 전달한다. 제1 디코딩 유닛(first decoding unit)(222)은 앞서 설명한 밴드 확장 방식(band extension scheme)에 따라서 오디오 신호를 디코딩하고, 제2 디코딩 유닛(second decoding unit)(224)는 앞서 설명한 LPC 방식 (및 HBE/PSDD 방식)에 따라서 오디오 신호를 디코딩한다.
도 2는 도 1에서의 치찰음 검출 유닛(sibilant detecting unit)의 세부 구성을 보여주는 도면이고, 도 3의 치찰음 검출의 원리를 설명하기 위한 도면이고, 도 4는 비 치찰음(non-sibilant)의 경우와 치찰음(sibilant)의 경우의 에너지 스펙트럼의 일 예이다. 우선, 도 2를 참조하면, 치찰음 검출 유닛(110)은 변환 파 트(transforming part)(112), 에너지 추정 파트(energy estimating part)(114), 치찰음 결정 파트(sibilant deciding part)(116)을 포함한다.
변환 파트(Transforming part)(112)는 시간 도메인의 오디오 신호를 주파수 변환을 수행하여 주파수 도메인의 신호로 변환한다. 이때 주파수 변환에는 FFT(fast Fourier transform) 또는 MDCT(Modified Discrete Cosine Transform) 등이 사용될 수 있지만, 본 발명은 이에 한정되지 아니한다.
에너지 추정 파트(Energy Estimating Part)(114)는 주파수 도메인의 오디오 신호를 몇 개의 밴드 별로 묶어서, 현재 프레임에 대해서 밴드 별 에너지를 산출한다. 그런 다음, 전체 밴드 중에서 가장 큰 에너지(Emax)를 갖는 피크 밴드(Bmax)가 무엇인지 판단한다. 치찰음 결정 파트(Sibilant deciding part)(116)는 가장 큰 에너지를 갖는 밴드(Bmax)가 임계 밴드(threshold band)(Bth)보다 높은지 낮은지 여부를 판단하여, 현재 프레임의 치찰음 정도를 검출한다. 이는 유성음은 저주파에서 최대 에너지를 갖는 반면에 치찰음는 고주파에서 최대 에너지를 갖는 특성을 기반한 것이다. 여기서 임계 밴드(threshold band)(Bth)는 디폴트 값으로 미리 정해진 값일 수 있고, 입력된 오디오의 특성에 따라서 산출된 값일 수 있다.
도 3을 참조하면, 저주파 대역(narrow band) 및 고주파 대역(higher band)을 포함하는 광 대역(wide band)이 존재함을 알 수 있다. 가장 높은 에너지(Emax)를 갖는 피크 밴드(Bmax)가 임계 밴드(threshold band)(Bth)보다 높을 수도 있고 낮을 수 도 있다. 한편, 도 4를 참조하면, 비 치찰음(non-sibilant)의 신호의 에너지 피크가 저주파 대역에 존재하고, 치찰음(sibilant) 신호의 에너지 피크(peak)는 상대적으로 고주파 대역에 존재함을 알 수 있다. 다시 도 3을 참조하면, (A)의 경우, 에너지 피크(peak)가 상대적으로 저주파에 존재하기 때문에, 비 치찰음(non-sibilant)으로 판단되고, (B)의 경우 에너지 피크(peak)가 상대적으로 고주파에 존재하기 때문에 치찰음(sibilant)라고 판단할 수 있다.
한편, 앞서 언급한 주파수 도메인 기반의 밴드 확장 방식 은 경계 주파수 보다 낮은 협 대역(narrow band)을 이용하여, 경계 주파수 보다 높은 고주파 대역(higher band)를 인코딩한다. 이 방식은 협대역(narrow band)의 스펙트럴 데이터와 고주파 대역 (higher band)의 스펙트럴 데이터간의 유사성을 기반으로 한다. 그러나 에너지 피크가 고주파에 존재하는 신호의 경우, 상기 유사성(correlation)이 상대적으로 떨어진다. 따라서, 상기 협대역(narrow band)의 스펙트럴 데이터로 고주파 대역(higher band)의 스펙트럴 데이터를 예측하는 주파수 도메인 기반의 밴드 확장 방식을 적용하는 것은 음질을 저하시킬 수 있다. 따라서, 치찰음로 판단되는 현재 프레임에 대해서는, 상기 주파수 도메인 기반의 밴드 확장 방식 대신 다른 방식을 적용하는 것이 바람직한 것이다.
다시 도 2를 참조하면, 치찰음 검출 파트(sibilant deciding part)(116)는 에너지 피크에 피크 밴드(Bmax)가 임계 밴드(threshold band)(Bth)보다 낮은 경우 현재 프레임이 비 치찰음(non-sibilant)으로 판단하여, 오디오 신호를 제1 인코딩 유 닛 에서 주파수 도메인의 밴드 확장 방식에 따라 인코딩 되도록 하고, 반대의 경우, 치찰음(sibilant)으로 판단하여 오디오 신호를 제2 인코딩 유닛(second encoding unit)에서 대안적인 방식에 따라 인코딩 되도록 한다.
도 5는 도 1에서의 제2 인코딩 유닛(second encoding unit) 및 제2 디코딩 유닛(second decoding unit)의 세부 구성도의 예들이다. 도 5의 (A)를 참조하면, 제1 실시예에 따른 제2 인코딩 유닛(second encoding unit)(124a)은 LPC 인코딩 파트(LPC encoding part)(124a-1)를 포함하고, 제1 실시예에 따른 제2 디코딩 유닛(second decoding unit)(224a)은 LPC 디코딩 파트(LPC decoding part)(224a-1)를 포함한다. LPC인코딩 파트(LPC encoding part) 및 LPC 디코딩 파트(LPC decoding part)는 선형 예측 코딩(linear prediction coding)(LPC) 방식으로 전체 대역에 대한 오디오 신호를 인코딩하거나 디코딩하는 구성요소이다. LPC(linear prediction coding)이란 과거의 일정 개수의 샘플 값에 계수를 곱해서 이를 총 합한 값으로 현재의 샘플 값을 예측하는 것으로, 시간 도메인을 기반으로 음성 신호를 처리하기 위한 단구간 예측(short term prediction)(STP)의 대표적인 예에 해당된다. 이와 같이 LPC 방식으로 인코딩된 LPC 계수(미도시)를 LPC 인코딩 파트(124a-1)에서 생성하면, LPC 디코딩 파트(LPC decoding part)(224a-1)는 LPC 계수를 이용하여 오디오 신호를 복원한다.
한편, 제2 실시예에 따른 제2 인코딩 유닛(second encoding unit)(124b)은 HBE 인코딩 파트(HBE encoding part)(124b-1) 및 LPC 인코딩 파트(LPC encoding part)(124b-2)를 포함하고, 제2 실시예에 따른 제2 디코딩 파트(second decoding unit)(224b)은 LPC 디코딩 파트(LPC decoding part)(224b-1) 및 HBE 디코딩 파트(HBE decoding part)(224b-2)를 포함한다. HBE 인코딩 파트(HBE encoding part)(124b-1) 및 HBE 디코딩 파트(HBE decoding part)(224b-2)는 HBE 방식에 따라서 오디오 신호를 인코딩/디코딩 하는 구성요소이다. HBE(High Bnad Extension) 방식이란, 시간 도메인 기반의 밴드 확장 방식의 일종이다. 인코더에서는 고주파 신호에 대해 HBE 정보 즉, 스펙트럴 인벨롭 모델링 정보 및 프레임 에너지 정보를 생성하고, 저주파 신호에 대해서 여기 신호(excitation signal)를 생성한다. 여기서 스펙트럴 인벨롭 모델링 정보는 시간 도메인 기반인LP(linear prediction) 분석을 통해 생성된 LP 계수를 ISP (Immittance Spectral Pair)로 변환된 것에 해당할 수 있다. 상기 프레임 에너지 정보는 64 sub-frame 마다 원래의 에너지와 합성된 에너지를 비교하여 결정된 정보에 해당할 수 있다. 디코더에서는 상기 스펙트럴 인벨롭 모델링 정보와 프레임 에너지 정보를 이용하여 저주파 신호의 여기 신호를 쉐이핑(shaping)하여 고주파 신호를 생성한다. 이러한 HBE 방식은, 시간 도메인을 기반으로 한다는 점에서 앞서 설명한 주파수 도메인 기반의 밴드 확장 방식과 구별된다. 치찰음(Sibilant)은 시간축 파형으로 보면 매우 복잡하고 랜덤(random)한 노이즈 라이크(noise-like)한 신호인데, 이를 주파수 도메인 기반으로 밴드 확장 방식(band extension)을 할 경우 매우 부정확할 수 있는 반면에, HBE는 시간 도메인을 기반으로 하기 때문에 치찰음(sibilant)을 적절히 처리할 수 있다. 한편 상기 HBE 방식이 고주파 여기(excitation) 신호의 버즈니스(buzzness)를 줄이기 위한 후처리를 더 포함할 경우, 치찰음 프레임에 대해서 더욱 성능이 높아질 수 있다.
한편, LPC 인코딩 파트(LPC encoding part)(124b-2) 및 LPC 디코딩 파트(LPC decoding part)(224b-1)는 제1 실시예에서의 동일한 명칭의 구성요소(124a-1, 224a-1)와 동일한 기능을 수행한다. 단, 제1 실시예에서는 현재 프레임의 전체 대역에 대해서 선형 예측 인코딩/디코딩을 수행하는 데 비해, 제2 실시예에서는 전체 대역이 아니라 HBE가 수행된 이후의 협대역(narrow band)(또는 저주파 대역(lower band))에 대해서 선형 예측 인코딩을 수행하고, 협대역(narrow band)에 대해서 선형 예측 디코딩을 수행한 이후, HBE 디코딩을 수행한다.
한편 제3 실시예에 따른 제2 인코딩 유닛(second encoding unit)(124c)는 PSDD 인코딩 파트(PSDD encoding part)(124c-1) 및 LPC 인코딩 파트(LPC encoding part)(124c-2)를 포함하고, 제3 실시예에 따른 제2 인코딩 유닛(second encoding unit)(224c)은 LPC 디코딩 파트(LPC decoding part)(224c-1) 및 PSDD 디코딩 파트(PSDD decoding part)(224c-2)를 포함한다. 도 1의 제2 인코딩 유닛(first encoding unit)(122)에서 수행되는 주파수 도메인 기반의 밴드 확장 방식(band extension scheme)은 저주파 대역으로 구성된 협대역(narrow band)의 일부 또는 전체를 이용하는 것이다. 반면에, PSDD(Partial Spectral Data Duplication)는 저주파 및 고주파 대역에 이산적으로 분포된 카피 밴드(copy band)를 이용하여, 그 카피 밴드(copy band)와 인접한 타깃 밴드(target band)를 인코딩하는 것이다. 그 구체적인 내용은 추후 도 6 내지 도 9와 함께 후술하고자 한다.
한편, 앞서 도 5의 (A) 내지 (C)와 함께 설명된 LPC 인코딩 파트(LPC encoding part) 및 LPC 디코딩 파트(LPC decoding part)는 도 9 내지 도 12와 함께 설명될 음성 신호 인코더(speech signal encoder)440) 및 음성 신호 디코더(speech signal decoder)(630)에 각각 속할 수 있다.
도 6은 제2 인코딩/디코딩(second encoding/decoding) 방식의 일 예인 PSDD(Partial Spectral Data Duplication) 방식의 제1 실시예 내지 제2 실시예를 설명하기 위한 도면이다.
우선 도 6의 (A)를 참조하면, 저주파부터 고주파까지 즉, 0번째부터 n-1번째까지 총 n개의 스케일 팩터 밴드(sfb0~sfbn -1)가 존재하고, 각 스케일 팩터 밴드(sfb0, ,sfbn-1)에 대응하는 스펙트럴 데이터가 존재한다. 특정 밴드에 속하는 스펙트럴 데이터(sdi)는 다수의 스펙트럴 데이터의 집합(sdi _0부터 sdi _m-1)을 의미할 수 있는데, 스펙트럴 데이터의 개수(mi)는 스펙트럴 데이터 단위, 밴드 단위 또는 그 이상의 단위에 대응하여 생성할 수 있다.
여기서 디코더에 데이터가 전송되는 밴드는 전체 대역(sfb0, ,sfbn -1) 중에서 저주파 대역(sfb0, ,sfbs -1) 및 카피밴드(copy band)(cb)(sfbs, sfbn -4, sfbn -2)들 이다. 카피밴드는 시작 밴드(start band)(sb) 또는 시작 주파수(start frequency)부터 시작하는 밴드들로서 타깃 밴드(target band)(tb) (sfbs +1, sfbn -3, sfbn -1)의 예측에 사용되는 밴드이고, 타깃 밴드(target band)는 카피 밴드(copy band)를 이용하여 예측되는 밴드로서 스펙트럴 데이터가 디코더에 전송되지 않는다.
도 6의 (A)에 도시된 바와 같이, 카피 밴드(copy band)는 저주파 대역에 집 중되어 있지 않고 고주파 대역에도 존재하며 타깃 밴드(target band)와 인접하여 있기 때문에 타깃 밴드(target band)와의 유사성을 유지할 수 있다. 한편, 카피 밴드의 스펙트럴 데이터와 타깃 밴드의 스펙트럴 데이터간의 차이인 게인 정보(g)가 생성될 수 있다. 카피 밴드(copy band)를 이용하여 타깃 밴드(target band)를 예측하더라도, 밴드 확장 방식에 비해 bitrate가 증가되지 않으면서, 음질이 저하되는 것을 최소화시킬 수 있다.
도 6의 (A)는 카피 밴드의 대역폭 및 타깃 밴드의 대역폭이 동일한 예이고, 도 6의 (B)는 카피 밴드의 대역폭 및 타깃 밴드의 대역폭이 상이한 예이다. 도 6의 (B)를 참조하면, 타깃 밴드의 대역폭은 카피 밴드의 대역폭의 두 배 이상 (tb, tb'이며, 여기서, 타깃 밴드(target band)를 이루는 연속된 대역들 중 왼쪽 대역(tb) 및 오른쪽 대역(tb')에 각각 서로 다른 게인(gs, gs+1)을 적용할 수 있다.
도 7 및 도 8는 PSDD 방식에서 프레임의 길이가 서로 다른 경우의 방식을 설명하기 위한 도면이다. 도 7은 타깃 밴드의 스펙트럴 데이터의 개수(Nt)가 카피 밴드의 스펙트럴 데이터의 개수(Nc)가 보다 큰 경우, 도 8은 작은 경우를 설명하기 위한 도면이다.
우선 도 7의 (A)를 살펴보면, 타깃 밴드(sfbi)의 스펙트럴 데이터의 개수(Nt)가 36개이고, 카피 밴드(sfbs)의 스펙트럴 데이터의 개수(Nc)가 24임을 알 수 있다. 데이터의 개수가 클수록 밴드의 수평 길이가 길게 표시되어 있다. 타깃 밴드의 데 이터 개수가 더 크기 때문에 카피 밴드의 데이터를 두번 이상 이용할 수 있다. 예를 들어, 도 7의 (B1)에 도시된 바와 같이, 우선 카피 밴드의 24개의 데이터를 타깃 밴드의 저주파부터 채워넣고, 도 7의 (B2)에 도시된 바와 같이, 카피 밴드의 앞 부분 12개 또는 뒷 부분 12개를 타깃 밴드의 나머지 부분에 채워넣을 수 있다. 물론 여기서도 전송된 게인 정보를 적용할 수 있다.
한편 도 8의 (A)를 참조하면, 타깃 밴드(sfbi)의 스펙트럴 데이터의 개수(Nt)가 24개이고, 카피 밴드(sfbs)의 스펙트럴 데이터의 개수(Nc)가 36임을 알 수 있다. 타깃 밴드의 데이터 수가 더 작기 때문에, 카피 밴드의 데이터 중 일부만을 이용할 수 있다. 예를 들어 도 8의 (B)에 표시된 바와 같이 카피 밴드(sfbs)의 앞 부분의 스펙트럴 데이터 24개만을 이용하거나, 도 8의 (C)에 표시된 바와 같이 카피 밴드(sfbs)의 뒷 영역의 스펙트럴 데이터 24개만 이용하여, 타깃 밴드(sfbi)의 스펙트럴 데이터를 생성할 수 있다.
도 9은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 인코딩 장치의 제1 예이고, 도 10은 제2 예이다. 제1 예는, 도 5의 (A)와 함께 설명된 제2 인코딩 유닛(second encoding unit)의 제1 실시예(124a)가 적용된 인코딩 장치이고, 제2 예는, 도 5의 (B) 및 (C)와 함께 설명된 제2 인코딩 유닛(second encoding unit)의 제2 실시예(124b) 또는 제3 실시예(124c)가 적용된 인코딩 장치이다.
우선 도 9을 참조하면, 도 9을 참조하면, 오디오 신호 인코딩 장치(300)는 복수채널 인코더(305), 치찰음 검출 유닛(310), 제1 인코딩 유닛(first encoding unit)(322), 및 오디오 신호 인코더(330), 음성 신호 인코더(340), 및 멀티 플렉서(350)을 포함할 수 있다. 여기서 치찰음 검출 유닛(sibilant detecting unit)(310) 및 제1 인코딩 유닛(first encoding unit)(320)은 도 1과 함께 설명된 동일 명칭의 구성요소(110, 122)의 기능과 동일할 수 있다.
복수채널 인코더(305)는 복수의 채널 신호(둘 이상의 채널 신호)(이하, 멀티채널 신호)를 입력받아서, 다운믹스를 수행함으로써 모노 또는 스테레오의 다운믹스 신호를 생성하고, 다운믹스 신호를 멀티채널 신호로 업믹스하기 위해 필요한 공간 정보를 생성한다. 여기서 공간 정보(spatial information)는, 채널 레벨 차이 정보, 채널간 상관정보, 채널 예측 계수, 및 다운믹스 게인 정보 등을 포함할 수 있다. 만약, 오디오 신호 인코딩 장치(300)가 모노 신호를 수신할 경우, 복수 채널 인코더(305)는 모노 신호에 대해서 다운믹스하지 않고 바이패스할 수도 있음은 물론이다.
치찰음 검출 유닛(Sibilant detecting unit)(310)은 현재 프레임의 치찰음 정도을 검출하여 비-치찰음인 경우 오디오 신호를 제1 인코딩 유닛(first encoding unit)(322)에 전달하고, 치찰음인 경우, 오디오 신호를 제1 인코딩 유닛(first encoding unit)(322)을 바이패스하고 음성 신호 인코더(340)에 전달한다. 그리고 현재 프레임에 밴드 확장 방식 이 적용되는 지 여부를 지시하는 그 결과 밴드 확장 정보를 생성하여 멀티플렉서(350)에 전달한다.
제1 인코딩 유닛(first encoding unit)(322)는 광대역의 오디오 신호에 대 해, 앞서 도 1에서 설명한 바와 같은 주파수 도메인 기반의 밴드 확장 방식을 적용하여 협 대역의 스펙트럴 데이터 및 밴드 확장 정보를 생성한다.
오디오 신호 인코더(audio signal encoder)(330)는 다운믹스 신호의 특정 프레임 또는 특정 세그먼트가 큰 오디오 특성을 갖는 경우, 오디오 코딩 방식(audio coding scheme)에 따라 다운믹스 신호를 인코딩한다. 여기서 오디오 코딩 방식은 AAC (Advanced Audio Coding) 표준 또는 HE-AAC (High Efficiency Advanced Audio Coding) 표준에 따른 것일 수 있으나, 본 발명은 이에 한정되지 아니한다. 한편, 오디오 신호 인코더(340)는, MDCT(Modified Discrete Transform) 인코더에 해당할 수 있다.
음성 신호 인코더(speech signal encoder)(340)는 다운믹스 신호의 특정 프레임 또는 특정 세그먼트가 큰 음성 특성을 갖는 경우, 음성 코딩 방식(speech coding scheme)에 따라서 다운믹스 신호를 인코딩한다. 여기서 음성 코딩 방식은 AMR-WB(Adaptive multi-rate Wide-Band) 표준에 따른 것일 수 있으나, 본 발명은 이에 한정되지 아니한다. 한편, 음성 신호 인코더(350)는 앞서 도 5와 함께 설명한 바와 같이 선형 예측 부호화(LPC: Linear Prediction Coding) 인코딩 파트(124a-1, 124b-1, 124c-1)를 더 포함할 수 있다. 하모닉 신호가 시간축 상에서 높은 중복성을 가지는 경우, 과거 신호로부터 현재 신호를 예측하는 선형 예측에 의해 모델링될 수 있는데, 이 경우 선형 예측 부호화 방식을 채택하면 부호화 효율을 높을 수 있다. 한편, 음성 신호 인코더(340)는 타임 도메인 인코더에 해당할 수 있다.
멀티플렉서(350)는 공간정보, 코딩 스킴 정보, 대역확장 정보 및 스펙트럴 데이터 등을 다중화하여 오디오 신호 비트스트림을 생성한다.
도 10은 앞서 언급한 바와 같이 도 5의 (B) 및 (C)와 함께 설명된 제2 인코딩 유닛(second encoding unit)의 제2 실시예(124b) 또는 제3 실시예(124c)가 적용된 인코딩 장치로서, 도 9과 함께 설명된 제1 예와 거의 동일하나, 전체 대역에 해당하는 오디오 신호가 음성 신호 인코더(440)에서 인코딩되기 이전에 HBE 인코딩 파트(HBE Encoding Part)(424)(또는 PSDD 인코딩 파트(PSDD encoding part))에서 HBE 방식 또는 PSDD 방식에 의해 인코딩된다는 점에서 차이가 있다. HBE 인코딩 파트(HBE encoding part)(424)는 앞서 도 5와 설명한 바와 같이 시간 도메인 기반의 밴드 확장 방식에 따라 오디오 신호를 인코딩하여 HBE 정보를 생성한다. HBE 인코딩 파트(HBE encoding part)(424)는 PSDD 인코딩 파트(PSDD encoding part)(424)로 대체될 수 있는데, PSDD 인코딩 파트(PSDD encoding part)(424)는 앞서 도 6 내지 도 8과 함께 설명한 바와 같이 카피 밴드(copy band)의 정보를 이용하여 타깃 밴드(target band)를 인코딩하고, 그 결과 타깃 밴드(target band)를 복원하기 위한 PSDD 정보를 생성한다. 음성 신호 인코더(440)는 HBE 방식 또는 PSDD 방식에 의해 인코딩된 결과를 음성 신호 방식으로 인코딩한다. 물론 음성 신호 인코더(440)는 제1 예와 마찬가지로 LPC 인코딩 파트를 더 포함할 수 있다.
도 11는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 디코딩 장치의 제1 예이고, 도 12은 제2 예이다. 제1 예는, 도 5의 (A)와 함께 설명된 제2 디코딩 유닛(second decoding unit)의 제1 실시예(224a)가 적용된 인코딩 장치이고, 제2 예는, 도 5의 (B) 및 (C)와 함께 설명된 제2 디코딩 유 닛(second decoding unit)의 제2 실시예(224b) 또는 제3 실시예(224c)가 적용된 인코딩 장치이다.
도 11를 참조하면, 오디오 신호 디코딩 장치(500)는 디멀티플렉서(510), 오디오 신호 디코더(520), 음성 신호 디코더(530), 제1 디코딩 유닛(540), 복수채널 디코더(plural-channel decoder)(550)를 포함한다.
디멀티플렉서(demultiplexer)(510)는 오디오신호 비트스트림으로부터 스펙트럴 데이터, 코딩 스킴 정보, 대역확장 정보, 공간정보 등을 추출한다. 코딩 스킴 정보에 따라서 현재 프레임에 해당하는 오디오 신호를 오디오 신호 디코더(520) 또는 음성 신호 디코더(530)로 전달한다. 구체적으로, 코딩 스킴 정보가 밴드 확장 스킴이 현재 프레임에 적용되었음을 지시하는 경우, 오디오 신호를 오디오 신호 디코더(520)로 전달하고, 코딩 스킴 정보가 밴드 확장 스킴이 현재 프레임에 적용되지 않았음을 지시하는 경우, 오디오 신호를 음성 신호 디코더(530)으로 전달한다.
오디오 신호 디코더(audio signal decoder)(520)는, 다운믹스 신호에 해당하는 스펙트럴 데이터가 오디오 특성이 큰 경우, 오디오 코딩 방식으로 스펙트럴 데이터를 디코딩한다. 여기서 오디오 코딩 방식은 앞서 설명한 바와 같이, AAC 표준, HE-AAC 표준에 따를 수 있다. 한편 오디오 신호 디코더(520)는 역양자화부(미도시), 역변환부(미도시)를 포함할 수 있다. 따라서 오디오 신호 디코더(520)는 비트스트림을 통해 전송된 스펙트럴 데이터 및 스케일 팩터에 대해 역양자화 및 역변환을 수행할 수 있다.
음성 신호 디코더(speech signal decoder)(530)는 상기 스펙트럴 데이터가 음성 특성이 큰 경우, 음성 코딩 방식으로 다운믹스 신호를 디코딩한다. 음성 코딩 방식은, 앞서 설명한 바와 같이, AMR-WB(Adaptive multi-rate Wide-Band) 표준에 따를 수 있지만, 본 발명은 이에 한정되지 아니한다. 앞서 언급한 바와 같이 음성 신호 디코더(530)는 도 5와 함께 설명한 바와 같이, LPC 디코딩 파트(LPC decoding part)(224a-1, 224b-1, 224c-1)를 포함할 수 있다.
제1 디코딩 유닛(540)는 대역확장정보 비트스트림을 디코딩하고, 이 정보를 이용하여 오디오 신호에 앞서 설명한 주파수 도메인 기반의 대역 확장 스킴을 적용하여 고주파 대역의 오디오 신호를 생성한다.
복수채널 디코더(550)은 디코딩된 오디오 신호가 다운믹스인 경우, 공간정보를 이용하여 멀티채널 신호(스테레오 신호 포함)의 출력 채널 신호를 생성한다.
도 12는 앞서 언급한 바와 같이 도 5의 (B) 및 (C)와 함께 설명된 제2 디코딩 유닛(second decoding unit)의 제2 실시예(224b) 또는 제3 실시예(224c)가 적용된 디코딩 장치로서, 도 11과 함께 설명된 제1 예와 거의 동일하다. 그러나, 전체 대역에 해당하는 오디오 신호가 음성 신호 인코더(630)에서 디코딩된 이후에HBE 디코딩 파트(HBE decoding Part)(635)(또는 PSDD 디코딩 파트(PSDD decoding part))에서 HBE 방식 또는 PSDD 방식에 의해 디코딩된다는 점에서 차이가 있다. HBE 디코딩 파트(HBE decoding part)(635)는 앞서 설명한 바와 같이 HBE 정보를 이용하여 저주파의 여기 신호를 쉐이핑함으로써 고주파 신호를 생성한다. 한편 PSDD 디코딩 파트(PSDD decoding part)(635)는 카피 밴드(copy band)의 정보 및 PSDD 정보를 이용하여 타깃 밴드(target band)를 복원한다. 음성 신호 디코더(635)는 HBE 방식 또 는 PSDD 방식에 의해 인코딩된 결과를 음성 신호 방식으로 디코딩한다. 물론 음성 신호 인코더(635)는 제1 예와 마찬가지로 LPC 디코딩 파트(224a-1, 224b-1, 224c-1)를 더 포함할 수 있다.
본 발명에 따른 오디오 신호 처리 장치는 다양한 제품에 포함되어 이용될 수 있다. 이러한 제품은 크게 스탠드 얼론(stand alone) 군과 포터블(portable) 군으로 나뉠 수 있는데, 스탠드 얼론군은 티비, 모니터, 셋탑 박스 등을 포함할 수 있고, 포터블군은 PMP, 휴대폰, 네비게이션 등을 포함할 수 있다.
도 13은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계를 보여주는 도면이다. 우선 도 13를 참조하면, 유무선 통신부(710)는 유무선 통신 방식을 통해서 비트스트림을 수신한다. 구체적으로 유무선 통신부(710)는 유선통신부(710A), 적외선통신부(710B), 블루투스부(710C), 무선랜통신부(710D) 중 하나 이상을 포함할 수 있다.
사용자 인증부는(720)는 사용자 정보를 입력 받아서 사용자 인증을 수행하는 것으로서 지문인식부(720A), 홍채인식부(720B), 얼굴인식부(720C), 및 음성인식부(720D) 중 하나 이상을 포함할 수 있는데, 각각 지문, 홍채정보, 얼굴 윤곽 정보, 음성 정보를 입력받아서, 사용자 정보로 변환하고, 사용자 정보 및 기존 등록되어 있는 사용자 데이터와의 일치여부를 판단하여 사용자 인증을 수행할 수 있다.
입력부(730)는 사용자가 여러 종류의 명령을 입력하기 위한 입력장치로서, 키패드부(730A), 터치패드부(730B), 리모컨부(730C) 중 하나 이상을 포함할 수 있지만, 본 발명은 이에 한정되지 아니한다.
신호 코딩 유닛(740)는 유무선 통신부(710)를 통해 수신된 오디오 신호 및/또는 비디오 신호에 대해서 인코딩 또는 디코딩을 수행하고, 시간 도메인의 오디오 신호를 출력한다. 오디오 신호 처리 장치(745)를 포함하는데, 이는 앞서 설명한 본 발명의 일 실시예에 해당하는 것으로서, 이와 같이 오디오 처리 장치(745) 및 이를 포함한 신호 코딩 유닛은 하나 이상의 프로세서에 의해 구현될 수 있다.
제어부(750)는 입력장치들로부터 입력 신호를 수신하고, 신호 디코딩부(740)와 출력부(760)의 모든 프로세스를 제어한다. 출력부(760)는 신호 디코딩부(740)에 의해 생성된 출력 신호 등이 출력되는 구성요소로서, 스피커부(760A) 및 디스플레이부(760B)를 포함할 수 있다. 출력 신호가 오디오 신호일 때 출력 신호는 스피커로 출력되고, 비디오 신호일 때 출력 신호는 디스플레이를 통해 출력된다.
도 14는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도이다. 도 14는 도 13에서 도시된 제품에 해당하는 단말 및 서버와의 관계를 도시한 것으로서, 도 14의 (A)를 참조하면, 제1 단말(700.1) 및 제2 단말(700.2)이 각 단말들은 유무선 통신부를 통해서 데이터 내지 비트스트림을 양방향으로 통신할 수 있음을 알 수 있다. 도 14의 (B)를 참조하면, 서버(800) 및 제1 단말(700.1) 또한 서로 유무선 통신을 수행할 수 있음을 알 수 있다.
도 15는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 구성을 보여주는 도면이다. 도 15를 참조하면, 오디오 신호 처리 장치의 인코더 측(1100)은 타입 결정 유닛(1110), 제1 밴드 확장 인코딩 유닛(1120), 제2 밴드 확장 인코딩 유닛(1122), 및 멀티플렉서(1130)을 포함한다. 오디오 신호 처리 장치의 디코더 측 은(1200)은, 디멀티플렉서(1210), 제1 밴드 확장 디코딩 유닛(1220), 제2 밴드 확장 디코딩 유닛(1222)을 포함한다.
타입 결정 유닛(1110)은 입력되는 오디오 신호를 분석하여 트랜지언트 정도(transient proportion)를 검출한다. 타입 결정 유닛(1110)은 스테이셔너리(stationary) 구간과 트랜지언트(transient) 구간을 구분하고, 그 결과를 근거로 하여, 둘 이상의 밴드 확장 방식들 중에서 현재 프레임을 위한 특정 타입의 밴드 확장 방식을 결정하고, 그 결정된 방식을 식별하기 위한 타입 정보를 생성한다. 타입 결정 유닛의 구체적인 구성은 추후 도 16과 함께 후술하고자 한다.
제1 밴드 확장 인코딩 유닛(1120)은 제1 타입의 밴드 확장 방식에 따라서, 해당 프레임을 인코딩하고, 제2 밴드 확장 인코딩 유닛(1122)은 제2 타입의 밴드 확장 방식에 따라서, 해당 프레임을 인코딩한다. 제1 밴드 확장 인코딩 유닛(1122)은 밴드 패스 필터링(bandpass filtering), 타임 신축 처리(time stretching processing), 및 데시메이션 처리(decimation processing) 등을 수행할 수 있다. 제1 타입의 밴드 확장 방식 및 제2 타입의 밴드 확장 방식 등에 대해서도 도 16 등과 함께 구체적으로 설명하고자 한다.
멀티 플렉서(1130)은 제1 및 제2 밴드 확장 인코딩 유닛(1120, 1122)에 의해 생성된 저주파 대역(lower band)의 스펙트럴 데이터, 타입 결정 유닛(1110)에 의해 생성된 타입 정보 등을 멀티플렉싱하여, 오디오 신호 비트스트림을 생성한다.디코더 측(1200)의 디멀티플렉서(1210)는 오디오 신호 비트스트림으로부터 저주파 대역의 스펙트럴 데이터 및 타입 정보 등을 추출한다. 그런 다음 디멀티플렉서(1210)는 타입 정보가 어떤 밴드 확장 방식의 타입을 나타내는지에 따라서, 현재 프레임을 제1 밴드 확장 디코딩 유닛(1220) 또는 제2 밴드 확장 디코딩 유닛(1222)로 전달한다. 제1 밴드 확장 디코딩 유닛(1220)는 제1 밴드 확장 인코딩 유닛(1120)에서 인코딩된 제1 타입의 밴드 확장 방식에 따라서 역으로 현재 프레임을 디코딩한다. 나아가 제1 밴드 확장 디코딩 유닛(1222)은 밴드 패스 필터링(bandpass filtering), 타임 신축 처리(time stretching processing), 및 데시메이션 처리(decimation processing) 등을 수행할 수 있다. 마찬가지로, 제2 밴드 확장 디코딩 유닛(1222)은 제2 타입의 밴드 확장 방식에 따라서 현재 프레임을 디코딩함으로써, 저주파 대역의 스펙트럴 데이터를 이용하여 고주파 대역의 스펙트럴 데이터를 생성한다.
도 16은 도 15에서의 타입 결정 유닛(1110)의 세부 구성을 보여주는 도면이다. 타입 결정 유닛(1110)은 트랜지언트 검출 파트(1112) 및 타입 정보 생성 파트(1114)를 포함하고, 코딩 스킴 결정 파트(1140)와 연계되어 있다.
트랜지언트 검출 파트(1112)는 입력된 오디오 신호의 에너지를 분석하여, 스테이셔너리 구간과 트랜지언트 구간을 구분한다. 스테이셔너리 구간은 오디오 신호의 에너지가 평탄한 구간이고, 트랜지언트 구간은 오디오 신호의 에너지가 급격히 변화하는 구간일 수 있다. 트랜지언트 구간은 에너지가 급격하게 변화하는 구간이기 때문에, 청자는 밴드 확장 방식의 타입이 변화함에 따라 발생하는 아티팩트(artifact)를 인식하기가 쉽지 않다. 반면에 스테이셔너리 구간은 사운드가 잔잔하게 흐르는 구간이기 때문에, 이러한 구간에서 밴드 확장 방식의 타입이 바뀌게 되면 갑자기 아주 순간적으로 사운드가 중단되는 듯한 느낌이 들 수 있다. 따라서, 밴드 확장 방식의 타입을 제1 타입에서 제2 타입으로 변화시킬 필요가 있을 때, 이러한 스테이셔너리한 구간이 아닌 트랜지언트 구간에서 그 타입을 바꾸면, 마치 심리 음향 모델에 따른 마스킹 효과와 같이 타입 변화에 따른 artifact를 숨길 수 있다.
이와 같이 타입 정보 생성 파트(1114)는 현재 프레임에 대해, 둘 이상의 밴드 확장 방식 중 특정 타입의 밴드 확장 방식을 결정하고, 그 결정된 밴드 확장 방식을 나타내는 타입 정보를 생성한다. 둘 이상의 밴드 확장 방식에 대해서는 추후 도 18과 함께 후술하고자 한다.
특정의 밴드 확장 방식을 결정하기 위해서, 우선 코딩 스킴 결정 파트(1140)로부터 수신한 코딩 스킴을 참조하여 임시로 밴드 확장 방식의 타입을 결정하고, 트랜지언트 검출 파트(1112)로부터 수신한 정보를 참조하여, 밴드 확장 방식의 타입을 확정적으로 결정한다. 이하 도 17과 함께 이에 대해 구체적으로 설명하고자 한다.
도 17은 밴드 확장 방식의 타입을 결정하는 과정을 설명하기 위한 도면이다. 도 17을 참조하면, 우선 시간축에 따라서 여러 개의 프레임(fi, fn, ft)이 존재한다. 각 프레임별로 주파수 도메인 기반의 오디오 코딩 방식(coding scheme 1)과 시간 도메인 기반의 스피치 코딩 방식(coding scheme 2)이 정해질 수 있다. 즉, 이 코딩 스킴에 따라서 그 코딩 스킴에 적합한 밴드 확장 방식의 타입이 임시적으로 정해질 수 있다. 예를 들어, 오디오 코딩 방식(coding scheme 1)에 해당하는 프레 임(fi ~ fn -2)에 대해서는 제1 타입의 밴드 확장 방식이, 스피치 코딩 방식(coding scheme 2)에 해당하는 프레임(fn -1 ~ ft)에 대해서는 제1 타입의 밴드 확장 방식이 임시로 정해질 수 있는 것이다. 그런 다음, 오디오 신호가 스테이셔너리한 구간인지 아니면 트랜지언트한 구간인지를 참조하여, 임시로 결정된 타입을 보정함으로써 최종적으로 밴드 확장 방식의 타입을 확정한다. 예를 들어, 도 17에 나타난 바와 같이 임시로 결정된 밴드 확장 방식의 타입이 fn -2 프레임에서 fn -1 프레임 경계에서 변하도록 할 경우 fn -2 프레임 및 fn -1 프레임은 스테이셔너리한 구간이기 때문에 밴드 확장 방식의 타입의 변화에 따른 아티팩트(artifact)가 감춰지지 않는다. 따라서, 밴드 확장 방식의 변화가 트랜지언트한 구간(fn, fn +1)에서 이루어지도록 임시로 결정된 밴드 확장 방식의 타입을 보정하는 것이다. 다시 말해서, fn -1 프레임 및 fn 프레임에서는 스테이셔너리한 구간이므로 밴드 확장 방식의 타입은 기존대로 제1 타입으로 유지하다가, fn +1 프레임부터 제2 타입의 밴드 확장 방식을 적용하는 것이다. 요컨대 임시로 결정된 타입은 fn -1 프레임 및 fn 프레임 이외에서는 유지되고, 상기 프레임에 대해서만 최종 단계에서 수정되었다.
도 18은 여러 가지 타입의 밴드 확장 방식을 설명하기 위한 도면이다. 여기서 설명될 제1 타입의 밴드 확장 방식은 앞서 도 15와 함께 설명된, 제1 밴드 확장 방식에 해당되고, 여기서 설명될 제2 타입에 밴드 확장 방식은 도 15와 함께 설명된 제2 밴드 확장 방식에 해당될 수 있다. 이와는 반대로, 여기서 설명될 제1 타입 의 밴드 확장 방식은 앞서 도 15와 함께 설명된 제2 밴드 확장 방식에 해당되고, 여기서 설명된 제2 타입의 밴드 확장 방식은 앞서 도 15와 함께 설명된 제1 밴드 확장 방식에 해당할 수도 있다.
앞서 설명한 바와 같이 밴드 확장 방식은 협대역의 스펙트럴 데이터를 이용하여 광대역의 스펙트럴 데이터를 생성하는데, 이때 협대역은 저주파 대역(lower band)에 해당할 수 있고, 새로 생성되는 밴드는 고주파 대역(higher band)에 해당할 수 있다. 우선 도 18의 (A)을 참조하면, 제1 타입의 밴드 확장 방식의 일 예가 도시되어 있다. 제1 밴드 확장 방식은 협대역(또는 저주파 대역)의 제1 데이터 영역을 카피 밴드(copy band)로 하여 고주파 대역을 복원한다. 여기서 제1 데이터 영역은, 수신된 협대역의 전부일수도 있고, 복수 개의 포션일 수 있는데, 여기서 하나의 포션은 아래 설명될 제2 데이터 영역에 해당할 수 있고, 제1 데이터 영역은 제2 데이터 영역보다 클 수 있다.
반면, 도 18의 (B)-1 및 (B)-2를 참조하면, 제2 대역 확장 방식의 제1 예(type 2-1) 및 제2 예(type 2-2)가 도시되어 있다. 제2 타입의 대역 확장 방식은 제2 데이터 영역을 카피 밴드(copy band)로 이용하여 고주파 대역의 복원에 사용한다. 여기서 제2 데이터 영역은, 수신된 협대역의 포션(portion)일 수 있고, 상기 제1 데이터 영역보다 작은 대역일 수 있다. 한편,제2 타입 중 제1 예의 경우 고주파 대역을 생성하는 데 사용되는 카피 밴드(cb)들이 연속되어 있고, 제2 타입 중 제2 예의 경우, 카피 밴드들이 연속되어 있지 않고 이산적으로(discrete) 분포되어 있다.
도 19는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 인코딩 장치의 구성을 보여주는 도면이다. 도 19를 참조하면, 오디오 신호 인코딩 장치(1300)는 복수채널 인코더(1305), 타입 결정 유닛 (1310), 제1 밴드 확장 인코딩 유닛(1320), 제2 밴드 확장 디코딩 유닛(1322), 오디오 신호 인코더(1330), 음성 신호 인코더(1340) 및 멀티플렉서(1350)을 포함한다. 여기서 타입 결정 유닛(1310), 제1 밴드 확장 인코딩 유닛(1320), 및 제2 밴드 확장 인코딩 유닛(1322)은 도 15와 함께 설명된 동일 명칭의 구성요소(1110, 1120, 1122)의 기능과 동일할 수 있다.
복수채널 인코더(1305)는 복수의 채널 신호(둘 이상의 채널 신호)(이하, 멀티채널 신호)를 입력받아서, 다운믹스를 수행함으로써 모노 또는 스테레오의 다운믹스 신호를 생성하고, 다운믹스 신호를 멀티채널 신호로 업믹스하기 위해 필요한 공간 정보를 생성한다. 여기서 공간 정보(spatial information)는, 채널 레벨 차이 정보, 채널간 상관정보, 채널 예측 계수, 및 다운믹스 게인 정보 등을 포함할 수 있다. 만약, 오디오 신호 인코딩 장치(1300)가 모노 신호를 수신할 경우, 복수 채널 인코더(1305)는 모노 신호에 대해서 다운믹스하지 않고 바이패스할 수도 있음은 물론이다.
타입 결정 유닛(1310)은 현재 프레임에 적용할 밴드 확장 방식의 타입을 결정하여 그 타입을 지시하는 타입 정보를 생성한다. 타입 결정 유닛(1310)은 현재 프레임에 제1 밴드 확장 방식을 적용할 경우, 제1 밴드 확장 인코딩 유닛(1320)으로 오디오 신호를 전달하고, 제2 밴드 확장 방식을 적용할 경우, 제2 밴드 확장 인 코딩 유닛(1322)으로 오디오 신호를 전달한다. 제1 밴드 확장 인코딩 유닛(1320) 및 제2 밴드 확장 인코딩 유닛(1322)은 각각의 타입에 따른 밴드 확장 방식을 적용함으로써, 저주파 대역을 이용하여 고주파 대역을 복원하기 위한 밴드 확장 정보를 생성한다. 그런 다음, 밴드 확장 방식으로 인코딩된 신호는 밴드 확장 방식의 타입과 무관하게, 신호의 특성에 따라 오디오 신호 인코더(1330) 또는 음성 신호 인코더(134)에 의해 인코딩된다. 신호의 특성에 따른 코딩 스킴 정보는 도 16과 함께 앞서 설명한 코딩 스킴 결정 파트(1140)에 의해 생성된 정보일 수 있는데, 이 정보 또한 다른 정보와 마찬가지로 멀티플렉서(1350)에 전달될 수 있다.
오디오 신호 인코더(1330)는 다운믹스 신호의 특정 프레임 또는 특정 세그먼트가 큰 오디오 특성을 갖는 경우, 오디오 코딩 방식(audio coding scheme)에 따라 다운믹스 신호를 인코딩한다. 여기서 오디오 코딩 방식은 AAC (Advanced Audio Coding) 표준 또는 HE-AAC (High Efficiency Advanced Audio Coding) 표준에 따른 것일 수 있으나, 본 발명은 이에 한정되지 아니한다. 한편, 오디오 신호 인코더(1340)는, MDCT(Modified Discrete Transform) 인코더에 해당할 수 있다.
음성 신호 인코더(1340)는 다운믹스 신호의 특정 프레임 또는 특정 세그먼트가 큰 음성 특성을 갖는 경우, 음성 코딩 방식(speech coding scheme)에 따라서 다운믹스 신호를 인코딩한다. 여기서 음성 코딩 방식은 AMR-WB(Adaptive multi-rate Wide-Band) 표준에 따른 것일 수 있으나, 본 발명은 이에 한정되지 아니한다. 한편, 음성 신호 인코더(1350)는 선형 예측 부호화(LPC: Linear Prediction Coding) 인코딩 파트를 더 포함할 수 있다. 하모닉 신호가 시간축 상에서 높은 중복성을 가 지는 경우, 과거 신호로부터 현재 신호를 예측하는 선형 예측에 의해 모델링될 수 있는데, 이 경우 선형 예측 부호화 방식을 채택하면 부호화 효율을 높을 수 있다. 한편, 음성 신호 인코더(1340)는 타임 도메인 인코더에 해당할 수 있다.
멀티플렉서(1350)는 공간정보, 코딩 스킴 정보, 대역확장 정보 및 스펙트럴 데이터 등을 다중화하여 오디오 신호 비트스트림을 생성한다.
도 20은 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 디코딩 장치의 구성을 보여주는 도면이다. 도 20을 참조하면, 오디오 신호 디코딩 장치(1400)는 디멀티플렉서(1410), 오디오 신호 디코더(1420), 음성 신호 디코더(1430), 제1 밴드 확장 디코딩 유닛(1440), 제2 밴드 확장 디코딩 유닛(1442), 및 복수채널 디코더(1450)를 포함한다.
디멀티플렉서(1410)는 오디오신호 비트스트림으로부터 스펙트럴 데이터, 코딩 스킴 정보, 타입 정보, 대역확장 정보, 공간정보 등을 추출한다. 코딩 스킴 정보에 따라서 현재 프레임에 해당하는 오디오 신호를 오디오 신호 디코더(1420) 또는 음성 신호 디코더(1430)로 전달한다.
오디오 신호 디코더(1420)는, 다운믹스 신호에 해당하는 스펙트럴 데이터가 오디오 특성이 큰 경우, 오디오 코딩 방식으로 스펙트럴 데이터를 디코딩한다. 여기서 오디오 코딩 방식은 앞서 설명한 바와 같이, AAC 표준, HE-AAC 표준에 따를 수 있다. 한편 오디오 신호 디코더(1420)는 역양자화부(미도시), 역변환부(미도시)를 포함할 수 있다. 따라서 오디오 신호 디코더(1420)는 비트스트림을 통해 전송된 스펙트럴 데이터 및 스케일 팩터에 대해 역양자화 및 역변환을 수행할 수 있다.
음성 신호 디코더(1430)는 상기 스펙트럴 데이터가 음성 특성이 큰 경우, 음성 코딩 방식으로 다운믹스 신호를 디코딩한다. 음성 코딩 방식은, 앞서 설명한 바와 같이, AMR-WB(Adaptive multi-rate Wide-Band) 표준에 따를 수 있지만, 본 발명은 이에 한정되지 아니한다. 음성 신호 디코더(1430)는 LPC 디코딩 파트를 포함할 수 있다.
그리고 앞서 설명한 바와 같이, 둘 이상의 밴드 확장 방식들 중 특정한 확장 정보를 지시하는 타입 정보에 따라서, 오디오 신호는 제1 밴드 확장 디코딩 유닛(1440) 또는 제2 밴드 확장 디코딩 유닛(1442)로 전달된다. 제1 / 제2 밴드 확장 디코딩 유닛(1440, 1442)은 해당 타입의 대역 확장 방식에 따라서, 협대역의 스펙트럴 데이터 중 일부 또는 전부를 이용하여 광대역의 스펙트럴 데이터를 복원한다.
복수채널 디코더(1450)은 디코딩된 오디오 신호가 다운믹스인 경우, 공간정보를 이용하여 멀티채널 신호(스테레오 신호 포함)의 출력 채널 신호를 생성한다.
본 발명에 따른 오디오 신호 처리 장치는 다양한 제품에 포함되어 이용될 수 있다. 이러한 제품은 크게 스탠드 얼론(stand alone) 군과 포터블(portable) 군으로 나뉠 수 있는데, 스탠드 얼론군은 티비, 모니터, 셋탑 박스 등을 포함할 수 있고, 포터블군은 PMP, 휴대폰, 네비게이션 등을 포함할 수 있다.
도 21은 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 구현된 제품의 개략적인 구성을 보여주는 도면이고, 도 22는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도이다. 우선, 도 21을 참조하면, 통신부(1510), 사용자 인증부(1520), 입력부(1530), 신호 코딩 유닛(1540), 제어 부(1550), 및 출력부(1560)을 포함하는데, 신호 코딩 유닛(1540)을 제외한 각 구성요소는, 앞서 도 12와 함께 설명된 동일 명칭의 구성요소와 동일한 기능을 수행한다. 한편 신호 코딩 유닛(1540)는 유무선 통신부(1510)를 통해 수신된 오디오 신호 및/또는 비디오 신호에 대해서 인코딩 또는 디코딩을 수행하고, 시간 도메인의 오디오 신호를 출력한다. 신호 코딩 유닛은 오디오 신호 처리 장치(1545)를 포함하는데, 이는 앞서 도 15 내지 도 20과 함께 설명한 본 발명의 다른 실시예에 해당하는 것으로서, 이와 같이 오디오 처리 장치(1545) 및 이를 포함한 신호 코딩 유닛은 하나 이상의 프로세서에 의해 구현될 수 있다.
도 22는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도이다. 도 22는 도 21에서 도시된 제품에 해당하는 단말 및 서버와의 관계를 도시한 것으로서, 도 22의 (A)를 참조하면, 제1 단말(1500.1) 및 제2 단말(1500.2)이 각 단말들은 유무선 통신부를 통해서 데이터 내지 비트스트림을 양방향으로 통신할 수 있음을 알 수 있다. 도 22의 (B)를 참조하면, 서버(1600) 및 제1 단말(1500.1) 또한 서로 유무선 통신을 수행할 수 있음을 알 수 있다.
본 발명에 따른 오디오 신호 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디 스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명은 오디오 신호를 인코딩하고 디코딩하는 데 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 구성도.
도 2는 도 1에서의 치찰음 검출 유닛(sibilant detecting unit)의 세부 구성도.
도 3의 치찰음 검출의 원리를 설명하기 위한 도면.
도 4는 비 치찰음(non-sibilant)의 경우와 치찰음(sibilant)의 경우의 에너지 스펙트럼의 일 예.
도 5는 도 1에서의 제2 인코딩 유닛(second encoding unit) 및 제2 디코딩 유닛(second decoding unit)의 세부 구성도의 예들.
도 6은 비 치찰음 인코딩/디코딩 방식의 일 예인 PSDD(Partial Spectral Data Duplication) 방식의 제1 실시예 내지 제2 실시예를 설명하기 위한 도면.
도 7 및 도 8는 PSDD 방식에서 프레임의 길이가 서로 다른 경우의 방식을 설명하기 위한 도면.
도 9은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 인코딩 장치의 제1 예.
도 10은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 인코딩 장치의 제2 예.
도 11는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 디코딩 장치의 제1 예.
도 12은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 적용된 오디 오 신호 디코딩 장치의 제2 예.
도 13는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품의 개략적인 구성도.
도 14는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도.
도 15는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 구성도.
도 16은 도 15에서의 타입 결정 유닛(1110)의 세부 구성도.
도 17은 밴드 확장 방식의 타입을 결정하는 과정을 설명하기 위한 도면.
도 18은 여러 가지 타입의 밴드 확장 방식을 설명하기 위한 도면이다.
도 19는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 인코딩 장치의 구성도.
도 20은 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 적용된 오디오 신호 디코딩 장치의 구성도.
도 21은 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 구현된 제품의 개략적인 구성도.
도 22는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도.

Claims (19)

  1. 오디오 처리 장치에 의해서, 제1 밴드 확장 방식 및 제2 밴드 확장 방식을 포함하는 복수의 밴드 확장 방식 중에서, 오디오 신호의 현재 프레임에 대한 특정 밴드 확장 방식을 지시하는 타입 정보, 및 저주파 대역의 스펙트럴 데이터를 수신하는 단계;
    상기 타입 정보가 상기 현재 프레임에 대해 상기 제1 밴드 확장 방식을 지시하는 경우, 제1 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 단계; 및,
    상기 타입 정보가 상기 현재 프레임에 대해 상기 제2 밴드 확장 방식을 지시하는 경우, 제2 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 단계를 포함하고,
    상기 제1 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제1 데이터 영역을 기초로 하고, 상기 제2 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제2 데이터 영역을 기초로 하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제1 항에 있어서,
    상기 제1 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 포션이고, 상기 제2 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 상기 포션을 포함하는 복수의 포션인 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제 1 항에 있어서,
    상기 제1 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 포션이고, 상기 제2 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 전부인 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제 1 항에 있어서,
    상기 제2 데이터 영역은 상기 제1 데이터 영역보다 큰 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제 1 항에 있어서,
    상기 고주파 대역은 경계 주파수와 같거나 높은 하나 이상의 대역을 포함하고, 상기 저주파 대역은 상기 경계 주파수와 같거나 낮은 하나 이상의 대역을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제1 항에 있어서,
    상기 제1 밴드 확장 방식은 대역통과 필터링, 타임신축 처리, 데시메이션 처 리 중 하나 이상의 동작을 이용하여 수행되는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 제 1 항에 있어서,
    포락선 정보를 포함하는 밴드 확장 정보를 수신하는 단계를 더 포함하고,
    상기 제1 밴드 확장 방식 또는 상기 제2 밴드 확장 방식은 상기 밴드 확장 방식을 이용하여 수행되는 것을 특징으로 하는 오디오 신호 처리 방법.
  8. 제 1 항에 있어서,
    상기 저주파 대역의 스펙트럴 데이터를 주파수 도메인 상의 오디오 코딩 방식 또는 시간 도메인 상의 스피치 코딩 방식으로 디코딩하는 단계를 더 포함하고,
    상기 고주파 대역의 스펙트럴 데이터는 상기 디코딩된 저주파 대역의 스펙트럴 데이터를 이용하여 생성되는 것임을 특징으로 하는 오디오 신호 처리 방법.
  9. 제1 밴드 확장 방식 및 제2 밴드 확장 방식을 포함하는 복수의 밴드 확장 방식 중에서, 오디오 신호의 현재 프레임에 대한 특정 밴드 확장 방식을 지시하는 타입 정보, 및 저주파 대역의 스펙트럴 데이터를 수신하는 디멀티플렉서;
    상기 타입 정보가 상기 현재 프레임에 대해 상기 제1 밴드 확장 방식을 지시하는 경우, 제1 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 제1 밴드 확장 디코딩 유닛; 및,
    상기 타입 정보가 상기 현재 프레임에 대해 상기 제2 밴드 확장 방식을 지시하는 경우, 제2 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 제2 밴드 확장 디코딩 유닛을 포함하고,
    상기 제1 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제1 데이터 영역을 기초로 하고, 상기 제2 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제2 데이터 영역을 기초로 하는 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 제 9 항에 있어서,
    상기 제1 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 포션이고, 상기 제2 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 상기 포션을 포함하는 복수의 포션인 것을 특징으로 하는 오디오 신호 처리 장치.
  11. 제 9 항에 있어서,
    상기 제1 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 포션이고, 상기 제2 데이터 영역은 상기 저주파 대역의 스펙트럴 데이터의 전부인 것을 특징으로 하는 오디오 신호 처리 장치.
  12. 제 9 항에 있어서,
    상기 제2 데이터 영역은 상기 제1 데이터 영역보다 큰 것을 특징으로 하는 오디오 신호 처리 장치.
  13. 제 9 항에 있어서,
    상기 고주파 대역은 경계 주파수와 같거나 높은 하나 이상의 대역을 포함하고, 상기 저주파 대역은 상기 경계 주파수와 같거나 낮은 하나 이상의 대역을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  14. 제9 항에 있어서,
    상기 제1 밴드 확장 방식은 대역통과 필터링, 타임신축 처리, 데시메이션 처리 중 하나 이상의 동작을 이용하여 수행되는 것을 특징으로 하는 오디오 신호 처리 장치.
  15. 제 9 항에 있어서,
    상기 디멀티플렉서는 포락선 정보를 포함하는 밴드 확장 정보를 더 수신하고,
    상기 제1 밴드 확장 방식 또는 상기 제2 밴드 확장 방식은 상기 밴드 확장 방식을 이용하여 수행되는 것을 특징으로 하는 오디오 신호 처리 장치.
  16. 제 9 항에 있어서,
    상기 저주파 대역의 스펙트럴 데이터를 주파수 도메인 상의 오디오 코딩 방식으로 디코딩하는 오디오 신호 디코더; 및,
    상기 저주파 대역의 스펙트럴 데이터를 시간 도메인 상의 음성 코딩 방식으로 디코딩 하는 음성 신호 디코더를 더 포함하고,
    상기 고주파 대역의 스펙트럴 데이터는 상기 디코딩된 저주파 대역의 스펙트럴 데이터를 이용하여 생성되는 것임을 특징으로 하는 오디오 신호 처리 장치.
  17. 오디오 처리 장치에 의해, 오디오 신호의 현재 프레임에 대한 트랜지언트 정도를 검출하는 단계;
    상기 트랜지언트 정도를 근거로 하여, 제1 밴드 확장 방식 및 제2 밴드 확장 방식을 포함하는 복수의 밴드 확장 방식들 중 현재 프레임에 대한 특정 밴드 확장 방식을 결정하는 단계;
    상기 특정 밴드 확장 방식을 지시하는 타입 정보를 생성하는 단계;
    상기 특정 밴드 확장 방식이 상기 현재 프레임에 대해서 상기 제1 밴드 확장 방식인 경우, 상기 제1 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 고주파 대역의 스펙트럴 데이터를 생성하는 단계;
    상기 특정 밴드 확장 방식이 상기 현재 프레임에 대해서 상기 제2 밴드 확장 방식인 경우, 상기 제2 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 상기 고주파 대역의 스펙트럴 데이터를 생성하는 단계; 및
    상기 타입 정보 및 상기 저주파 대역의 스펙트럴 데이터를 전송하는 단계를 포함하고,
    상기 제1 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제1 데이터 영역을 기초로 하고, 상기 제2 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제2 데이터 영역을 기초로 하는 것을 특징으로 하는 오디오 신호 처리 방법.
  18. 오디오 신호의 현재 프레임에 대한 트랜지언트 정도를 검출하는 트랜지언트 검출 파트;
    상기 트랜지언트 정도를 근거로 하여, 제1 밴드 확장 방식 및 제2 밴드 확장 방식을 포함하는 복수의 밴드 확장 방식들 중 현재 프레임에 대한 특정 밴드 확장 방식을 결정하고, 상기 특정 밴드 확장 방식을 지시하는 타입 정보를 생성하는 타입 정보 생성 파트;
    상기 특정 밴드 확장 방식이 상기 현재 프레임에 대해서 상기 제1 밴드 확장 방식인 경우, 상기 제1 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 고주파 대역의 스펙트럴 데이터를 생성하는 제1 밴드 확장 인코딩 유닛;
    상기 특정 밴드 확장 방식이 상기 현재 프레임에 대해서 상기 제2 밴드 확장 방식인 경우, 상기 제2 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 상기 고주파 대역의 스펙트럴 데이터를 생성하는 제2 밴드 확장 인코딩 유닛; 및
    상기 타입 정보 및 상기 저주파 대역의 스펙트럴 데이터를 전송하는 멀티플렉서를 포함하고,
    상기 제1 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제1 데이터 영역을 기초로 하고, 상기 제2 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제2 데이터 영역을 기초로 하는 것을 특징으로 하는 오디오 신호 처리 장치.
  19. 오디오 처리 장치에 의해서, 제1 밴드 확장 방식 및 제2 밴드 확장 방식을 포함하는 복수의 밴드 확장 방식 중에서, 오디오 신호의 현재 프레임에 대한 특정 밴드 확장 방식을 지시하는 타입 정보, 및 저주파 대역의 스펙트럴 데이터를 수신하는 단계;
    상기 타입 정보가 상기 현재 프레임에 대해 상기 제1 밴드 확장 방식을 지시하는 경우, 제1 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 단계; 및,
    상기 타입 정보가 상기 현재 프레임에 대해 상기 제2 밴드 확장 방식을 지시하는 경우, 제2 밴드 확장 방식을 수행함으로써 상기 저주파 대역의 스펙트럴 데이터를 이용하여 현재 프레임의 고주파 대역의 스펙트럴 데이터를 생성하는 단계를 포함하고,
    상기 제1 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제1 데이터 영역을 기초로 하고, 상기 제2 밴드 확장 방식은 상기 저주파 대역의 스펙트럴 데이터의 제2 데이터 영역을 기초로 하고,
    상기 단계를 포함하는 명령들이 저장되어 있고, 그 명령들은 프로세서에 의해 수행될 때, 상기 프로세서가 동작을 수행하도록 하는 수행하는 컴퓨터가 읽을 수 있는 저장매체.
KR1020090090705A 2008-09-25 2009-09-24 오디오 신호 처리 방법 및 장치 KR101108955B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10005705.8A EP2224433B1 (en) 2008-09-25 2009-09-25 An apparatus for processing an audio signal and method thereof
EP09012221.9A EP2169670B1 (en) 2008-09-25 2009-09-25 An apparatus for processing an audio signal and method thereof
US12/567,559 US8831958B2 (en) 2008-09-25 2009-09-25 Method and an apparatus for a bandwidth extension using different schemes
PCT/KR2009/005499 WO2010036061A2 (en) 2008-09-25 2009-09-25 An apparatus for processing an audio signal and method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10026308P 2008-09-25 2008-09-25
US61/100,263 2008-09-25
US11864708P 2008-11-30 2008-11-30
US61/118,647 2008-11-30

Publications (2)

Publication Number Publication Date
KR20100035128A true KR20100035128A (ko) 2010-04-02
KR101108955B1 KR101108955B1 (ko) 2012-02-06

Family

ID=42213077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090090705A KR101108955B1 (ko) 2008-09-25 2009-09-24 오디오 신호 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101108955B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170093884A (ko) * 2014-12-03 2017-08-16 피터 그라함 크레이븐 고해상도 오디오의 사전-응답 주파수에서 그룹 딜레이를 갖는 비선형 필터
KR102331274B1 (ko) * 2020-11-26 2021-12-01 주식회사 버시스 사용자의 인터랙션을 이용한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션
US11579838B2 (en) 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0004818D0 (sv) * 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170093884A (ko) * 2014-12-03 2017-08-16 피터 그라함 크레이븐 고해상도 오디오의 사전-응답 주파수에서 그룹 딜레이를 갖는 비선형 필터
KR102331274B1 (ko) * 2020-11-26 2021-12-01 주식회사 버시스 사용자의 인터랙션을 이용한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션
US11579838B2 (en) 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same

Also Published As

Publication number Publication date
KR101108955B1 (ko) 2012-02-06

Similar Documents

Publication Publication Date Title
EP2169670B1 (en) An apparatus for processing an audio signal and method thereof
JP7383067B2 (ja) 高度なスペクトラム拡張を使用して量子化ノイズを低減するための圧縮伸張装置および方法
JP7135132B2 (ja) 周波数ドメインプロセッサ、時間ドメインプロセッサ及び連続的な初期化のためのクロスプロセッサを使用するオーディオ符号器及び復号器
KR102067044B1 (ko) 과도 프로세싱을 향상시키기 위한 사후 프로세서, 사전 프로세서, 오디오 인코더, 오디오 디코더, 및 관련 방법
JP6170520B2 (ja) オーディオ及び／またはスピーチ信号符号化及び／または復号化方法及び装置
CN107077858B (zh) 使用具有全带隙填充的频域处理器以及时域处理器的音频编码器和解码器
JP5485909B2 (ja) オーディオ信号処理方法及び装置
JP5108960B2 (ja) オーディオ信号処理方法及び装置
KR101792712B1 (ko) 주파수 도메인 내의 선형 예측 코딩 기반 코딩을 위한 저주파수 강조
EP3069337B1 (en) Method and apparatus for encoding an audio signal
KR101108955B1 (ko) 오디오 신호 처리 방법 및 장치
WO2010035972A2 (en) An apparatus for processing an audio signal and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161214

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171214

Year of fee payment: 7