KR20100007738A - 음성/오디오 통합 신호의 부호화/복호화 장치 - Google Patents

음성/오디오 통합 신호의 부호화/복호화 장치 Download PDF

Info

Publication number
KR20100007738A
KR20100007738A KR1020090061607A KR20090061607A KR20100007738A KR 20100007738 A KR20100007738 A KR 20100007738A KR 1020090061607 A KR1020090061607 A KR 1020090061607A KR 20090061607 A KR20090061607 A KR 20090061607A KR 20100007738 A KR20100007738 A KR 20100007738A
Authority
KR
South Korea
Prior art keywords
module
encoding
signal
decoding
audio
Prior art date
Application number
KR1020090061607A
Other languages
English (en)
Inventor
이태진
백승권
김민제
장대영
강경옥
홍진우
박호종
박영철
Original Assignee
한국전자통신연구원
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to JP2011518644A priority Critical patent/JP2011528134A/ja
Priority to CN2009801357117A priority patent/CN102150205B/zh
Priority to EP20166657.5A priority patent/EP3706122A1/en
Priority to EP09798078.3A priority patent/EP2302623B1/en
Priority to PCT/KR2009/003854 priority patent/WO2010008175A2/ko
Priority to US13/054,377 priority patent/US8959015B2/en
Publication of KR20100007738A publication Critical patent/KR20100007738A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

음성/오디오 통합 신호의 부호화/복호화 장치가 개시된다. 음성/오디오 통합 신호의 부호화 장치는, 입력 신호의 특성을 분석하여 상기 입력 신호의 제1 프레임을 부호화하기 위한 제1 부호화 모듈을 선택하는 모듈 선택부, 상기 모듈 선택부의 선택에 따라, 상기 입력 신호를 부호화하여 음성 비트열을 생성하는 음성 부호화부, 상기 모듈 선택부의 선택에 따라, 상기 입력 신호를 부호화하여 오디오 비트열을 생성하는 오디오 부호화부 및 상기 모듈 선택부의 선택에 따라, 상기 음성 부호화부 또는 상기 오디오 부호화부로부터 출력 비트열을 생성하는 비트스트림 생성부를 포함한다.
음성, 오디오, 통합 부호화, 통합 복호화, 반송파 동조회로, 과거 모듈

Description

음성/오디오 통합 신호의 부호화/복호화 장치{APPARATUS FOR ENCODING AND DECODING OF INTEGRATED VOICE AND MUSIC}
음성/오디오 통합 신호의 부호화/복호화 장치 및 그 방법에 관한 것으로 특히, 코덱(codec)이 서로 다른 구조로 동작하는 2개 이상의 부호화/복호화 모듈을 가지고 각 동작 프레임마다 입력의 특성에 따라 다수의 내부 모듈 중에서 하나를 선택하여 동작하는 경우에, 프레임 진행에 따라 선택된 모듈이 변경될 때 발생하는 신호 왜곡 문제를 해결하여 왜곡 없이 모듈 변경이 가능하도록 하는 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술개발].
음성 신호와 오디오 신호는 서로 다른 특성을 가지며, 각 신호의 고유 특성을 활용하여 각 신호에 특화된 음성 코덱과 오디오 코덱이 독립적으로 연구되고 각각의 표준 코덱이 개발되었다.
최근 통신 및 방송 서비스가 통합됨에 따라 다양한 특성의 음성 및 오디오 신호를 하나의 코덱으로 통합적으로 처리하는 것이 필요하게 되었다. 그러나, 기존의 음성 코덱 또는 오디오 코덱은 각각 통합 코덱이 요구하는 성능을 제공하지 못하였다. 즉, 최고 성능을 가지는 오디오 코덱은 음성 신호에 대하여 만족스러운 성능을 제공하지 못하고, 최고 성능을 가지는 음성 코덱은 오디오 신호에 대하여 만족스러운 성능을 제공하지 못하였는바, 기존의 코덱은 통합 음성/오디오 코덱으로 사용되지 못하였다.
따라서, 입력 신호의 특징에 따라 해당 모듈을 선택하여 각 신호에 최적화된 부호화/복호화를 수행할 수 있는 기술이 요구된다.
본 발명은 음성 코덱 모듈과 오디오 코덱 모듈을 결합하고, 입력 신호의 특성에 따라 코덱 모듈을 선택하여 적용함으로써, 보다 뛰어난 성능을 나타내는 음성/오디오 통합 부호화/복호화 장치 및 방법을 제공한다.
본 발명은 시간 진행에 따라 선택된 코덱 모듈이 변경될 때 과거 모듈의 정보를 이용함으로써, 각 모듈 동작의 불연속에 의하여 발생하는 왜곡 문제를 해결하는 음성/오디오 통합 부호화/복호화 장치 및 방법을 제공한다.
본 발명은 TDAC를 요구하는 MDCT 모듈에서 중첩-합을 위한 이전 정보가 제공되지 않을 경우에 추가적인 방법을 사용함으로써, TDAC를 가능하게 하여 정상적인 MDCT 기반 코덱 동작을 수행하도록 하는 음성/오디오 통합 부호화/복호화 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 음성/오디오 통합 부호화 장치는, 입력 신호의 특성을 분석하여 상기 입력 신호의 제1 프레임을 부호화하기 위한 제1 부호화 모듈을 선택하는 모듈 선택부, 상기 모듈 선택부의 선택에 따라, 상기 입력 신호를 부호화하여 음성 비트열을 생성하는 음성 부호화부, 상기 모듈 선택부의 선택에 따라, 상기 입력 신호를 부호화하여 오디오 비트열을 생성하는 오디오 부호화부 및 상기 모듈 선택부의 선택에 따라, 상기 음성 부호화부 또는 상기 오디오 부호화부로부터 출력 비트열을 생성하는 비트스트림 생성부를 포함한다.
본 발명의 일측면에 따르면, 상기 음성/오디오 통합 부호화 장치는 상기 선택된 부호화 모듈의 모듈 ID를 저장하고, 상기 제1 프레임의 이전 프레임에 대응하는 부호화 모듈인 제2 부호화 모듈의 정보를 상기 음성 부호화부 및 상기 오디오 부호화부로 전송하는 모듈 버퍼 및 상기 입력 신호를 저장하고, 상기 이전 프레임에 대한 입력 신호인 과거 입력 신호를 출력하는 입력 버퍼를 더 포함하고, 상기 비트스트림 생성부는, 상기 선택된 부호화 모듈의 모듈 ID 및 상기 선택된 부호화 모듈의 비트열을 결합하여 출력 비트열을 생성할 수 있다.
본 발명의 일측면에 따르면, 상기 모듈 선택부는, 상기 선택된 부호화 모듈의 모듈 ID를 추출하고, 상기 모듈 ID를 상기 모듈 버퍼 및 상기 비트열 생성부로 전달할 수 있다.
본 발명의 일측면에 따르면, 상기 음성 부호화부는, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 동일한 경우, CELP(Code Excitation Linear Prediction) 구조로 상기 입력 신호를 부호화하는 제1 음성 부호화부 및 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, 상기 제1 음성 부호화부의 부호화를 위한 초기값을 결정하는 부호화 초기화부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 제1 음성 부호화부는, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 동일한 경우, 상기 제1 음성 부호화부 내부 초기값을 사용하여 부호화하고, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, 상기 부호화 초기화부에서 결정된 초기값을 사용하여 부호화할 수 있다.
본 발명의 일측면에 따르면, 상기 부호화 초기화부는, 상기 과거 입력 신호 에 대한 LPC(Liner predictive Coder) 계수를 산출하는 LPC 분석부, 상기 LPC 분석부에서 산출한 LPC 계수를 LSP(Linear Spectrum Pair) 값으로 변환하는 LSP 변환부, 상기 과거 입력 신호 및 상기 LPC 계수를 이용하여 LPC 잔여 신호를 계산하는 LPC 잔여신호 계산부 및 상기 LPC 계수, 상기 LSP 값, 및 상기 LPC 잔여 신호를 이용하여 상기 제1 음성 부호화부의 부호화를 위한 초기값을 결정하는 부호화 초기값 결정부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 오디오 부호화부는, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 동일한 경우, MDCT(Modified Discrete Cosine Transform) 동작을 통해 입력 신호를 부호화하는 제1 오디오 부호화부, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, CELP 구조로 입력 신호를 부호화 하는 제2 음성 부호화부, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, MDCT 동작을 통해 입력 신호를 부호화하는 제2 오디오 부호화부 및 상기 제1 오디오 부호화부의 출력, 상기 제2 음성 부호화부의 출력, 및 상기 제2 오디오 부호화부의 출력 중 하나를 선택하여 출력 비트열을 생성하는 멀티플렉서를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 제2 음성 부호화부는, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, 상기 제1 프레임의 앞 1/2 샘플에 해당하는 입력 신호를 부호화할 수 있다.
본 발명의 일측면에 따르면, 상기 제2 오디오 부호화부는, 상기 제2 음성 부호화부의 부호화 동작 종료 후 LPC 필터에 대한 영입력 응답 (zero input response)을 산출하는 영입력 응답 산출부, 상기 제1 프레임의 앞 1/2 샘플에 해당하는 입력 신호를 영으로 변환하는 제1 변환부 및 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 입력 신호에서 상기 영입력 응답을 차감하는 제2 변환부를 포함하고, 상기 제1 변환부의 변환 신호 및 상기 제2 변환부의 변환 신호를 부호화할 수 있다.
본 발명의 일실시예에 따른 음성/오디오 통합 신호의 복호화 장치는, 입력 비트열의 특성을 분석하여 상기 입력 비트열의 제1 프레임을 복호화하기 위한 제1 복호화 모듈을 선택하는 모듈 선택부, 상기 모듈 선택부의 선택에 따라, 상기 입력 비트열을 복호화하여 음성 신호를 생성하는 음성 복호화부, 상기 모듈 선택부의 선택에 따라, 상기 입력 비트열을 복호화하여 오디오 신호를 생성하는 오디오 복호화부 및 상기 모듈 선택부의 선택에 따라 상기 음성 복호화부의 음성 신호 및 상기 오디오 복호화부의 오디오 신호 중 하나를 선택하여 출력 신호를 생성하는 출력 생성부를 포함한다.
본 발명의 일측면에 따르면, 상기 음성/오디오 통합 신호의 복호화 장치는 상기 선택된 복호화 모듈의 모듈 ID를 저장하고, 상기 제1 프레임의 이전 프레임에 대한 복호화 모듈인 제2 복호화 모듈의 정보를 상기 음성 복호화부 및 상기 오디오 복호화부로 전송하는 모듈 버퍼 및 상기 출력 신호를 저장하고, 상기 이전 프레임에 대한 출력 신호인 과거 출력 신호를 출력하는 출력 버퍼를 더 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 오디오 복호화부는, 상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 동일한 경우, IMDCT(Inverse Modified Discrete Cosine Transform) 동작을 통해 입력 비트열을 복호화하는 제1 오디오 복호화부, 상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, CELP 구조로 입력 비트열을 복호화 하는 제2 음성 복호화부, 상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, IMDCT 동작을 통해 입력 비트열을 복호화하는 제2 오디오 복호화부, 상기 제2 음성 복호화부의 출력과 상기 제2 오디오 복호화부의 출력으로부터 최종 출력을 산출하는 신호 복원부 및 상기 신호 복원부의 출력 또는 상기 제1 오디오 복호화부의 출력 중 하나를 선택하여 출력하는 출력 선택부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 음성 코덱 모듈과 오디오 코덱 모듈을 결합하고, 입력 신호의 특성에 따라 코덱 모듈을 선택하여 적용함으로써, 보다 뛰어난 성능을 나타내는 음성/오디오 통합 부호화/복호화 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 시간 진행에 따라 선택된 코덱 모듈이 변경될 때 과거 모듈이 정보를 이용함으로써, 각 모듈 동작의 불연속에 의하여 발생하는 왜곡 문제를 해결하는 음성/오디오 통합 부호화/복호화 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, TDAC를 요구하는 MDCT 모듈에서 중첩-합을 위한 이전 정보가 제공되지 않을 경우에 추가적인 방법을 사용함으로써, TDAC(Domain Aliasing Cancellation)를 가능하게 하여 정상적인 MDCT 기반 코덱 동작을 수행하도록 하는 음성/오디오 통합 부호화/복호화 장치 및 방법이 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명의 실시 예에서는 통합 코덱이 두 부호화/복호화 모듈을 각각 포함하는 구조를 가지고, 음성 부호화/복호화 모듈은 CELP(Code Excitation Linear Prediction) 구조를 가지며, 오디오 부호화/복호화 모듈은 MDCT(Modified Discrete Cosine Transform) 동작을 포함하는 구조를 가지는 것을 가정한다.
도 1은 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 부호화 장치를 도시한 도면이다.
도 1을 참고하면, 음성/오디오 통합 신호의 부호화 장치(100)는 모듈 선택부(110), 음성 부호화부(130), 오디오 부호화부(140), 및 비트스트림 생성부(150)를 포함할 수 있다.
또한, 음성/오디오 통합 신호의 부호화 장치(100)는 모듈 버퍼(120) 및 입력 버퍼(160)를 더 포함할 수 있다.
모듈 선택부(110)는 입력 신호의 특성을 분석하여 상기 입력 신호의 제1 프레임을 부호화하기 위한 제1 부호화 모듈을 선택할 수 있다. 여기서, 제1 프레임은 입력 신호의 현재 프레임일 수 있다. 또한, 모듈 선택부(110)는 입력 신호를 분석하여 현재 프레임을 부호화할 모듈 ID를 결정하고, 제1 선택된 부호화 모듈로 입력 신호를 전달하며, 모듈 ID를 비트열 생성부에 입력할 수 있다.
모듈 버퍼(120)는 선택된 부호화 모듈의 모듈 ID를 저장하고, 상기 제1 프레임의 이전 프레임에 대응하는 부호화 모듈인 제2 부호화 모듈의 정보를 상기 음성 부호화부 및 상기 오디오 부호화부로 전송할 수 있다.
입력 버퍼(160)는 입력 신호를 저장하고, 상기 이전 프레임에 대한 입력 신호인 과거 입력 신호를 출력할 수 있다. 즉, 입력 버퍼는 입력 신호를 저장하고, 현재 프레임보다 한 프레임 이전 프레임에 해당하는 과거 입력 신호를 출력할 수 있다.
음성 부호화부(130)는 모듈 선택부(110)의 선택에 따라, 상기 입력 신호를 부호화하여 음성 비트열을 생성할 수 있다. 여기서, 음성 부호화부(130)는 도 2를 참고하여 이하에서 더욱 상세하게 설명한다.
도 2는 도 1에 도시된 음성 부호화부(130)의 일례를 도시한 도면이다.
도 2를 참고하면, 음성 부호화부(130)는 부호화 초기화부(210) 및 제1 음성 부호화부(220)를 포함할 수 있다.
부호화 초기화부(210)는 제1 부호화 모듈과 제2 부호화 모듈이 상이한 경우, 상기 제1 음성 부호화부(220)의 부호화를 위한 초기값을 결정할 수 있다. 즉, 부호화 초기화부(210)는 과거 모듈을 입력받고 이전 프레임이 MDCT 동작을 한 경우에 한하여 제1 음성 부호화부(220)에 제공할 초기값을 결정할 수 있다. 여기서, 부호화 초기화부(210)는 LPC 분석부(211), LSP 변환부(212), LPC 잔여신호 계산부(213), 및 부호화 초기값 결정부(214)를 포함할 수 있다.
LPC 분석부(211)는 상기 과거 입력 신호에 대한 LPC(Liner predictive Coder) 계수를 산출할 수 있다. 즉, LPC 분석부(211)는 과거 입력 신호를 입력받고, 제1 음성 부호화부(220)와 동일한 방법으로 LPC 분석을 진행하여 과거 입력 신호에 해당하는 LPC 계수를 구하여 출력할 수 있다.
LSP 변환부(212)는 상기 LPC 분석부에서 산출한 LPC 계수를 LSP(Linear Spectrum Pair) 값으로 변환할 수 있다.
LPC 잔여신호 계산부(213)는 상기 과거 입력 신호 및 상기 LPC 계수를 이용하여 LPC 잔여 신호를 계산할 수 있다.
부호화 초기값 결정부(214)는 상기 LPC 계수, 상기 LSP 값, 및 상기 LPC 잔여 신호를 이용하여 제1 음성 부호화부(220)의 부호화를 위한 초기값을 결정할 수 있다. 즉, 부호화 초기값 결정부(214)는 LPC 계수, LSP 값, LPC 잔여신호 등을 입력하여 제1 음성 부호화부(220)에서 요구하는 형태로 초기값을 정하여 출력할 수 있다.
또한, 제1 음성 부호화부(220)는 제1 부호화 모듈과 제2 부호화 모듈이 동일한 경우, CELP(Code Excitation Linear Prediction) 구조로 상기 입력 신호를 부호화할 수 있다. 여기서, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 동일한 경우, 상기 제1 음성 부호화부 내부 초기값을 사용하여 부호화하고, 상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, 상기 부호화 초기화부에서 결정된 초기값을 사용하여 부호화할 수 있다. 예를 들어, 제1 음성 부호화부(220)는 현재 프레임보다 한 프레임 이전의 프레임에 대해 부호화를 수행하였던 과거 모듈을 입력받고, 만일 이전 프레임이 CELP 동작을 하였으면 현재 프레임에 해당하는 입력 신호를 CELP 방법으로 부호화할 수 있다. 이 경우, 제1 음성 부호화부(220)는 연속 CELP 동작을 하게 되므로 내부적으로 제공되는 이전 정보를 이용하여 부호화 동작을 진행하여 비트열을 생성할 수 있다. 만일 이전 프레임이 MDCT 동작을 하였으면 제1 음성 부호화부(220)는 CELP 부호화를 위한 모든 과거 정보를 지우고 부호화 초기화부(210)에서 제공되는 초기값을 사용하여 부호화 동작을 진행하고 비트열을 생성할 수 있다.
다시 도 1을 참고하면, 오디오 부호화부(140)는 모듈 선택부(110)의 선택에 따라, 상기 입력 신호를 부호화하여 오디오 비트열을 생성할 수 있다. 여기서, 오디오 부호화부(140)는 도 3 및 도 4를 참고하여 이하에서 더욱 상세하게 설명한다.
도 3은 도 1에 도시된 오디오 부호화부(140)의 일례를 도시한 도면이다.
도 3을 참고하면, 오디오 부호화부(140)는 제1 오디오 부호화부(330), 제2 음성 부호화부(310), 제2 오디오 부호화부(320), 및 멀티플렉서(340)를 포함할 수 있다.
제1 오디오 부호화부(330)는 제1 부호화 모듈과 제2 부호화 모듈이 동일한 경우, MDCT(Modified Discrete Cosine Transform) 동작을 통해 입력 신호를 부호화할 수 있다. 즉, 제1 오디오 부호화부(330)는 과거 모듈을 입력받고 이전 프레임이 MDCT 동작을 하였으면 현재 프레임에 해당하는 입력 신호도 MDCT 동작을 수행하여 부호화하고 비트열을 생성할 수 있다. 생성된 비트열은 멀티플렉서(340)에 입력될 수 있다.
이때, 도 4를 참고하면, X를 현재 프레임의 입력 신호라 하고 이를 1/2 프 레임 길이로 이등분한 신호를 각각 x1, x2라 한다. 현재 프레임의 MDCT 동작은 미래 프레임에 해당하는 Y 신호를 포함하여 XY 신호에 적용되며, 윈도우 w1w2w3w4를 XY에 곱한 후 MDCT를 실행할 수 있다. 여기서 w1, w2, w3, w4는 윈도우를 1/2 프레임 길이로 분해한 각각의 윈도우 조각을 의미한다. 만일 이전 프레임이 CELP 동작을 하였으면 제1 오디오 부호화부(330)는 아무 동작을 하지 않는다.
제2 음성 부호화부(310)는 제1 부호화 모듈과 제2 부호화 모듈이 상이한 경우, CELP 구조로 입력 신호를 부호화할 수 있다. 이때, 제2 음성 부호화부(310)는 과거 모듈을 입력받고, 만일 이전 프레임이 CELP로 동작하였으면, x1 신호를 부호화 하여 비트열을 출력하고 멀티플렉서(340)에 입력할 수 있다. 이 경우, 이전 프레임이 CELP로 동작하였으므로 제2 음성 부호화부(310)는 이전 프레임에 연속적으로 연결되므로 초기화 문제 없이 부호화 동작을 수행할 수 있다. 만일 이전 프레임이 MDCT 동작을 하였으면 제2 음성 부호화부(310)는 아무 동작을 하지 않는다.
제2 오디오 부호화부(320)는 제1 부호화 모듈과 제2 부호화 모듈이 상이한 경우, MDCT 동작을 통해 입력 신호를 부호화할 수 있다. 여기서, 제2 오디오 부호화부(320)는 과거 모듈을 입력받고, 만일 이전 프레임이 CELP로 동작하였으면 제1 방법 내지 제3 방법 중 하나의 방법으로 입력 신호를 부호화 한다. 제1 방법은, 기존의 MDCT 동작에 따라 입력 신호를 부호화할 수 있다. 제2 방법은, x1 = 0 로 입력 신호를 변형하고 그 결과를 기존의 MDCT 동작에 따른 방법으로 부호화할 수 있다. 제3 방법은, 제2 음성 부호화부(310)가 x1 신호의 부호화 동작을 종료한 후 가지는 LPC 필터에 대하여 영입력 응답(zero input response) x3를 구하고 x2 = x2 - x3 에 따라 x2 신호를 변형하고, 또한 x1 = 0 로 하여 입력 신호를 변형하며, 그 결과를 기존의 MDCT 동작에 따른 방법으로 부호화할 수 있다. 이때, 제2 오디오 부호화부(320)가 사용한 방법에 따라 오디오 복호화 모듈의 신호 복원기 동작이 결정될 수 있다. 만일 이전 프레임이 MDCT 동작을 하였으면 제2 오디오 부호화부(320)는 아무 동작을 하지 않는다.
상기 부호화를 위해 제2 오디오 부호화부(320)는 제2 음성 부호화부(310)의 부호화 동작 종료 후 LPC 필터에 대한 영입력 응답 (zero input response)을 산출하는 영입력 응답 산출부(미도시), 상기 제1 프레임의 앞 1/2 샘플에 해당하는 입력 신호를 영으로 변환하는 제1 변환부(미도시), 및 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 입력 신호에서 상기 영입력 응답을 차감하는 제2 변환부(미도시)를 포함하고, 상기 제1 변환부의 변환 신호 및 상기 제2 변환부의 변환 신호를 부호화할 수 있다.
멀티플렉서(340)는 제1 오디오 부호화부(330)의 출력, 제2 음성 부호화부(310)의 출력, 및 제2 오디오 부호화부(320)의 출력 중 하나를 선택하여 출력 비트열을 생성할 수 있다. 여기서, 멀티플렉서(340)는 비트열들을 결합하여 최종 비트열을 생성하는데, 만일 이전 프레임이 MDCT 동작을 하였으면 최종 비트열은 제1 오디오 부호화부(330)의 출력 비트열과 동일하다.
다시 도 1을 참고하면, 비트스트림 생성부(150)는 선택된 부호화 모듈의 모듈 ID 및 상기 선택된 부호화 모듈의 비트열을 결합하여 출력 비트열을 생성할 수 있다. 여기서, 비트스트림 생성부(150)는 모듈 ID와 상기 모듈 ID에 해당하는 비 트열을 결합하여 최종 비트열을 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 복호화 장치를 도시한 도면이다.
도 5를 참고하면, 음성/오디오 통합 신호의 복호화 장치(500)는 모듈 선택부(510), 음성 복호화부(530), 오디오 복호화부(540), 출력 생성부(550)를 포함할 수 있다. 또한, 음성/오디오 통합 신호의 복호화 장치(500)는 모듈 버퍼(520) 및 출력 버퍼(560)를 더 포함할 수 있다.
모듈 선택부(510)는 입력 비트열의 특성을 분석하여 상기 입력 비트열의 제1 프레임을 복호화하기 위한 제1 복호화 모듈을 선택할 수 있다. 즉, 모듈 선택부(510)는 입력 비트열로부터 전송된 모듈을 분석하여 모듈 ID를 출력하고, 해당 복호화 모듈로 입력 비트열을 전달할 수 있다.
음성 복호화부(530)는 모듈 선택부(510)의 선택에 따라, 상기 입력 비트열을 복호화하여 음성 신호를 생성할 수 있다. 즉, CELP 기반 음성 복호화 동작을 수행할 수 있다. 여기서, 음성 복호화부(530)는 도 6을 참고하여 이하에서 더욱 상세하게 설명한다.
도 6은 도 5에 도시된 음성 복호화부의 일례를 도시한 도면이다.
도 6을 참고하면, 음성 복호화부(530)는 복호화 초기화부(610) 및 제1 음성 복호화부(620)를 포함할 수 있다.
복호화 초기화부(610)는 제1 복호화 모듈과 제2 복호화 모듈이 상이한 경우, 제1 음성 복호화부(620)의 복호화를 위한 초기값을 결정할 수 있다. 즉, 복호 화 초기화부(610)는 과거 모듈을 입력받고 이전 프레임이 MDCT 동작을 한 경우에 한하여 제1 음성 복호화부(620)에 제공할 초기값을 결정할 수 있다. 여기서, 복호화 초기화부(610)는 LPC 분석부(611), LSP 변환부(612), LPC 잔여신호 계산부(613), 및 복호화 초기값 결정부(614)를 포함할 수 있다.
LPC 분석부(611)는 상기 과거 출력 신호에 대한 LPC(Liner predictive Coder) 계수를 산출할 수 있다. 즉, LPC 분석부(611)는 과거 출력 신호를 입력받고, 제1 음성 복호화부(620)와 동일한 방법으로 LPC 분석을 진행하여 과거 출력 신호에 해당하는 LPC 계수를 구하여 출력할 수 있다.
LSP 변환부(612)는 LPC 분석부(611)에서 산출한 LPC 계수를 LSP(Linear Spectrum Pair) 값으로 변환할 수 있다.
LPC 잔여신호 계산부(613)는 상기 과거 출력 신호 및 상기 LPC 계수를 이용하여 LPC 잔여 신호를 계산할 수 있다.
복호화 초기값 결정부(614)는 상기 LPC 계수, 상기 LSP 값, 및 상기 LPC 잔여 신호를 이용하여 제1 음성 복호화부(620)의 복호화를 위한 초기값을 결정할 수 있다. 즉, 복호화 초기값 결정부(614)는 LPC 계수, LSP 값, LPC residual 신호 등을 입력하여 제1 음성 복호화부(620)에서 요구하는 형태로 초기값을 정하여 출력할 수 있다.
또한, 제1 음성 복호화부(620)는 제1 복호화 모듈과 제2 복호화 모듈이 동일한 경우, CELP(Code Excitation Linear Prediction) 구조로 상기 입력 신호를 복호화할 수 있다. 여기서, 상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 동일한 경우, 상기 제1 음성 복호화부 내부 초기값을 사용하여 부호화하고, 상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, 상기 복호화 초기화부에서 결정된 초기값을 사용하여 복호화할 수 있다. 즉, 제1 음성 복호화부(620)는 현재 프레임보다 한 프레임 이전의 프레임에 대해 복호화를 수행하였던 과거 모듈을 입력받고, 만일 이전 프레임이 CELP 동작을 하였으면 현재 프레임에 해당하는 입력 신호를 CELP 방법으로 복호화할 수 있다. 이 경우, 제1 음성 복호화부(620)는 연속 CELP 동작을 하게 되므로 내부적으로 제공되는 이전 정보를 이용하여 복호화 동작을 진행하여 출력 신호를 생성할 수 있다. 만일 이전 프레임이 MDCT 동작을 하였으면 제1 음성 복호화부(620)는 CELP 복호화를 위한 모든 과거 정보를 지우고 복호화 초기화부(610)에서 제공되는 초기값을 사용하여 복호화 동작을 진행하고 출력 신호를 생성할 수 있다.
다시 도 5를 참고하면, 오디오 복호화부(540)는 모듈 선택부(510)의 선택에 따라 상기 입력 비트열을 복호화하여 오디오 신호를 생성할 수 있다. 여기서, 오디오 복호화부(540)는 도 7 및 도 8을 참고하여 이하에서 더욱 상세하게 설명한다.
도 7은 도 5에 도시된 오디오 복호화부(540)의 일례를 도시한 도면이다.
도 7을 참고하면, 오디오 복호화부(540)는 제1 오디오 복호화부(730), 제2 음성 복호화부(710), 제2 오디오 복호화부(720), 신호 복원부(740), 및 출력 선택부(750)를 포함할 수 있다.
제1 오디오 복호화부(730)는 제1 복호화 모듈과 제2 복호화 모듈이 동일한 경우, IMDCT(Inverse Modified Discrete Cosine Transform) 동작을 통해 입력 비트 열을 복호화할 수 있다. 즉, 제1 오디오 복호화부(730)는 과거 모듈을 입력받고 이전 프레임이 IMDCT 동작을 하였으면 현재 프레임에 해당하는 입력 신호도 IMDCT 동작을 수행하여 부호화하고 비트열을 생성할 수 있다. 즉, 제1 오디오 복호화부(730)는 현재 프레임의 입력 비트열을 입력하고, 기존 기술에 따라 IMDCT 동작을 수행하고 윈도우를 적용하며 TDAC 동작을 수행하여 최종 출력 신호를 출력한다. 만일, 이전 프레임이 CELP 동작을 하였으면 제1 오디오 복호화부(730)는 아무 동작을 하지 않는다.
도 8을 참고하면, 제2 음성 복호화부(710)는 제1 복호화 모듈과 제2 복호화 모듈이 상이한 경우, CELP 구조로 입력 비트열을 복호화할 수 있다. 즉, 제2 음성 복호화부(710)는 과거 모듈을 입력받고, 이전 프레임이 CELP 동작을 하였으면 기존의 음성 복호화 방법에 따라 비트열을 복호화하여 출력 신호를 생성할 수 있다. 이때, 제2 음성 복호화부(710)의 출력 신호는 x4(820) 이고 1/2 프레임 길이를 가질 수 있다. 이전 프레임이 CELP로 동작하였으므로 제2 음성 복호화부(710)는 이전 프레임에 연속적으로 연결되고 초기화 문제 없이 복호화 동작을 수행할 수 있다.
제2 오디오 복호화부(720)는 제1 복호화 모듈과 제2 복호화 모듈이 상이한 경우, IMDCT 동작을 통해 입력 비트열을 복호화할 수 있다. 이때, IMDCT 이후에 윈도우만 적용하고 TDAC 동작을 수행하지 않고 출력 신호를 구할 수 있다. 또한, 도 8에서, 제2 오디오 복호화부(720) 출력 신호를 ab(830) 로 정의하며, a와 b는 각각 1/2 프레임 길이를 가지는 신호를 의미할 수 있다.
신호 복원부(740)는 제2 음성 복호화부(710)의 출력과 제2 오디오 복호화부(720)의 출력으로부터 최종 출력을 산출할 수 있다. 또한, 신호 복원부(740)는 현재 프레임의 최종 출력 신호를 구하며, 도 8과 같이 출력 신호를 gh(850)로 정의하고, g와 h는 각각 1/2 프레임 길이를 가지는 신호로 정의할 수 있다. 신호 복원부(740)는 항상 g = x4로 정하고, h 신호는 제2 오디오 부호화기의 동작에 따라 다음 중 하나의 방법으로 신호를 복원할 수 있다. 제1 방법은 아래 [수학식 1]에 의하여 h를 구할 수 있다. 이때, 일반적인 윈도우 동작을 가정하였고, 아래 첨자 R 은 신호를 1/2 프레임 길이 단위로 시간 축 회전시킨 것을 의미한다.
[수학식 1]
Figure 112009041322601-PAT00001
여기서, h는 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호, b는 제2 오디오 복호화부 출력 신호, x4는 제2 음성 복호화부 출력 신호, w1, w2는 윈도우, w1R , x4R은 각각 w1, x4 신호를 1/2 프레임 길이 단위로 시간 축 회전시킨 신호를 각각 의미한다.
제2 방법은 아래 [수학식 2]에 의하여 h를 구할 수 있다.
[수학식 2]
Figure 112009041322601-PAT00002
여기서, h는 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호, b는 제 2 오디오 복호화부 출력 신호, w2는 윈도우를 의미한다.
제3 방법은, 아래 [수학식 3]에 의하여 h를 구할 수 있다.
[수학식 3]
Figure 112009041322601-PAT00003
여기서, h는 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호, b는 제2 오디오 복호화부 출력 신호, w2는 윈도우, x5(840)는 제2 음성 복호화부 출력 신호를 복호화한 후의 LPC 필터에 대한 영입력 응답을 각각 의미한다.
이때, 이전 프레임이 MDCT 동작을 하였으면, 제2 음성 복호화부(710), 제2 오디오 복호화부(720) 및 신호 복원부(740)는 아무런 동작을 하지 않을 수 있다.
출력 선택부(750)는 신호 복원부(740)의 출력 또는 제1 오디오 복호화부(730)의 출력 중 하나를 선택하여 출력할 수 있다.
다시 도 5를 참고하면, 출력 생성부(550)는 모듈 선택부(510)의 선택에 따라 음성 복호화부(530)의 음성 신호 및 오디오 복호화부(540)의 오디오 신호 중 하나를 선택하여 출력 신호를 생성할 수 있다. 즉, 출력 생성부(550)는 모듈 ID에 따라 출력 신호를 선택하여 최종 출력 신호로 출력할 수 있다.
모듈 버퍼(520)는 상기 선택된 복호화 모듈의 모듈 ID를 저장하고, 상기 제1 프레임의 이전 프레임에 대한 복호화 모듈인 제2 복호화 모듈의 정보를 음성 복호화부(530) 및 오디오 복호화부(540)로 전송할 수 있다. 즉, 모듈 버퍼(520)는 모듈 ID를 저장하여 한 프레임 이전의 모듈 ID에 해당하는 과거 모듈을 출력할 수 있다.
출력 버퍼(560)는 상기 출력 신호를 저장하고, 상기 이전 프레임에 대한 출력 신호인 과거 출력 신호를 출력할 수 있다.
도 9는 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 부호화 방법을 나타낸 흐름도이다.
도 9를 참고하면, 단계(910)에서는, 입력 신호를 분석하여 현 프레임을 부호화할 부호화 모듈 종류를 결정하고, 입력 신호를 버퍼링 하여 이전 프레임 입력 신호를 준비하고, 현 프레임의 모듈 종류를 저장하여 이전 프레임의 모듈 종류를 준비할 수 있다.
단계(920)에서는, 상기 결정된 모듈의 종류가 음성 모듈인지 오디오 모듈인지 판단할 수 있다.
단계(930)에서는, 상기 결정된 모듈이 음성 모듈인 경우, 모듈의 변경이 발생하였는지 여부를 판단할 수 있다.
단계(950)에서는, 모듈 변경이 발생하지 않은 경우, 기존 기술에 따라 CELP 부호화 동작을 수행하고, 단계(950)에서는, 모듈 변경이 발생한 경우, 부호화 초기화 모듈의 동작에 따라 초기화를 수행하여 초기값을 구하고 이를 사용하여 CELP 부호화 동작을 수행할 수 있다.
단계(940)에서는, 상기 결정된 모듈이 오디오 모듈인 경우, 모듈의 변경이 발생하였는지 여부를 판단할 수 있다.
단계(970)에서는, 모듈 변경이 발생한 경우, 추가 부호화 동작을 수행할 수 있다. 추가 부호화 과정에서는 1/2 프레임에 해당하는 입력 신호를 CELP 기반으로 부호화하고, 전체 프레임 신호에 대하여 제2 오디오 부호화기 동작을 수행할 수 있다. 단계(980)에서는, 모듈 변경이 발생하지 않은 경우, 기존 기술에 따라 MDCT 기반의 부호화 동작을 수행할 수 있다.
단계(990)에서는, 모듈 종류와 모듈 변경 여부에 따라 최종 비트열을 선택하여 출력할 수 있다.
도 10은 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 복호화 방법을 나타낸 흐름도이다.
도 10을 참고하면, 단계(1001)에서는, 입력 비트열 정보에 따라 현 프레임의 복호화 모듈 종류를 결정하고, 이전 프레임 출력 신호를 준비하고, 현 프레임의 모듈 종류를 저장하여 이전 프레임의 모듈 종류를 준비할 수 있다.
단계(1002)에서는, 상기 결정된 모듈의 종류가 음성 모듈인지 오디오 모듈인지 판단할 수 있다.
단계(1003)에서는, 상기 결정된 모듈이 음성 모듈인 경우, 모듈의 변경이 발생하였는지 여부를 판단할 수 있다.
단계(1005)에서는, 모듈 변경이 발생하지 않은 경우, 기존 기술에 따라 CELP 복호화 동작을 수행하고, 단계(1006)에서는, 모듈 변경이 발생한 경우, 복호화 초기화 모듈의 동작에 따라 초기화를 수행하여 초기값을 구하고 이를 사용하여 CELP 복호화 동작을 수행할 수 있다.
단계(1004)에서는, 상기 결정된 모듈이 오디오 모듈인 경우, 모듈의 변경이 발생하였는지 여부를 판단할 수 있다.
단계(1007)에서는, 모듈 변경이 발생한 경우, 추가 복호화 동작을 수행할 수 있다. 추가 복호화 과정에서는 입력 비트열을 CELP 기반으로 복호화 하여 1/2 프레임 길이에 해당하는 출력 신호를 구하고, 입력 비트열에 대하여 제2 오디오 복호화부 동작을 수행하여 출력 신호를 구한다.
단계(1008)에서는, 모듈 변경이 발생하지 않은 경우, 기존 기술에 따라 MDCT 기반의 복호화 동작을 수행할 수 있다.
단계(1009)에서는, 신호 복원기 동작을 수행하여 출력 신호를 구하고, 단계(1010)에서는, 모듈 종류와 모듈 변경 여부에 따라 최종 신호를 선택하여 출력할 수 있다.
상기와 같이, 음성 코덱 모듈과 오디오 코덱 모듈을 결합하고, 입력 신호의 특성에 따라 코덱 모듈을 선택하여 적용함으로써, 보다 뛰어난 성능을 나타내는 음성/오디오 통합 부호화/복호화 장치 및 방법을 제공할 수 있다.
또한, 시간 진행에 따라 선택된 코덱 모듈이 변경될 때 과거 모듈이 정보를 이용함으로써, 각 모듈 동작의 불연속에 의하여 발생하는 왜곡 문제를 해결할 수 있으며, TDAC를 요구하는 MDCT 모듈에서 중첩-합을 위한 이전 정보가 제공되지 않을 경우에 추가적인 방법을 사용함으로써, TDAC를 가능하게 하여 정상적인 MDCT 기반 코덱 동작을 수행하도록 하는 음성/오디오 통합 부호화/복호화 장치 및 방법을 제공할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 부호화 장치를 도시한 도면이다.
도 2는 도 1에 도시된 음성 부호화부의 일례를 도시한 도면이다.
도 3은 도 1에 도시된 오디오 부호화부의 일례를 도시한 도면이다.
도 4는 도 3에 도시된 오디오 부호화부의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 복호화 장치를 도시한 도면이다.
도 6은 도 5에 도시된 음성 복호화부의 일례를 도시한 도면이다.
도 7은 도 5에 도시된 오디오 복호화부의 일례를 도시한 도면이다.
도 8은 도 7에 도시된 오디오 복호화부의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 부호화 방법을 나타낸 흐름도이다.
도 10은 본 발명의 일실시예에 따른, 음성/오디오 통합 신호의 복호화 방법을 나타낸 흐름도이다.

Claims (20)

  1. 입력 신호의 특성을 분석하여 상기 입력 신호의 제1 프레임을 부호화하기 위한 제1 부호화 모듈을 선택하는 모듈 선택부;
    상기 모듈 선택부의 선택에 따라, 상기 입력 신호를 부호화하여 음성 비트열을 생성하는 음성 부호화부;
    상기 모듈 선택부의 선택에 따라, 상기 입력 신호를 부호화하여 오디오 비트열을 생성하는 오디오 부호화부; 및
    상기 모듈 선택부의 선택에 따라, 상기 음성 부호화부 또는 상기 오디오 부호화부로부터 출력 비트열을 생성하는 비트스트림 생성부
    를 포함하는 음성/오디오 통합 신호의 부호화 장치.
  2. 제1항에 있어서,
    상기 선택된 부호화 모듈의 모듈 ID를 저장하고, 상기 제1 프레임의 이전 프레임에 대응하는 부호화 모듈인 제2 부호화 모듈의 정보를 상기 음성 부호화부 및 상기 오디오 부호화부로 전송하는 모듈 버퍼; 및
    상기 입력 신호를 저장하고, 상기 이전 프레임에 대한 입력 신호인 과거 입력 신호를 출력하는 입력 버퍼
    를 더 포함하고,
    상기 비트스트림 생성부는,
    상기 선택된 부호화 모듈의 모듈 ID 및 상기 선택된 부호화 모듈의 비트열을 결합하여 출력 비트열을 생성하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치.
  3. 제2항에 있어서,
    상기 모듈 선택부는,
    상기 선택된 부호화 모듈의 모듈 ID를 추출하고, 상기 모듈 ID를 상기 모듈 버퍼 및 상기 비트열 생성부로 전달하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치.
  4. 제2항에 있어서,
    상기 음성 부호화부는,
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 동일한 경우, CELP(Code Excitation Linear Prediction) 구조로 상기 입력 신호를 부호화하는 제1 음성 부호화부; 및
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, 상기 제1 음성 부호화부의 부호화를 위한 초기값을 결정하는 부호화 초기화부
    를 포함하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치.
  5. 제4항에 있어서,
    상기 제1 음성 부호화부는,
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 동일한 경우, 상기 제1 음성 부호화부 내부 초기값을 사용하여 부호화하고,
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, 상기 부호화 초기화부에서 결정된 초기값을 사용하여 부호화하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치.
  6. 제4항에 있어서,
    상기 부호화 초기화부는,
    상기 과거 입력 신호에 대한 LPC(Liner predictive Coder) 계수를 산출하는 LPC 분석부;
    상기 LPC 분석부에서 산출한 LPC 계수를 LSP(Linear Spectrum Pair) 값으로 변환하는 LSP 변환부;
    상기 과거 입력 신호 및 상기 LPC 계수를 이용하여 LPC 잔여 신호를 계산하는 LPC 잔여신호 계산부; 및
    상기 LPC 계수, 상기 LSP 값, 및 상기 LPC 잔여 신호를 이용하여 상기 제1 음성 부호화부의 부호화를 위한 초기값을 결정하는 부호화 초기값 결정부
    를 포함하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치.
  7. 제2항에 있어서,
    상기 오디오 부호화부는,
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 동일한 경우, MDCT(Modified Discrete Cosine Transform) 동작을 통해 입력 신호를 부호화하는 제1 오디오 부호화부;
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, CELP 구조로 입력 신호를 부호화 하는 제2 음성 부호화부;
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, MDCT 동작을 통해 입력 신호를 부호화하는 제2 오디오 부호화부; 및
    상기 제1 오디오 부호화부의 출력, 상기 제2 음성 부호화부의 출력, 및 상기 제2 오디오 부호화부의 출력 중 하나를 선택하여 출력 비트열을 생성하는 멀티플렉서
    를 포함하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치.
  8. 제7항에 있어서,
    상기 제2 음성 부호화부는,
    상기 제1 부호화 모듈과 상기 제2 부호화 모듈이 상이한 경우, 상기 제1 프레임의 앞 1/2 샘플에 해당하는 입력 신호를 부호화하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치
  9. 제7항에 있어서,
    상기 제2 오디오 부호화부는,
    상기 제2 음성 부호화부의 부호화 동작 종료 후 LPC 필터에 대한 영입력 응답 (zero input response)을 산출하는 영입력 응답 산출부;
    상기 제1 프레임의 앞 1/2 샘플에 해당하는 입력 신호를 영으로 변환하는 제1 변환부; 및
    상기 제1 프레임의 뒤 1/2 샘플에 해당하는 입력 신호에서 상기 영입력 응답을 차감하는 제2 변환부를 포함하고,
    상기 제1 변환부의 변환 신호 및 상기 제2 변환부의 변환 신호를 부호화하는 것을 특징으로 하는 음성/오디오 통합 신호의 부호화 장치.
  10. 입력 비트열의 특성을 분석하여 상기 입력 비트열의 제1 프레임을 복호화하기 위한 제1 복호화 모듈을 선택하는 모듈 선택부;
    상기 모듈 선택부의 선택에 따라, 상기 입력 비트열을 복호화하여 음성 신호를 생성하는 음성 복호화부;
    상기 모듈 선택부의 선택에 따라, 상기 입력 비트열을 복호화하여 오디오 신호를 생성하는 오디오 복호화부; 및
    상기 모듈 선택부의 선택에 따라 상기 음성 복호화부의 음성 신호 및 상기 오디오 복호화부의 오디오 신호 중 하나를 선택하여 출력 신호를 생성하는 출력 생성부
    를 포함하는 음성/오디오 통합 신호의 복호화 장치.
  11. 제10항에 있어서,
    상기 선택된 복호화 모듈의 모듈 ID를 저장하고, 상기 제1 프레임의 이전 프레임에 대한 복호화 모듈인 제2 복호화 모듈의 정보를 상기 음성 복호화부 및 상기 오디오 복호화부로 전송하는 모듈 버퍼; 및
    상기 출력 신호를 저장하고, 상기 이전 프레임에 대한 출력 신호인 과거 출력 신호를 출력하는 출력 버퍼
    를 더 포함하는 음성/오디오 통합 신호의 복호화 장치.
  12. 제11항에 있어서,
    상기 음성 복호화부는,
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 동일한 경우, CELP(Code Excitation Linear Prediction) 구조로 상기 입력 비트열을 복호화하는 제1 음성 복호화부; 및
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, 상기 제1 음성 복호화부의 복호화를 위한 초기값을 결정하는 복호화 초기화부
    를 포함하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
  13. 제12항에 있어서,
    상기 복호화 초기화부는,
    상기 과거 출력 신호에 대한 LPC(Liner predictive Coder) 계수를 산출하는 LPC 분석부;
    상기 LPC 분석부에서 산출한 LPC 계수를 LSP(Linear Spectrum Pair) 값으로 변환하는 LSP 변환부;
    상기 과거 출력 신호 및 상기 LPC 계수를 이용하여 LPC 잔여 신호를 계산하는 LPC 잔여신호 계산부;
    상기 LPC 계수, 상기 LSP 값, 및 상기 LPC 잔여 신호를 이용하여 상기 제1 음성 복호화부의 복호화를 위한 초기값을 결정하는 복호화 초기값 결정부;
    를 포함하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
  14. 제12항에 있어서,
    상기 제1 음성 복호화부는,
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 동일한 경우, 상기 제1 음성 복호화부 내부 초기값을 사용하여 복호화하고,
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, 상기 복호화 초기화부에서 결정된 초기값을 사용하여 복호화하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
  15. 제11항에 있어서,
    상기 오디오 복호화부는,
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 동일한 경우, IMDCT(Inverse Modified Discrete Cosine Transform) 동작을 통해 입력 비트열을 복호화하는 제1 오디오 복호화부;
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, CELP 구조로 입력 비트열을 복호화 하는 제2 음성 복호화부;
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, IMDCT 동작을 통해 입력 비트열을 복호화하는 제2 오디오 복호화부;
    상기 제2 음성 복호화부의 출력과 상기 제2 오디오 복호화부의 출력으로부터 최종 출력을 산출하는 신호 복원부; 및
    상기 신호 복원부의 출력 또는 상기 제1 오디오 복호화부의 출력 중 하나를 선택하여 출력하는 출력 선택부
    를 포함하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
  16. 제15항에 있어서,
    상기 제2 음성 복호화부는,
    상기 제1 복호화 모듈과 상기 제2 복호화 모듈이 상이한 경우, 상기 제1 프레임의 앞 1/2 샘플에 해당하는 입력 비트열을 복호화하여 입력 신호를 출력하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
  17. 제15항에 있어서,
    상기 신호 복원부는,
    상기 제2 음성 복호화부의 출력을 상기 제1 프레임의 앞 1/2 샘플에 해당하는 출력 신호로 결정하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
  18. 제15항에 있어서,
    상기 신호 복원부는,
    아래 [수학식 1]에 따라 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호를 결정하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
    [수학식 1]
    Figure 112009041322601-PAT00004
    여기서,
    h는 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호,
    b는 제2 오디오 복호화부 출력 신호,
    x4는 제2 음성 복호화부 출력 신호,
    w1, w2는 윈도우,
    w1R , x4R은 각각 w1, x4 신호를 1/2 프레임 길이 단위로 시간 축 회전시킨 신호를 의미함.
  19. 제15항에 있어서,
    상기 신호 복원부는,
    아래 [수학식 2]에 따라 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호를 결정하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
    [수학식 2]
    Figure 112009041322601-PAT00005
    여기서,
    h는 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호,
    b는 제2 오디오 복호화부 출력 신호,
    w2는 윈도우를 의미함
  20. 제15항에 있어서,
    상기 신호 복원부는,
    아래 [수학식 3]에 따라 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호를 결정하는 것을 특징으로 하는 음성/오디오 통합 신호의 복호화 장치.
    [수학식 3]
    Figure 112009041322601-PAT00006
    여기서,
    h는 상기 제1 프레임의 뒤 1/2 샘플에 해당하는 출력 신호,
    b는 제2 오디오 복호화부 출력 신호,
    w2는 윈도우,
    x5는 제2 음성 복호화부 출력 신호를 복호화한 후의 LPC 필터에 대한 영입력 응답을 의미함.
KR1020090061607A 2008-07-14 2009-07-07 음성/오디오 통합 신호의 부호화/복호화 장치 KR20100007738A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011518644A JP2011528134A (ja) 2008-07-14 2009-07-14 音声／オーディオ統合信号の符号化／復号化装置
CN2009801357117A CN102150205B (zh) 2008-07-14 2009-07-14 用于编码和解码统合的语音与音频的设备
EP20166657.5A EP3706122A1 (en) 2008-07-14 2009-07-14 Apparatus for encoding and decoding of integrated speech and audio
EP09798078.3A EP2302623B1 (en) 2008-07-14 2009-07-14 Apparatus for encoding and decoding of integrated speech and audio
PCT/KR2009/003854 WO2010008175A2 (ko) 2008-07-14 2009-07-14 음성/오디오 통합 신호의 부호화/복호화 장치
US13/054,377 US8959015B2 (en) 2008-07-14 2009-07-14 Apparatus for encoding and decoding of integrated speech and audio

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080068370 2008-07-14
KR1020080068370 2008-07-14

Publications (1)

Publication Number Publication Date
KR20100007738A true KR20100007738A (ko) 2010-01-22

Family

ID=41816650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090061607A KR20100007738A (ko) 2008-07-14 2009-07-07 음성/오디오 통합 신호의 부호화/복호화 장치

Country Status (6)

Country Link
US (1) US8959015B2 (ko)
EP (2) EP3706122A1 (ko)
JP (1) JP2011528134A (ko)
KR (1) KR20100007738A (ko)
CN (1) CN102150205B (ko)
WO (1) WO2010008175A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383915B1 (ko) * 2013-03-21 2014-04-17 한국전자통신연구원 통합 음원 디코더를 구비한 디지털 오디오 수신기
WO2014148851A1 (ko) * 2013-03-21 2014-09-25 전자부품연구원 디지털 오디오 전송시스템 및 통합 음원 디코더를 구비한 디지털 오디오 수신기

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122021009252B1 (pt) 2008-07-11 2022-03-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Codificador e decodificador de áudio para estruturas de codificação de sinais de áudio amostrados
MY161986A (en) * 2010-07-08 2017-05-31 Fraunhofer Ges Forschung Coder using forward aliasing cancellation
US9767822B2 (en) * 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and decoding a watermarked signal
CN102779518B (zh) * 2012-07-27 2014-08-06 深圳广晟信源技术有限公司 用于双核编码模式的编码方法和***
AU2014247000B2 (en) * 2013-04-05 2017-04-20 Dolby International Ab Audio encoder and decoder
KR102092756B1 (ko) * 2014-01-29 2020-03-24 삼성전자주식회사 사용자 단말 및 이의 보안 통신 방법
WO2015115798A1 (en) * 2014-01-29 2015-08-06 Samsung Electronics Co., Ltd. User terminal device and secured communication method thereof
EP2980794A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2980796A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for processing an audio signal, audio decoder, and audio encoder
EP2980797A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, method and computer program using a zero-input-response to obtain a smooth transition
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
US10109285B2 (en) * 2014-09-08 2018-10-23 Sony Corporation Coding device and method, decoding device and method, and program
US11276413B2 (en) 2018-10-26 2022-03-15 Electronics And Telecommunications Research Institute Audio signal encoding method and audio signal decoding method, and encoder and decoder performing the same
KR20210003507A (ko) 2019-07-02 2021-01-12 한국전자통신연구원 오디오 코딩을 위한 잔차 신호 처리 방법 및 오디오 처리 장치
KR20210003514A (ko) 2019-07-02 2021-01-12 한국전자통신연구원 오디오의 고대역 부호화 방법 및 고대역 복호화 방법, 그리고 상기 방법을 수하는 부호화기 및 복호화기

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134518A (en) * 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
JP3211762B2 (ja) 1997-12-12 2001-09-25 日本電気株式会社 音声及び音楽符号化方式
US6658383B2 (en) * 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
WO2004082288A1 (en) * 2003-03-11 2004-09-23 Nokia Corporation Switching between coding schemes
KR100614496B1 (ko) 2003-11-13 2006-08-22 한국전자통신연구원 가변 비트율의 광대역 음성 및 오디오 부호화 장치 및방법
GB0408856D0 (en) * 2004-04-21 2004-05-26 Nokia Corp Signal encoding
JP2007538281A (ja) * 2004-05-17 2007-12-27 ノキア コーポレイション 異なる符号化モデルを用いる音声符号化
AU2004319556A1 (en) * 2004-05-17 2005-11-24 Nokia Corporation Audio encoding with different coding frame lengths
US7596486B2 (en) 2004-05-19 2009-09-29 Nokia Corporation Encoding an audio signal using different audio coder modes
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
KR100647336B1 (ko) * 2005-11-08 2006-11-23 삼성전자주식회사 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
WO2007083931A1 (en) * 2006-01-18 2007-07-26 Lg Electronics Inc. Apparatus and method for encoding and decoding signal
KR101393298B1 (ko) * 2006-07-08 2014-05-12 삼성전자주식회사 적응적 부호화/복호화 방법 및 장치
US7987089B2 (en) * 2006-07-31 2011-07-26 Qualcomm Incorporated Systems and methods for modifying a zero pad region of a windowed frame of an audio signal
KR101186133B1 (ko) * 2006-10-10 2012-09-27 퀄컴 인코포레이티드 오디오 신호들을 인코딩 및 디코딩하는 방법 및 장치
CN101202042A (zh) * 2006-12-14 2008-06-18 中兴通讯股份有限公司 可扩展的数字音频编码框架及其扩展方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383915B1 (ko) * 2013-03-21 2014-04-17 한국전자통신연구원 통합 음원 디코더를 구비한 디지털 오디오 수신기
WO2014148851A1 (ko) * 2013-03-21 2014-09-25 전자부품연구원 디지털 오디오 전송시스템 및 통합 음원 디코더를 구비한 디지털 오디오 수신기

Also Published As

Publication number Publication date
WO2010008175A3 (ko) 2010-03-18
CN102150205A (zh) 2011-08-10
WO2010008175A2 (ko) 2010-01-21
JP2011528134A (ja) 2011-11-10
EP2302623A2 (en) 2011-03-30
US8959015B2 (en) 2015-02-17
EP2302623A4 (en) 2016-04-13
EP3706122A1 (en) 2020-09-09
CN102150205B (zh) 2013-03-27
EP2302623B1 (en) 2020-04-01
US20110119054A1 (en) 2011-05-19

Similar Documents

Publication Publication Date Title
KR20100007738A (ko) 음성/오디오 통합 신호의 부호화/복호화 장치
KR101835850B1 (ko) 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
CN101878504B (zh) 使用时间分辨率能选择的低复杂性频谱分析/合成
TWI590233B (zh) 解碼器及其解碼方法、編碼器及其編碼方法、電腦程式
US7876966B2 (en) Switching between coding schemes
RU2557455C2 (ru) Прямая компенсация наложения спектров во временной области с применением в области взвешенного или исходного сигнала
KR101139172B1 (ko) 스케일러블 음성 및 오디오 코덱들에서 양자화된 ｍｄｃｔ 스펙트럼에 대한 코드북 인덱스들의 인코딩/디코딩을 위한 기술
TWI466106B (zh) 音訊或視訊編碼器、音訊或視訊解碼器及用以利用可變預測方向來處理多頻道音訊或視訊信號的相關方法
KR101425155B1 (ko) 복소 예측을 이용한 다중 채널 오디오 신호를 처리하기 위한 오디오 인코더, 오디오 디코더, 및 관련 방법
KR101381513B1 (ko) 음성/음악 통합 신호의 부호화/복호화 장치
JP5978227B2 (ja) 予測符号化と変換符号化を繰り返す低遅延音響符号化
KR101175555B1 (ko) 소리 신호 부호화 방법, 소리 신호 복호 방법, 부호화 장치, 복호 장치, 소리 신호 처리 시스템, 소리 신호 부호화 프로그램, 및 소리 신호 복호 프로그램
EP2849180B1 (en) Hybrid audio signal encoder, hybrid audio signal decoder, method for encoding audio signal, and method for decoding audio signal
TW200841743A (en) Encoder, decoder and methods for encoding and decoding data segments representing a time-domain data stream
KR20210012031A (ko) Ｍｄｃｔ기반의 코더와 이종의 코더 간 변환에서의 인코딩 장치 및 디코딩 장치
JPWO2011158485A1 (ja) オーディオハイブリッド符号化装置およびオーディオハイブリッド復号装置
KR20160083890A (ko) 변환 코딩/디코딩으로부터 예측 코딩/디코딩으로의 천이
KR101387808B1 (ko) 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
CN107924683A (zh) 正弦编码和解码的方法和装置
JP2023526627A (ja) 音声音響統合復号の向上のための方法及び機器
KR20090043352A (ko) 상호 운용성을 지원하는 오디오/스피치 신호의부호화/복호화 방법 및 시스템

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid