KR100891669B1 - 믹스 신호의 처리 방법 및 장치 - Google Patents

믹스 신호의 처리 방법 및 장치 Download PDF

Info

Publication number
KR100891669B1
KR100891669B1 KR1020070063205A KR20070063205A KR100891669B1 KR 100891669 B1 KR100891669 B1 KR 100891669B1 KR 1020070063205 A KR1020070063205 A KR 1020070063205A KR 20070063205 A KR20070063205 A KR 20070063205A KR 100891669 B1 KR100891669 B1 KR 100891669B1
Authority
KR
South Korea
Prior art keywords
signal
mix
source
additional information
source signal
Prior art date
Application number
KR1020070063205A
Other languages
English (en)
Other versions
KR20080050227A (ko
Inventor
정양원
오현오
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20080050227A publication Critical patent/KR20080050227A/ko
Application granted granted Critical
Publication of KR100891669B1 publication Critical patent/KR100891669B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 믹스 신호의 처리 방법 및 장치에 관한 것이다. 이를 위해, 본 발명은 하나 이상의 소스 신호를 포함하는 믹스 신호를 획득하는 단계와; 상기 믹스 신호에 특정한 제1 소스 신호가 존재하지 않는 경우에, 상기 제1 소스 신호와 유사한 제2 소스 신호를 생성하는 단계와; 상기 제2 소스 신호를 이용하여 부가 정보를 생성하는 단계를 포함하되, 상기 부가 정보는 상기 믹스 신호에 포함되는 소스 신호들 및 상기 제2 소스 신호 중 리믹스될 소스 신호와 상기 믹스 신호와의 관계를 나타내는 것을 특징으로 하는 신호 처리 방법을 제공한다.
소스 신호, 리믹스 신호, 부가 정보

Description

믹스 신호의 처리 방법 및 장치{APPARATUS FOR PROCESSING AN MEDIUM SIGNAL AND METHOD THEREOF}
도 1은 본 발명의 일실시예에 따른 제1 리믹스 신호 인코딩 장치에 대한 블록도.
도 2는 스테레오 신호를 이용하는 경우, 도 1의 제1 리믹스 신호 인코딩 장치에 대한 상세 블록도.
도 3은 본 발명의 일실시예에 따른 미디어 신호를 처리하기 위한 도메인.
도 4는 본 발명의 일실시예에 따른 제2 리믹스 신호 인코딩 장치에 대한 블록도.
도 5는 본 발명의 일실시예에 따른 제1 리믹스 신호 디코딩 장치에 대한 블록도.
도 6은 스테레오 신호를 이용하는 경우, 도 5의 제1 리믹스 신호 디코딩 장치에 대한 상세도.
도 7은 본 발명의 일실시예에 따른 제2 리믹스 신호 디코딩 장치에 대한 블록도.
도 8A는 통상적인 인코딩 장치 및 본 발명의 일실시예에 따른 리믹스 신호 인코딩 장치의 결합을 나타내는 블록도.
도 8B는 종래의 디코딩 장치와 결합하여 이용되는 본 발명의 일실시예에 따른 제2 리믹스 신호 디코딩 장치에 대한 블록도.
도 9는 본 발명의 일실시예에 따른 리믹스 신호 디코딩 장치에 상세 블록도.
도 10은 본 발명의 일실시예에 따른 소스 신호별 부가 정보를 생성하는 방법을 나타내는 흐름도.
도 11은 본 발명의 일실시예에 따른 소스 신호별 부가 정보를 생성하는 디코딩 장치를 나타내는 블록도.
도 12는 본 발명의 일실시예에 따른 특정한 소스 신호를 대체하는 신호처리 장치를 나타내는 블록도.
도 13은 본 발명의 일실시예에 따른 특정한 소스 신호를 대체하는 방법을 나타내는 흐름도.
도 14는 본 발명의 일실시예에 따른 인코딩 장치에 대한 블록도.
도 15는 본 발명의 일실시예에 따른 디코딩 장치에 대한 블록도.
도 16은 본 발명의 일실시예에 따른 믹스 신호 변형부의 내부 구조도.
도 17은 본 발명의 일실시예에 따른 소스 신호 제공 서버를 이용하여 신호 처리하는 방법을 나타낸 도면.
도 18은 본 발명의 일 실시 예에 따른 믹스 신호를 변형하는 방법을 나타내는 순서도.
도 19는 본 발명의 일실시예에 따른 믹스 신호를 변형하는 방법을 나타내는 순서도.
본 발명은 믹스 신호를 처리하는 방법 및 장치에 관한 것이다. 현재까지는 스테레오 신호가 믹스 신호로 가장 흔하게 생성되고, 소비자들에게 가장 널리 이용된다. 최근에는 멀티채널 신호가 점점 널리 이용되고 있다. 그러나, 상기 믹스 신호는 상기 믹스 신호를 구성하는 소스 신호 단위가 아니라, 채널 신호 단위로 처리된다는 한계가 있다. 따라서, 채널 신호 단위로 믹스 신호를 처리하는 경우, 믹스 신호를 구성하는 특정 소스 신호만을 독립적으로 처리할 수 없는 문제점이 있다. 예를 들면, 영화를 보면서 배우들 음성에 대한 볼륨은 일정하게 유지하면서, 배경음악의 볼륨만을 높이는 것은 불가능하다. 또한, 채널 단위로 믹스 신호를 처리하기 때문에, 믹스 신호에 포함된 소스 신호를 사용자가 제공하는 특정한 소스 신호로 대체하는 것이 불가능하다.
상기와 같은 문제점을 해결하기 위하여, 본 발명은 믹스 신호에 포함된 소스 신호가 별도로 존재하지 않는 경우에, 상기 소스 신호와 유사한 신호를 이용하여 소스 신호별 부가 정보를 생성하는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 디코딩 장치에서 믹스 신호를 이용하여 상기 믹스 신호를 리믹스하기 위한 부가 정보를 생성하는 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 믹스 신호에 포함된 특정한 소스 신호를 사용자가 제공하는 소스 신호로 대체하는 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 사용자가 소스 신호를 이용하여 믹스 신호를 변형할 수 있는 신호 처리 방법 및 장치를 제공하는 데 그 목적이 있다.
상기의 목적을 달성하기 위하여, 본 발명은 하나 이상의 소스 신호를 포함하는 믹스 신호를 획득하는 단계와; 상기 소스 신호들 중 특정한 제1 소스 신호가 독립적으로 존재하지 않는 경우에, 상기 제1 소스 신호와 유사한 제2 소스 신호를 생성하는 단계와; 상기 제2 소스 신호를 이용하여 부가 정보를 생성하는 단계를 포함하되, 상기 부가 정보는 상기 믹스 신호에 포함되는 소스 신호들 및 상기 제2 소스 신호 중 리믹스될 소스 신호와 상기 믹스 신호와의 관계를 나타내는 것을 특징으로 하는 신호 처리 방법을 제공한다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 하나 이상의 소스 신호를 포함하는 믹스 신호를 획득하는 단계와; 사용자 믹스 파라미터를 획득하는 단계와; 상기 믹스 신호를 이용하여 부가 정보를 생성하는 단계와; 상기 믹스 신호, 상기 사용자 믹스 파라미터, 및 상기 부가 정보를 이용하여 리믹스 신호를 생성하는 단계를 포함하되, 상기 부가 정보는 상기 믹스 신호에 포함된 소스 신호들 중 리믹스될 소스 신호와 상기 믹스 신호와의 관계를 나타내는 것을 특징으로 하는 신호 처리 방법을 제공한다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 하나 이상의 제1 소스 신 호를 포함하는 제1 믹스 신호를 획득하는 단계와; 제2 소스 신호를 획득하는 단계와; 상기 제1 믹스 신호 및 상기 제2 소스 신호를 이용하여 제2 믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법을 제공한다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 통신망을 통하여 사용자 단말과 결합하는 소스 신호 제공 서버에서 수행하는 소스 신호 제공 방법에 있어서, 상기 사용자 단말로부터 소스 신호의 선택 정보를 획득하는 단계와; 상기 선택 정보에 따라, 선택된 소스 신호에 대한 부가 정보를 생성하는 단계와; 상기 선택된 소스 신호 및 상기 부가 정보를 상기 사용자 단말에 전송하는 단계를 포함하되, 상기 부가 정보는 상기 소스 신호를 이용하여 리믹스 신호를 생성하는데 이용되는 정보인 것을 특징으로 하는 신호 처리 방법을 제공한다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 하나 이상의 소스 신호를 포함하는 믹스 신호를 획득하는 믹스신호디코딩부; 상기 믹스 신호에 포함된 특정 공간을 나타내는 신호 성분을 이용하여 부가 정보를 생성하는 부가정보생성부; 및 상기 믹스 신호, 상기 믹스 파라미터, 및 상기 부가 정보를 이용하여 리믹스 신호를 생성하는 리믹스렌더링부를 포함하되, 상기 부가 정보는 상기 믹스 신호에 포함된 소스 신호들 중 리믹스될 소스 신호와 상기 믹스 신호와의 관계를 나타내는 것을 특징으로 하는 신호 처리 장치를 제공한다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 믹스 신호에 포함된 특정한 제1 소스 신호를 조절하여 제1 리믹스 신호를 생성하는 리믹스렌더링부; 상기 믹스 신호에 포함되어 있지 않은 별도의 제2 소스 신호를 생성하는 소스신호생성 부; 및 상기 제1 리믹스 신호 및 상기 제2 소스 신호를 이용하여 제2 리믹스 신호를 생성하는 리코딩부를 포함하는 것을 특징으로 하는 신호 처리 장치를 제공한다.
또한, 상기의 목적을 달성하기 위하여, 본 발명은 하나 이상의 제1 소스 신호를 포함하는 제1 믹스 신호를 획득하는 믹스신호디코딩부; 상기 제1 믹스 신호에 포함되지 않은 제2 소스 신호를 획득하는 소스신호디코딩부; 및 상기 제1 믹스 신호 및 상기 제2 소스 신호를 이용하여 제2 믹스 신호를 생성하는 믹스신호변형부를 포함하되, 상기 제2 믹스 신호는 상기 제1 소스 신호 및 상기 제2 소스 신호 중 사용자가 선택한 소스 신호만을 포함하는 것을 특징으로 하는 신호 처리 장치를 제공한다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.
본 발명은 믹스 신호를 소스(object) 신호 단위로 처리할 수 있는 알고리즘을 제공한다. 믹스 신호를 소스 신호 단위로 처리하는 경우, 매우 다양한 효과를 생성할 수 있다. 예를 들면, 영화를 보면서 배우들 음성에 대한 볼륨은 일정하게 유지하면서, 배경음악의 볼륨만을 높이는 것이 가능하다. 본 발명에서 소스 신호란 믹스 신호를 구성하는 하나 이상의 소스(source)(예를 들면, 피아노)를 포함한다. 소스 신호 단위의 처리란 믹스 신호를 처리함에 있어서, 상기 믹스 신호를 구성하는 특정한 소스 신호와 관련된 특성들(예를 들면, 로컬화(localization), 게인(gain))이 "개별적으로(individually)" 수정될 수 있다는 것을 의미한다. 상기 "개별적으로"란 특정한 소스와 관련된 특성을 수정하는 것이 다른 소스 신호들의 특 성에 영향을 미치지 않거나, 지각적으로 느끼기 어려운 작은 영향만을 미치는 것을 의미한다. 설명의 편의상 이하에서 스테레오 신호를 예로 하여 기술할 것이나, 본 발명은 스테레오 신호에만 한정되지 않는다. 본 발명에서는 통상적인 믹스 신호의 포맷(예를 들면, PCM, MP3, MPEG-AAC)뿐만 아니라, 적은 양의 부가 정보(side information)가 전송된다. 상기 믹스 신호 및 부가 정보를 이용하여 리믹스 신호를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 제1 리믹스 신호 인코더의 블록도이다. 상기 제1 리믹스 신호 인코더는 부가정보생성부(103) 및 부가정보인코딩부(105)를 포함한다.
도 1을 참조하면, 부가정보생성부(103)는 통상적인 믹스 신호(101) 및 상기 믹스 신호를 구성하는 소스 신호(102)를 이용하여 부가 정보(104)를 생성한다. 상기 믹스 신호(101)는 모노(mono), 스테레오(stereo) 및 멀티채널 오디오 신호(multi-channel audio signal)가 될 수 있다. 상기 소스 신호(102)는 상기 믹스 신호(101)를 구성하는 소스 신호들 중 일부 또는 전부가 될 수 있다. 상기 부가 정보(104)는 상기 믹스 신호를 소스 신호 단위로 처리하는데 이용되는 정보를 말한다. 상기 부가 정보(104)는 상기 믹스 신호를 리믹싱하기 위한 믹스 파라미터를 포함한다. 상기 믹스 파라터에는 인코더에서 소스 신호를 이용하여 생성된 인코더 믹스 파라미터(Encoder mix parameter)를 포함하며, 선택적으로 믹스 신호만을 이용하여 생성된 블라인드 믹스 파라미터(Blind mix parameter)를 포함할 수 있다. 상기 믹스 파라미터의 예로는 각각의 소스 신호에 대한 게인 값 및 서브밴드 파 위(subband power) 등이 될 수 있다. 상기 부가 정보(104)에 대한 구체적인 정의 및 생성 방법은 도 2에서 기술된다. 본 발명은 또한 믹스 신호를 구성하는 소스 신호(102)만을 이용하여 부가 정보(104)를 생성하는 것을 포함한다. 부가정보인코딩부(105)는 생성된 부가 정보(104)를 인코딩하여 부호화된 부가 정보 신호(106)를 생성한다. 상기 믹스 신호(101) 및 상기 부가 정보 신호(106)는 디코딩 장치로 전송된다.
도 2는 믹스 신호가 스테레오 신호인 경우, 도 1의 제1 리믹스 신호 인코딩 장치에 대한 상세 블록도이다. 전술한 것처럼, 본 발명에서 사용되는 믹스 신호는 모노, 스테레오 및 멀티채널 오디오 신호가 될 수 있으나, 편의상 스테레오 신호(201)를 기준으로 설명한다.
상기 스테레오 신호(stereo signal)(201)
Figure 112007046539772-pat00001
및
Figure 112007046539772-pat00002
는 상기 스테레오 신호를 구성하는 소스 신호들의 합으로 표현될 수 있다. 여기서, n은 타임 인덱스를 의미한다. 따라서, 상기 스테레오 신호(201)는 아래의 [수학식 1]과 같이 표현될 수 있다.
Figure 112007046539772-pat00003
여기서, I는 스테레오 신호 내에 포함되는 소스 신호들의 개수이고,
Figure 112007046539772-pat00004
은 소스 신호들을 나타낸다.
Figure 112007046539772-pat00005
및
Figure 112007046539772-pat00006
는 각각의 소스 신호에 대한 진폭 패닝(amplitude panning) 및 게인(gain)을 결정하는 값이다. 모든
Figure 112007046539772-pat00007
들은 서로 독립적이다. 상기
Figure 112007046539772-pat00008
는 모두 순수한 소스 신호이거나, 또는 순수한 소스 신호에 약간의 잔향(reverberation) 및 효과음 신호성분(sound effect signal components)을 포함할 수 있다. 예를 들면, 특정한 잔향 신호성분은 2개의 소스 신호, 즉, 왼쪽 채널로 믹스된 신호와 오른쪽 채널로 믹스된 신호로 표현될 수 있다.
본 발명의 목적은 M개(0 <= M <= I)의 소스 신호들이 리믹스 되도록, 상기 소스 신호를 포함하는 스테레오 신호를 수정하는 것이다. 상기 소스 신호들은 서로 다른 게인 팩터들을 가지면서 스테레오 신호로 리믹스될 수 있다. 리믹스 신호는 아래의 [수학식 2]와 같이 표현될 수 있다.
Figure 112007046539772-pat00009
여기서,
Figure 112007046539772-pat00010
및
Figure 112007046539772-pat00011
는 리믹스되는 M개의 소스 신호들에 대한 새로운 게인 팩터들이다. 상기
Figure 112007046539772-pat00012
및
Figure 112007046539772-pat00013
는 디코더 단에서 제공될 수 있다. 이 경우에, 부가정보생성부(206)는 스테레오 신호(201) 및 M개의 소스 신호(202)를 이용하여 부가 정보(207)를 생성할 수 있다.
상술하였듯이, 본 발명의 목적은 통상적인 스테레오 신호와 약간의 부가 정보가 주어지는 경우에, 상기 스테레오 신호를 소스 신호 단위로 리믹스하는 것이다. 본 발명에서와 같이 매우 적은 양의 부가 정보를 이용하여 [수학식 1]로 표현되는 믹스 신호로부터 [수학식 2]로 표현되는 리믹스 신호를 완벽하게 생성하는 것은 가능하지 않다. 따라서, 본 발명은 각각의 소스 신호들
Figure 112007046539772-pat00014
에 대한 접근 없이, [수학식 1]로 표현되는 통상적인 믹스 신호가 주어지는 경우에, [수학식 2]로 표현되는 리믹스 신호를 지각적으로 모방하는 것을 목적으로 한다.
도 2를 참조하면, 제1 리믹스 신호 인코딩 장치에 통상적인 스테레오 신호(201) 및 상기 스테레오 신호(201)에 포함되는 M개의 소스 신호(202)가 입력된다. 상기 스테레오 신호(201)는 부가 정보와 동기화되기 위해 어느 정도 딜레이 되어, 출력 신호로서 직접 이용될 수 있다. 부가 정보를 생성하기 위해, 상기 스테레오 신호(201) 및 소스 신호들(202)은 필터뱅크(203)를 통하여 시간-주파수 도메인의 서브밴드별 신호(204 및 205)로 분해된다. 즉, 상기 스테레오 신호(201) 및 소스 신호는 시간-주파수 도메인에서 처리되는데, 상기 시간-주파수 도메인에 대해서는 도 3에서 후술한다. 상기 서브밴드별 신호(204)는 각 서브밴드의 중심 주파수에서 유사하게 프로세싱된다. 특정한 주파수에서 스테레오 신호(201)의 서브밴드 쌍(204)은
Figure 112007046539772-pat00015
및
Figure 112007046539772-pat00016
로 표시된다. 여기서 k는 서브밴드 신호들의 시간 인덱스(time index)이다. 유사하게, M개의 소스 신호들(202)의 서브밴드 신호들(205)은
Figure 112007046539772-pat00017
,
Figure 112007046539772-pat00018
,...,
Figure 112007046539772-pat00019
로 표시된다. 명료한 표현을 위해, 서브밴드(주파수) 인덱스를 사용하지 않았다.
상기 소스 신호들(202)의 서브밴드 신호들(205)이 주어지면, 부가정보생성부(206)는 서브밴드별로 숏-타임 서브밴드 파워(short-time subband power),
Figure 112007046539772-pat00020
를 생성한다. 또한, 상기 부가정보생성부(206)는 스테레오 신호(201)의 서브밴드 쌍(204)을 이용하여, 서브밴드별로 게인 팩터
Figure 112007046539772-pat00021
및
Figure 112007046539772-pat00022
를 생성한다. 상기 게인 팩터
Figure 112007046539772-pat00023
및
Figure 112007046539772-pat00024
는 외부에서 직접 주어질 수 있다. 상기 서브밴드별 숏-타임 서브밴드 파워 및 게인 팩터를 이용하여 서브밴드별 부가 정보(207)가 생성된다. 상기 부가정보생성부(206)는 상기 숏-타임 서브밴드 파워 및 게인 팩터들 이외에 상기 스테레오 신호에 관련된 다른 정보를 부가 정보(207)로 생성할 수 있다. 부가정보인코딩부(208)는 상기 서브밴드별 부가정보(207)를 이용하여 부호화된 부가 정보 신호(209)를 생성한다.
많은 스테레오 신호(201)에 대하여, 게인 팩터
Figure 112007046539772-pat00025
및
Figure 112007046539772-pat00026
는 고정적이 될 것이다. 만일
Figure 112007046539772-pat00027
및
Figure 112007046539772-pat00028
가 시간 k에 따라 가변적이라면, 상기 게인 팩터들은 시 간의 함수로 생성될 것이다. 상기 게인 팩터들은 직접 양자화 및 부호화되지 않고, 먼저 양자화 및 부호화에 더 적합한 다른 값들로 전환될 수 있다. 또한,
Figure 112007046539772-pat00029
는 스테레오 신호(201)의 서브밴드 파워에 상대적인 값으로 정규화될 수 있다. 이것은 스테레오 신호를 효율적으로 부호화하기 위해 통상적인 인코딩 장치가 이용되는 경우에, 본 발명을 상대적으로 변화에 강하도록 만들어준다. 예를 들면,
Figure 112007046539772-pat00030
및
Figure 112007046539772-pat00031
는 아래의 [수학식 3]으로 표현되는 게인 및 데시벨(dB) 단위의 레벨차로 전환되어 전송될 수 있다.
Figure 112007046539772-pat00032
또한,
Figure 112007046539772-pat00033
는 부가 정보로서 직접 부호화되는 것이 아니라, 아래의 [수학식 4]로 표현되는 스테레오 신호에 상대적으로 정의된 값으로 변환되어 전송될 수 있다.
Figure 112007046539772-pat00034
숏-타임 서브밴드 파워를 생성하기 위해, 본 발명은 단일-폴 평균(single-pole averaging)을 사용한다. 즉,
Figure 112007046539772-pat00035
는 아래의 [수학식 5]와 같이 계산될 수 있다.
Figure 112007046539772-pat00036
여기서, α∈[0,1]는 아래의 [수학식 6]와 같이 지수적으로 감소하는 추정 윈도우(estimation window)의 시간-상수를 결정한다.
Figure 112007046539772-pat00037
여기서,
Figure 112007046539772-pat00038
는 서브밴드 샘플링 주파수를 나타낸다. 예를 들면, T=40 ms를 이용할 수 있다. 이하에서,
Figure 112007046539772-pat00039
는 숏-타임 평균(short-time averaging)을 나타낸다. 만일
Figure 112007046539772-pat00040
및
Figure 112007046539772-pat00041
가 주어지지 않는다면, 상기
Figure 112007046539772-pat00042
및
Figure 112007046539772-pat00043
는 부가정보생성부(206)에서 생성될 필요가 있다.
Figure 112007046539772-pat00044
이므로,
Figure 112007046539772-pat00045
는 아래의 [수학식 7]과 같이 계산된다.
Figure 112007046539772-pat00046
유사하게,
Figure 112007046539772-pat00047
는 아래의 [수학식 8]과 같이 계산된다.
Figure 112007046539772-pat00048
도 3은 본 발명의 일 실시예에 따른 오디오 신호를 처리하기 위한 도메인을 도시한다. 전술한 것처럼, 오디오 신호 및 부가 정보는 도 3에 도시된 것과 같은 시간-주파수 도메인의 서브밴드별 신호로서 처리된다. 상기 시간-주파수 도메인의 서브밴드별 신호는 지각적으로 유도된다. 예를 들면, 약 20ms의 길이를 가지는 사인파 분석창 및 통합창(sine analysis and synthesis window)을 가지는 STFT(Short Time Fourier transform)를 이용하여 서브밴드별 신호를 생성할 수 있다. 이때, STFT 계수들은 하나의 그룹이 ERB(equivalent rectangular bandwidth)의 약 2배가 되는 대역폭을 갖도록 그룹화될 수 있다.
도 4는 본 발명의 일 실시예에 따른 제2 리믹스 신호 인코딩 장치에 대한 블록도이다. 상기 제2 리믹스 신호 인코딩 장치는 다운믹싱부(402), 부가정보생성부(403) 및 부가정보인코딩부(406)을 포함한다.
도 4를 참조하면, 다운믹싱부(402)는 복수의 소스 신호들(401)을 더하여 하나의 합 신호(sum signal)(404)을 생성한다. 제2 리믹스 신호 인코딩 장치는 제1 리믹스 신호 인코딩 장치와는 달리, 스테레오 신호를 전송하는 대신에 상기 합 신호(404)를 전송한다. 부가정보생성부(403)는 상기 소스 신호들(401)을 이용하여 부가 정보(405)를 생성한다. 상기 부가 정보(405)는 각 소스 신호에 대응하는 서브밴드 파워 및 게인 팩터를 포함한다. 또한, 상기 부가 정보(405)는 리믹스 렌더링부에서의 딜레이에 대응하는 파라미터를 포함할 수 있다. 제1 리믹스 신호 인코딩 장치에서와 유사하게, 상기 부가 정보(405)는 양자화 및 부호화에 더 적합한 다른 값으로 변환되어 전송될 수 있다. 부가정보인코딩부(406)는 생성된 부가 정보(405)를 이용하여 부호화된 부가 정보 신호(407)를 생성한다. 생성된 상기 합 신호(404) 및 부가 정보 신호(407)는 디코딩 장치로 전송된다. 본 발명은 또한 다운믹싱부(402)를 가지지 않는 인코딩 장치를 포함한다. 이 경우에, 소스 신호들(401)은 합 신호(404)로 변환되지 않고, 각 소스 신호들(401)이 직접 전송된다.
도 5는 본 발명의 일 실시예에 따른 제1 리믹스 신호 디코딩 장치에 대한 블록도이다. 상기 제1 리믹스 신호 디코딩 장치는 부가정보디코딩부(503) 및 리믹스 렌더링부(505)를 포함한다.
도 5를 참조하면, 믹스 신호(501) 및 부가 정보 신호(502)가 제1 리믹스 신호 디코딩 장치에 입력된다. 상기 믹스 신호(501)는 모노, 스테레오 또는 멀티채널 오디오 신호가 될 수 있다. 부가정보디코딩부(503)는 부가 정보 신호(502)를 디코딩하여 부가 정보(504)를 생성한다. 상기 부가 정보(504)는 전송된 오디오 신 호(501)에 포함된 소스 신호들의 게인 팩터 및 서브밴드 파워 등을 포함한다. 리믹스 렌더링부(505)에는 사용자가 직접 제공하는 제어 정보를 이용하여 생성된 사용자 믹스 파라미터(user-mix parameter, 506)가 입력될 수 있다. 리믹스 렌더링부(505)는 믹스 신호(501), 전송된 부가 정보(504) 및 사용자 믹스 파라미터(506)를 이용하여 리믹스 신호(507)를 생성한다. 상기 리믹스 신호를 생성하는 방법에 관한 구체적인 설명은 도 6에서 후술한다. 리믹스 신호(507)는 전송된 믹스 신호의 채널 수와 동일한 채널 수를 가지는 동채널 믹스 신호(Eq-channel mix signal)로 생성되거나, 또는 믹스 신호의 채널 수보다 많은 채널 수를 가지는 업채널 믹스 신호(Up-channel mix signal)로 생성될 수 있다.
도 6은 스테레오 신호를 이용하는 경우, 도 5의 제1 리믹스 신호 디코딩 장치에 대한 상세도이다. 전술한 것처럼, 전송된 믹스 신호는 모노, 스테레오 및 멀티채널 오디오 신호가 될 수 있으나, 편의상 스테레오 신호(601)를 기준으로 설명한다.
도 6을 참조하면, 스테레오 신호(601)는 필터뱅크(603)을 통하여 시간-주파수 도메인의 서브밴드별 신호(604)로 분해된다. 도 6에 도시된 것처럼, 특정한 주파수에서의 서브밴드별 신호(604)은
Figure 112007046539772-pat00049
및
Figure 112007046539772-pat00050
로 표현된다. 부가정보디코딩부(605)는 전송된 부가 정보 신호(602)를 복호화하여, 서브밴드별 부가 정보(606)를 생성한다. 또한, 리믹스 렌더링부(607)에 사용자가 제공하는 제어 정보를 이용하여 생성된 사용자 믹스 파라미터(608)가 입력될 수 있으며, 상기 사용자 믹스 파라미터(608)는 서브밴드별로 제공될 수 있다. 전술한 것처럼, 상기 부가 정보(606)는 리믹스 될 M개의 소스 신호에 대한 서브밴드별 게인 팩터(
Figure 112007046539772-pat00051
및
Figure 112007046539772-pat00052
) 및
Figure 112007046539772-pat00053
로 표현되는 서브밴드 파워를 포함한다. 리믹스 렌더링부(607)는 서브밴드별로 생성된 스테레오 신호(604), 전송된 부가 정보(606) 및 사용자 믹스 파라미터(608)를 이용하여, 서브밴드별 리믹스 신호(609),
Figure 112007046539772-pat00054
및
Figure 112007046539772-pat00055
를 생성한다. 상기 리믹스 신호(609)를 생성하는 방법은 아래에서 더욱 상세하게 기술된다. 상기 리믹스 신호(609)는 역필터뱅크(610)를 통해 시간 도메인(time domain)의 스테레오 신호(611),
Figure 112007046539772-pat00056
및
Figure 112007046539772-pat00057
로 변환된다.
리믹스 렌더링부(607)에서 생성된 리믹스 신호(609)를 생성하는 방법은 다음과 같다. 상기 [수학식 1] 및 [수학식 2]는 서브밴드별 신호(604 및 609)에 대해서도 유효하다. 이 경우에, 소스 신호
Figure 112007046539772-pat00058
는 서브밴드별 소스 신호
Figure 112007046539772-pat00059
로 교체된다. 즉, 서브밴드별 믹스 신호(604)는 아래의 [수학식 9]과 같이 표현될 수 있다.
Figure 112007046539772-pat00060
서브밴드별 리믹스 신호(609)는 아래의 [수학식 10]과 같이 표현될 수 있다.
Figure 112007046539772-pat00061
리믹스 신호(609)를 생성하기 위해, 최소자승추정법(least squares estimation)이 이용될 수 있다. 서브밴드별 믹스 신호(604),
Figure 112007046539772-pat00062
및
Figure 112007046539772-pat00063
가 주어지면, 아래의 [수학식 11]와 같이 서로 다른 게인들을 가지는 서브밴드별 리믹스 신호(609)가 상기 서브밴드별 믹스 신호(604)의 선형 조합으로 추정될 수 있다.
Figure 112007046539772-pat00064
여기서,
Figure 112007046539772-pat00065
,
Figure 112007046539772-pat00066
,
Figure 112007046539772-pat00067
및
Figure 112007046539772-pat00068
는 가중 팩터들(weighting factors)이다. 이때, 생성되는 추정 에러(estimation error)는 아래의 [수학식 12]과 같이 정의될 수 있다.
Figure 112007046539772-pat00069
상기 가중 팩터들,
Figure 112007046539772-pat00070
,
Figure 112007046539772-pat00071
,
Figure 112007046539772-pat00072
및
Figure 112007046539772-pat00073
는 평균제곱오차(mean square error),
Figure 112007046539772-pat00074
및
Figure 112007046539772-pat00075
가 최소가 되도록 서브밴드별로 생성될 수 있다. 이때, 추정 에러,
Figure 112007046539772-pat00076
및
Figure 112007046539772-pat00077
가
Figure 112007046539772-pat00078
및
Figure 112007046539772-pat00079
에 직교(orthogonal)될 때, 상기 평균제곱오차가 최소가 된다는 것을 이용할 수 있다. 생성되는
Figure 112007046539772-pat00080
및
Figure 112007046539772-pat00081
는 아래의 [수학식 13]과 같이 표현될 수 있다.
Figure 112007046539772-pat00082
여기서,
Figure 112007046539772-pat00083
,
Figure 112007046539772-pat00084
및
Figure 112007046539772-pat00085
는 직접 생성될 수 있지만,
Figure 112007046539772-pat00086
및
Figure 112007046539772-pat00087
은 전송된 부가 정보(606)(예를 들면,
Figure 112007046539772-pat00088
,
Figure 112007046539772-pat00089
,
Figure 112007046539772-pat00090
) 및 사용자가 제공하는 제어 정보(608)(예를 들면, 게인 팩터
Figure 112007046539772-pat00091
및
Figure 112007046539772-pat00092
)를 이용하여, 아래의 [수학식 14]와 같이 생성될 수 있다.
Figure 112007046539772-pat00093
유사하게,
Figure 112007046539772-pat00094
및
Figure 112007046539772-pat00095
가 아래의 [수학식 15]와 같이 생성될 수 있다.
Figure 112007046539772-pat00096
여기서,
Figure 112007046539772-pat00097
및
Figure 112007046539772-pat00098
는 아래의 [수학식 16]과 같이 표현될 수 있다.
Figure 112007046539772-pat00099
만일, 상기 믹스 신호(604)의 위상이 서로 동기되거나(coherent) 또는 거의 동기화된다면, 아래의 [수학식 17]와 같이 표현되는 값이 1에 근접하게 된다.
Figure 112007046539772-pat00100
이때, 상기 가중치들은 아래의 [수학식 18]과 같이 표현될 수 있다.
Figure 112007046539772-pat00101
이와 같이 생성된 서브밴드별 리믹스 신호(609)는 전술한 것처럼 역필터뱅크(610)를 통해 시간-도메인의 리믹스 신호(611)로 변환된다. 상기 리믹스 신호(611)는 사용자가 제공한 제어 정보를 이용하여 생성된 사용자 믹스 파라미터(
Figure 112007046539772-pat00102
및
Figure 112007046539772-pat00103
)를 이용하여 각각의 소스 신호를 독립적으로 리믹스하여 생성된 리믹스 신호와 유사하게 들린다.
지금까지는 2채널 스테레오 신호의 리믹싱에 초점을 맞추었다. 그러나, 전술한 것처럼 본 발명은 스테레오 신호에 제한되지 않고, 멀티채널 오디오 신호, 예를 들면 5.1채널 오디오 신호를 리믹싱하는 것까지 확대될 수 있다. 당업자들은 본 명세서에서 기술된 스테레오 신호와 유사하게, 멀티채널 오디오 신호를 리믹싱할 수 있다. 이 경우에, [수학식 11]는 아래의 [수학식 19]과 같이 쓰여질 수 있다.
Figure 112007046539772-pat00104
선택적으로, 믹스 신호의 채널들 중 특정한 채널은 리믹스하지 않고 남겨두도록 할 수 있다. 예를 들면, 5.1 서라운드 채널에 대하여, 2개의 뒤쪽 채널은 수정하지 않고, 앞쪽 채널에만 리믹싱을 적용하도록 할 수 있다. 이 경우에, 2 또는 3채널 리믹싱 알고리즘이 앞쪽 채널에 적용된다.
도 7은 본 발명의 일 실시예에 따른 제2 리믹스 신호 디코딩 장치에 대한 블록도이다. 상기 제2 리믹스 신호 디코딩 장치는 부가정보디코딩부(703), 공간정보통합부(705) 및 리믹스 렌더링부(707)를 포함한다.
도 7을 참조하면, 소스 신호들의 합 신호(701) 및 부가 정보 신호(702)가 제2 리믹스 신호 디코딩 장치로 입력된다. 부가정보디코딩부(703)는 부가 정보 신호(702)를 디코딩하여, 부가 정보(704)를 생성한다. 상기 부가 정보(704)는 게인 팩터, 딜레이 상수 및 서브밴드 파워 등을 포함한다. 부가정보통합부(705)는 상기 부가 정보(704)를 이용하여, 상기 합 신호(701)를 복수의 소스 신호들(706)로 분리한다. 리믹스 렌더링부(707)는 상기 소스 신호들(706)을 이용하여 리믹스 신호(709)를 생성할 수 있다. 이때, 상기 리믹스 렌더링부(707)는 부가 정보로 전송 된 믹스 파라미터를 이용하여 리믹스 신호(709)를 생성할 수 있다. 또한, 상기 리믹스 렌더링부(707)는 선택적으로 사용자가 제공하는 제어 정보를 이용하여 생성된 사용자 믹스 파라미터(708)를 이용하여 리믹스 신호(709)를 생성할 수 있다.
도 8A는 통상적인 인코딩 장치 및 본 발명의 일 실시예에 따른 리믹스 신호 인코딩 장치의 결합을 나타내는 블록도이다. 믹스 신호(801)는 통상적인 인코딩 장치(803)에 의해 부호화되어, 부호화된 믹스 신호(805)로 변환될 수 있다. 상기 믹스 신호(801)는 채널별 신호 또는 소스 신호가 될 수 있다. 상기 통상적인 인코딩 장치(803)는 AAC, MP3 인코더 등과 같은 종래의 인코딩 장치뿐만 아니라, 앞으로 개발될 인코딩 장치를 포함한다. 본 발명에 따른 리믹스 신호 인코딩 장치(804)는 상기 믹스 신호(801) 및 상기 믹스 신호에 포함되는 소스 신호(802)를 이용하여 부가 정보 신호(806)를 생성한다. 다중화부(807)는 부호화된 믹스 신호(805) 및 부가 정보 신호(806)를 이용하여 비트스트림(808)을 생성한다. 전술한 것처럼, 상기 부가 정보 신호(806)는 종래 장치들과 호환성을 가지도록, 종래 믹스 신호 포맷 내의 보조 데이터 영역에 삽입될 수 있다.
도 8B는 통상적인 디코딩 장치 및 본 발명의 일 실시예에 따른 리믹스 신호 디코딩 장치의 결합에 대한 블록도이다. 역다중화부(810)는 전송된 비트스트림(809)으로부터 부호화된 믹스 신호(811) 및 부가 정보 신호(812)를 분리한다. 그 다음에, 통상적인 디코딩 장치(813)는 상기 부호화된 믹스 신호(811)를 디코딩하여, 본 발명에 따른 리믹스 신호 디코딩 장치(815)에서 이용될 수 있는 믹스 신호(814)를 생성한다. 상기 통상적인 디코딩 장치(813)는 AAC, MP3 디코더 등과 같 은 종래의 인코딩 장치뿐만 아니라, 앞으로 개발될 인코딩 장치를 포함한다. 상기 믹스 신호(814)는 채널별 신호 또는 소스 신호가 될 수 있다. 본 발명에 따른 리믹스 신호 디코딩 장치(817)는 부가 정보 신호(812) 및 사용자 믹스 파라미터(817) 중 적어도 하나를 이용하여 상기 믹스 신호(814)를 리믹스 신호(816)로 변환할 수 있다.
도 9는 본 발명의 일 실시예에 따른 리믹스 신호 디코딩 장치에 상세 블록도이다. 도 9를 참조하면, 리믹스 신호 디코딩 장치는 믹스신호디코딩부(901), 파라미터생성부(902), 및 리믹스렌더링부(908)를 포함한다. 선택적으로 이펙터(Effecter, 911)를 포함할 수 있다. 상기 파라미터생성부(902)는 블라인드믹스 파라미터생성부(903), 사용자믹스파라미터생성부(904), 및 리믹스파라미터생성부(905)를 포함할 수 있다. 상기 리믹스파라미터생성부(905)는 이퀴믹스파라미터생성부(906)를 포함하며, 선택적으로 업믹스파라미터생성부(907)를 포함할 수 있다. 또한, 상기 리믹스렌더링부(908)는 이퀴믹스렌더링부(909)를 포함하며, 선택적으로 업믹스렌더링부(910)를 포함할 수 있다.
상기 믹스신호디코딩부(901)는 인코딩 단에서 전송된 부호화된 믹스 신호를 디코딩하여 믹스 신호를 생성한다. 상기 파라미터생성부(902)는 인코딩 단에서 전송된 부가 정보 및 사용자 제어정보(또는, 구성정보)를 수신한다. 상기 사용자 제어정보는 인코더 단에서 전송되지 않고, 디코더 단에서 생성될 수 있다. 상기 사용자믹스파라미터생성부(904)는 사용자 제어정보를 이용하여 사용자 믹스 파라미터를 생성한다. 인코더 단에서 전송된 부가 정보에는 인코더 믹스 파라믹터(Encoder Mix Parameter)가 포함될 수 있다. 또한, 상기 블라인드믹스파라미터생성부(903)는 상기 믹스 신호를 이용하여 블라인드 믹스 파라미터(Blind-Mix Parameter)를 생성할 수 있다. 상기 인코더 믹스 파라미터와 상기 블라인드 믹스 파라미터는 택일적으로 리믹스파라미터생성부(905)로 입력된다.
상기 리믹스파라미터생성부(905)는 부가 정보 및 사용자 믹스 파라미터를 이용하여 리믹스 파라미터를 생성한다. 상기 리믹스 파라미터는 리믹스 신호의 채널에 적용될 수 있도록 생성될 수 있다. 리믹스파라미터생성부(905)에 포함되는 이퀴믹스파라미터생성부(906)는 믹스 신호의 채널 수와 동일한 채널 수를 가지는 리믹스 신호를 생성하는데 이용되는 리믹스 파라미터를 생성하고, 상기 리믹스파라미터생성부(905)에 포함될 수 있는 업믹스파라미터생성부(907)는 믹스 신호의 채널 수보다 더 많은 채널 수를 가지는 리믹스 신호를 생성하는데 이용되는 리믹스 파라미터를 생성한다. 상기 리믹스 파라미터는 리믹스렌더링부(908)에 입력된다.
상기 리믹스렌더링부(908)에 포함되는 이퀴믹스렌더링부(909)는 상기 리믹스 파라미터 및 믹스 신호를 이용하여, 상기 믹스 신호의 채널 수와 동일한 채널 수를 가지는 이퀴채널 리믹스 신호(Eq-channel remix signal)를 생성한다. 상기 리믹스렌더링부(908)에 포함될 수 있는 업믹스렌더링부(910)는 상기 업믹스파라미터생성부(907)에서 생성된 리믹스 파라미터 및 믹스 신호를 이용하여, 상기 믹스 신호의 채널 수보다 더 많은 채널 수를 가지는 업채널 리믹스 신호(Up-channel remix signal)를 생성한다. 상기 업믹스렌더링부(910)는 상기 이퀴채널렌더링부(909)에서 생성된 리믹스 신호를 이용하여 업채널 리믹스 신호를 생성할 수도 있다.
따라서, 상기 디코딩 장치는 인코딩 단에서 전송한 믹스 신호를 그대로 출력하거나, 이퀴채널 리믹스 신호로 출력하거나, 또는 업채널 리믹스 신호로 출력할 수 있다. 선택적으로 상기 리믹스 렌더링부는 이펙터(911)로부터 제공되는 정보를 이용하여, 상기 리믹스 신호에 다양한 효과를 줄 수 있다.
도 10은 본 발명의 일실시예에 따른 부가 정보를 생성하는 방법을 나타내는 흐름도이다. 인코딩 장치에서 부가 정보를 생성하기 위해서는 별도의 소스 신호가 필요하다. 그런데, 많은 믹스 신호에 있어서, 상기 믹스 신호에 포함된 소스 신호가 별도로 존재하지 않는 경우가 존재한다. 이와 같은 경우에 상기 믹스 신호에 포함된 소스 신호와 유사한 신호를 이용하여 부가 정보를 생성할 수 있다. 상기 부가 정보는 게인 값, 서브밴드 파워 등과 같은 파라미터를 포함한다.
도 10을 참조하면, 믹스 신호가 입력되면(S1001), 상기 믹스 신호가 별도의 소스 신호가 독립적으로 존재하는지를 판단한다(S1002). 별도의 소스 신호가 존재하는 경우에, 상기 소스 신호를 이용하여 부가 정보를 생성한다(S1004). 만일 별도의 소스 신호가 존재하지 않는 경우에, 상기 믹스 신호에 대한 미디 파일이 존재하는지 판단한다(S1003). 만일 미디 파일이 존재하는 경우에는, 상기 미디 파일을 이용하여 부가 정보를 생성할 수 있다(S1006). 예를 들면, 미디 파일을 이용하여 특정한 소스 신호(예를 들면, 피아노 소리)를 생성하고, 상기 특정한 소스 신호를 이용하여 부가 정보를 생성할 수 있다.
만일 미디 파일이 존재하지 않는 경우에, 아래의 방법들을 이용하여 부가 정보를 생성할 수 있다. 첫 번째 방법은 특정한 소스 신호와 유사한 음역대를 사용하 는 악기를 이용하여 부가 정보를 생성하는 것이다(S1005). 예를 들면, 보컬의 경우에 상기 보컬과 비슷한 음역대를 사용하는 악기를 이용하여 부가 정보를 생성할 수 있다. 두 번째 방법은 믹스 신호 중 특정한 공간을 나타내는 소리 성분을 이용하여 부가 정보를 생성하는 것이다(S1005). 예를 들면, 보컬의 경우 믹스 신호 중 가운데 공간을 나타내는 소리 성분을 분석하여 보컬로 간주하고, 상기 소리 성분을 이용하여 부가 정보를 생성할 수 있다. 세 번째 방법은 첫 번째 방법과 두 번째 방법을 결합하는 것이다. 즉, 특정한 소스 신호와 유사한 음역대를 사용하는 악기를 이용할 뿐만 아니라, 믹스 신호 중 특정한 공간을 나타내는 소리 성분을 이용하여 부가 정보를 생성하는 것이다(S1005). 그 다음에 상기 믹스 신호 및 부가 정보를 이용하여 믹스 신호 파일을 생성할 수 있다(S1007).
도 11은 본 발명의 일실시예에 따른 부가 정보를 생성하는 디코딩 장치를 나타내는 블록도이다. 상기 디코딩 장치는 믹스신호디코딩부(1102), 부가정보생성부(1104) 및 리믹스렌더링부(1106)를 포함한다. 상기 디코딩 장치는 믹스 신호로부터 부가 정보를 생성할 수 있다.
도 11을 참조하면, 믹스 신호(1101)가 믹스신호디코딩부(1102)에 입력된다. 믹스신호디코딩부(1102)는 상기 믹스 신호(1101)를 이용하여 믹스 신호(1103)를 재생한다. 그 다음에 부가정보생성부(1104)는 상기 믹스 신호(1103)를 이용하여 부가 정보(1105)를 생성할 수 있다. 부가 정보(1105)를 생성하기 위해 다양한 방법이 이용될 수 있다. 첫 번째 방법은 전술한 것처럼 믹스 신호 중 특정한 공간을 나타내는 소리 성분을 이용하여 부가 정보를 생성할 수 있다. 두 번째 방법은 SDAS(Spatial Decomposition of Audio Signals)를 이용하여 부가 정보를 생성할 수 있다. 세 번째 방법은 LPC(Linear Predictive Coding) 분석기법을 도입하여 부가 정보를 생성할 수 있다. 예를 들면, LPC 분석기법을 이용하여 음성 신호를 모델링하고, 상기 음성으로부터 부가 정보를 생성할 수 있다. 상기와 같은 방법을 이용하여 생성된 부가 정보(1105)는 리믹스렌더링부(1106)에 입력된다. 리믹스렌더링부(1106)는 상기 부가 정보(1105) 및 사용자가 직접 제공하는 제어 정보(1108)를 이용하여 리믹스 신호(1107)를 생성할 수 있다.
도 12는 본 발명의 일실시예에 따른 특정한 소스 신호를 대체하는 신호처리 장치를 나타내는 블록도이다. 상기 신호 처리 장치는 리믹스렌더링부(1202), 제어부(1203), 재생부(1204), 소스신호생성부(1205), 메모리(1208), 리코딩부(1209) 및 기록매체(1211)를 포함할 수 있다. 도 12에서 상기 재생부(1204)는 스피커로 도시되고 있으나, 본 발명은 상기 도시된 실시예로 한정되지 않는다.
도 12를 참조하면, 믹스 신호(1201)가 리믹스렌더링부(1202)에 입력된다. 리믹스렌더링부(1202)는 상기 부가 정보, 상기 믹스 신호 및 사용자 믹스 파라미터를 이용하여 리믹스 신호를 생성한다. 상기 사용자 믹스 파라미터는 사용자로부터 획득된 제어 정보를 이용하여 생성된다. 예를 들면, 믹스 신호에 포함된 특정한 소스 신호(예를 들면, 보컬 신호)의 게인을 낮추거나, 또는 묵음(mute) 상태로 만들어 상기 리믹스 신호를 생성할 수 있다.
제어부(1203)는 리믹스 신호를 스피커(1204)를 통해 출력할 수 있다. 이때, 리믹스 신호를 출력하는 과정 중에, 새로운 소스(1206)가 소스신호생성부(1205)를 통해 입력될 수 있다. 상기 새로운 소스(1206)는 사용자에 의해 제공되거나, 별도의 장치를 이용하여 제공될 수 있다. 그 다음에, 상기 소스신호생성부(1205)에서 생성된 소스 신호는 메모리(1208)에 저장될 수 있다. 리코딩부(1209)는 상기 리믹스 신호와 메모리(1208)에 저장된 새로운 소스 신호를 이용하여 새로운 리믹스 신호(1210)를 생성할 수 있다. 예를 들면, 믹스 신호에 포함된 피아노 신호를 묵음으로 하여 리믹스 신호를 생성하고, 상기 리믹스 신호를 출력하는 과정 중에 사용자가 직접 연주하여 생성된 피아노 신호를 입력하여 새로운 리믹스 신호를 생성할 수 있다. 또한, 사용자에 의해 생성된 피아노 신호는 메모리에 저장된 후, 상기 리믹스 신호와 합성되어 새로운 리믹스 신호를 생성하는데 이용될 수 있다. 새로운 믹스 신호(1210)는 기록매체(1211)에 저장되고, 외부로 출력된다(1212). 상기 기록매체(1211)는 본 발명에 따른 신호처리장치에 포함되거나, 또는 독립적으로 존재할 수 있다.
도 13은 본 발명의 일실시예에 따른 특정한 소스 신호를 대체하는 방법을 나타내는 흐름도이다. 도 13을 참조하면, 먼저 믹스 신호에 포함된 특정한 소스 신호(이하, "제1 소스 신호"라 한다)의 게인을 조절하여 제1 리믹스 신호를 생성한다(S1301). 그 다음에 상기 제1 리믹스 신호를 재생하면서, 새로운 소스 신호(이하, "제2 소스 신호"라 한다)를 생성하고, 상기 제2 소스 신호를 상기 제1 리믹스 신호에 합성(S1302)하여 제2 리믹스 신호를 생성할 수 있다. 이때, 상기 제2 소스 신호는 별도의 메모리에 저장되고, 추후에 상기 제1 리믹스 신호에 합성될 수 있다. 그 다음에 상기 제2 리믹스 신호를 기록매체에 저장한다(S13203).
도 14는 본 발명의 일실시예에 따른 인코딩 장치에 대한 블록도이다. 도 10을 참조하면, 상기 인코딩 장치는 제1 부가정보생성부(1403), 제1 부가정보인코딩부(1404), 제2 부가정보생성부(1406) 및 제2 부가정보인코딩부(1407)를 포함한다. 인코딩 장치는 믹스 신호(1401)를 디코딩 장치로 전송한다. 인코딩 장치는 믹스 신호(1401)를 직접 디코딩 장치로 전송할 수도 있으나, 믹스 신호(1401)가 복수인 경우는 믹스 신호(1001)를 하나 또는 두 개의 다운믹스 신호로 다운믹싱하여 전송할 수도 있다. 도면에는 표현하지 않았으나, 믹스 신호 전송 효율을 위해 믹스 신호(1401)는 양자화 및 부호화되어 전송될 수 있다.
소스 신호는 믹스 신호(1401)에 포함되는 신호(
Figure 112007046539772-pat00105
Figure 112007046539772-pat00106
Figure 112007046539772-pat00107
)(1402)와 상기 믹스 신호에 포함되지 않는 소스 신호(
Figure 112007046539772-pat00108
Figure 112007046539772-pat00109
Figure 112007046539772-pat00110
)(1405)로 구분될 수 있다. 예컨대, 믹스 신호(1401)에 포함되어 있는 소스 신호(1402)는 드럼과 베이스 신호이고, 믹스 신호(1401)에 포함되어 있지 않은 소스 신호(1405)는 보컬1, 보컬2, 보컬3 및 피아노와 바이올린 신호라고 가정한다. 이때, 제1 부가정보생성부(1403)는 믹스 신호(1401) 및 믹스 신호에 포함되어 있는 드럼 및 베이스 신호(1402)를 이용하여 드럼 및 베이스 신호를 조절하기 위한 제1 부가 정보를 생성한다. 이하, 믹스 신호(1401)에 포함되어 있는 소스 신호(1402)에 대한 부가 정보를 제1 부가 정보라 하고, 믹스 신호(1401)에 포함되어 있지 않은 소스 신호(1405)에 대한 부가 정보를 제2 부가 정보라 한다.
제2 부가정보생성부(1406)는 보컬1 내지3 및 피아노와 바이올린 신호를 이용하여 제2 부가 정보를 생성한다. 제2 부가 정보는 믹스 신호(1401)에 포함되어 있지 않은 소스 신호(1405)를 소스 신호별로 조절하기 위한 정보이다. 제1 부가 정보 및 제2 부가 정보는 게인팩터, 서브밴드별 파워나 딜레이 상수 등을 포함한다. 제1 부가 정보 인코딩부(1404)는 제1 부가 정보 생성부(1403)가 생성한 제1 부가 정보를 인코딩하여 디코딩 장치로 전송한다. 제2 부가정보인코딩부(1407)는 제2 부가정보생성부(1406)가 생성한 제2 부가 정보를 인코딩하여 디코딩 장치로 전송한다. 믹스 신호(1401)에 포함되어 있지 않은 소스 신호(1405) 및 이에 대한 제2 부가 정보는 인코딩 장치 외에서 생성될 수도 있다.
즉, 믹스 신호(1401)에 포함되어 있지 않은 소스 신호(1405) 및 이에 대한 제2 부가 정보는 인코딩 장치와는 별개의 소스 신호 제공 서버에서 생성되어 디코딩 장치로 제공될 수도 있고, 사용자에 의해 직접 생성될 수도 있다. 디코딩 장치는 믹스 신호(1401)에 포함되어 있는 소스 신호(1402) 및 믹스 신호에 포함되어 있지 않은 소스 신호(1405)를 이용하여 새로운 믹스 신호를 생성할 수 있다. 앞의 예에서, 사용자는 취향에 따라 믹스 신호(1401)에 포함되어 있는 소스 신호(1402) 중 베이스 신호만 선택하고, 믹스 신호(1401)에 포함되어 있지 않은 소스 신호(1405) 중 보컬1 및 피아노 소리만 선택하여 베이스 신호, 보컬1, 피아노 소리를 포함하는 새로운 믹스 신호를 생성할 수 있다.
사용자는 소스신호제공서버 및 디코딩 장치로부터 믹스 신호(1401)에 포함되어 있지 않은 소스 신호(1405) 각각을 전송받을 수 있다. 사용자는 별개로 전송받 은 각각의 소스 신호(1405)를 이용하여 새로운 믹스 신호를 생성할 수 있다.
또한, 가라오케 모드와 같이 특정한 소스 신호를 높은 수준으로 감쇄(attenuation)시키거나, 또는 증대(boosting)하는 등의 제어에 있어서, 적은 양의 부가 정보만을 가지고 처리하는데에는 한계가 있을 수 있다. 예를 들면, 가라오케 기능을 위해 보컬(vocal) 신호를 완전히 제거(mute)시키는 것은 불가능하거나, 또는 보컬 신호를 20dB 이상 낮출 경우 다른 소스 신호에 영향을 미쳐 음질을 크게 손상시킬 수 있다.
따라서, 특정 소스 신호에 대한 제어의 정도를 극대화하기 위해, 해당 소스 신호에 대한 보다 상세한 정보를 추출하여 추가로 비트열에 포함하여 전송하는 방법을 가질 수 있다. 예를 들면, 도 14에 도시된 제2 부가정보생성부(1406)에서 추가적인 부가 정보에 해당되는 EOP(Enhanced object parameter)(이하, "확장 부가 정보"라 한다)를 생성할 수 있다. 상기 확장 부가 정보는 레지듀얼 신호와 같은 특정 소스 신호에 대한 시간 영역, 또는 스펙트럼 영역의 정보를 부호화한 비트열일 수 있고, 또는 기존 부가 정보보다 높은 시간 또는 주파수 해상도를 가지는 포락선(envelop)을 부호화한 비트열일 수도 있다.
확장 부가 정보가 레지듀얼 신호의 형태를 가질 경우, 상기 확장 부가 정보는 원래의 믹스 신호에는 존재하지 않는 소스 신호를 추가로 전송하는 신호로서 이용될 수 있다. 예를 들면, 영화 사운드 트랙에서 특정 언어별 대사 트랙을 다운믹스 신호에 포함하지 않고 레지듀얼 신호로만 전송하면, 복호화 단계에서 포함시켜 생성할 수 있다. 이 경우에, 믹스 신호 내에 존재하는 신호에서 제거 및 추가하는 경우보다 높은 음질을 보장할 수 있다. 또한, 확장 부가 정보를 제공하는 소스 신호에 대해서는 기본적인 부가 정보를 제공하거나, 또는 기본적인 부가 정보를 제공하지 않을 수 있다.
비트스트림내에 확장 부가 정보가 존재하는 경우, 상기 확장 부가 정보를 리믹스렌더링부로 보낼 수 있다. 리믹스렌더링부는 확장 부가 정보가 존재하는 경우, 이를 믹스 신호에 적용하여 원하는 결과를 얻을 수 있다. 예를 들면, 확장 부가 정보가 보컬 신호이고 사용자가 가라오케를 위해 보컬 신호 제거 명령을 내린 경우에, 리믹스렌더링부는 믹스 신호내에 포함되어 있던 보컬 신호를 확장 부가 정보를 이용하여 다른 소스 신호에 영향을 미치지 않거나, 또는 미약하게 영향을 미치면서 제거할 수 있다.
도 15는 본 발명의 일실시예에 따른 디코딩 장치에 대한 블록도이다. 도 11을 참조하면, 상기 디코딩 장치는 믹스신호변형부(1503), 부가정보변형부(1507) 및 리믹싱부(1511)를 포함한다. 디코딩 장치는 인코딩 장치로부터 수신하거나 또는 미리 저장하고 있던 믹스 신호(1501) 및 믹스 신호(1501)에 포함되어 있지 않은 소스 신호(1102)를 추출한다. 믹스신호변형부(1503)는 믹스 신호(1501) 및 믹스 신호에 포함되어 있지 않은 소스 신호(1502)를 이용하여 믹스 신호(1501)를 변형한다.
즉, 믹스신호변형부(1503)는 사용자로부터 소스 신호 선택 정보(1508)를 받아 믹스 신호(1501)에 포함되어 있는 소스 신호와 믹스 신호(1501)에 포함되어 있지 않은 소스 신호(1502) 중 사용자가 선택한 소스 신호만을 포함하는 새로운 믹스 신호(1504)를 생성한다. 부가정보변형부(1507)는 사용자로부터 소스 신호 선택 정 보(1508)를 받아 새로운 믹스 신호(1104)를 소스 신호별로 조절할 수 있는 부가 정보(1509)를 생성한다. 이하, 새로운 믹스 신호(1504)에 대한 부가 정보를 제3 부가 정보(1509)라 한다. 부가정보변형부(1507)는 믹스 신호(1501)를 소스 신호 별로 조절하기 위한 제1 부가 정보(1505) 및 믹스 신호에 포함되어 있지 않은 소스 신호(1502)를 조절하기 위한 제2 부가 정보(1506)를 이용하여 새로운 믹스 신호(1504)에 대한 제3 부가 정보(1509)를 생성할 수 있다.
또한, 부가정보변형부(1507)는 믹스 신호(1501) 및 믹스 신호(1501)에 포함되어 있지 않은 소스 신호(1502)를 이용하여 직접 제3 부가 정보(1509)를 생성할 수도 있다. 리믹싱부(1511)는 사용자로부터 제어 정보(1510)를 받고, 믹스신호변형부(1503)로부터 변형된 믹스 신호(1504)를 받고, 부가정보변형부(1507)로부터 새로운 믹스 신호(1504)에 대한 제3 부가 정보(1509)를 받는다. 리믹싱부(1511)는 제어 정보(1510), 변형된 믹스 신호(1504) 및 이에 대한 제3 부가 정보(1509)를 이용하여 리믹싱된 믹스 신호(1512)를 생성한다.
도 11에는 도시하지 않았으나 디코딩 장치는 소스 신호를 표현하는 아이콘을 추출하고 이를 변형하거나 또는 새로운 아이콘을 생성할 수 있는 아이콘 처리부를 포함할 수 있다. 사용자는 믹스 신호에 포함되어 있는 소스 신호를 조절할 때 각 소스 신호를 상징하는 아이콘을 사용할 수 있다. 아이콘은 소스 신호의 악기나 가수의 얼굴 모양 등을 표현하는 이미지이거나 악기명 등을 설명하는 텍스트를 포함할 수 있다. 사용자는 인코딩 장치가 전송한 소스 신호에 대한 아이콘을 이용하여 소스 신호를 조절할 수 있다. 또한, 사용자는 인코딩 장치가 전송한 소스 신호에 대한 아이콘을 취향대로 변형하여 사용할 수도 있다. 또한, 사용자는 소스 신호를 제공하는 서버에 접속하여 소스 신호에 대한 아이콘을 전송받아 이를 사용할 수도 있다. 또한, 사용자는 소스 신호에 대한 아이콘을 직접 생성하여 이를 소스 신호와 연동하여 사용할 수도 있다.
도 16은 본 발명의 일실시예에 따른 믹스 신호 변형부의 내부 구조도이다. 도 16을 참조하면, 믹스신호변형부(1603)는 소스신호추출부(1601), 제어부(1602) 및 신호변형부(1603)를 포함한다. 소스신호추출부(1601)는 소스 신호를 추출한다. 이때, 소스 신호는 믹스 신호에 포함되어 있는 소스 신호 및 믹스 신호에 포함되어 있지 않은 소스 신호를 포함한다. 제어부(1602)는 사용자로부터 소스 신호 선택 정보(1608)를 받는다. 제어부(1602)는 소스신호추출부(1601)에서 사용자가 선택한 소스 신호를 추출하여 이를 신호변형부(1603)로 보낸다. 신호변형부(1603)는 사용자가 선택한 소스 신호를 이용하여 새로운 믹스 신호를 생성한다. 즉, 신호 변형부(1603)는 사용자의 선택에 따라, 믹스 신호에 포함되어 있는 소스 신호 중 특정 소스 신호는 새로운 믹스 신호에서 제외시키고, 믹스 신호에 포함되어 있지 않은 소스 신호 중 특정 소스 신호는 새로운 믹스 신호에 포함시켜 사용자가 선택한 소스 신호를 포함하는 새로운 믹스 신호를 생성한다. 사용자는 취향에 따라 원하는 소스 신호를 선택하여 원래의 믹스 신호를 새로운 믹스 신호로 변형할 수 있다.
도 17은 본 발명의 일실시예에 따른 소스 신호 제공 서버를 이용하여 신호 처리하는 방법을 나타낸 도면이다. 도 17을 참조하면, 사용자는 사용자 단말(1702)을 이용하여 소스신호제공서버(1701)에 접속한다. 사용자 단말(1702)은 사용자 PC, 핸드폰, PDA, PMP 등 통신망을 통하여 서버에 접속할 수 있는 장치를 포함한다. 소스 신호 제공 서버(1701)는 믹스 신호에는 포함되어 있지 않으나 믹스 신호와 함께 재생될 수 있는 소스 신호를 포함한다. 소스신호제공서버(1301)는 믹스 신호와 동일한 박자, 빠르기 등을 가지고 있어 믹스 신호와 함께 연주될 수 있도록 동기화되어 있는 소스 신호를 포함하고 있다. 예컨대, November rain이라는 곡을 드럼, 베이스, 기타, 피아노로 연주할 때 각 소스 신호는 동일한 곡에 대해서 동일한 빠르기와 박자로 연주된다. 이때, 소스 신호 중 드럼과 베이스 신호만 믹스 신호에 포함되어 있다고 할 경우, 사용자는 소스 신호 제공 서버에 접속하여 November rain이라는 곡을 연주한 기타 또는 피아노 신호를 다운받을 수 있다.
사용자는 다운받은 기타 또는 피아노 신호를 원래의 믹스 신호와 함께 재생시킬 수 있다. 사용자는 소스신호제공서버(1701)에 접속하여 원하는 곡을 선택한다. 소스신호제공서버(1701)는 사용자가 원하는 곡에 대해 현재 포함하고 있는 소스 신호 목록을 표시한다. 사용자는 소스신호제공서버(1701)가 표시하는 소스 신호 중 원하는 소스 신호를 선택한다. 소스신호제공서버(1701)는 사용자가 선택한 소스 신호를 추출하여 사용자 단말(1702)로 전송한다. 소스신호제공서버(1701)는 경우에 따라, 사용자가 선택한 소스 신호에 대한 부가 정보를 생성하여 소스 신호와 함께 사용자 단말(1702)로 전송할 수도 있다. 사용자는 디코딩 장치를 이용하여 소스 신호 제공 서버(1701)로부터 전송받은 소스 신호 및 원래의 믹스 신호에 포함되어 있는 소스 신호로부터 새로운 믹스 신호를 생성할 수 있다.
사용자는 소스신호제공서버(1701)로부터 소스 신호를 전송받을 수도 있으나 직접 특정 곡에 대한 소스 신호를 생성할 수도 있다. 사용자는 믹스 신호에 포함되어 있는 소스 신호 및 직접 생성한 소스 신호를 이용하여 원래의 믹스 신호를 변형하여 새로운 믹스 신호를 생성할 수 있다. 소스신호제공서버(1701)는 소스 신호 외에 소스 신호에 대한 아이콘을 포함할 수 있다. 사용자는 소스신호제공서버(1701)에 접속하여, 소스 신호에 대한 아이콘을 다운받아 사용할 수 있다. 또한, 사용자는 소스신호제공서버(1701)로부터 전송받은 소스 신호에 대한 아이콘을 변형하여 사용할 수도 있다.
도 18은 본 발명의 일 실시 예에 따른 믹스 신호를 변형하는 방법을 나타내는 순서도이다. 도 18을 참조하면, 디코딩 장치는 인코딩 장치로부터 전송받거나 또는 미리 저장하고 있던 믹스 신호를 추출한다. 디코딩 장치는 믹스 신호에 포함되어 있는 소스 신호를 추출한다(S1701). 이하, 믹스 신호에 포함되어 있는 소스 신호를 제1 소스 신호라 하고, 믹스 신호에 포함되어 있지 않은 소스 신호를 제2 소스 신호라 한다. 디코딩 장치는 인코딩 장치로부터 전송받거나 또는 소스신호제공서버(1701)로부터 전송받거나 또는 사용자가 직접 생성한 제2 소스 신호를 추출한다(S1702). 디코딩 장치는 제1 소스 신호 및 제2 소스 신호를 이용하여 믹스 신호를 변형한다(S1703). 즉, 디코딩 장치는 제1 소스 신호와 제2 소스 신호 중 사용자가 선택한 소스 신호만을 포함하는 새로운 믹스 신호를 생성한다.
도 19는 본 발명의 일실시예에 따른 믹스 신호를 변형하는 방법을 나타내는 순서도이다. 도 19를 참조하면, 디코딩 장치는 소스 신호를 추출한다(S1901). 여기서 소스 신호는 믹스 신호에 포함되어 있는 제1 소스 신호 및 믹스 신호에 포함되 어 있지 않은 제2 소스 신호를 포함한다. 디코딩 장치는 사용자로부터 소스 신호를 선택받는다(S1502). 디코딩 장치는 사용자가 선택한 소스 신호를 이용하여 새로운 믹스 신호를 생성한다(S1503). 디코딩 장치는 원래의 믹스 신호에 포함되어 있던 소스 신호 중 사용자가 원하지 않는 소스 신호는 제거하고, 믹스 신호에 포함되어 있지 않던 소스 신호 중 사용자가 원하는 소스 신호는 믹스 신호에 더함으로써 사용자가 선택한 소스 신호만을 포함하는 새로운 믹스 신호를 생성한다. 디코딩 장치는 새로운 믹스 신호를 소스 신호별로 조절하기 위해 새로운 믹스 신호에 대한 제3 부가 정보를 생성한다(S1904).
디코딩 장치는 믹스 신호에 대한 제1 부가 정보 및 믹스 신호에 포함되어 있지 않은 소스 신호에 대한 제2 부가 정보를 이용하여 새로운 믹스 신호에 대한 제3 부가 정보를 생성할 수 있다. 또한, 디코딩 장치는 제1 및 제2 부가 정보를 사용하지 않고 제3 부가 정보를 생성할 수도 있다. 즉, 디코딩 장치는 새로운 믹스 신호를 생성한 후, 생성된 믹스 신호를 이용하여 새로운 믹스 신호에 대한 제3 부가 정보를 직접 생성할 수도 있다. 디코딩 장치는 사용자로부터 제어 정보를 받는다(S1905). 디코딩 장치는 사용자로부터 받은 제어 정보 및 제3 부가 정보를 이용하여 새로운 믹스 신호를 소스 신호별로 제어할 수 있는 리믹스된 믹스 신호를 생성한다(S1906).
지금까지 본 발명에 대하여 몇몇 실시예들을 들어 구체적으로 설명하였으나, 상기 실시예들은 본 발명을 이해하기 위한 설명을 위해 제시된 것이며, 본 발명의 범위가 상기 실시예에 제한되는 것은 아니다. 당업자라면 본 발명의 기술적 사상의 범위를 벗어나지 않고도 다양한 변형이 가능함을 이해할 수 있을 것이며, 본 발명의 범위는 첨부된 특허청구범위에 의해서 해석되어야 할 것이다.
이상에서 기술된 것과 같이, 본 발명에 따른 믹스 신호를 처리하는데 있어서, 낮은 비트율을 가지는 부가 정보를 이용하여 상기 믹스 신호에 포함된 특정한 소스 신호를 리믹싱할 수 있다. 본 발명에 따른 신호 처리 방법은 별도의 소스 신호가 존재하지 않는 믹스 신호로부터 소스 신호별 파라미터를 생성할 수 있는 효과를 제공한다. 또한, 디코딩 장치에서 믹스 신호를 이용하여 소스 신호별 파라미터를 생성할 수 있는 효과를 제공한다. 또한, 사용자가 직접 생성한 소스 신호가 합성된 믹스 신호를 생성하는 효과를 제공한다.

Claims (24)

  1. 하나 이상의 소스 신호를 포함하는 믹스 신호를 획득하는 단계;
    상기 소스 신호들 중 특정한 제1 소스 신호가 독립적으로 존재하지 않는 경우에, 상기 제1 소스 신호와 유사한 제2 소스 신호를 생성하는 단계;
    상기 제2 소스 신호를 이용하여 부가 정보를 생성하는 단계를 포함하되,
    상기 부가 정보는 상기 믹스 신호에 포함되는 소스 신호들 및 상기 제2 소스 신호 중 리믹스될 소스 신호와 상기 믹스 신호와의 관계를 나타내는 것을 특징으로 하는 신호 처리 방법.
  2. 제 1 항에 있어서,
    상기 제2 소스 신호는 미디 파일을 이용하여 생성되는 것을 특징으로 하는 신호 처리 방법.
  3. 제 1 항에 있어서,
    상기 제2 소스 신호는 상기 제1 소스 신호와 유사한 악기 소리를 이용하여 생성되는 것을 특징으로 하는 신호 처리 방법
  4. 하나 이상의 소스 신호를 포함하는 믹스 신호를 획득하는 단계;
    사용자 믹스 파라미터를 획득하는 단계;
    상기 믹스 신호를 이용하여 부가 정보를 생성하는 단계; 및
    상기 믹스 신호, 상기 사용자 믹스 파라미터, 및 상기 부가 정보를 이용하여 리믹스 신호를 생성하는 단계를 포함하되,
    상기 부가 정보는 상기 믹스 신호에 포함된 소스 신호들 중 리믹스될 소스 신호와 상기 믹스 신호와의 관계를 나타내는 것을 특징으로 하는 신호 처리 방법.
  5. 제 4 항에 있어서, 상기 부가 정보를 생성하는 단계는
    상기 믹스 신호의 특정 공간을 나타내는 신호 성분을 이용하여 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  6. 제 5 항에 있어서, 상기 부가 정보를 생성하는 단계는
    상기 특정 공간이 가운데 공간인 경우, 상기 가운데 공간을 나타내는 신호 성분을 이용하여 보컬 신호를 생성하고, 상기 보컬 신호를 이용하여 부가 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 신호 처리 방법.
  7. 제 4 항에 있어서,
    상기 믹스 파라미터는 사용자로부터 획득된 제어 정보를 이용하여 생성되는 것을 특징으로 하는 신호 처리 방법.
  8. 하나 이상의 제1 소스 신호를 포함하는 제1 믹스 신호를 획득하는 단계;
    제2 소스 신호를 획득하는 단계; 및
    상기 제1 믹스 신호 및 상기 제2 소스 신호를 이용하여 제2 믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  9. 제 8 항에 있어서, 상기 제2 믹스 신호를 생성하는 단계는
    상기 제1 믹스 신호에 포함된 상기 제1 소스 신호들 중 하나 이상의 소스 신호를 조절하는 단계; 및
    상기 조절된 제1 믹스 신호 및 상기 제2 소스 신호를 이용하여 상기 제2 믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  10. 제 9 항에 있어서,
    상기 조절된 제1 믹스 신호는 상기 제1 소스 신호의 게인을 낮추어 생성되는 것을 특징으로 하는 신호 처리 방법.
  11. 제 10 항에 있어서,
    상기 제2 소스 신호는 상기 제1 소스 신호에 대응되는 신호인 것을 특징으로 하는 신호 처리 방법.
  12. 제 8 항에 있어서,
    상기 제2 소스 신호는 상기 제1 믹스 신호에 포함되지 않는 것을 특징으로 하는 신호 처리 방법.
  13. 제 12 항에 있어서, 상기 신호 처리 방법은
    사용자로부터 소스 신호 선택 정보를 획득하는 단계를 더 포함하고,
    상기 소스 신호 선택 정보에 따라, 상기 제2 믹스 신호는 상기 제1 소스 신호 및 상기 제2 소스 신호 중 상기 사용자가 선택한 소스 신호만을 포함하는 것을 특징으로 하는 신호 처리 방법.
  14. 제 13 항에 있어서, 상기 신호 처리 방법은
    상기 제2 믹스 신호를 리믹스하기 위한 부가 정보를 생성하는 단계;
    사용자 믹스 파라미터를 획득하는 단계; 및
    상기 제2 믹스 신호, 상기 부가 정보 및 상기 사용자 믹스 파라미터를 이용하여 리믹스 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 신호 처리 방법.
  15. 제 14 항에 있어서, 신호 처리 방법은
    상기 제1 믹스 신호에 대한 제1 부가 정보 및 상기 제2 소스 신호에 대한 제2 부가 정보를 획득하는 단계를 더 포함하고,
    상기 제2 믹스 신호를 리믹스하기 위한 부가 정보는 상기 제1 부가 정보 및 상기 제2 부가 정보를 이용하여 생성되는 것을 특징으로 하는 신호 처리 방법.
  16. 제 14 항에 있어서, 상기 신호 처리 방법은
    사용자로부터 제어 정보를 획득하는 단계를 더 포함하고,
    상기 사용자 믹스 파라미터는 상기 제어 정보를 이용하여 생성되는 것을 특징으로 하는 신호 처리 방법.
  17. 제 16 항에 있어서,
    상기 제어 정보는 상기 사용자가 상기 제1 소스 신호 또는 상기 제2 소스 신호를 나타내는 아이콘을 이용하여 생성하는 것을 특징으로 하는 신호 처리 방법.
  18. 제 17 항에 있어서,
    상기 아이콘은 인코딩 장치로부터 전송되거나, 인코딩 장치에서 전송된 아이콘을 변형하거나, 또는 상기 사용자가 생성한 아이콘인 것을 특징으로 하는 신호 처리 방법.
  19. 제 8 항에 있어서,
    상기 제2 소스 신호는 상기 제1 믹스 신호에 포함된 제1 소스 신호들 중 하나 이상과 동일한 것을 특징으로 하는 신호 처리 방법.
  20. 제 19 항에 있어서, 상기 제2 믹스 신호를 생성하는 단계는
    상기 제2 소스 신호를 이용하여 상기 제1 믹스 신호로부터 상기 제2 소스 신호와 동일한 상기 제1 소스 신호를 제거하여 제2 믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  21. 통신망을 통하여 사용자 단말과 결합하는 소스 신호 제공 서버에서 수행하는 소스 신호 제공 방법에 있어서,
    상기 사용자 단말로부터 소스 신호의 선택 정보를 획득하는 단계;
    상기 선택 정보에 따라, 선택된 소스 신호에 대한 부가 정보를 생성하는 단계; 및
    상기 선택된 소스 신호 및 상기 부가 정보를 상기 사용자 단말에 전송하는 단계를 포함하되,
    상기 부가 정보는 상기 소스 신호를 이용하여 리믹스 신호를 생성하는데 이용되는 정보인 것을 특징으로 하는 신호 처리 방법.
  22. 하나 이상의 소스 신호를 포함하는 믹스 신호를 획득하는 믹스신호디코딩부;
    상기 믹스 신호에 포함된 특정 공간을 나타내는 신호 성분을 이용하여 부가 정보를 생성하는 부가정보생성부; 및
    상기 믹스 신호, 상기 믹스 파라미터, 및 상기 부가 정보를 이용하여 리믹스 신호를 생성하는 리믹스렌더링부를 포함하되,
    상기 부가 정보는 상기 믹스 신호에 포함된 소스 신호들 중 리믹스될 소스 신호와 상기 믹스 신호와의 관계를 나타내는 것을 특징으로 하는 신호 처리 장치.
  23. 하나 이상의 제1 소스 신호를 포함하는 제1 믹스 신호를 획득하는 믹스신호디코딩부;
    제2 소스 신호를 획득하는 소스신호디코딩부; 및
    상기 제1 믹스 신호 및 상기 제2 소스 신호를 이용하여 제2 믹스 신호를 생성하는 믹스신호변형부를 포함하는 것을 특징으로 하는 신호 처리 장치.
  24. 제 23 항에 있어서, 상기 신호 처리 장치는
    상기 제1 믹스 신호에 대한 제1 부가 정보 및 상기 제2 소스 신호에 대한 제2 부가 정보를 이용하여 상기 제2 믹스 신호를 리믹스하기 위한 부가 정보를 생성하는 부가정보변형부를 더 포함하는 것을 특징으로 하는 신호 처리 장치.
KR1020070063205A 2006-12-01 2007-06-26 믹스 신호의 처리 방법 및 장치 KR100891669B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US86830806P 2006-12-01 2006-12-01
US86830406P 2006-12-01 2006-12-01
US60/868,304 2006-12-01
US60/868,308 2006-12-01

Publications (2)

Publication Number Publication Date
KR20080050227A KR20080050227A (ko) 2008-06-05
KR100891669B1 true KR100891669B1 (ko) 2009-04-02

Family

ID=39805722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070063205A KR100891669B1 (ko) 2006-12-01 2007-06-26 믹스 신호의 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100891669B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0079886A1 (en) * 1981-05-29 1983-06-01 Ibm SUCTION UNIT FOR INK JET PRINTING PROCESS.
WO1992012607A1 (en) 1991-01-08 1992-07-23 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
EP1784819A1 (en) 2004-11-02 2007-05-16 Coding Technologies AB Stereo compatible multi-channel audio coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0079886A1 (en) * 1981-05-29 1983-06-01 Ibm SUCTION UNIT FOR INK JET PRINTING PROCESS.
WO1992012607A1 (en) 1991-01-08 1992-07-23 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
EP1784819A1 (en) 2004-11-02 2007-05-16 Coding Technologies AB Stereo compatible multi-channel audio coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Patrick De Smet et al., 'Subband based audio mixing for internet streaming applications', ICASSP 2001

Also Published As

Publication number Publication date
KR20080050227A (ko) 2008-06-05

Similar Documents

Publication Publication Date Title
RU2551797C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
KR101443568B1 (ko) 오디오 디코더
KR101122093B1 (ko) 리믹싱 성능을 갖는 개선한 오디오
JP5174027B2 (ja) ミックス信号処理装置及びミックス信号処理方法
KR100913092B1 (ko) 믹스신호의 인터페이스 표시 방법 및 장치
JP2010507927A6 (ja) リミキシング性能を持つ改善したオーディオ
RU2455708C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
KR20210113342A (ko) 고해상도 오디오 코딩
Marchand et al. DReaM: a novel system for joint source separation and multi-track coding
KR100891669B1 (ko) 믹스 신호의 처리 방법 및 장치
KR100891667B1 (ko) 믹스 신호의 처리 방법 및 장치
CN113302688A (zh) 高分辨率音频编解码
KR100891671B1 (ko) 믹스신호 제어 방법 및 장치
RU2800626C2 (ru) Кодирование звука высокого разрешения
JP7130878B2 (ja) 高分解能オーディオコーディング
KR100891670B1 (ko) 신호 처리 방법 및 장치
KR100891668B1 (ko) 믹스 신호 처리 방법 및 장치
KR100891665B1 (ko) 믹스 신호의 처리 방법 및 장치
Tzagkarakis Multichannel Audio Modeling and Coding for Immersive Audio Based on the Sinusoidal Model

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee