KR20080034074A - Method for signal, and apparatus for implementing the same - Google Patents
Method for signal, and apparatus for implementing the same Download PDFInfo
- Publication number
- KR20080034074A KR20080034074A KR1020070063291A KR20070063291A KR20080034074A KR 20080034074 A KR20080034074 A KR 20080034074A KR 1020070063291 A KR1020070063291 A KR 1020070063291A KR 20070063291 A KR20070063291 A KR 20070063291A KR 20080034074 A KR20080034074 A KR 20080034074A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- integrated
- additional information
- source
- source signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 claims abstract description 13
- 239000000203 mixture Substances 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 25
- 230000005236 sound signal Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical group [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
도 1은 본 발명의 일 실시예에 따른 제1 리믹스 신호 인코딩 장치에 대한 블록도.1 is a block diagram of an apparatus for encoding a first remix signal according to an embodiment of the present invention.
도 2는 스테레오 신호를 이용하는 경우, 도 1의 제1 리믹스 신호 인코딩 장치에 대한 상세 블록도.FIG. 2 is a detailed block diagram of the first remix signal encoding apparatus of FIG. 1 when using a stereo signal. FIG.
도 3은 본 발명의 일 실시예에 따른 미디어 신호를 처리하기 위한 도메인.3 is a domain for processing a media signal according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 제2 리믹스 신호 인코딩 장치에 대한 블록도.4 is a block diagram of a second remix signal encoding apparatus according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 제1 리믹스 신호 디코딩 장치에 대한 블록도.5 is a block diagram of a first remix signal decoding apparatus according to an embodiment of the present invention;
도 6은 스테레오 신호를 이용하는 경우, 도 5의 제1 리믹스 신호 디코딩 장치에 대한 상세도.FIG. 6 is a detailed view of the first remix signal decoding apparatus of FIG. 5 when using a stereo signal. FIG.
도 7은 본 발명의 일 실시예에 따른 제2 리믹스 신호 디코딩 장치에 대한 블록도.7 is a block diagram of a second remix signal decoding apparatus according to an embodiment of the present invention.
도 8a는 통상적인 인코딩 장치 및 본 발명의 일 실시예에 따른 리믹스 신호 인코딩 장치의 결합을 나타내는 블록도.8A is a block diagram illustrating a combination of a conventional encoding device and a remix signal encoding device according to an embodiment of the present invention.
도 8b는 종래의 디코딩 장치와 결합하여 이용되는 본 발명의 일 실시예에 따른 제2 리믹스 신호 디코딩 장치에 대한 블록도.8B is a block diagram of a second remix signal decoding apparatus according to an embodiment of the present invention used in combination with a conventional decoding apparatus.
도 9는 본 발명의 일 실시예에 따른 리믹스 신호 디코딩 장치에 상세 블록도.9 is a detailed block diagram of a remix signal decoding apparatus according to an embodiment of the present invention.
도 10은 본 발명의 제1 실시예에 따른 신호 처리 장치의 구성도.10 is a block diagram of a signal processing apparatus according to a first embodiment of the present invention.
도 11은 본 발명의 제2 실시예에 따른 신호 처리 장치의 구성도.11 is a block diagram of a signal processing apparatus according to a second embodiment of the present invention.
도 12는 본 발명의 일 실시예에 따른 신호 처리 방법의 순서도.12 is a flowchart of a signal processing method according to an embodiment of the present invention.
도 13은 본 발명의 제3 실시예에 따른 신호 처리 장치의 구성도.13 is a block diagram of a signal processing apparatus according to a third embodiment of the present invention.
도 14는 본 발명의 제4 실시예에 따른 신호 처리 장치의 구성도.14 is a block diagram of a signal processing apparatus according to a fourth embodiment of the present invention.
도 15는 본 발명의 다른 실시예 다른 신호 처리 방법의 순서도.15 is a flowchart of another signal processing method according to another embodiment of the present invention.
본 발명은 신호처리 방법 및 장치에 관한 것으로서, 더욱 상세하게는 오디오 신호 또는 비디오 신호 등의 믹스 신호를 인코딩 및 디코딩할 수 있는 신호처리 방법 및 장치에 관한 것이다.The present invention relates to a signal processing method and apparatus, and more particularly, to a signal processing method and apparatus capable of encoding and decoding a mixed signal such as an audio signal or a video signal.
일반적으로, 스테레오 신호가 가장 흔하게 생성되고, 소비자들에게 가장 널리 이용된다. 최근에는 멀티채널 신호가 점점 널리 이용되고 있다. 그러나 상기 믹스 신호는 상기 믹스 신호를 구성하는 소스 신호 단위가 아니라, 채널 신호 단위로 처리된다는 한계가 있다. 따라서, 채널 신호 단위로 믹스 신호를 처리하는 경우, 믹스 신호를 구성하는 특정 소스 신호만을 독립적으로 처리할 수 없는 문제점이 있다. 예를 들면, 영화를 보면서 배우들 음성에 대한 볼륨은 일정하게 유지하면서, 배경음악의 볼륨만을 높이는 것은 불가능하다.In general, stereo signals are most commonly generated and most widely used by consumers. In recent years, multichannel signals have been increasingly used. However, there is a limitation that the mixed signal is processed not in the unit of the source signal constituting the mixed signal but in the unit of the channel signal. Therefore, when processing the mixed signal in the channel signal unit, there is a problem that only a specific source signal constituting the mixed signal can not be processed independently. For example, while watching a movie, it is impossible to increase the volume of background music while keeping the volume of actors' voices constant.
한편, 스테레오 채널인 경우, 어떤 소스의 신호에 잔향(reverberation)과 같은 효과를 추가시키게 되면, 하나의 소스의 신호에 각 채널(왼쪽 채널, 오른쪽 채널)별 속성이 추가된다. 다시 말해서, 잔향효과가 추가된 특정 소스의 왼쪽 신호, 및 잔향효과가 추가된 특정 소스의 오른쪽 신호는, 하나의 소스에 해당하는 신호라 하더라도 하나의 소스신호로 취급되지 않고, 각각 독립된 2개의 소스신호로서 취급된다. 그런데, 믹스신호를 소스신호별로 리믹스하는데 있어서, 부가정보 및 제어정보는 소스신호별로 처리하여야 때문에, 각 소스신호에 대해 부가정보(및 제어정보)를 모두 처리하여야 하는 문제점이 있다.Meanwhile, in the case of a stereo channel, when an effect such as reverberation is added to a signal of a source, an attribute for each channel (left channel and right channel) is added to a signal of one source. In other words, the left signal of a specific source to which reverberation is added, and the right signal of a specific source to which reverberation is added, are not treated as one source signal even if the signal corresponding to one source is applied, and two independent sources are used. It is treated as a signal. However, in remixing the mixed signal for each source signal, since the additional information and the control information have to be processed for each source signal, there is a problem that all of the additional information (and control information) must be processed for each source signal.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 믹스신호를 소스신호별로 리믹스하는 데 있어서, 연관성있는 소스신호들을 하나의 소스신호로 그룹핑하여 사용자가 제어하기 쉽도록 할 수 있는 믹스신호의 신호 처리 방법 및 장치를 제공하는데 그 목적이 있다.The present invention was devised to solve the above problems, and in remixing a mixed signal for each source signal, a group of related source signals can be grouped into one source signal so that the user can easily control the mixed signal. It is an object of the present invention to provide a signal processing method and apparatus.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 신호 처리 방법은 믹스신호 및 소스신호들 중 하나 이상을 수신하는 단계; 및, 상기 믹스신호 및 상기 소스신호들 중 하나 이상을 이용하여, 통합 소스신호에 해당하는 통합부가정보를 생 성하는 단계를 포함하고, 상기 통합 소스신호는 하나 이상의 소스신호가 그룹핑된 것일 수 있다.In order to achieve the above object, a signal processing method according to the present invention includes: receiving at least one of a mix signal and a source signal; And generating integrated additional information corresponding to an integrated source signal using one or more of the mix signal and the source signals, wherein the integrated source signal may be a group of one or more source signals. .
본 발명에 의하면, 상기 통합 소스신호간의 관계정보, 상기 통합 소스신호 및 상기 믹스 신호와의 관계정보, 상기 통합 소스신호에 대응하는 에너지정보 중 하나 이상을 포함할 수 있다.According to the present invention, one or more of relationship information between the integrated source signal, relationship information between the integrated source signal and the mix signal, and energy information corresponding to the integrated source signal may be included.
본 발명에 의하면, 하나 이상의 소스신호를 이용하여 상기 통합 소스신호를 생성하는 단계를 더 포함하는 것일 수 있다.According to the present invention, the method may further include generating the integrated source signal using one or more source signals.
본 발명에 의하면, 상기 믹스신호의 부가정보, 또는 상기 소스신호들의 부가정보를 수신하는 단계를 더 포함하고, 상기 생성하는 단계는, 상기 수신된 부가정보를 이용하여 수행되는 것일 수 있다.According to the present invention, the method may further include receiving additional information of the mixed signal or additional information of the source signals, and the generating of the mixed signal may be performed using the received additional information.
본 발명에 의하면, 사용자로부터 그룹핑 선택신호를 수신하는 단계를 더 포함하고, 상기 생성하는 단계는, 상기 그룹핑 선택신호를 근거로 수행되는 것일 수 있다.According to the present invention, the method may further include receiving a grouping selection signal from a user, and the generating may be performed based on the grouping selection signal.
본 발명에 의하면, 상기 하나 이상의 소스신호는, 특정 소스신호에 소정 효과가 적용된 왼쪽 채널신호, 및 특정 소스신호의 소정 효과가 적용된 오른쪽 채널신호를 포함하는 것일 수 있다.According to the present invention, the one or more source signals may include a left channel signal to which a predetermined effect is applied to a specific source signal, and a right channel signal to which a predetermined effect of the specific source signal is applied.
본 발명에 의하면, 상기 믹스신호 및 합성 소스신호 중 하나 이상을 수신하는 단계; 통합제어정보를 수신하는 단계; 및, 상기 통합부가정보 및 상기 통합제어정보를 이용하여, 상기 믹스신호 및 상기 합성 소스신호 중 하나 이상을 디코딩하는 단계를 더 포함하고, 상기 통합제어정보는, 하나 이상의 소스신호가 하나로 그 룹핑된 통합 소스신호에 적용될 수 있는 것일 수 있다.According to the present invention, the method includes: receiving at least one of the mixed signal and the synthesized source signal; Receiving integrated control information; And decoding the at least one of the mix signal and the synthesized source signal using the integrated additional information and the integrated control information, wherein the integrated control information includes one or more source signals grouped together. It may be applicable to the integrated source signal.
본 발명의 또 다른 측면에 따르면, 믹스신호 및 소스신호들 중 하나 이상을 수신하는 수신부; 및, 상기 믹스신호 및 상기 소스신호들 중 하나 이상을 이용하여, 통합 소스신호에 해당하는 통합부가정보를 생성하는 통합부가정보 생성부를 포함하고, 상기 통합 소스신호는 하나 이상의 소스신호가 그룹핑된 것인 신호 처리 장치가 제공된다.According to another aspect of the invention, the receiver for receiving one or more of the mixed signal and the source signal; And an integrated additional information generating unit configured to generate integrated additional information corresponding to an integrated source signal by using one or more of the mix signal and the source signals, wherein the integrated source signal is one or more source signals grouped together. A phosphor signal processing apparatus is provided.
본 발명에 의하면, 상기 통합부가정보를 인코딩하는 통합부가정보 인코딩부를 더 포함하는 것일 수 있다.According to the present invention, the integrated additional information encoding unit may further include an encoding unit.
본 발명에 의하면, 상기 믹스신호의 부가정보 또는 상기 소스신호들의 부가정보를 디코딩하는 부가정보 디코딩부를 더 포함하는 것일 수 있다.According to the present invention, it may further include an additional information decoding unit for decoding the additional information of the mixed signal or the additional information of the source signals.
본 발명에 의하면, 통합제어정보를 수신한 후, 상기 통합부가정보 및 상기 통합제어정보를 이용하여, 상기 믹스신호 및 상기 합성 소스신호 중 하나 이상을 디코딩하는 리믹스 렌더링부를 더 포함하고, 상기 통합제어정보는, 하나 이상의 소스신호가 하나로 그룹핑된 통합 소스신호에 적용될 수 있는 것일 수 있다.According to the present invention, after receiving the integrated control information, using the integrated additional information and the integrated control information, further comprising a remix rendering unit for decoding one or more of the mixed signal and the composite source signal, the integrated control The information may be applicable to an integrated source signal in which one or more source signals are grouped into one.
본 발명에 의하면, 상기 통합부가정보 및 상기 합성 소스신호를 이용하여 통합 소스신호를 출력하는 부가정보 통합부를 더 포함하고, 상기 리믹스 렌더링부는, 상기 통합 소스신호 및 상기 통합제어정보를 이용하여 디코딩하는 것일 수 있다.According to the present invention, the integrated information further includes an additional information integrating unit for outputting an integrated source signal using the integrated source signal, and the remix rendering unit, decoding using the integrated source signal and the integrated control information. It may be.
본 발명의 또 다른 측면에 따르면, 믹스신호 및 소스신호들 중 하나 이상을 수신하는 단계; 상기 믹스신호의 부가정보, 또는 상기 소스신호들의 부가정보를 수신하는 단계; 및, 상기 수신된 부가정보를 이용하여 통합 소스신호에 해당하는 통 합부가정보를 생성하는 단계를 포함하고, 상기 통합 소스신호는 하나 이상의 소스신호가 그룹핑된 것인 신호 처리 방법이 제공된다.According to another aspect of the invention, the step of receiving one or more of the mixed signal and the source signal; Receiving additional information of the mix signal or additional information of the source signals; And generating integrated additional information corresponding to an integrated source signal by using the received additional information, wherein the integrated source signal includes one or more source signals grouped together.
본 발명의 또 다른 측면에 따르면, 믹스신호 및 소스신호들 중 하나 이상을 수신하고, 상기 믹스신호의 부가정보, 또는 상기 소스신호들의 부가정보를 수신하는 수신부; 및, 상기 수신된 부가정보를 이용하여, 통합 소스신호에 해당하는 통합부가정보를 생성하는 통합부가정보 생성부를 포함하고, 상기 통합 소스신호는 하나 이상의 소스신호가 그룹핑된 것인 신호 처리 장치가 제공된다.According to another aspect of the invention, the receiving unit for receiving one or more of the mixed signal and the source signal, and receiving the additional information of the mixed signal, or the additional information of the source signal; And an integrated additional information generating unit configured to generate integrated additional information corresponding to an integrated source signal by using the received additional information, wherein the integrated source signal includes one or more source signals grouped together. do.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.
참고로, 도 10 내지 도 12에 설명될 실시예들은, 인코더가 소스신호들을 그룹핑하여 통합부가정보를 생성하는 실시예들이고, 도 13 내지 도 15와 함께 설명될 실시예들은, 디코더가 자체적으로 통합부가정보를 생성하는 실시예들이다. 물론 도 10, 도 11, 도 13, 및 도 14에 도시되어 있는 디코더에는, 동일 도면상에 도시되어 있는 인코더에 의해 생성된 신호 이외에도, 다른 인코더에 의해 생성된 신호가 입력될 수 있음은 물론이다.For reference, the embodiments to be described with reference to FIGS. 10 to 12 are embodiments in which an encoder generates source additional information by grouping source signals, and embodiments to be described with reference to FIGS. 13 to 15 are integrated by a decoder by itself. Examples of generating additional information. Of course, in addition to the signals generated by the encoders shown on the same drawing, signals generated by other encoders may be input to the decoders shown in FIGS. 10, 11, 13, and 14. .
도 1은 본 발명의 일 실시예에 따른 제1 리믹스 신호 인코더의 블록도이다. 상기 제1 리믹스 신호 인코더는 부가정보생성부(103) 및 부가정보인코딩부(105)를 포함한다. 1 is a block diagram of a first remix signal encoder according to an embodiment of the present invention. The first remix signal encoder includes an
도 1을 참조하면, 부가정보생성부(103)는 통상적인 믹스 신호(101) 및 상기 믹스 신호를 구성하는 소스 신호(102)를 이용하여 부가 정보(104)를 생성한다. 상기 믹스 신호(101)는 모노(mono), 스테레오(stereo) 및 멀티채널 오디오 신호(multi-channel audio signal)가 될 수 있다. 상기 소스 신호(102)는 상기 믹스 신호(101)를 구성하는 소스 신호들 중 일부 또는 전부가 될 수 있다. 상기 부가 정보(104)는 상기 믹스 신호를 소스 신호 단위로 처리하는데 이용되는 정보를 말한다. 상기 부가 정보(104)는 상기 믹스 신호를 리믹싱하기 위한 믹스 파라미터를 포함한다. 상기 믹스 파라터에는 인코더에서 소스 신호를 이용하여 생성된 인코더 믹스 파라미터(Encoder mix parameter)를 포함하며, 선택적으로 믹스 신호만을 이용하여 생성된 블라인드 믹스 파라미터(Blind mix parameter)를 포함할 수 있다. 상기 믹스 파라미터의 예로는 각각의 소스 신호에 대한 게인 값 및 서브밴드 파위(subband power) 등이 될 수 있다. 상기 부가 정보(104)에 대한 구체적인 정의 및 생성 방법은 도 2에서 기술된다. 본 발명은 또한 믹스 신호를 구성하는 소스 신호(102)만을 이용하여 부가 정보(104)를 생성하는 것을 포함한다. 부가정보인코딩부(105)는 생성된 부가 정보(104)를 인코딩하여 부호화된 부가 정보 신호(106)를 생성한다. 상기 믹스 신호(101) 및 상기 부가 정보 신호(106)는 디코딩 장치로 전송된다.Referring to FIG. 1, the
도 2는 믹스 신호가 스테레오 신호인 경우, 도 1의 제1 리믹스 신호 인코딩 장치에 대한 상세 블록도이다. 전술한 것처럼, 본 발명에서 사용되는 믹스 신호는 모노, 스테레오 및 멀티채널 오디오 신호가 될 수 있으나, 편의상 스테레오 신호(201)를 기준으로 설명한다.FIG. 2 is a detailed block diagram of the first remix signal encoding apparatus of FIG. 1 when the mixed signal is a stereo signal. As described above, the mixed signal used in the present invention may be a mono, stereo, and multi-channel audio signal, but for convenience, it will be described with reference to the
상기 스테레오 신호(stereo signal)(201) 
여기서, I는 스테레오 신호 내에 포함되는 소스 신호들의 개수이고, 
본 발명의 목적은 M개(0 <= M <= I)의 소스 신호들이 리믹스 되도록, 상기 소스 신호를 포함하는 스테레오 신호를 수정하는 것이다. 상기 소스 신호들은 서로 다른 게인 팩터들을 가지면서 스테레오 신호로 리믹스될 수 있다. 리믹스 신호는 아래의 [수학식 2]와 같이 표현될 수 있다.It is an object of the present invention to modify a stereo signal comprising the source signal such that M (0 <= M <= I) source signals are remixed. The source signals may be remixed into a stereo signal with different gain factors. The remix signal may be expressed as
여기서, 
상술하였듯이, 본 발명의 목적은 통상적인 스테레오 신호와 약간의 부가 정보가 주어지는 경우에, 상기 스테레오 신호를 소스 신호 단위로 리믹스하는 것이다. 본 발명에서와 같이 매우 적은 양의 부가 정보를 이용하여 [수학식 1]로 표현되는 믹스 신호로부터 [수학식 2]로 표현되는 리믹스 신호를 완벽하게 생성하는 것은 가능하지 않다. 따라서, 본 발명은 각각의 소스 신호들 
도 2를 참조하면, 제1 리믹스 신호 인코딩 장치에 통상적인 스테레오 신호(201) 및 상기 스테레오 신호(201)에 포함되는 M개의 소스 신호(202)가 입력된다. 상기 스테레오 신호(201)는 부가 정보와 동기화되기 위해 어느 정도 딜레이 되어, 출력 신호로서 직접 이용될 수 있다. 부가 정보를 생성하기 위해, 상기 스테레오 신호(201) 및 소스 신호들(202)은 필터뱅크(203)를 통하여 시간-주파수 도메인의 서브밴드별 신호(204 및 205)로 분해된다. 즉, 상기 스테레오 신호(201) 및 소스 신호는 시간-주파수 도메인에서 처리되는데, 상기 시간-주파수 도메인에 대해서는 도 3에서 후술한다. 상기 서브밴드별 신호(204)는 각 서브밴드의 중심 주파수에서 유사하게 프로세싱된다. 특정한 주파수에서 스테레오 신호(201)의 서브밴드 쌍(204)은 
상기 소스 신호들(202)의 서브밴드 신호들(205)이 주어지면, 부가정보생성부(206)는 서브밴드별로 숏-타임 서브밴드 파워(short-time subband power), 
많은 스테레오 신호(201)에 대하여, 게인 팩터 
또한, 
숏-타임 서브밴드 파워를 생성하기 위해, 본 발명은 단일-폴 평균(single-pole averaging)을 사용한다. 즉, 
여기서, α∈[0,1]는 아래의 [수학식 6]와 같이 지수적으로 감소하는 추정 윈도우(estimation window)의 시간-상수를 결정한다.Here, α∈ [0,1] determines the time-constant of the estimation window (estimation window) which decreases exponentially as shown in Equation 6 below.
여기서, 
유사하게, 
도 3은 본 발명의 일 실시예에 따른 오디오 신호를 처리하기 위한 도메인을 도시한다. 전술한 것처럼, 오디오 신호 및 부가 정보는 도 3에 도시된 것과 같은 시간-주파수 도메인의 서브밴드별 신호로서 처리된다. 상기 시간-주파수 도메인의 서브밴드별 신호는 지각적으로 유도된다. 예를 들면, 약 20ms의 길이를 가지는 사인파 분석창 및 통합창(sine analysis and synthesis window)을 가지는 STFT(Short Time Fourier transform)를 이용하여 서브밴드별 신호를 생성할 수 있다. 이때, STFT 계수들은 하나의 그룹이 ERB(equivalent rectangular bandwidth)의 약 2배가 되는 대역폭을 갖도록 그룹화될 수 있다. 3 illustrates a domain for processing an audio signal according to an embodiment of the present invention. As mentioned above, the audio signal and the additional information are processed as subband-specific signals in the time-frequency domain as shown in FIG. Subband-specific signals in the time-frequency domain are perceptually derived. For example, a signal for each subband may be generated by using a short time fourier transform (STFT) having a sine wave analysis window and a sine analysis and synthesis window having a length of about 20 ms. In this case, the STFT coefficients may be grouped such that one group has a bandwidth that is about twice the equivalent rectangular bandwidth (ERB).
도 4는 본 발명의 일 실시예에 따른 제2 리믹스 신호 인코딩 장치에 대한 블록도이다. 상기 제2 리믹스 신호 인코딩 장치는 다운믹싱부(402), 부가정보생성부(403) 및 부가정보인코딩부(406)을 포함한다.4 is a block diagram of a second remix signal encoding apparatus according to an embodiment of the present invention. The second remix signal encoding apparatus includes a
도 4를 참조하면, 다운믹싱부(402)는 복수의 소스 신호들(401)을 더하여 하나의 합 신호(sum signal)(404)을 생성한다. 제2 리믹스 신호 인코딩 장치는 제1 리믹스 신호 인코딩 장치와는 달리, 스테레오 신호를 전송하는 대신에 상기 합 신호(404)를 전송한다. 부가정보생성부(403)는 상기 소스 신호들(401)을 이용하여 부 가 정보(405)를 생성한다. 상기 부가 정보(405)는 각 소스 신호에 대응하는 서브밴드 파워 및 게인 팩터를 포함한다. 또한, 상기 부가 정보(405)는 리믹스 렌더링부에서의 딜레이에 대응하는 파라미터를 포함할 수 있다. 제1 리믹스 신호 인코딩 장치에서와 유사하게, 상기 부가 정보(405)는 양자화 및 부호화에 더 적합한 다른 값으로 변환되어 전송될 수 있다. 부가정보인코딩부(406)는 생성된 부가 정보(405)를 이용하여 부호화된 부가 정보 신호(407)를 생성한다. 생성된 상기 합 신호(404) 및 부가 정보 신호(407)는 디코딩 장치로 전송된다. 본 발명은 또한 다운믹싱부(402)를 가지지 않는 인코딩 장치를 포함한다. 이 경우에, 소스 신호들(401)은 합 신호(404)로 변환되지 않고, 각 소스 신호들(401)이 직접 전송된다.Referring to FIG. 4, the
도 5는 본 발명의 일 실시예에 따른 제1 리믹스 신호 디코딩 장치에 대한 블록도이다. 상기 제1 리믹스 신호 디코딩 장치는 부가정보디코딩부(503) 및 리믹스 렌더링부(505)를 포함한다.5 is a block diagram of an apparatus for decoding a first remix signal according to an embodiment of the present invention. The first remix signal decoding apparatus includes a
도 5를 참조하면, 믹스 신호(501) 및 부가 정보 신호(502)가 제1 리믹스 신호 디코딩 장치에 입력된다. 상기 믹스 신호(501)는 모노, 스테레오 또는 멀티채널 오디오 신호가 될 수 있다. 부가정보디코딩부(503)는 부가 정보 신호(502)를 디코딩하여 부가 정보(504)를 생성한다. 상기 부가 정보(504)는 전송된 오디오 신호(501)에 포함된 소스 신호들의 게인 팩터 및 서브밴드 파워 등을 포함한다. 리믹스 렌더링부(505)에는 사용자가 직접 제공하는 제어 정보를 이용하여 생성된 사용자 믹스 파라미터(user-mix parameter, 506)가 입력될 수 있다. 리믹스 렌더링부(505)는 믹스 신호(501), 전송된 부가 정보(504) 및 사용자 믹스 파라미터(506) 를 이용하여 리믹스 신호(507)를 생성한다. 상기 리믹스 신호를 생성하는 방법에 관한 구체적인 설명은 도 6에서 후술한다. 리믹스 신호(507)는 전송된 믹스 신호의 채널 수와 동일한 채널 수를 가지는 동채널 믹스 신호(Eq-channel mix signal)로 생성되거나, 또는 믹스 신호의 채널 수보다 많은 채널 수를 가지는 업채널 믹스 신호(Up-channel mix signal)로 생성될 수 있다.Referring to FIG. 5, the
도 6은 스테레오 신호를 이용하는 경우, 도 5의 제1 리믹스 신호 디코딩 장치에 대한 상세도이다. 전술한 것처럼, 전송된 믹스 신호는 모노, 스테레오 및 멀티채널 오디오 신호가 될 수 있으나, 편의상 스테레오 신호(601)를 기준으로 설명한다. FIG. 6 is a detailed diagram of the first remix signal decoding apparatus of FIG. 5 when using a stereo signal. As described above, the transmitted mixed signal may be a mono, stereo, and multichannel audio signal, but for convenience, the
도 6을 참조하면, 스테레오 신호(601)는 필터뱅크(603)을 통하여 시간-주파수 도메인의 서브밴드별 신호(604)로 분해된다. 도 6에 도시된 것처럼, 특정한 주파수에서의 서브밴드별 신호(604)은 및 
리믹스 렌더링부(607)에서 생성된 리믹스 신호(609)를 생성하는 방법은 다음과 같다. 상기 [수학식 1] 및 [수학식 2]는 서브밴드별 신호(604 및 609)에 대해서도 유효하다. 이 경우에, 소스 신호 
서브밴드별 리믹스 신호(609)는 아래의 [수학식 10]과 같이 표현될 수 있다. The
리믹스 신호(609)를 생성하기 위해, 최소자승추정법(least squares estimation)이 이용될 수 있다. 서브밴드별 믹스 신호(604), 
여기서, 
상기 가중 팩터들, 
여기서, 
유사하게, 
여기서, 
만일, 상기 믹스 신호(604)의 위상이 서로 동기되거나(coherent) 또는 거의 동기화된다면, 아래의 [수학식 17]와 같이 표현되는 값이 1에 근접하게 된다.If the phases of the
이때, 상기 가중치들은 아래의 [수학식 18]과 같이 표현될 수 있다. In this case, the weights may be expressed as Equation 18 below.
이와 같이 생성된 서브밴드별 리믹스 신호(609)는 전술한 것처럼 역필터뱅크(610)를 통해 시간-도메인의 리믹스 신호(611)로 변환된다. 상기 리믹스 신호(611)는 사용자가 제공한 제어 정보를 이용하여 생성된 사용자 믹스 파라미터( 
지금까지는 2채널 스테레오 신호의 리믹싱에 초점을 맞추었다. 그러나, 전술한 것처럼 본 발명은 스테레오 신호에 제한되지 않고, 멀티채널 오디오 신호, 예를 들면 5.1채널 오디오 신호를 리믹싱하는 것까지 확대될 수 있다. 당업자들은 본 명세서에서 기술된 스테레오 신호와 유사하게, 멀티채널 오디오 신호를 리믹싱할 수 있다. 이 경우에, [수학식 11]는 아래의 [수학식 19]과 같이 쓰여질 수 있다.So far, the focus has been on remixing two-channel stereo signals. However, as described above, the present invention is not limited to stereo signals, but may be extended to remixing multichannel audio signals, for example, 5.1 channel audio signals. Those skilled in the art can remix multichannel audio signals, similar to the stereo signals described herein. In this case, Equation 11 may be written as Equation 19 below.
선택적으로, 믹스 신호의 채널들 중 특정한 채널은 리믹스하지 않고 남겨두도록 할 수 있다. 예를 들면, 5.1 서라운드 채널에 대하여, 2개의 뒤쪽 채널은 수정하지 않고, 앞쪽 채널에만 리믹싱을 적용하도록 할 수 있다. 이 경우에, 2 또는 3채널 리믹싱 알고리즘이 앞쪽 채널에 적용된다.Optionally, one of the channels of the mix signal can be left without remixing. For example, for a 5.1 surround channel, it is possible to apply remixing only to the front channel without modifying the two back channels. In this case, a two or three channel remix algorithm is applied to the front channel.
도 7은 본 발명의 일 실시예에 따른 제2 리믹스 신호 디코딩 장치에 대한 블록도이다. 상기 제2 리믹스 신호 디코딩 장치는 부가정보디코딩부(703), 공간정보 통합부(705) 및 리믹스 렌더링부(707)를 포함한다.7 is a block diagram of a second remix signal decoding apparatus according to an embodiment of the present invention. The second remix signal decoding apparatus includes a side
도 7을 참조하면, 소스 신호들의 합 신호(701) 및 부가 정보 신호(702)가 제2 리믹스 신호 디코딩 장치로 입력된다. 부가정보디코딩부(703)는 부가 정보 신호(702)를 디코딩하여, 부가 정보(704)를 생성한다. 상기 부가 정보(704)는 게인 팩터, 딜레이 상수 및 서브밴드 파워 등을 포함한다. 부가정보통합부(705)는 상기 부가 정보(704)를 이용하여, 상기 합 신호(701)를 복수의 소스 신호들(706)로 분리한다. 리믹스 렌더링부(707)는 상기 소스 신호들(706)을 이용하여 리믹스 신호(709)를 생성할 수 있다. 이때, 상기 리믹스 렌더링부(707)는 부가 정보로 전송된 믹스 파라미터를 이용하여 리믹스 신호(709)를 생성할 수 있다. 또한, 상기 리믹스 렌더링부(707)는 선택적으로 사용자가 제공하는 제어 정보를 이용하여 생성된 사용자 믹스 파라미터(708)를 이용하여 리믹스 신호(709)를 생성할 수 있다.Referring to FIG. 7, the
도 8a는 통상적인 인코딩 장치 및 본 발명의 일 실시예에 따른 리믹스 신호 인코딩 장치의 결합을 나타내는 블록도이다. 믹스 신호(801)는 통상적인 인코딩 장치(803)에 의해 부호화되어, 부호화된 믹스 신호(805)로 변환될 수 있다. 상기 믹스 신호(801)는 채널별 신호 또는 소스 신호가 될 수 있다. 상기 통상적인 인코딩 장치(803)는 AAC, MP3 인코더 등과 같은 종래의 인코딩 장치뿐만 아니라, 앞으로 개발될 인코딩 장치를 포함한다. 본 발명에 따른 리믹스 신호 인코딩 장치(804)는 상기 믹스 신호(801) 및 상기 믹스 신호에 포함되는 소스 신호(802)를 이용하여 부가 정보 신호(806)를 생성한다. 다중화부(807)는 부호화된 믹스 신호(805) 및 부가 정보 신호(806)를 이용하여 비트스트림(808)을 생성한다. 전술한 것처럼, 상기 부 가 정보 신호(806)는 종래 장치들과 호환성을 가지도록, 종래 믹스 신호 포맷 내의 보조 데이터 영역에 삽입될 수 있다.8A is a block diagram illustrating a combination of a conventional encoding apparatus and a remix signal encoding apparatus according to an embodiment of the present invention. The
도 8b는 통상적인 디코딩 장치 및 본 발명의 일 실시예에 따른 리믹스 신호 디코딩 장치의 결합에 대한 블록도이다. 역다중화부(810)는 전송된 비트스트림(809)으로부터 부호화된 믹스 신호(811) 및 부가 정보 신호(812)를 분리한다. 그 다음에, 통상적인 디코딩 장치(813)는 상기 부호화된 믹스 신호(811)를 디코딩하여, 본 발명에 따른 리믹스 신호 디코딩 장치(815)에서 이용될 수 있는 믹스 신호(814)를 생성한다. 상기 통상적인 디코딩 장치(813)는 AAC, MP3 디코더 등과 같은 종래의 인코딩 장치뿐만 아니라, 앞으로 개발될 인코딩 장치를 포함한다. 상기 믹스 신호(814)는 채널별 신호 또는 소스 신호가 될 수 있다. 본 발명에 따른 리믹스 신호 디코딩 장치(817)는 부가 정보 신호(812) 및 사용자 믹스 파라미터(817) 중 적어도 하나를 이용하여 상기 믹스 신호(814)를 리믹스 신호(816)로 변환할 수 있다. 8B is a block diagram of a combination of a conventional decoding device and a remix signal decoding device according to an embodiment of the present invention. The
도 9는 본 발명의 일 실시예에 따른 리믹스 신호 디코딩 장치에 상세 블록도이다. 도 9를 참조하면, 리믹스 신호 디코딩 장치는 믹스신호디코딩부(901), 파라미터생성부(902), 및 리믹스렌더링부(908)를 포함한다. 선택적으로 이펙터(Effecter, 911)를 포함할 수 있다. 상기 파라미터생성부(902)는 블라인드믹스 파라미터생성부(903), 사용자믹스파라미터생성부(904), 및 리믹스파라미터생성부(905)를 포함할 수 있다. 상기 리믹스파라미터생성부(905)는 이퀴믹스파라미터생성부(906)를 포함하며, 선택적으로 업믹스파라미터생성부(907)를 포함할 수 있다. 또한, 상기 리믹스렌더링부(908)는 이퀴믹스렌더링부(909)를 포함하며, 선택적으로 업믹스렌더링부(910)를 포함할 수 있다.9 is a detailed block diagram of a remix signal decoding apparatus according to an embodiment of the present invention. Referring to FIG. 9, the remix signal decoding apparatus includes a
상기 믹스신호디코딩부(901)는 인코딩 단에서 전송된 부호화된 믹스 신호를 디코딩하여 믹스 신호를 생성한다. 상기 파라미터생성부(902)는 인코딩 단에서 전송된 부가 정보 및 사용자 제어정보(또는, 구성정보)를 수신한다. 상기 사용자 제어정보는 인코더 단에서 전송되지 않고, 디코더 단에서 생성될 수 있다. 상기 사용자믹스파라미터생성부(904)는 사용자 제어정보를 이용하여 사용자 믹스 파라미터를 생성한다. 인코더 단에서 전송된 부가 정보에는 인코더 믹스 파라믹터(Encoder Mix Parameter)가 포함될 수 있다. 또한, 상기 블라인드믹스파라미터생성부(903)는 상기 믹스 신호를 이용하여 블라인드 믹스 파라미터(Blind-Mix Parameter)를 생성할 수 있다. 상기 인코더 믹스 파라미터와 상기 블라인드 믹스 파라미터는 택일적으로 리믹스파라미터생성부(905)로 입력된다.The mixed
상기 리믹스파라미터생성부(905)는 부가 정보 및 사용자 믹스 파라미터를 이용하여 리믹스 파라미터를 생성한다. 상기 리믹스 파라미터는 리믹스 신호의 채널에 적용될 수 있도록 생성될 수 있다. 리믹스파라미터생성부(905)에 포함되는 이퀴믹스파라미터생성부(906)는 믹스 신호의 채널 수와 동일한 채널 수를 가지는 리믹스 신호를 생성하는데 이용되는 리믹스 파라미터를 생성하고, 상기 리믹스파라미터생성부(905)에 포함될 수 있는 업믹스파라미터생성부(907)는 믹스 신호의 채널 수보다 더 많은 채널 수를 가지는 리믹스 신호를 생성하는데 이용되는 리믹스 파라미터를 생성한다. 상기 리믹스 파라미터는 리믹스렌더링부(908)에 입력된다.The
상기 리믹스렌더링부(908)에 포함되는 이퀴믹스렌더링부(909)는 상기 리믹스 파라미터 및 믹스 신호를 이용하여, 상기 믹스 신호의 채널 수와 동일한 채널 수를 가지는 이퀴채널 리믹스 신호(Eq-channel remix signal)를 생성한다. 상기 리믹스렌더링부(908)에 포함될 수 있는 업믹스렌더링부(910)는 상기 업믹스파라미터생성부(907)에서 생성된 리믹스 파라미터 및 믹스 신호를 이용하여, 상기 믹스 신호의 채널 수보다 더 많은 채널 수를 가지는 업채널 리믹스 신호(Up-channel remix signal)를 생성한다. 상기 업믹스렌더링부(910)는 상기 이퀴채널렌더링부(909)에서 생성된 리믹스 신호를 이용하여 업채널 리믹스 신호를 생성할 수도 있다.
따라서, 상기 디코딩 장치는 인코딩 단에서 전송한 믹스 신호를 그대로 출력하거나, 이퀴채널 리믹스 신호로 출력하거나, 또는 업채널 리믹스 신호로 출력할 수 있다. 선택적으로 상기 리믹스 렌더링부는 이펙터(911)로부터 제공되는 정보를 이용하여, 상기 리믹스 신호에 다양한 효과를 줄 수 있다.Accordingly, the decoding apparatus may output the mixed signal transmitted from the encoding stage as it is, output as an equal channel remix signal, or output as an up channel remix signal. Optionally, the remix renderer may give various effects to the remixed signal by using information provided from the
도 10은 본 발명의 제1 실시예에 따른 신호 처리 장치의 구성을 나타내는 도면이다. 도 10을 참조하면, 본 발명의 제1 실시예에 따른 신호 처리 장치 중 인코더는 통합부가정보 생성부(1110), 통합부가정보 인코딩부(1120)를 포함하고, 본 발명의 제1 실시예 따른 신호 처리 장치 중 디코더는 통합부가정보 디코딩부(1160), 리믹스 렌더링부(1170)를 포함한다.10 is a diagram showing the configuration of a signal processing apparatus according to a first embodiment of the present invention. Referring to FIG. 10, the encoder of the signal processing apparatus according to the first embodiment of the present invention includes an integrated additional
통합부가정보 생성부(1110)는 믹스신호(101) 또는 소스신호들(102)을 이용하여 통합부가정보를 생성한다. 이하에서는, 믹스신호(101), 소스신호들(102), 소스 신호(S1_L, S1_R, S2_L, S2_R, …, SM_L, SM_R), 통합 소스신호(
믹스신호(101)란, 하나 이상의 채널 신호를 포함하는 것으로서, 믹스신호(101)가 스테레오 신호일 경우, 왼쪽 채널 신호(
소스신호들(102)은 하나 이상의 소스신호(S1_L, S1_R, S2_L, S2_R, …, SM_L, SM_R) 전체를 지칭하는 용어이다. 소스신호(S1_L, S1_R, S2_L, S2_R, …, SM_L, SM_R)란, 본 발명의 신호처리 장치에서 하나의 객체로 취급되는 신호를 말하며, 소스신호별로 부가정보가 존재할 수 있다. 부가정보에 관해서는 후술하기로 한다. 소스신호 중 'S1_L'은 첫 번째 소스신호(예: 특정 악기신호)(S1)가 특정 효과가 가해져서 왼쪽 채널로 유입되는 신호이고, 소스신호 중 'S1_R'은 첫 번째 소스신호(S1)에 특정 효과가 오른쪽 채널로 유입되는 신호이다. 앞서 도 2에 관한 설명에서 언급한 바와 같이, 하나의 소스신호(예:특정 악기신호)라 하더라도 어떤 효과(예: 잔향(reverberation) 효과가 적용되면 채널별 속성이 추가되기 때문에, 각 채널로 유입되는 신호는 별도의 소스신호를 각각 구성한다.The source signals 102 are terms that refer to the entirety of one or more source signals S 1_L , S 1_R , S 2_L , S 2_R ,..., S M_L , S M_R . The source signals S 1_L , S 1_R , S 2_L , S 2_R ,..., S M_L , S M_R are signals that are treated as one object in the signal processing apparatus of the present invention, and additional information may exist for each source signal. have. Additional information will be described later. Among the source signals, 'S 1_L ' is a signal that the first source signal (for example, a specific instrument signal) (S 1 ) is introduced into the left channel with a specific effect, and 'S 1_R ' is a first source signal ( S 1 ) is a signal coming into the right channel. As mentioned in the description of FIG. 2, even if a single source signal (eg, a specific instrument signal) is applied to each channel because any effect (eg, a reverberation effect is applied) is added to each channel, Each signal constitutes a separate source signal.
통합 소스신호(
한편, 통합 소스신호(
부가정보란, 소스신호(S1_L, S1_R, S2_L, S2_R, …, SM_L, SM_R)에 각각 적용될 수 있는 정보로서, 부가정보는 앞서 도 1 및 도 2와 함께 설명한 한 바와 같이 게인 팩터(ai, bi), 서브밴드 파워(E{si 2(k)})중 하나 이상을 포함할 수 있다. 소스신호가 'S1_L'일 때, 부가정보는 a1_L, b1_L, E{s1_L 2(k)}로 표현되고, 소스신호가 'S1_R'일 때, 부가정보는 a1_R, b1_R, E{s1_R 2(k)}로 표현된다. 소스신호(S1_L, S1_R, S2_L, S2_R, …, SM_L, SM_R)에 필요한 부가정보를 모두 열거하면 다음과 같다.The additional information is information that can be applied to the source signals S 1_L , S 1_R , S 2_L , S 2_R ,..., S M_L , S M_R , respectively. It may include one or more of the gain factor (a i , b i ), the subband power (E {s i 2 (k)}). When the source signal is 'S 1_L ', the additional information is a 1_L , b 1_L , E {s 1_L 2 (k)} and when the source signal is 'S 1_R ', the additional information is a 1_R , b 1_R , It is represented by E {s 1_R 2 (k)}. If all the additional information required for the source signals S 1_L , S 1_R , S 2_L , S 2_R ,..., S M_L , S M_R are enumerated as follows.
a1_R, b1_R, E{s1_R 2(k)}a 1_R , b 1_R , E {s 1_R 2 (k)}
a2_L, b2_L, E{s2_L 2(k)}a 2_L , b 2_L , E {s 2_L 2 (k)}
a2_R, b2_R, E{s2_R 2(k)}a 2_R , b 2_R , E {s 2_R 2 (k)}
……
aM_L, bM_L, E{sM_L 2(k)}a M_L , b M_L , E {s M_L 2 (k)}
aM_L, bM_R, E{sM_R 2(k)}a M_L , b M_R , E {s M_R 2 (k)}
통합부가정보란, 통합 소스신호(
……
이상, 각 용어에 관해서 설명하였으므로, 통합부가정보 생성부(1110)에 관해서 좀 더 구체적으로 설명하기로 한다. 통합부가정보 생성부(1110)는 믹스신호(101) 또는 소스신호들(102)을 이용하여 통합부가정보(
S1_R = 
한편, 통합부가정보(
통합부가정보 인코딩부(1120)는 통합부가정보 생성부(1110)에 의해 생성된 통합부가정보를 인코딩하여, 통합부가정보 비트스트림을 생성한다. The integrated additional
통합부가정보 디코딩부(1160)는 수신된 통합부가정보 비트스트림을 디코딩하여 통합부가정보를 추출한다.The integrated additional
리믹스 렌더링부(1170)는 통합부가정보 디코딩부(1160)로부터 수신된 통합부가정보, 및 외부에서 입력된 통합제어정보(ci)를 이용하여 믹스신호(101)(예:
도 11은 본 발명의 제2 실시예에 따른 신호 처리 장치의 구성을 나타내는 도면이다. 도 10과 함께 설명된 제1 실시예와의 차이점을 대략적으로 설명하면, 제1실시예에서는 믹스신호(101) 및 소스신호들(102)로부터 통합부가정보가 생성되는 데 비해, 도 11에 도시된 제2 실시예에서는 소스신호(102)가 다운믹스부(1210)에서 다운믹싱되어 합성 소스신호(S(n))가 생성되고, 이 소스신호(102)가 다운믹스되는 과정에서 통합부가정보가 추출되는 것이다. 이하, 도 11을 참조하면서, 제2 실시예에 관해서 구체적으로 설명하고자 한다.11 is a diagram showing the configuration of a signal processing apparatus according to a second embodiment of the present invention. Referring to the difference from the first embodiment described with reference to FIG. 10, the integrated additional information is generated from the
도 11을 참조하면, 본 발명의 제2 실시예에 따른 신호 처리 장치의 인코더는 다운믹스부(1210), 통합부가정보 생성부(1220), 통합부가정보 인코딩부(1230)를 포함하고, 디코더는 통합부가정보 디코딩부(1260), 부가정보 통합부(1270), 리믹스 렌더링부(1280)를 포함한다.Referring to FIG. 11, the encoder of the signal processing apparatus according to the second embodiment of the present invention includes a
다운믹스부(1210)는 소스신호들(102)을 다운믹스하여 합성 소스신호(S(n))를 생성한다. 다운믹스부(1210)는 앞서 도 4와 함께 설명된 다운믹싱부(402)와 거의 유사한 기능을 수행하는 것으로서, 여기서의 합성 소스신호(S(n))는 도 4와 함께 설명된 합 신호(sum signal)(S(n))(404)와 동일한 것일 수 있지만 본 발명은 이에 한정되지 아니한다. 통합부가정보 생성부(1220)는 소스신호들(102)로부터 통합부가정보를 생성한다. 여기서, 통합부가정보 생성부(1220)는 부가정보를 생성하지 않고 통합부가정보를 생성한다는 점을 제외하고는, 앞서 도 4와 함께 설명된 부가정보 생성부(403)와 거의 유사한 기능을 수행한다. 통합부가정보 인코딩부(1230)는 통합부가정보 생성부(1220)에 의해 생성된 통합부가정보를 인코딩하여 통합부가정보 비트스트림을 생성한다.The
통합부가정보 디코딩부(1260)는 통합부가정보 비트스트림을 디코딩하여 통합부가정보를 추출한다. 부가정보 통합부(1270)는 통합부가정보를 이용하여 합성 소스신호(S(n))로부터 통합 소스신호(
도 12는 본 발명의 일 실시예에 따른 신호 처리 방법의 순서도이다. 본 발명의 일 실시예에 따른 신호 처리 방법은, 앞서 도 10 및 도 11과 함께 설명된 본 발명의 제1 실시예 및 제2 실시예에 따른 신호 처리 장치에 의해 구현될 수 있다.12 is a flowchart of a signal processing method according to an embodiment of the present invention. The signal processing method according to an embodiment of the present invention may be implemented by the signal processing apparatus according to the first and second embodiments of the present invention described above with reference to FIGS. 10 and 11.
도 12를 참조하면, 우선, 신호 처리 장치의 인코더(이하, '인코더')는 하나 이상의 소스신호를 이용하여 통합 소스신호를 생성한다(S110 단계). 여기서 통합 소스신호는, 하나 이상의 소스신호가 그룹핑된 신호이다. S110 단계는, 사용자로부터 수신된 그룹핑 선택신호를 근거로 수행될 수 있다. 다시 말해서, 사용자가 어떤 소스신호와 어떤 소스신호를 그룹핑할 것인지 선택할 수 있다. 그런 다음, 인코더는 S110 단계에서 생성된 통합 소스신호를 이용하여 통합부가정보를 생성한다(S120 단계). 통합부가정보를 생성하는 과정은, 앞서 도 10과 함께 설명된 바와 같으므로, 그 설명은 생략하고자 한다. 한편, S120 단계에서, 통합 소스신호를 이용하지 않고, 믹스신호 또는 소스신호들을 이용하여 통합부가정보를 생성할 수도 있다. 그런 다음, 인코더는 S120 단계에서 생성된 통합부가정보를 인코딩한다(S130 단계). Referring to FIG. 12, first, an encoder (hereinafter, referred to as an 'encoder') of a signal processing apparatus generates an integrated source signal using one or more source signals (step S110). Here, the integrated source signal is a signal in which one or more source signals are grouped. Step S110 may be performed based on the grouping selection signal received from the user. In other words, the user can select which source signal and which source signal to group. Then, the encoder generates integrated additional information using the integrated source signal generated in step S110 (step S120). Since the process of generating the integrated additional information is as described above with reference to FIG. 10, the description thereof will be omitted. Meanwhile, in step S120, the integrated additional information may be generated using the mixed signal or the source signals without using the integrated source signal. Then, the encoder encodes the integrated additional information generated in step S120 (step S130).
그러면, 신호 처리 장치의 디코더(이하, '디코더')는 인코더에 의해 생성된 믹스신호(또는 합성소스신호) 및 통합부가정보를 수신한다(S140 단계). 디코더는 S140 단계에서 수신된 통합부가정보를 디코딩한다(S150 단계). 그리고 디코더는 사용자로부터 통합제어정보를 수신한다(S160 단계). 그런 다음, S160 단계에서 수신된 통합제어정보, 및 S150 단계에서 디코딩된 통합부가정보를 이용하여 믹스신호(또는 합성 소스신호)를 리믹싱한다(S170 단계).Then, the decoder (hereinafter, referred to as 'decoder') of the signal processing apparatus receives the mixed signal (or synthesized source signal) generated by the encoder and the integrated additional information (step S140). The decoder decodes the integrated additional information received in step S140 (step S150). The decoder receives the integrated control information from the user (step S160). Then, the mixed signal (or the synthesized source signal) is remixed using the integrated control information received in step S160 and the integrated additional information decoded in step S150 (step S170).
도 13은 본 발명의 제3 실시예에 따른 신호 처리 장치의 구성도이다. 앞서 언급한 바와 같이 도 13 내지 도 15와 함께 설명될 실시예들은, 통합부가정보를 인코더가 아닌 디코더에서 생성하는 예들이다. 도 13을 참조하면, 본 발명의 제3 실시예에 따른 신호 처리 장치의 인코더는 부가정보 생성부(2110) 및 부가정보 인코딩부(2120)를 포함하고, 디코더는 부가정보 디코딩부(216), 통합부가정보 생성부(2165), 및 리믹스 렌더링부(2170)를 포함한다.13 is a configuration diagram of a signal processing apparatus according to a third embodiment of the present invention. As described above, the embodiments to be described with reference to FIGS. 13 to 15 are examples of generating integrated additional information in a decoder rather than an encoder. Referring to FIG. 13, the encoder of the signal processing apparatus according to the third embodiment of the present invention includes an
부가정보 생성부(2110)는 믹스신호(101)(
부가정보 디코딩부(2160)는 수신된 부가정보 비트스트림을 디코딩하여 부가정보를 추출한다. 통합부가정보 생성부(2165)는 부가정보를 이용하여 통합부가정보를 생성한다. 여기서 부가정보를 이용하여 통합부가정보를 생성하는 과정은 역시 도 10과 함께 설명된 바 있으므로, 그 구체적인 설명은 생략한다. 리믹스 렌더링부(2170)는 통합부가정보 생성부(2165)에 의해 생성된 통합부가정보, 및 외부로부터 수신된 통합제어정보(ci)를 이용하여 믹스신호(101)(예:
도 14는 본 발명의 제4 실시예에 따른 신호 처리 장치의 구성도이다. 도 13과 함께 설명된 제3 실시예와의 차이점을 대략적으로 설명하면, 앞서 제1 실시예 및 제2 실시예와의 차이점과 마찬가지로, 제3 실시예에서는 믹스신호(101) 및 소스신호들(102)로부터 통합부가정보가 생성되는 데 비해, 도 14에 도시된 제4 실시예에서는 소스신호(102)가 다운믹스부(1210)에서 다운믹싱되어 합성 소스신호(S(n))가 생성되는 것이다. 이하, 도 14를 참조하면서, 제4 실시예에 관해서 구체적으로 설명하고자 한다.14 is a configuration diagram of a signal processing apparatus according to a fourth embodiment of the present invention. The difference from the third embodiment described with reference to FIG. 13 is roughly described. Similarly to the differences from the first embodiment and the second embodiment, in the third embodiment, the
본 발명의 제4 실시예에 따른 신호 처리 장치의 인코더는 다운믹스부(2210), 부가정보 생성부(2220), 부가정보 인코딩부(2230)를 포함하고, 디코더는 부가정보 디코딩부(2260), 통합부가정보 생성부(2265), 부가정보 통합부(2270), 리믹스 렌더링부(2280)를 포함한다.The encoder of the signal processing apparatus according to the fourth embodiment of the present invention includes a
다운믹스부(2210)는 소스신호들(102)을 다운믹스하여 합성 소스신호(S(n))를 생성한다. 역시, 다운믹스부(2210)는 앞서 도 4와 함께 설명된 다운믹싱부(402)와 거의 유사한 기능을 수행한다. 부가정보 생성부(2220)는 소스신호(S(n))로부터 부가정보를 생성한다. 부가정보 인코딩부(2230)는 부가정보를 인코딩하여 부가정보 비트스트림을 생성한다.The
부가정보 디코딩부(2260)는 수신된 부가정보 비트스트림을 디코딩하여 부가정보를 추출한다. 통합부가정보 생성부(2265)는 부가정보를 이용하여 통합부가정보를 생성하는 구성요소로서, 제3 실시예에서의 통합부가정보 생성부(2165)와 거의 동일한 구성요소이다. 부가정보 통합부(2270) 및 리믹스 렌더링부(2280)는 제2 실 시예에서의 부가정보 통합부(1270) 및 리믹스 렌더링부(1280)와 각각 거의 동일한 구성요소이다.The additional
도 15는 본 발명의 다른 실시예 다른 신호 처리 방법의 순서도이다. 본 발명의 일 실시예에 따른 신호 처리 방법은, 앞서 도 13 및 도 14와 함께 설명된 본 발명의 제3 실시예 및 제4 실시예에 따른 신호 처리 장치에 의해 구현될 수 있다.15 is a flowchart of another signal processing method according to another embodiment of the present invention. The signal processing method according to an embodiment of the present invention may be implemented by the signal processing apparatus according to the third and fourth embodiments of the present invention described above with reference to FIGS. 13 and 14.
도 15를 참조하면, 신호 처리 장치의 인코더는 믹스신호 및 소스신호들 중 하나 이상을 이용하여 부가정보를 생성한다(S210 단계). 그런 다음, 디코더는 S110 단계에서 생성된 부가정보를 인코딩한다(S220 단계). Referring to FIG. 15, the encoder of the signal processing apparatus generates additional information using at least one of the mixed signal and the source signal (S210). Then, the decoder encodes the additional information generated in step S110 (step S220).
한편, 신호 처리 장치의 디코더는 믹스신호(또는 합성 소스신호) 및 부가정보를 수신한다(S230 단계). 그런 다음, 디코더는 S230 단계에서 수신된 부가정보를 디코딩한다(S240 단계). 그리고 디코더는 S240 단계에서 디코딩된 부가정보를 이용하여 통합부가정보를 생성한다(S250 단계). 그리고 디코더는 사용자로부터 통합제어정보를 수신한다(S260 단계). 그런 다음 디코더는 S260 단계에서 수신된 통합제어정보, 및 S250에서 생성된 통합부가정보를 이용하여, 믹스신호(또는 합성 소스신호)를 리믹싱한다(S270 단계).Meanwhile, the decoder of the signal processing apparatus receives the mixed signal (or the synthesized source signal) and the additional information (S230). Then, the decoder decodes the additional information received in step S230 (step S240). The decoder generates integrated additional information using the additional information decoded in step S240 (step S250). The decoder receives the integrated control information from the user (step S260). Then, the decoder remixes the mixed signal (or the synthesized source signal) by using the integrated control information received in operation S260 and the integrated additional information generated in operation S250 (operation S270).
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is intended by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.
본 발명의 일 측면에 따르면, 믹스신호를 소스신호별로 리믹스하는 데 있어서, 특정 효과가 가해진 각각 채널 신호(예: 잔향효과가 가해진 왼쪽 채널 신호, 잔향효과가 가해진 오른쪽 채널 신호)가 그룹핑되어 하나의 소스를 구성하기 때문에, 사용자는 각각의 소스를 제어할 필요없이, 그룹핑된 소스(통합 소스)만을 제어할 수 있다.According to an aspect of the present invention, in remixing a mix signal for each source signal, each channel signal (for example, a left channel signal with reverberation effect and a right channel signal with reverberation effect) to which a specific effect is applied is grouped into one. Since the source is configured, the user can control only the grouped sources (integrated sources) without having to control each source.
본 발명의 다른 측면에 따르면, 사용자는 어떤 분류(예: 드럼)에 속하는 다수의 악기들(예:베이스 드럼, 하이 햇, 로 탐, 스네어 드럼, 심벌 등)의 소리를 전체적으로 한꺼번에 제어할 수 있다.According to another aspect of the present invention, the user can control the sounds of a plurality of instruments (eg, bass drums, hi-hats, rotams, snare drums, cymbals, etc.) that belong to a certain category (eg drums) at once. .
본 발명의 또 다른 측면에 따르면, 연관성있는 소스신호들을 하나의 소스신호로 그룹핑함으로써, 사용자는 소스신호들을 각각 제어할 필요가 없이 그룹핑된 소스를 제어하면 되기 때문에, 믹스신호의 리믹싱하는 것이 보다 매우 용이하고 편리해질 수 있다.According to another aspect of the present invention, by mixing related source signals into one source signal, it is more preferable to remix the mixed signals because the user only needs to control the grouped sources without having to control each of the source signals. It can be very easy and convenient.
Claims (13)
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US82935006P | 2006-10-13 | 2006-10-13 | |
| US60/829,350 | 2006-10-13 | ||
| US86830406P | 2006-12-01 | 2006-12-01 | |
| US60/868,304 | 2006-12-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080034074A true KR20080034074A (en) | 2008-04-18 |
| KR100891670B1 KR100891670B1 (en) | 2009-04-02 |
Family
ID=39573705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070063291A KR100891670B1 (en) | 2006-10-13 | 2007-06-26 | Method for signal, and apparatus for implementing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100891670B1 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7292901B2 (en) | 2002-06-24 | 2007-11-06 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
| US7805313B2 (en) | 2004-03-04 | 2010-09-28 | Agere Systems Inc. | Frequency-based coding of channels in parametric multi-channel coding systems |
-
2007
- 2007-06-26 KR KR1020070063291A patent/KR100891670B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR100891670B1 (en) | 2009-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2551797C2 (en) | Method and device for encoding and decoding object-oriented audio signals | |
| JP6196249B2 (en) | Apparatus and method for encoding an audio signal having multiple channels | |
| KR101443568B1 (en) | Audio decoder | |
| JP5592974B2 (en) | Enhanced coding and parameter representation in multi-channel downmixed object coding | |
| US8296158B2 (en) | Methods and apparatuses for encoding and decoding object-based audio signals | |
| US8433583B2 (en) | Audio decoding | |
| CN110890101B (en) | Method and apparatus for decoding based on speech enhancement metadata | |
| RU2646375C2 (en) | Audio object separation from mixture signal using object-specific time/frequency resolutions | |
| RU2628195C2 (en) | Decoder and method of parametric generalized concept of the spatial coding of digital audio objects for multi-channel mixing decreasing cases/step-up mixing | |
| KR20080050231A (en) | Method for displaying user interface of media signal, and apparatus for implementing the same | |
| RU2604337C2 (en) | Decoder and method of multi-instance spatial encoding of audio objects using parametric concept for cases of the multichannel downmixing/upmixing | |
| RU2455708C2 (en) | Methods and devices for coding and decoding object-oriented audio signals | |
| KR100891667B1 (en) | Apparatus for processing a mix signal and method thereof | |
| KR100891670B1 (en) | Method for signal, and apparatus for implementing the same | |
| JP2007025290A (en) | Device controlling reverberation of multichannel audio codec | |
| KR100891668B1 (en) | Apparatus for processing a mix signal and method thereof | |
| Hold et al. | Optimizing higher-order directional audio coding with adaptive mixing and energy matching for ambisonic compression and upmixing | |
| KR100891671B1 (en) | Method for controling mix signal, and apparatus for implementing the same | |
| KR100891665B1 (en) | Apparatus for processing a mix signal and method thereof | |
| KR100891669B1 (en) | Apparatus for processing an medium signal and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130226 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20140224 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20150224 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20160224 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |