RU2439717C1

RU2439717C1 - Method and device for sound signal processing

Info

Publication number: RU2439717C1
Application number: RU2010132175/08A
Authority: RU
Inventors: Хиен-О ОХ (KR); Хиен-О ОХ; Йанг Вон ДЗУНГ (KR); Йанг Вон ДЗУНГ
Original assignee: ЭлДжи ЭЛЕКТРОНИКС ИНК.
Priority date: 2008-01-01
Filing date: 2008-12-31
Publication date: 2012-01-10
Also published as: RU2437247C1

Abstract

FIELD: information technologies. ^ SUBSTANCE: method to process a sound signal includes receiving a mixed signal, containing at least one signal of an object, and information on an object, extracted during generation of a mixed signal, receiving information on data, containing information of mode selection, besides, information on data is designed to control a signal of an object, ignoring a mixed signal or extraction of a background object, and at least one independent object from a mixed signal on the basis of mode selection information, and if a mixed signal is ignored, multichannel information is generated using an information on the object and information on the data, where the mixed signal corresponds to a monophonic signal, and where information of mode selection includes information specifying one of the modes, including a normal mode, a mode of background object control and a mode for control of at least one independent object. ^ EFFECT: invention prevents distortion of sound quality during amplification adjustment. ^ 13 cl, 12 dwg

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

Изобретение относится к устройству для обработки звукового сигнала и способу обработки. Хотя настоящее изобретение подходит для широкой области применений, оно особенно подходит для обработки звукового сигнала, принятого с цифрового носителя, широковещательного сигнала и т.п.The invention relates to a device for processing an audio signal and a processing method. Although the present invention is suitable for a wide range of applications, it is particularly suitable for processing an audio signal received from a digital medium, a broadcast signal, and the like.

УРОВЕНЬ ТЕХНИКИBACKGROUND

Как правило, в процессе для смешивания (понижающего микширования), т.е. преобразования с уменьшением числа каналов множества объектов в монофонический или стереофонический сигнал, параметры соответственно извлекаются из сигналов объектов. Эти параметры используются для декодера. Панорамирование и усиление каждого из объектов является управляемым с помощью выбора пользователя.As a rule, in the process for mixing (downmixing), i.e. transformations with a decrease in the number of channels of many objects into a monophonic or stereo signal, the parameters are respectively extracted from the signals of objects. These parameters are used for the decoder. The panning and amplification of each of the objects is controlled by user selection.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

ТЕХНИЧЕСКАЯ ПРОБЛЕМАTECHNICAL PROBLEM

Однако, чтобы управлять каждым сигналом объекта, каждый источник, содержащийся в смешанном сигнале, должен располагаться или панорамироваться подходящим образом.However, in order to control each object signal, each source contained in the mixed signal must be positioned or panned appropriately.

Кроме того, чтобы обеспечить обратную совместимость в соответствии с канально-ориентированной схемой декодирования, параметр объекта следует преобразовать в многоканальный параметр для разложения.In addition, in order to provide backward compatibility in accordance with a channel-oriented decoding scheme, an object parameter should be converted to a multi-channel parameter for decomposition.

ТЕХНИЧЕСКОЕ РЕШЕНИЕTECHNICAL SOLUTION

Соответственно, настоящее изобретение направлено на устройство для обработки звукового сигнала и на способ для этого, которые практически устраняют одну или несколько проблем из-за ограничений и недостатков предшествующего уровня техники.Accordingly, the present invention is directed to a device for processing an audio signal and to a method for this, which practically eliminate one or more problems due to limitations and disadvantages of the prior art.

Задача настоящего изобретения - предоставить устройство для обработки звукового сигнала и способ для этого, с помощью которых монофонический сигнал, стереофонический сигнал и многоканальный сигнал могут выводиться путем управления усилением и панорамированием объекта.An object of the present invention is to provide an apparatus for processing an audio signal and a method for this, by which a monaural signal, a stereo signal and a multi-channel signal can be output by controlling the gain and panning of an object.

Другая задача настоящего изобретения - предоставить устройство для обработки звукового сигнала и способ для этого, с помощью которых монофонический сигнал и стереофонический сигнал могут выводиться из смешанного сигнала без выполнения сложной схемы в многоканальном декодере.Another object of the present invention is to provide an apparatus for processing an audio signal, and a method for doing this, by which a mono signal and a stereo signal can be output from a mixed signal without performing a complex circuit in a multi-channel decoder.

Дополнительная задача настоящего изобретения - предоставить устройство для обработки звукового сигнала и способ для этого, с помощью которых можно предотвратить искажение качества звука в случае регулирования усиления вокала или музыкального сопровождения со значительной длительностью.An additional objective of the present invention is to provide a device for processing an audio signal and a method for this, with which you can prevent distortion of sound quality in the case of adjusting the vocal gain or music with a considerable duration.

ПОЛЕЗНЫЕ РЕЗУЛЬТАТЫUSEFUL RESULTS

Соответственно, настоящее изобретение предоставляет следующие результаты или преимущества.Accordingly, the present invention provides the following results or advantages.

Во-первых, настоящее изобретение способно управлять усилением и панорамированием объекта без ограничения.First, the present invention is capable of controlling the gain and panning of an object without limitation.

Во-вторых, настоящее изобретение способно управлять усилением и панорамированием объекта на основе пользовательского выбора.Secondly, the present invention is capable of controlling the gain and panning of an object based on user selection.

В-третьих, если режим вывода является монофоническим или стереофоническим, то настоящее изобретение формирует выходной сигнал без выполнения сложной схемы в многоканальном декодере, посредством этого облегчая реализацию и снижая сложность.Thirdly, if the output mode is monaural or stereo, the present invention generates an output signal without executing a complex circuit in a multi-channel decoder, thereby facilitating implementation and reducing complexity.

В-четвертых, если для такого устройства в виде мобильного устройства предоставляются один или два динамика, то настоящее изобретение способно управлять усилением и панорамированием объекта для смешанного сигнала без кодека, соответствующего многоканальному декодеру.Fourthly, if one or two speakers are provided for such a device in the form of a mobile device, the present invention is capable of controlling the gain and panning of an object for a mixed signal without a codec corresponding to a multi-channel decoder.

В-пятых, если либо вокал, либо музыкальное сопровождение полностью заглушается, то настоящее изобретение способно предотвратить искажение качества звука в соответствии с регулировкой усиления.Fifth, if either the vocals or the music are completely muffled, the present invention is able to prevent distortion of sound quality in accordance with the gain control.

В-шестых, если существует по меньшей мере два независимых объекта (стереофонический канал или несколько вокальных сигналов), например вокал и т.п., то настоящее изобретение способно предотвратить искажение качества звука в соответствии с регулировкой усиления.Sixth, if there are at least two independent objects (stereo channel or several vocal signals), such as vocals and the like, then the present invention is able to prevent distortion of sound quality in accordance with the gain control.

ОПИСАНИЕ ЧЕРТЕЖЕЙDESCRIPTION OF DRAWINGS

Прилагаемые чертежи, которые включаются для обеспечения дополнительного понимания изобретения и включаются в состав и составляют часть этого описания, иллюстрируют варианты осуществления изобретения и вместе с описанием служат для объяснения принципов изобретения.The accompanying drawings, which are included to provide an additional understanding of the invention and are incorporated in and constitute a part of this description, illustrate embodiments of the invention and together with the description serve to explain the principles of the invention.

На чертежах:In the drawings:

фиг.1 - блок-схема устройства для обработки звукового сигнала в соответствии с вариантом осуществления настоящего изобретения для формирования монофонического/стереофонического сигнала;figure 1 is a block diagram of a device for processing an audio signal in accordance with an embodiment of the present invention for generating a monaural / stereo signal;

фиг.2 - подробная блок-схема для первого примера модуля смешивания, показанного на фиг.1;FIG. 2 is a detailed block diagram for a first example of a mixing module shown in FIG. 1;

фиг.3 - подробная блок-схема для второго примера модуля смешивания, показанного на фиг.1;figure 3 is a detailed block diagram for a second example of a mixing module shown in figure 1;

фиг.4 - блок-схема устройства для обработки звукового сигнала в соответствии с одним вариантом осуществления настоящего изобретения для формирования бинаурального сигнала;4 is a block diagram of an apparatus for processing an audio signal in accordance with one embodiment of the present invention for generating a binaural signal;

фиг.5 - подробная блок-схема модуля смешивания, показанного на фиг.4;5 is a detailed block diagram of a mixing module shown in FIG. 4;

фиг.6 - блок-схема устройства для обработки звукового сигнала в соответствии с другим вариантом осуществления настоящего изобретения для формирования бинаурального сигнала;6 is a block diagram of an apparatus for processing an audio signal in accordance with another embodiment of the present invention for generating a binaural signal;

фиг.7 - блок-схема устройства для обработки звукового сигнала в соответствии с одним вариантом осуществления настоящего изобретения для управления независимым объектом;7 is a block diagram of an apparatus for processing an audio signal in accordance with one embodiment of the present invention for controlling an independent object;

фиг.8 - блок-схема устройства для обработки звукового сигнала в соответствии с другим вариантом осуществления настоящего изобретения для управления независимым объектом;8 is a block diagram of an apparatus for processing an audio signal in accordance with another embodiment of the present invention for controlling an independent object;

фиг.9 - блок-схема устройства для обработки звукового сигнала в соответствии с первым вариантом осуществления настоящего изобретения для обработки улучшенного объекта;FIG. 9 is a block diagram of an apparatus for processing an audio signal in accordance with a first embodiment of the present invention for processing an enhanced object; FIG.

фиг.10 - блок-схема устройства для обработки звукового сигнала в соответствии со вторым вариантом осуществления настоящего изобретения для обработки улучшенного объекта;10 is a block diagram of an apparatus for processing an audio signal in accordance with a second embodiment of the present invention for processing an improved object;

фиг.11 и фиг.12 - блок-схемы устройства для обработки звукового сигнала в соответствии с третьим вариантом осуществления настоящего изобретения для обработки улучшенного объекта.11 and 12 are block diagrams of an apparatus for processing an audio signal in accordance with a third embodiment of the present invention for processing an improved object.

ЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯBEST MODE FOR CARRYING OUT THE INVENTION

Дополнительные признаки и преимущества изобретения будут изложены в описании, которое следует, и частично будут очевидны из описания или могут быть изучены при осуществлении изобретения на практике. Задачи и другие преимущества изобретения будут реализованы и достигнуты посредством конструкции, подробно показанной в его письменном описании и формуле изобретения, а также в прилагаемых чертежах.Additional features and advantages of the invention will be set forth in the description which follows, and in part will be apparent from the description, or may be learned by practice of the invention. The objectives and other advantages of the invention will be realized and achieved by means of the structure shown in detail in its written description and claims, as well as in the accompanying drawings.

Для достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения, которая реализуется и в общих чертах описывается, способ обработки звукового сигнала в соответствии с настоящим изобретением включает в себя прием смешанного сигнала, включающего по меньшей мере один сигнал объекта и информацию об объекте, извлеченные при формировании смешанного сигнала, прием информации о сведении для управления сигналом объекта, формирование одной из информации о смешивании и многоканальной информации с использованием информации об объекте и информации о сведении в соответствии с режимом вывода и, если формируется информация о смешивании, формирование выходного сигнала путем применения информации о смешивании к смешанному сигналу, где смешанный сигнал и выходной сигнал соответствуют монофоническому сигналу, и где многоканальная информация соответствует информации для разложения (преобразования с увеличением числа каналов) смешанного сигнала на множество канальных сигналов.To achieve these and other advantages and in accordance with the objective of the present invention, which is implemented and broadly described, the method for processing an audio signal in accordance with the present invention includes receiving a mixed signal including at least one object signal and information about the object, extracted during the formation of a mixed signal, receiving information about mixing to control the signal of the object, the formation of one of the information about mixing and multichannel information using information about the object and information about mixing in accordance with the output mode and, if mixing information is generated, generating the output signal by applying the mixing information to the mixed signal, where the mixed signal and output signal correspond to a monophonic signal, and where multi-channel information corresponds to information for decomposition (conversion with an increase in the number of channels) a mixed signal into a plurality of channel signals.

В соответствии с настоящим изобретением смешанный сигнал и выходной сигнал соответствуют сигналу во временной области.In accordance with the present invention, the mixed signal and the output signal correspond to a signal in the time domain.

В соответствии с настоящим изобретением формирование выходного сигнала включает в себя формирование сигнала поддиапазона путем разложения смешанного сигнала, обработку сигнала поддиапазона с использованием информации о смешивании и формирование выходного сигнала путем синтезирования сигнала поддиапазона.According to the present invention, generating an output signal includes generating a subband signal by decomposing a mixed signal, processing a subband signal using mixing information, and generating an output signal by synthesizing a subband signal.

В соответствии с настоящим изобретением выходной сигнал включает в себя сигнал, сформированный путем декорреляции смешанного сигнала.In accordance with the present invention, the output signal includes a signal generated by decorrelation of the mixed signal.

В соответствии с настоящим изобретением способ дополнительно включает в себя формирование множества индивидуальных сигналов путем разложения смешанного сигнала с использованием многоканальной информации, если формируется многоканальная информация.In accordance with the present invention, the method further includes generating a plurality of individual signals by decomposing the mixed signal using multi-channel information if multi-channel information is generated.

В соответствии с настоящим изобретением режим вывода определяется в соответствии с числом каналов динамика, и число каналов динамика основано на одной из информации об устройстве и информации о сведении.In accordance with the present invention, the output mode is determined in accordance with the number of speaker channels, and the number of speaker channels is based on one of the device information and the mixing information.

В соответствии с настоящим изобретением информация о сведении формируется на основе по меньшей мере одной из информации о положении объекта, информации об усилении объекта и информации о конфигурации воспроизведения.In accordance with the present invention, information about the reduction is generated on the basis of at least one of information about the position of the object, information about the gain of the object and information about the configuration of the playback.

Для дальнейшего достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения устройство для обработки звукового сигнала включает в себя демультиплексор, принимающий смешанный сигнал, включающий по меньшей мере один сигнал объекта и информацию об объекте, извлеченные при формировании смешанного сигнала, модуль формирования информации, формирующий одну из информации о смешивании и многоканальной информации, используя информацию об объекте и информацию о сведении для управления сигналом объекта в соответствии с режимом вывода, и модуль смешивания, формирующий выходной сигнал путем применения информации о смешивании к смешанному сигналу, если формируется информация о смешивании, где смешанный сигнал и выходной сигнал соответствуют монофоническому сигналу и где многоканальная информация соответствует информации для разложения смешанного сигнала на множество канальных сигналов.To further achieve these and other advantages, and in accordance with the object of the present invention, an apparatus for processing an audio signal includes a demultiplexer receiving a mixed signal, including at least one object signal and object information extracted during the formation of the mixed signal, an information generating module, generating one of the mixing information and multichannel information using the object information and mixing information to control the object signal in accordance with an output mode, and the mixing unit forming an output signal by applying the mixing information to a mixed signal, if the generated information about blending, wherein the mixed signal and the output signal corresponds to a mono signal, and wherein the multi-channel information corresponds to information for decomposing the mixed signal into a plurality of channel signals.

В соответствии с настоящим изобретением модуль смешивания включает в себя модуль разложения на поддиапазоны, формирующий сигнал поддиапазона путем разложения смешанного сигнала, модуль обработки M2M, обрабатывающий сигнал поддиапазона с использованием информации о смешивании и модуль синтезирования поддиапазонов, формирующий выходной сигнал путем синтезирования сигнала поддиапазона.In accordance with the present invention, the mixing module includes a subband decomposition module generating a subband signal by decomposing the mixed signal, an M2M processing module processing the subband signal using the mixing information, and a subband synthesis module generating the output signal by synthesizing the subband signal.

Для дальнейшего достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения способ обработки звукового сигнала в соответствии с настоящим изобретением включает в себя прием смешанного сигнала, включающего по меньшей мере один сигнал объекта и информацию об объекте, извлеченные при формировании смешанного сигнала, прием информации о сведении для управления сигналом объекта, формирование одной из информации о смешивании и многоканальной информации с использованием информации об объекте и информации о сведении в соответствии с режимом вывода и, если формируется информация о смешивании, формирование выходного сигнала путем применения информации о смешивании к смешанному сигналу, где смешанный сигнал соответствует монофоническому сигналу, где выходной сигнал соответствует стереофоническому сигналу, сформированному путем применения декоррелятора к смешанному сигналу, и где многоканальная информация соответствует информации для разложения смешанного сигнала в многоканальный сигнал.To further achieve these and other advantages, and in accordance with the object of the present invention, a method for processing an audio signal in accordance with the present invention includes receiving a mixed signal including at least one object signal and object information extracted during the formation of the mixed signal, receiving information information to control the signal of the object, the formation of one of the information about mixing and multichannel information using information about the object and information about the reduced and in accordance with the output mode, and if mixing information is generated, generating an output signal by applying the mixing information to the mixed signal, where the mixed signal corresponds to a monaural signal, where the output signal corresponds to a stereo signal generated by applying a decorrelator to the mixed signal, and where multichannel information corresponds to information for decomposing a mixed signal into a multichannel signal.

В соответствии с настоящим изобретением формирование выходного сигнала включает в себя формирование сигнала поддиапазона путем разложения смешанного сигнала, формирование двух сигналов поддиапазонов путем обработки сигнала поддиапазона с использованием информации о смешивании и формирование выходного сигнала путем синтезирования двух сигналов поддиапазонов соответственно.In accordance with the present invention, generating an output signal includes generating a subband signal by decomposing a mixed signal, generating two subband signals by processing a subband signal using mixing information, and generating an output signal by synthesizing two subband signals, respectively.

В соответствии с настоящим изобретением формирование двух сигналов поддиапазонов включает в себя формирование декоррелированного сигнала путем декорреляции сигнала поддиапазона и формирование двух сигналов поддиапазонов путем обработки декоррелированного сигнала и сигнала поддиапазона с использованием информации о смешивании.In accordance with the present invention, generating two subband signals includes generating a decorrelated signal by decorrelation a subband signal and generating two subband signals by processing the decorrelated signal and the subband signal using the mixing information.

В соответствии с настоящим изобретением информация о смешивании включает в себя бинауральный параметр, и выходной сигнал соответствует бинауральному сигналу.According to the present invention, the mixing information includes a binaural parameter, and the output signal corresponds to the binaural signal.

Для дальнейшего достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения устройство для обработки звукового сигнала включает в себя демультиплексор, принимающий смешанный сигнал, включающий по меньшей мере один сигнал объекта, смешанный сигнал временной области и информацию об объекте, извлеченные при формировании смешанного сигнала, модуль формирования информации, формирующий одну из информации о смешивании и многоканальной информации, используя информацию о сведении для управления сигналом объекта и информацию об объекте в соответствии с режимом вывода, и модуль смешивания, формирующий выходной сигнал путем применения информации о смешивании к смешанному сигналу, если формируется информация о смешивании, где смешанный сигнал соответствует монофоническому сигналу, где выходной сигнал соответствует стереофоническому сигналу, сформированному путем применения декоррелятора к смешанному сигналу, и где многоканальная информация соответствует информации для разложения смешанного сигнала на множество канальных сигналов.To further achieve these and other advantages, and in accordance with an object of the present invention, an apparatus for processing an audio signal includes a demultiplexer receiving a mixed signal including at least one object signal, a mixed time-domain signal, and object information extracted during the formation of the mixed signal , an information generating module forming one of mixing information and multi-channel information using mixing information for controlling an object signal and information about the object in accordance with the output mode, and a mixing module that generates an output signal by applying the mixing information to the mixed signal, if mixing information is generated, where the mixed signal corresponds to a monaural signal, where the output signal corresponds to a stereo signal generated by applying a decorrelator to a mixed signal, and where the multi-channel information corresponds to information for decomposing the mixed signal into multiple channel signals.

Для дальнейшего достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения способ обработки звукового сигнала в соответствии с настоящим изобретением включает в себя прием смешанного сигнала, включающего по меньшей мере один сигнал объекта и информацию об объекте, извлеченные при формировании смешанного сигнала, прием информации о сведении, включающей информацию выбора режима, причем информация о сведении предназначена для управления сигналом объекта, игнорирование смешанного сигнала или извлечение фонового объекта и по меньшей мере одного независимого объекта из смешанного сигнала на основе информации выбора режима и, если игнорируется смешанный сигнал, формирование многоканальной информации с использованием информации об объекте и информации о сведении, где смешанный сигнал соответствует монофоническому сигналу и где информация выбора режима включает в себя информацию, указывающую один из режимов, включающих в себя нормальный режим, режим для управления фоновым объектом и режим для управления по меньшей мере одним независимым объектом.To further achieve these and other advantages, and in accordance with the object of the present invention, a method for processing an audio signal in accordance with the present invention includes receiving a mixed signal including at least one object signal and object information extracted during the formation of the mixed signal, receiving information information, including information selection mode, and information about the information is intended to control the signal of the object, ignoring the mixed signal or extracting phon of the object and at least one independent object from the mixed signal based on the mode selection information and, if the mixed signal is ignored, generating multichannel information using object information and mixing information, where the mixed signal corresponds to a monophonic signal and where the mode selection information includes information indicating one of the modes including a normal mode, a mode for controlling a background object, and a mode for controlling at least one independent object ktomu.

В соответствии с настоящим изобретением способ дополнительно включает в себя прием информации об улучшенном объекте, где по меньшей мере один независимый объект извлекается из смешанного сигнала с использованием информации об улучшенном объекте.According to the present invention, the method further includes receiving improved object information, where at least one independent object is extracted from the mixed signal using the improved object information.

В соответствии с настоящим изобретением информация об улучшенном объекте соответствует разностному сигналу.In accordance with the present invention, the improved object information corresponds to a difference signal.

В соответствии с настоящим изобретением по меньшей мере один независимый объект соответствует основанному на объекте сигналу, а фоновый объект соответствует монофоническому сигналу.According to the present invention, at least one independent object corresponds to an object-based signal, and a background object corresponds to a monophonic signal.

В соответствии с настоящим изобретением стереофонический выходной сигнал формируется, если режим выбора режимов соответствует нормальному режиму. И фоновый объект, и по меньшей мере один независимый объект извлекаются, если режим выбора режимов соответствует одному из режима для управления фоновым объектом и режима для управления по меньшей мере одним независимым объектом.In accordance with the present invention, a stereo output signal is generated if the mode selection mode corresponds to the normal mode. Both the background object and the at least one independent object are retrieved if the mode selection mode corresponds to one of the modes for controlling the background object and the mode for controlling at least one independent object.

В соответствии с настоящим изобретением способ дополнительно включает в себя формирование по меньшей мере одной из первой многоканальной информации для управления фоновым объектом и второй многоканальной информации для управления по меньшей мере одним независимым объектом, если фоновый объект и по меньшей мере один независимый объект извлекаются из смешанного сигнала.In accordance with the present invention, the method further includes generating at least one of the first multi-channel information for controlling the background object and the second multi-channel information for controlling at least one independent object, if the background object and at least one independent object are extracted from the mixed signal .

Для дальнейшего достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения устройство для обработки звукового сигнала включает в себя демультиплексор, принимающий смешанный сигнал, включающий по меньшей мере один сигнал объекта и информацию об объекте, извлеченные при формировании смешанного сигнала, транскодер объекта, игнорирующий смешанный сигнал или извлекающий фоновый объект и по меньшей мере один независимый объект из смешанного сигнала на основе информации выбора режима, включенной в информацию о сведении для управления сигналом объекта, и многоканальный декодер, формирующий многоканальную информацию с использованием информации об объекте и информации о сведении, где смешанный сигнал соответствует монофоническому сигналу, если игнорируется смешанный сигнал, где выходной сигнал соответствует стереофоническому сигналу, сформированному путем применения декоррелятора к смешанному сигналу, и где информация выбора режима включает в себя информацию, указывающую один из режимов, включающих в себя нормальный режим, режим для управления фоновым объектом и режим для управления по меньшей мере одним независимым объектом.To further achieve these and other advantages, and in accordance with the object of the present invention, an apparatus for processing an audio signal includes a demultiplexer receiving a mixed signal, including at least one object signal and object information extracted during the formation of the mixed signal, an object transcoder ignoring a mixed signal or an extracting background object and at least one independent object from the mixed signal based on mode selection information included in information about reference for controlling the signal of the object, and a multi-channel decoder generating multi-channel information using information about the object and information about mixing, where the mixed signal corresponds to the monophonic signal, if the mixed signal is ignored, where the output signal corresponds to the stereo signal generated by applying the decorrelator to the mixed signal, and where the mode selection information includes information indicating one of the modes including the normal mode, a mode for controlling Ia background object and the control mode of at least one independent object.

Для дальнейшего достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения способ обработки звукового сигнала в соответствии с настоящим изобретением включает в себя прием смешанного сигнала, включающего по меньшей мере один сигнал объекта и информацию об объекте, извлеченные при формировании смешанного сигнала, прием информации о сведении, включающей информацию выбора режима, причем информация о сведении предназначена для управления сигналом объекта, и формирование стереофонического выходного сигнала с использованием смешанного сигнала или извлечение фонового объекта и по меньшей мере одного независимого объекта из смешанного сигнала на основе информации выбора режима, где смешанный сигнал соответствует монофоническому сигналу, где стереофонический выходной сигнал соответствует сигналу временной области, включающему сигнал, сформированный путем декорреляции смешанного сигнала, и где информация выбора режима включает в себя информацию, указывающую один из режимов, включающих в себя нормальный режим, режим для управления фоновым объектом и режим для управления по меньшей мере одним независимым объектом.To further achieve these and other advantages, and in accordance with the object of the present invention, a method for processing an audio signal in accordance with the present invention includes receiving a mixed signal including at least one object signal and object information extracted during the formation of the mixed signal, receiving information information, including mode selection information, information on mixing is intended to control the signal of the object, and the formation of a stereo output signal with using a mixed signal, or extracting a background object and at least one independent object from the mixed signal based on mode selection information, where the mixed signal corresponds to a monaural signal, where the stereo output signal corresponds to a time domain signal including a signal generated by decorrelation of the mixed signal, and where mode selection information includes information indicating one of the modes including the normal mode, a mode for controlling background ektom and the control mode of at least one independent object.

Для дальнейшего достижения этих и других преимуществ и в соответствии с задачей настоящего изобретения устройство для обработки звукового сигнала включает в себя демультиплексор, принимающий смешанный сигнал, включающий по меньшей мере один сигнал объекта и информацию об объекте, извлеченные при формировании смешанного сигнала, и транскодер объекта, формирующий стереофонический выходной сигнал с использованием смешанного сигнала или извлекающий фоновый объект и по меньшей мере один независимый объект из смешанного сигнала на основе информации выбора режима, включенной в информацию о сведении для управления сигналом объекта, где смешанный сигнал соответствует монофоническому сигналу, где стереофонический выходной сигнал соответствует сигналу временной области, включающему сигнал, сформированный путем декорреляции смешанного сигнала, и где информация выбора режима включает в себя информацию, указывающую один из режимов, включающих в себя нормальный режим, режим для управления фоновым объектом и режим для управления по меньшей мере одним независимым объектом.To further achieve these and other advantages, and in accordance with an object of the present invention, an apparatus for processing an audio signal includes a demultiplexer receiving a mixed signal, including at least one object signal and object information extracted during the formation of the mixed signal, and an object transcoder, generating a stereo output signal using a mixed signal or extracting a background object and at least one independent object from the mixed signal on the basis of mode selection information included in the reduction information for controlling an object signal, where the mixed signal corresponds to a monaural signal, where the stereo output signal corresponds to a time domain signal including a signal generated by decorrelation of the mixed signal, and where the mode selection information includes information indicating one of the modes including a normal mode, a mode for controlling a background object, and a mode for controlling at least one independent object.

Нужно понимать, что как предшествующее общее описание, так и последующее подробное описание являются типовыми и поясняющими и имеют целью обеспечить дополнительное объяснение заявленного изобретения.It should be understood that both the foregoing general description and the following detailed description are typical and illustrative and are intended to provide an additional explanation of the claimed invention.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯMODE FOR CARRYING OUT THE INVENTION

Сейчас будет сделана подробная ссылка на предпочтительные варианты осуществления настоящего изобретения, примеры которых иллюстрируются на прилагаемых чертежах. Во-первых, терминология в настоящем изобретении может толковаться как нижеследующие отсылки. А терминология, не раскрытая в этом описании изобретения, может толковаться как нижеследующие значения и понятия, соответствующие технической идее настоящего изобретения.Detailed reference will now be made to preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. First, the terminology in the present invention can be interpreted as the following references. And terminology not disclosed in this description of the invention can be interpreted as the following meanings and concepts that correspond to the technical idea of the present invention.

В частности, "информация" в этом раскрытии изобретения является терминологией, которая обычно включает в себя значения, параметры, коэффициенты, элементы и т.п., и ее смысл иногда можно истолковать иначе, но этим настоящее изобретение не ограничивается.In particular, “information” in this disclosure is a terminology that usually includes values, parameters, coefficients, elements, and the like, and its meaning can sometimes be interpreted differently, but the present invention is not limited to this.

Объект обладает идеей, включающей как основанный на объекте сигнал, так и основанный на канале сигнал. Иногда объект может включать в себя только основанный на объекте сигнал.An object has an idea that includes both an object-based signal and a channel-based signal. Sometimes an object can include only an object-based signal.

Если принимается монофонический смешанный сигнал, то настоящее изобретение намеревается описать различные процессы для обработки монофонического смешанного сигнала. Прежде всего, способ формирования монофонического/стереофонического сигнала или множества канальных сигналов из монофонического смешанного сигнала, при необходимости, будет объясняться со ссылкой на фиг.1-3. Во-вторых, способ формирования бинаурального сигнала из монофонического смешанного сигнала (или стереофонического смешанного сигнала) будет объясняться со ссылкой на фиг.4-6. В-третьих, различные варианты осуществления для способа управления сигналом независимого объекта (или монофоническим фоновым сигналом), содержащимся в монофоническом смешанном сигнале, объясняются со ссылкой на фиг.7-12.If a monophonic mixed signal is received, the present invention intends to describe various processes for processing a monophonic mixed signal. First of all, the method of generating a monophonic / stereo signal or a plurality of channel signals from a monophonic mixed signal, if necessary, will be explained with reference to figures 1-3. Secondly, a method for generating a binaural signal from a monophonic mixed signal (or a stereo mixed signal) will be explained with reference to FIGS. 4-6. Thirdly, various embodiments for a method for controlling an independent object signal (or a monophonic background signal) contained in a monophonic mixed signal are explained with reference to FIGS. 7-12.

1. Формирование монофонического/стереофонического сигнала1. Monaural / stereo signal generation

Фиг.1 - блок-схема устройства для обработки звукового сигнала в соответствии с вариантом осуществления настоящего изобретения для формирования монофонического/стереофонического сигнала.1 is a block diagram of an apparatus for processing an audio signal in accordance with an embodiment of the present invention for generating a monaural / stereo signal.

Ссылаясь на фиг.1, устройство 100 для обработки звукового сигнала в соответствии с вариантом осуществления настоящего изобретения включает в себя демультиплексор 110, модуль 120 формирования информации и модуль 130 смешивания. Устройство 100 обработки звукового сигнала дополнительно может включать в себя многоканальный декодер 140.Referring to FIG. 1, an audio signal processing apparatus 100 according to an embodiment of the present invention includes a demultiplexer 110, an information generating module 120, and a mixing module 130. The audio signal processing apparatus 100 may further include a multi-channel decoder 140.

Демультиплексор 110 принимает информацию об объекте (OI) посредством потока двоичных сигналов. Информация об объекте (OI) является информацией об объектах, содержащихся в смешанном сигнале, и может включать в себя информацию об уровне объекта, информацию о взаимосвязи объектов и т.п. Информация об объекте (OI) может содержать параметр объекта (OP), который является параметром, указывающим характеристику объекта.Demultiplexer 110 receives object information (OI) through a stream of binary signals. Information about the object (OI) is information about the objects contained in the mixed signal, and may include information about the level of the object, information about the relationship of objects, etc. Information about the object (OI) may contain an object parameter (OP), which is a parameter indicating the characteristic of the object.

Поток двоичных сигналов дополнительно содержит смешанный сигнал (DMX). Демультиплексор 110 дополнительно способен извлекать смешанный сигнал (DMX) из этого потока двоичных сигналов. Смешанный сигнал (DMX) является сигналом, сформированным в результате смешивания по меньшей мере одного сигнала объекта, и может соответствовать сигналу во временной области. Смешанный сигнал (DMX) может быть монофоническим сигналом или стереофоническим сигналом. В данном варианте осуществления смешанный сигнал (DMX) для примера является монофоническим сигналом.The binary stream further comprises a mixed signal (DMX). Demultiplexer 110 is further capable of extracting a mixed signal (DMX) from this binary signal stream. A mixed signal (DMX) is a signal generated by mixing at least one signal of an object, and may correspond to a signal in the time domain. The mixed signal (DMX) may be a monaural signal or a stereo signal. In this embodiment, the mixed signal (DMX) for example is a monaural signal.

Модуль 120 формирования информации принимает информацию об объекте (OI) от демультиплексора 110. Модуль 120 формирования информации принимает информацию о сведении (MXI) из интерфейса пользователя. Модуль 120 формирования информации принимает информацию о режиме вывода (OM) из интерфейса или устройства пользователя. Модуль 120 формирования информации дополнительно способен принимать параметр HRTF (функция моделирования восприятия звука) из HRTF DB.The information generating unit 120 receives information about the object (OI) from the demultiplexer 110. The information generating unit 120 receives information about the mix (MXI) from the user interface. The information generating unit 120 receives output mode information (OM) from an interface or user device. The information generating unit 120 is further capable of receiving the HRTF parameter (sound perception modeling function) from HRTF DB.

В этом случае информация о сведении (MXI) является информацией, сформированной на основе информации о положении объекта, информации об усилении объекта, информации о конфигурации воспроизведения и т.п. Информация о положении объекта является информацией, введенной для пользователя, чтобы управлять положением или панорамированием каждого объекта. Информация об усилении объекта является информацией, введенной для пользователя, чтобы управлять усилением каждого объекта. В частности, информация о положении объекта или информация об усилении объекта могут быть информацией, выбранной из заданных режимов. В этом случае заданный режим является значением для предварительной установки определенного усиления или положения объекта с течением времени. Информация о заданном режиме может быть значением, принятым от другого устройства, или значением, сохраненным в устройстве. Между тем выбор одного из по меньшей мере одного или нескольких заданных режимов (например, неиспользуемый заданный режим, заданный режим 1, заданный режим 2 и т.д.) может определяться вводом пользователя.In this case, flattening information (MXI) is information based on information about the position of the object, information about the amplification of the object, information about the playback configuration, and the like. The position information of an object is information entered for a user to control the position or pan of each object. The gain information of the object is information entered for the user to control the gain of each object. In particular, information about the position of the object or information about the amplification of the object may be information selected from predetermined modes. In this case, the predetermined mode is a value for presetting a specific gain or position of an object over time. The set mode information may be a value received from another device, or a value stored in the device. Meanwhile, the selection of one of at least one or more predetermined modes (for example, an unused preset mode, preset mode 1, preset mode 2, etc.) can be determined by user input.

Информация о конфигурации воспроизведения является информацией, содержащей количество динамиков, положение динамика, информацию об окружении (виртуальное положение динамика) и т.п. Информация о конфигурации воспроизведения может вводиться пользователем, может заранее сохраняться или может приниматься от другого устройства.The playback configuration information is information containing the number of speakers, speaker position, environment information (virtual speaker position), and the like. Playback configuration information may be entered by a user, may be stored in advance, or may be received from another device.

Информация о режиме вывода (OM) является информацией о режиме вывода. Например, информация о режиме вывода (OM) может включать в себя информацию, указывающую, сколько сигналов используется для вывода. Эта информация, указывающая, сколько сигналов используется для вывода, может соответствовать одному из монофонического режима вывода, стереофонического режима вывода, многоканального режима вывода и т.п. Между тем информация о режиме вывода (OM) может быть тождественна количеству динамиков в информации о сведении (MXI). Если информация о режиме вывода (OM) заранее сохраняется, то она основывается на информации об устройстве. Если информация о режиме вывода (OM) вводится пользователем, то она основывается на введенной пользователем информации. В этом случае введенная пользователем информация может включаться в информацию о сведении (MXI).Output Mode Information (OM) is output mode information. For example, output mode information (OM) may include information indicating how many signals are used for output. This information indicating how many signals are used for output may correspond to one of monaural output mode, stereo output mode, multi-channel output mode, and the like. Meanwhile, the output mode information (OM) may be identical to the number of speakers in the mix information (MXI). If the output mode information (OM) is stored in advance, then it is based on the device information. If information about the output mode (OM) is entered by the user, then it is based on the information entered by the user. In this case, user input may be included in the rollup information (MXI).

Модуль 120 формирования информации формирует одну из информации о смешивании (DPI) и многоканальной информации (MI), используя информацию об объекте (OI) и информацию о сведении (MXI) в соответствии с режимом вывода. В этом случае режим вывода основывается на объясненной выше информации о режиме вывода (OM). Если режим вывода является монофоническим выводом или стереофоническим сигналом, то модуль 120 формирования информации формирует информацию о смешивании (DPI). Если режим вывода является многоканальным выводом, то модуль 120 формирования информации формирует многоканальную информацию (MI). В этом случае информация о смешивании (DPI) является информацией для обработки смешанного сигнала (DMX), подробности которой будут объясняться позже. Многоканальная информация (MI) является информацией для разложения смешанного сигнала (DMX) и может включать в себя информацию об уровне канала, информацию о взаимосвязи каналов и т.п.The information generating unit 120 generates one of the mixing information (DPI) and the multi-channel information (MI) using the object information (OI) and the mixing information (MXI) in accordance with the output mode. In this case, the output mode is based on the output mode information (OM) explained above. If the output mode is a monaural output or a stereo signal, then the information generating unit 120 generates mixing information (DPI). If the output mode is multi-channel output, then the information generating unit 120 generates multi-channel information (MI). In this case, the mixing information (DPI) is information for processing the mixed signal (DMX), the details of which will be explained later. Multichannel information (MI) is mixed signal decomposition (DMX) information and may include channel level information, channel relationship information, and the like.

Если режим вывода является монофоническим выводом или стереофоническим выводом, то формируется только информация о смешивании (DPI). Причина в том, что модуль 130 смешивания способен формировать монофонический сигнал временной области или стереофонический сигнал временной области. Между тем, если режим вывода является многоканальным выводом, то формируется многоканальная информация (MI). Причина в том, что многоканальный декодер 140 может формировать многоканальный сигнал, если входной сигнал является монофоническим сигналом.If the output mode is monaural or stereo output, then only mixing information (DPI) is generated. The reason is that the mixing unit 130 is capable of generating a monophonic time-domain signal or a stereo time-domain signal. Meanwhile, if the output mode is multi-channel output, then multi-channel information (MI) is generated. The reason is that the multi-channel decoder 140 can generate a multi-channel signal if the input signal is a monaural signal.

Модуль 130 смешивания формирует монофонический выходной сигнал или стереофонический выходной сигнал, используя информацию о смешивании (DPI) и монофонический смешанный сигнал (DMX). В этом случае информация о смешивании (DPI) является информацией для обработки смешанного сигнала (DMX) и предназначена для управления усилениями и/или панорамированиями объектов, содержащихся в смешанном сигнале.Mixing unit 130 generates a monaural output signal or a stereo output signal using the mixing information (DPI) and monaural mixed signal (DMX). In this case, the mixing information (DPI) is information for processing the mixed signal (DMX) and is intended to control the amplifications and / or panning of objects contained in the mixed signal.

Между тем монофонический выходной сигнал или стереофонический выходной сигнал соответствует сигналу временной области и может включать в себя сигнал PCM. В случае монофонического выходного сигнала подробная конфигурация модуля 130 смешивания будет объясняться со ссылкой на фиг.2. В случае стереофонического выходного сигнала подробная конфигурация модуля 130 смешивания будет объясняться со ссылкой на фиг.3.Meanwhile, a monaural output signal or a stereo output signal corresponds to a time-domain signal and may include a PCM signal. In the case of a monaural output signal, the detailed configuration of the mixing unit 130 will be explained with reference to FIG. In the case of a stereo output signal, the detailed configuration of the mixing unit 130 will be explained with reference to FIG.

Кроме того, информация о смешивании (DPI) может включать в себя бинауральный параметр. В этом случае бинауральный параметр является параметром для объемного эффекта и может быть информацией, сформированной модулем 120 формирования информации с использованием информации об объекте (OI), информации о сведении (MXI) и параметра HRTF. Если информация о смешивании (DPI) включает в себя бинауральный параметр, то модуль 130 смешивания способен выводить бинауральный сигнал. Вариант осуществления для формирования бинаурального сигнала будет подробно объясняться позже со ссылкой на фиг.4-6.In addition, mixing information (DPI) may include a binaural parameter. In this case, the binaural parameter is a parameter for the volumetric effect and may be information generated by the information generating unit 120 using the object information (OI), information about the reduction (MXI) and the HRTF parameter. If the mixing information (DPI) includes a binaural parameter, then the mixing unit 130 is capable of outputting a binaural signal. An embodiment for generating a binaural signal will be explained in detail later with reference to FIGS. 4-6.

Если принимается стереофонический смешанный сигнал вместо монофонического смешанного сигнала [не показано на чертеже], то обработка для изменения перекрестных помех выполняется только у смешанного сигнала вместо формирования выходного сигнала временной области. Обработанный смешанный сигнал может снова обрабатываться многоканальным декодером 140. К тому же настоящее изобретение не ограничивается этой обработкой.If a stereo mixed signal is received instead of a monophonic mixed signal [not shown in the drawing], then processing for changing crosstalk is performed only on the mixed signal instead of generating an output signal of the time domain. The processed mixed signal may again be processed by multi-channel decoder 140. Furthermore, the present invention is not limited to this processing.

Если режим вывода является многоканальным режимом вывода, то многоканальный декодер 140 формирует многоканальный сигнал путем разложения смешанного сигнала (DMX), используя многоканальную информацию. Многоканальный декодер 140 может быть реализован в соответствии со стандартом MPEG Surround (IS)/IEC 23003-1, которым настоящее изобретение не ограничивается.If the output mode is a multi-channel output mode, then the multi-channel decoder 140 generates a multi-channel signal by decomposing the mixed signal (DMX) using multi-channel information. The multi-channel decoder 140 may be implemented in accordance with the MPEG Surround (IS) / IEC 23003-1 standard, to which the present invention is not limited.

Фиг.2 - подробная блок-схема для первого примера модуля смешивания, показанного на фиг.1, который является вариантом осуществления для формирования монофонического выходного сигнала. Фиг.3 - подробная блок-схема для второго примера модуля смешивания, показанного на фиг.1, который является примером для формирования стереофонического выходного сигнала.FIG. 2 is a detailed block diagram for a first example of a mixing module shown in FIG. 1, which is an embodiment for generating a monophonic output signal. FIG. 3 is a detailed block diagram for a second example of a mixing module shown in FIG. 1, which is an example for generating a stereo output signal.

Ссылаясь на фиг.2, модуль 130А смешивания включает в себя модуль 132А разложения на поддиапазоны, модуль 134А обработки M2M и модуль 136А синтезирования поддиапазонов. Модуль 130А смешивания формирует монофонический выходной сигнал из монофонического смешанного сигнала.Referring to FIG. 2, the mixing unit 130A includes a subband decomposition unit 132A, an M2M processing unit 134A, and a subband synthesis unit 136A. Mixing unit 130A generates a monophonic output signal from a monophonic mixed signal.

Модуль 132А разложения на поддиапазоны формирует сигнал поддиапазона путем разложения монофонического смешанного сигнала (DMX). Модуль 132А разложения на поддиапазоны реализуется с помощью гребенки гибридных фильтров, и сигнал поддиапазона может соответствовать сигналу в гибридной области QMF. Модуль 134А обработки M2M обрабатывает сигнал поддиапазона с использованием информации о смешивании (DPI). В этом случае M2M является аббревиатурой монофонического-в-монофонический. Модуль 134А обработки M2M способен использовать декоррелятор для обработки сигнала поддиапазона. Модуль 136А синтезирования поддиапазонов формирует монофонический выходной сигнал временной области путем синтезирования обработанного сигнала поддиапазона. Кроме того, модуль 136А синтезирования поддиапазонов может быть реализован с помощью гребенки гибридных фильтров.The subband decomposer 132A generates a subband signal by decomposing a monophonic mixed signal (DMX). The subband decomposer 132A is implemented using a comb of hybrid filters, and the subband signal may correspond to a signal in the hybrid QMF region. The M2M processing module 134A processes the subband signal using the mixing information (DPI). In this case, M2M is an abbreviation of monophonic-in-monophonic. M2M processing module 134A is capable of using a decorrelator to process a subband signal. Subband synthesis module 136A generates a monophonic time-domain output signal by synthesizing a processed subband signal. In addition, the subband synthesis module 136A may be implemented using a comb of hybrid filters.

Ссылаясь на фиг.3, модуль 130В смешивания включает в себя модуль 132В разложения на поддиапазоны, модуль 134В обработки M2S, первый модуль 136В синтезирования поддиапазонов и второй модуль 138В синтезирования поддиапазонов. Модуль 130В смешивания принимает монофонический смешанный сигнал, а затем формирует стереофонический выходной сигнал.Referring to FIG. 3, the mixing unit 130B includes a subband decomposer 132B, an M2S processing module 134B, a first subband synthesizer 136B and a second subband synthesizer 138B. Mixing unit 130B receives a monophonic mixed signal and then generates a stereo output signal.

Как и упомянутый выше модуль 132А разложения на поддиапазоны, показанный на фиг.2, модуль 132В разложения на поддиапазоны формирует сигнал поддиапазона путем разложения монофонического смешанного сигнала (DMX). Также модуль 132В разложения на поддиапазоны может быть реализован с помощью гребенки гибридных фильтров.Like the aforementioned subband decomposition module 132A shown in FIG. 2, the subband decomposition module 132B generates a subband signal by decomposing a monophonic mixed signal (DMX). Also, the subband decomposer 132B may be implemented using a comb of hybrid filters.

Модуль 134В обработки M2S формирует два сигнала поддиапазонов (первый сигнал поддиапазона и второй сигнал поддиапазона) путем обработки сигнала поддиапазона с использованием информации о смешивании (DPI) и декоррелятора 135В. В этом случае M2S является аббревиатурой монофонического-в-стереофонический. Если используется декоррелятор 135В, то он способен увеличить стереофонический эффект путем снижения взаимосвязи между правым и левым каналами.The M2S processing module 134B generates two subband signals (the first subband signal and the second subband signal) by processing the subband signal using the mixing information (DPI) and the decorrelator 135B. In this case, M2S is an abbreviation of monophonic-in-stereo. If a 135V decorrelator is used, it is able to increase the stereo effect by reducing the relationship between the right and left channels.

Между тем декоррелятор 135В задает сигнал поддиапазона, введенный из модуля 132В разложения на поддиапазоны, как первый сигнал поддиапазона, а затем может вывести сигнал, сформированный путем декорреляции первого сигнала поддиапазона, в качестве второго сигнала поддиапазона, чем настоящее изобретение не ограничивается.Meanwhile, the decorrelator 135B sets the subband signal inputted from the subband decomposer 132B as the first subband signal, and then can output the signal generated by de-correlating the first subband signal as a second subband signal, which is not limited to.

Первый модуль 136В синтезирования поддиапазонов синтезирует первый сигнал поддиапазона, а второй модуль 138В синтезирования поддиапазонов синтезирует второй сигнал поддиапазона, при помощи чего формируется стереофонический выходной сигнал временной области.The first subband synthesis module 136B synthesizes a first subband signal, and the second subband synthesis module 138B synthesizes a second subband signal, whereby a stereo time-domain output signal is generated.

Таким образом, если вводится монофонический смешанный сигнал, то вариант осуществления вывода монофонического/стереофонического выходного сигнала посредством модуля смешивания объясняется в вышеприведенном описании. В нижеследующем описании объясняется случай формирования бинаурального сигнала.Thus, if a monophonic mixed signal is input, the embodiment of outputting the monophonic / stereo output signal by the mixing module is explained in the above description. In the following description, the case of binaural signal generation is explained.

2. Формирование бинаурального сигнала2. The formation of binaural signal

Фиг.4 - блок-схема устройства для обработки звукового сигнала в соответствии с одним вариантом осуществления настоящего изобретения для формирования бинаурального сигнала. Фиг.5 - подробная блок-схема модуля смешивания, показанного на фиг.4. Фиг.6 - блок-схема устройства для обработки звукового сигнала в соответствии с другим вариантом осуществления настоящего изобретения для формирования бинаурального сигнала.4 is a block diagram of an apparatus for processing an audio signal in accordance with one embodiment of the present invention for generating a binaural signal. 5 is a detailed block diagram of a mixing module shown in FIG. 4. 6 is a block diagram of an apparatus for processing an audio signal in accordance with another embodiment of the present invention for generating a binaural signal.

Со ссылкой на фиг.4 и фиг.5 объясняется один вариант осуществления для формирования бинаурального сигнала. Со ссылкой на фиг.6 объясняется другой вариант осуществления для формирования бинаурального сигнала.With reference to FIG. 4 and FIG. 5, one embodiment for generating a binaural signal is explained. With reference to FIG. 6, another embodiment for generating a binaural signal is explained.

Ссылаясь на фиг.4, устройство 200 обработки звукового сигнала включает в себя демультиплексор 210, модуль 220 формирования информации и модуль 230 смешивания. В этом случае, как и вышеупомянутый демультиплексор 110, описанный со ссылкой на фиг.1, демультиплексор 210 извлекает информацию об объекте (OI) из потока двоичных сигналов и дополнительно способен извлечь смешанный сигнал (DMX) из потока двоичных сигналов. В этом случае смешанный сигнал может быть монофоническим сигналом или стереофоническим сигналом.Referring to FIG. 4, an audio signal processing apparatus 200 includes a demultiplexer 210, an information generating module 220, and a mixing module 230. In this case, like the aforementioned demultiplexer 110 described with reference to FIG. 1, the demultiplexer 210 extracts object information (OI) from the binary signal stream and is further able to extract the mixed signal (DMX) from the binary signal stream. In this case, the mixed signal may be a monaural signal or a stereo signal.

Модуль 220 формирования информации формирует информацию о смешивании, содержащую бинауральный параметр, с использованием информации об объекте (OI), информации о сведении (MXI) и информации HRTF. В этом случае информация HRTF может быть информацией, извлеченной из HRTF DB. И бинауральный параметр является параметром для привнесения виртуального объемного эффекта.The information generating unit 220 generates mixing information containing a binaural parameter using object information (OI), mixing information (MXI), and HRTF information. In this case, the HRTF information may be information extracted from the HRTF DB. And the binaural parameter is a parameter for introducing a virtual surround effect.

Модуль 230 смешивания выводит бинауральный сигнал с использованием информации о смешивании (DPI), которая включает в себя бинауральный параметр. Подробная конфигурация модуля 230 смешивания объясняется со ссылкой на фиг.5.Mixing unit 230 outputs a binaural signal using mixing information (DPI), which includes a binaural parameter. The detailed configuration of the mixing module 230 is explained with reference to FIG.

Ссылаясь на фиг.5, модуль 230А смешивания включает в себя модуль 232А разложения на поддиапазоны, модуль 234А бинауральной обработки и модуль 236А синтезирования поддиапазонов. Модуль 232А разложения на поддиапазоны формирует один или два сигнала поддиапазонов путем разложения смешанного сигнала. Модуль 234А бинауральной обработки обрабатывает один или два сигнала поддиапазонов, используя информацию о смешивании (DPI), содержащую бинауральный параметр. Модуль 236А синтезирования поддиапазонов формирует бинауральный выходной сигнал временной области путем синтезирования одного или двух сигналов поддиапазонов.Referring to FIG. 5, the mixing module 230A includes a subband decomposition module 232A, a binaural processing module 234A, and a subband synthesis module 236A. The subband decomposer 232A generates one or two subband signals by decomposing the mixed signal. The binaural processing unit 234A processes one or two subband signals using the mixing information (DPI) containing the binaural parameter. Subband synthesis module 236A generates a binaural time-domain output by synthesizing one or two subband signals.

Ссылаясь на фиг.6, устройство 300 обработки звукового сигнала включает в себя демультиплексор 310 и модуль 320 формирования информации. Устройство 300 обработки звукового сигнала дополнительно может включать в себя многоканальный декодер 330.Referring to FIG. 6, an audio signal processing apparatus 300 includes a demultiplexer 310 and an information generating module 320. The audio signal processing apparatus 300 may further include a multi-channel decoder 330.

Демультиплексор 310 извлекает информацию об объекте (OI) из потока двоичных сигналов и дополнительно способен извлечь смешанный сигнал (DMX) из потока двоичных сигналов. Модуль 320 формирования информации формирует многоканальную информацию (MI) с использованием информации об объекте (OI) и информации о сведении (MXI). В этом случае многоканальная информация (MI) является информацией для разложения смешанного сигнала (DMX) и включает в себя такой пространственный параметр, как информация об уровне канала и информация о взаимосвязи каналов. Модуль 320 формирования информации формирует бинауральный параметр с использованием параметра HRTF, извлеченного из HRTF DB. Бинауральный параметр является параметром для привнесения объемного эффекта и может включать в себя сам параметр HRTF. Бинауральный параметр является стационарным значением и может обладать динамической характеристикой.Demultiplexer 310 extracts object information (OI) from the binary signal stream and is further capable of extracting the mixed signal (DMX) from the binary signal stream. The information generating unit 320 generates multi-channel information (MI) using object information (OI) and information about mixing (MXI). In this case, multi-channel information (MI) is information for decomposition of a mixed signal (DMX) and includes such a spatial parameter as channel level information and channel relationship information. The information generating unit 320 generates a binaural parameter using the HRTF parameter extracted from the HRTF DB. The binaural parameter is a parameter for introducing a volumetric effect and may include the HRTF parameter itself. The binaural parameter is a stationary value and may have a dynamic characteristic.

Если смешанный сигнал является монофоническим сигналом, то многоканальная информация (MI) дополнительно может включать в себя информацию об усилении (ADG). В этом случае информация об усилении (ADG) является параметром для регулирования усиления смешанного сигнала и используется в управлении усилением для определенного объекта. В случае бинаурального выходного сигнала для объекта необходима повышающая дискретизация или понижающая дискретизация. Предпочтительно использовать информацию об усилении (ADG). Если многоканальный декодер 330 придерживается стандарта MPS Surround и многоканальную информацию (MI) нужно сконфигурировать в соответствии с синтаксисом MPEG Surround, то можно использовать информацию об усилении (ADG) путем задания "bsArbitraryDownmix=1".If the mixed signal is a monophonic signal, then the multi-channel information (MI) may further include gain information (ADG). In this case, gain information (ADG) is a parameter for adjusting the gain of the mixed signal and is used in gain control for a specific object. In the case of binaural output, an upsampling or downsampling is required for an object. It is preferable to use gain information (ADG). If the multi-channel decoder 330 adheres to the MPS Surround standard and multi-channel information (MI) needs to be configured in accordance with the MPEG Surround syntax, then gain information (ADG) can be used by setting "bsArbitraryDownmix = 1".

Если смешанный сигнал является стереофоническим сигналом, то устройство 300 обработки звукового сигнала дополнительно может включать в себя модуль смешивания (не показан на чертеже) для повторного панорамирования правого и левого каналов стереофонического смешанного сигнала. Еще в бинауральном воспроизведении могут формироваться перекрестные элементы правого и левого каналов путем выбора параметра HRTF. Поэтому работа модуля смешивания (не показан на чертеже) не является необходимой. Если смешанный сигнал является стереофоническим и многоканальная информация (MI) придерживается стандарта MPS Surround, то предпочтительно установить режим конфигурации 5-2-5. И он [сигнал] предпочтительно выводится путем игнорирования только переднего левого канала и переднего правого канала. Кроме того, бинауральный параметр может передаваться таким образом, что тракты от правого и левого передних каналов к правому и левому выходам (итого четыре набора параметров) имеют допустимые значения, в то время как остальные значения равны нулю.If the mixed signal is a stereo signal, then the audio signal processing apparatus 300 may further include a mixing module (not shown in the drawing) for re-panning the right and left channels of the stereo mixed signal. Even in binaural playback, cross elements of the right and left channels can be formed by selecting the HRTF parameter. Therefore, the operation of the mixing module (not shown in the drawing) is not necessary. If the mixed signal is stereo and multichannel information (MI) adheres to the MPS Surround standard, it is preferable to set the configuration mode to 5-2-5. And it [signal] is preferably output by ignoring only the front left channel and the front right channel. In addition, the binaural parameter can be transmitted in such a way that the paths from the right and left front channels to the right and left outputs (total four sets of parameters) have valid values, while the remaining values are zero.

Многоканальный декодер 330 формирует бинауральный выходной сигнал из смешанного сигнала, используя многоканальную информацию (MI) и бинауральный параметр. В частности, многоканальный декодер 330 способен формировать бинауральный выходной сигнал путем применения сочетания пространственного параметра, включенного в многоканальную информацию, и бинаурального параметра к смешанному сигналу.A multi-channel decoder 330 generates a binaural output signal from a mixed signal using multi-channel information (MI) and a binaural parameter. In particular, the multi-channel decoder 330 is capable of generating a binaural output signal by applying a combination of the spatial parameter included in the multi-channel information and the binaural parameter to the mixed signal.

В вышеприведенном описании объясняются варианты осуществления для формирования бинаурального выходного сигнала. Как и в первом варианте осуществления, если бинауральный выходной сигнал формируется непосредственно с помощью модуля смешивания, то не нужно выполнять сложную схему в многоканальном декодере. Следовательно, можно снизить сложность. Как и во втором варианте осуществления, если используется многоканальный декодер, то можно использовать функцию многоканального декодера.In the above description, embodiments for generating a binaural output signal are explained. As in the first embodiment, if the binaural output signal is generated directly using the mixing module, then it is not necessary to perform a complex circuit in a multi-channel decoder. Therefore, complexity can be reduced. As in the second embodiment, if a multi-channel decoder is used, then the multi-channel decoder function can be used.

3. Управление независимым объектом (режим караоке/режим без инструментального сопровождения)3. Management of an independent object (karaoke mode / mode without instrumental accompaniment)

В нижеследующем описании объясняется методика для управления независимым объектом или фоновым объектом при приеме монофонического смешанного сигнала.The following description explains a technique for controlling an independent object or background object when receiving a monophonic mixed signal.

Фиг.7 - блок-схема устройства для обработки звукового сигнала в соответствии с одним вариантом осуществления настоящего изобретения для управления независимым объектом, а фиг.8 - блок-схема устройства для обработки звукового сигнала в соответствии с другим вариантом осуществления настоящего изобретения для управления независимым объектом.7 is a block diagram of an apparatus for processing an audio signal in accordance with one embodiment of the present invention for controlling an independent object, and FIG. 8 is a block diagram of a device for processing an audio signal in accordance with another embodiment of the present invention for controlling an independent object .

Ссылаясь на фиг.7, многоканальный декодер 410 в устройстве 400 кодирования звукового сигнала принимает множество индивидуальных сигналов, а затем формирует монофонический смешанный сигнал (DMXm) и многоканальный поток двоичных сигналов. В этом случае множество индивидуальных сигналов является многоканальными фоновыми объектами (MBO).Referring to FIG. 7, a multi-channel decoder 410 in an audio signal encoding device 400 receives a plurality of individual signals, and then generates a monophonic mixed signal (DMXm) and a multi-channel stream of binary signals. In this case, the plurality of individual signals are multi-channel background objects (MBOs).

Например, многоканальный фоновый объект (MBO) может включать в себя множество сигналов инструментов, формирующих музыкальное сопровождение. Кроме того, невозможно узнать, сколько исходных сигналов включается (например, сигналов инструментов). И они являются неуправляемыми по исходному сигналу. Хотя фоновый объект может смешиваться в стереофонический канал, настоящее изобретение намеревается описать фоновый объект, смешанный только в монофонический сигнал.For example, a multi-channel background object (MBO) may include a plurality of instrument signals forming a musical accompaniment. In addition, it is not possible to know how many source signals are turned on (for example, instrument signals). And they are uncontrolled by the original signal. Although a background object can be mixed into a stereo channel, the present invention intends to describe a background object mixed only into a monaural signal.

Кодер 420 объекта формирует монофонический смешанный сигнал (DMX) путем смешивания монофонического фонового объекта (DMXm) и по меньшей мере одного сигнала объекта (obj_N), а также формирует двоичный поток информации об объекте. В этом случае по меньшей мере один сигнал объекта (или основанный на объекте сигнал) является независимым объектом и может называться объектом переднего плана (FGO). Например, если фоновый объект является сопровождением, то независимый объект (FGO) может соответствовать сигналу ведущего вокала. Конечно, если имеются два независимых объекта, это может соответствовать вокальному сигналу певца 1 и вокальному сигналу певца 2 соответственно. И кодер 420 объекта дополнительно способен формировать разностную информацию.An object encoder 420 generates a monophonic mixed signal (DMX) by mixing a monophonic background object (DMXm) and at least one object signal (obj _N ), and also generates a binary stream of information about the object. In this case, at least one object signal (or an object-based signal) is an independent object and may be called a foreground object (FGO). For example, if the background object is accompaniment, then an independent object (FGO) may correspond to the lead vocal signal. Of course, if there are two independent objects, this can correspond to the vocal signal of singer 1 and the vocal signal of singer 2, respectively. And the object encoder 420 is further capable of generating differential information.

Кодер 420 объекта способен формировать разность в процессе смешивания монофонического фонового объекта (DMXm) и сигнала объекта (obj_N) (то есть независимого объекта). Эта разность используется для декодера, чтобы извлекать независимый объект (или фоновый объект) из смешанного сигнала.An object encoder 420 is capable of generating a difference in the process of mixing a monophonic background object (DMXm) and an object signal (obj _N ) (i.e., an independent object). This difference is used for the decoder to extract an independent object (or background object) from the mixed signal.

Транскодер 510 объекта в устройстве 500 декодирования звукового сигнала извлекает по меньшей мере один независимый объект или фоновый объект из смешанного сигнала (DMX), используя информацию об улучшенном объекте (например, разность) в соответствии с информацией выбора режима (MSI), включенной в информацию о сведении (MXI).An object transcoder 510 in an audio signal decoding apparatus 500 extracts at least one independent object or background object from a mixed signal (DMX) using enhanced object information (e.g., difference) in accordance with mode selection information (MSI) included in the information about Mix (MXI).

Информация выбора режима (MSI) включает в себя информацию, указывающую, выбирается ли режим для управления фоновым объектом и по меньшей мере одним независимым объектом. Кроме того, информация выбора режима (MSI) может включать в себя информацию, указывающую, какому из режимов, включающих нормальный режим, режим для управления фоновым объектом и режим для управления по меньшей мере одним независимым объектом, соответствует установленный режим. Например, если фоновый объект является музыкальным сопровождением, то режим для управления фоновым объектом может соответствовать режиму "без инструментального сопровождения" (или сольному режиму). Например, если независимый объект является вокалом, то режим для управления по меньшей мере одним независимым объектом может соответствовать режиму караоке. Другими словами, информация выбора режима может быть информацией, указывающей, выбирается ли один из нормального режима, режима "без инструментального сопровождения" и режима караоке. Кроме того, в случае режима "без инструментального сопровождения" или караоке дополнительно может включаться информация о регулировке усиления. Таким образом, если информацией выбора режима (MSI) является режим "без инструментального сопровождения" или караоке, то по меньшей мере один независимый объект или фоновый объект извлекается из смешанного сигнала (DMX). В случае нормального режима смешанный сигнал может подвергаться обходу.The mode selection information (MSI) includes information indicating whether a mode is selected for controlling a background object and at least one independent object. In addition, the mode selection information (MSI) may include information indicating which of the modes including the normal mode, the mode for controlling the background object, and the mode for controlling at least one independent object, corresponds to the established mode. For example, if the background object is musical accompaniment, then the mode for controlling the background object may correspond to the "without instrumental" mode (or solo mode). For example, if the independent object is vocals, then the mode for controlling at least one independent object may correspond to a karaoke mode. In other words, the mode selection information may be information indicating whether one of the normal mode, the “no instrumental” mode, and the karaoke mode are selected. In addition, in the case of the “without instrumental” mode or karaoke, information on gain adjustment may be additionally included. Thus, if the mode selection information (MSI) is a “no instrumental” or karaoke mode, then at least one independent object or background object is extracted from the mixed signal (DMX). In normal mode, the mixed signal may be bypassed.

Если извлекается независимый объект, то транскодер 510 объекта формирует сведенный монофонический смешанный сигнал путем сведения по меньшей мере одного независимого объекта и фонового объекта с использованием информации об объекте (OI), информации о сведении (MI) и т.п. В этом случае информация об объекте (OI) является информацией, извлеченной из двоичного потока информации об объекте и может быть тождественна объясненной в предшествующем описании. И информация о сведении (MXI) может быть информацией для регулирования усиления и/или панорамирования объекта.If an independent object is extracted, then the object transcoder 510 generates a mixed monophonic mixed signal by combining at least one independent object and a background object using object information (OI), information about mixing (MI), etc. In this case, object information (OI) is information extracted from the binary stream of information about the object and may be identical to that explained in the preceding description. And mix information (MXI) may be information for adjusting the gain and / or pan of an object.

Между тем транскодер 510 объекта формирует многоканальную информацию (MI) с использованием многоканального потока двоичных сигналов и/или двоичного потока информации об объекте. Многоканальная информация (MI) может предоставляться для управления фоновым объектом или по меньшей мере одним независимым объектом. В этом случае многоканальная информация может включать в себя по меньшей мере одну из первой многоканальной информации для управления фоновым объектом и второй многоканальной информации для управления по меньшей мере одним независимым объектом.Meanwhile, the object transcoder 510 generates multi-channel information (MI) using a multi-channel stream of binary signals and / or a binary stream of information about the object. Multichannel information (MI) may be provided to control a background object or at least one independent object. In this case, the multi-channel information may include at least one of the first multi-channel information for controlling the background object and the second multi-channel information for controlling the at least one independent object.

И многоканальный декодер 520 формирует выходной сигнал из монофонического смешанного сигнала, сведенного с использованием многоканальной информации (MI) или пропущенного монофонического смешанного сигнала.And multi-channel decoder 520 generates an output signal from a monophonic mixed signal mixed using multichannel information (MI) or a skipped monophonic mixed signal.

Фиг.8 - схема другого варианта осуществления для формирования независимого объекта.8 is a diagram of another embodiment for forming an independent entity.

Ссылаясь на фиг.8, модуль 600 обработки звукового сигнала принимает монофонический смешанный сигнал (DMX). Устройство 600 обработки звукового сигнала включает в себя модуль 610 смешивания, многоканальный декодер 620, модуль 630 OTN и модуль 640 воспроизведения.Referring to FIG. 8, an audio signal processing module 600 receives a monophonic mixed signal (DMX). The audio signal processing apparatus 600 includes a mixing module 610, a multi-channel decoder 620, an OTN module 630, and a reproducing module 640.

Устройство 600 обработки звукового сигнала определяет, вводить ли смешанный сигнал в модуль 630 OTN, в соответствии с информацией выбора режима (MSI). В этом случае информация выбора режима может быть тождественна упомянутой выше информации выбора режима, описанной со ссылкой на фиг.7.The audio signal processing apparatus 600 determines whether to introduce the mixed signal into the OTN module 630 in accordance with the mode selection information (MSI). In this case, the mode selection information may be identical to the above mode selection information described with reference to FIG. 7.

Если в соответствии с информацией выбора режима текущий режим является режимом для управления фоновым объектом (MBO) или по меньшей мере одним независимым объектом (FGO), то смешанный сигнал разрешается ввести в модуль 630 OTN. Если текущий режим является нормальным режимом в соответствии с информацией выбора режима, то смешанный сигнал обходит модуль 630 OTN, но вводится в модуль 610 смешивания или многоканальный декодер 620 в соответствии с режимом вывода. В этом случае режим вывода идентичен информации о режиме вывода (OM), описанной со ссылкой на фиг.1, и может включать в себя количество выходных динамиков.If, in accordance with the mode selection information, the current mode is a mode for controlling a background object (MBO) or at least one independent object (FGO), then the mixed signal is allowed to be input to the OTN module 630. If the current mode is the normal mode in accordance with the mode selection information, then the mixed signal bypasses the OTN module 630, but is input to the mixing module 610 or the multi-channel decoder 620 in accordance with the output mode. In this case, the output mode is identical to the output mode (OM) information described with reference to FIG. 1, and may include a number of output speakers.

Если режим вывода является монофоническим/стереофоническим/бинауральным режимом вывода, то смешанный сигнал обрабатывается модулем 610 смешивания. В этом случае модуль 610 смешивания может быть элементом, играющим такую же роль, как и упомянутый выше модуль 130/130A/130B смешивания, описанный со ссылкой на фиг.1/фиг.2/фиг.3.If the output mode is monaural / stereo / binaural output mode, then the mixed signal is processed by the mixing module 610. In this case, the mixing module 610 may be an element playing the same role as the above mixing module 130 / 130A / 130B described with reference to FIG. 1 / FIG. 2 / FIG. 3.

Если режим вывода является многоканальным режимом, то многоканальный декодер 620 формирует многоканальный выходной сигнал из монофонического смешанного сигнала (DMX). Также многоканальный декодер 620 может быть элементом, играющим такую же роль, как и упомянутый выше многоканальный декодер 140, описанный со ссылкой на фиг.1.If the output mode is a multi-channel mode, then the multi-channel decoder 620 generates a multi-channel output signal from a monaural mixed signal (DMX). Also, the multi-channel decoder 620 may be an element playing the same role as the above-mentioned multi-channel decoder 140 described with reference to FIG. 1.

Между тем, если монофонический смешанный сигнал вводится в модуль 630 OTN в соответствии с информацией выбора режима (MSI), то модуль 630 OTN извлекает монофонический фоновый объект (MBO) и по меньшей мере один сигнал независимого объекта (FGO) из смешанного сигнала. В этом случае OTN является аббревиатурой "один-в-n". Если существует один сигнал независимого объекта, то модуль OTN может иметь конструкцию OTT (один-в-два). Если существуют два сигнала независимых объектов, то модуль OTN может иметь конструкцию OTT (один-в-три). Если существует (N-1) сигналов независимых объектов, то модуль OTN может иметь конструкцию OTN.Meanwhile, if the monophonic mixed signal is input to the OTN module 630 in accordance with the mode selection information (MSI), the OTN module 630 extracts the monophonic background object (MBO) and at least one independent object signal (FGO) from the mixed signal. In this case, the OTN is an abbreviation for one-to-n. If there is one signal of an independent object, then the OTN module may have an OTT (one-to-two) design. If there are two signals of independent objects, then the OTN module may have an OTT (one-to-three) design. If there are (N-1) signals of independent entities, then the OTN module may have an OTN construct.

Модуль 630 OTN способен использовать информацию об объекте (OI) и информацию об улучшенном объекте (EOI). В этом случае информация об улучшенном объекте (EOI) может быть разностным сигналом, сформированным в процессе смешивания фонового объекта и независимого объекта.OTN module 630 is capable of using object information (OI) and enhanced object information (EOI). In this case, enhanced object information (EOI) may be a difference signal generated by mixing the background object and the independent object.

И модуль 640 воспроизведения формирует выходной индивидуальный сигнал путем воспроизведения фоновой информации (MBO) и независимого объекта (FGO) с использованием информации о сведении (MXI). В этом случае информация о сведении (MXI) включает в себя информацию для управления фоновым объектом и/или информацию для управления независимым объектом. Между тем многоканальная информация (MI) может формироваться на основе информации об объекте (OI) и информации о сведении (MXI). В этом случае выходной индивидуальный сигнал вводится в многоканальный декодер (не показан на чертеже) и может затем смешиваться на основе многоканальной информации.And, the reproducing module 640 generates an individual output signal by reproducing the background information (MBO) and the independent object (FGO) using the mixing information (MXI). In this case, flattening information (MXI) includes information for controlling a background object and / or information for managing an independent object. Meanwhile, multi-channel information (MI) can be formed on the basis of information about the object (OI) and information about mixing (MXI). In this case, the individual output signal is input to a multi-channel decoder (not shown in the drawing) and can then be mixed based on multi-channel information.

Фиг.9 - блок-схема устройства для обработки звукового сигнала в соответствии с первым вариантом осуществления настоящего изобретения для обработки улучшенного объекта, фиг.10 - блок-схема устройства для обработки звукового сигнала в соответствии со вторым вариантом осуществления настоящего изобретения для обработки улучшенного объекта, и фиг.11 и фиг.12 - блок-схемы устройства для обработки звукового сигнала в соответствии с третьим вариантом осуществления настоящего изобретения для обработки улучшенного объекта.FIG. 9 is a block diagram of an apparatus for processing an audio signal in accordance with a first embodiment of the present invention for processing an improved object; FIG. 10 is a block diagram of a device for processing an audio signal in accordance with a second embodiment of the present invention for processing an improved object, and FIG. 11 and FIG. 12 are block diagrams of an apparatus for processing an audio signal in accordance with a third embodiment of the present invention for processing an improved object.

Первый вариант осуществления относится к монофоническому смешанному сигналу и монофоническому объекту. Второй вариант осуществления относится к монофоническому смешанному сигналу и стереофоническому объекту. И третий вариант осуществления относится к случаю, охватывающему оба случая из первого и второго вариантов осуществления.The first embodiment relates to a monophonic mixed signal and a monophonic object. The second embodiment relates to a monophonic mixed signal and a stereo object. And the third embodiment relates to a case encompassing both cases from the first and second embodiments.

Ссылаясь на фиг.9, кодер 710 информации об улучшенном объекте в устройстве 700А кодирования звукового сигнала формирует информацию об улучшенном объекте (EOP_x₁) из сведенного звукового сигнала, который является монофоническим сигналом, и сигнала объекта (obj_x₁). В этом случае, поскольку один сигнал формируется с использованием двух сигналов, кодер 710 информации об улучшенном объекте может быть реализован в виде кодирующего модуля OTT (один-в-два). В этом случае информация об улучшенном объекте (EOP_x₁) может быть разностным сигналом. И кодер 710 информации об улучшенном объекте формирует информацию об объекте (OP_x₁), соответствующую модулю OTT.Referring to FIG. 9, an enhanced object information encoder 710 in an audio signal encoding apparatus 700A generates improved object information (EOP_x ₁ ) from a combined audio signal, which is a monaural signal, and an object signal (obj_x ₁ ). In this case, since one signal is generated using two signals, the enhanced object information encoder 710 may be implemented as an one-to-two OTT encoding module. In this case, the enhanced object information (EOP_x ₁ ) may be a difference signal. And, the enhanced object information encoder 710 generates object information (OP_x ₁ ) corresponding to the OTT module.

Декодер 810 информации об улучшенном объекте в устройстве 800А декодирования звукового сигнала формирует выходной сигнал (obj_x₁'), соответствующий дополнительным данным повторного сведения, используя информацию об улучшенном объекте (EOP_x₁) и сведенный звуковой сигнал.An enhanced object information decoder 810 in the audio signal decoding apparatus 800A generates an output signal (obj_x ₁ ′) corresponding to additional re-mixing data using the enhanced object information (EOP_x ₁ ) and the mixed audio signal.

Ссылаясь на фиг.10, устройство 700В кодирования звукового сигнала включает в себя кодер 710В информации о первом улучшенном объекте и кодер 720В информации о втором улучшенном объекте. И устройство 800В декодирования звукового сигнала включает в себя декодер 820В информации о первом улучшенном объекте и декодер 810В информации о втором улучшенном объекте.Referring to FIG. 10, an audio signal encoding apparatus 700B includes a first improved object information encoder 710B and a second improved object information encoder 720B. And, the audio signal decoding apparatus 800B includes a first improved object information decoder 820B and a second improved object information decoder 810B.

Кодер 710В информации о первом улучшенном объекте формирует объединенный объект и информацию о первом улучшенном объекте (EOP_L1) путем объединения двух сигналов объектов (obj_x₁, obj_x₂). В этом случае два сигнала объектов могут включать в себя стереофонический сигнал объекта, то есть сигнал левого канала объекта и сигнал правого канала объекта. В процессе формирования объединенного объекта формируется информация о первом объекте (OP_L1).The first enhanced object information encoder 710B generates a combined object and first improved object information (EOP_L1) by combining two object signals (obj_x ₁ , obj_x ₂ ). In this case, two object signals may include a stereo object signal, i.e., an object left channel signal and an object right channel signal. In the process of forming the combined object, information about the first object is formed (OP_L1).

Кодер 720В информации о втором улучшенном объекте формирует информацию о втором улучшенном объекте (EOP_L0) и информацию о втором объекте (OP_L0) с использованием сведенного звукового сигнала, который является монофоническим сигналом, и объединенного объекта.The second enhanced object information encoder 720B generates second improved object information (EOP_L0) and second object information (OP_L0) using the combined audio signal, which is a monaural signal, and the combined object.

Таким образом, итоговый сигнал формируется посредством двух вышеприведенных этапов. Так как каждый из кодеров 710В и 720В информации о первом и втором улучшенном объекте формирует один сигнал из двух сигналов, то он может быть реализован в виде модуля OTT (один-в-два).Thus, the final signal is generated by the two above steps. Since each of the encoders 710V and 720B of information about the first and second improved object generates one signal from two signals, it can be implemented as an OTT module (one-to-two).

Устройство 800В декодирования звукового сигнала выполняет процесс обратно процессу в устройстве 700В кодирования звукового сигнала.The audio signal decoding apparatus 800B performs the process back to the process in the audio signal encoding apparatus 700B.

В частности, декодер 810В информации о втором улучшенном объекте формирует объединенный объект, используя информацию о втором улучшенном объекте (EOP_L0) и сведенный звуковой сигнал. В этом случае можно дополнительно извлечь звуковой сигнал.In particular, the second enhanced object information decoder 810B generates a combined object using the second enhanced object information (EOP_L0) and the combined audio signal. In this case, an additional sound signal can be extracted.

И декодер 820В информации о первом улучшенном объекте формирует два объекта (obj_x₁', obj_x₂'), которые являются дополнительными данными повторного сведения, из объединенного объекта с использованием информации о первом улучшенном объекте (EOP_L1).And, the first improved object information decoder 820B generates two objects (obj_x ₁ ′, obj_x ₂ ′), which are additional data of repeated information, from the combined object using the information about the first improved object (EOP_L1).

Фиг.11 и фиг.12 показывают объединенную конструкцию первого и второго вариантов осуществления. Ссылаясь на фиг.11, если улучшенный объект переходит в монофонический или стереофонический в соответствии с наличием или отсутствием работы древовидной структуры 5-1-5 или 5-2-5 многоканального кодера 705С, то смешанный сигнал переходит в монофонический сигнал или стереофонический сигнал.11 and 12 show the combined construction of the first and second embodiments. Referring to FIG. 11, if the enhanced object goes into monaural or stereo in accordance with the presence or absence of the work of the tree structure 5-1-5 or 5-2-5 of the multi-channel encoder 705C, then the mixed signal goes into a monaural signal or a stereo signal.

Ссылаясь на фиг.11 и фиг.12, если улучшенный объект является монофоническим сигналом, то кодер 710С информации о первом улучшенном объекте и декодер 820С информации о первом улучшенном объекте не работают. Функции элементов идентичны таковым с такими же названиями, описанным касательно фиг.10.Referring to FIG. 11 and FIG. 12, if the enhanced object is a monaural signal, then the first improved object information encoder 710C and the first improved object information decoder 820C do not work. The functions of the elements are identical to those with the same names described with respect to FIG. 10.

Между тем, если смешанный сигнал является монофоническим, кодер 720С информации о втором улучшенном объекте и декодер 810С информации о втором улучшенном объекте предпочтительно работают как кодер OTT и декодер OTT соответственно. Если смешанный сигнал является стереофоническим, кодер 720С информации о втором улучшенном объекте и декодер 810С информации о втором улучшенном объекте могут работать как кодер TTT и декодер TTT соответственно.Meanwhile, if the mixed signal is monaural, the second enhanced object information encoder 720C and the second improved object information decoder 810C preferably operate as an OTT encoder and an OTT decoder, respectively. If the mixed signal is stereo, the second enhanced object information encoder 720C and the second improved object information decoder 810C can operate as a TTT encoder and a TTT decoder, respectively.

В соответствии с настоящим изобретением описанный выше способ обработки звукового сигнала может быть реализован на программно записанном носителе в виде машиночитаемых кодов. Машиночитаемые носители включают в себя все виды записывающих устройств, в которых хранятся данные, считываемые компьютерной системой. Машиночитаемые носители включают в себя, например, ROM, RAM, CD-ROM, магнитные пленки, гибкие диски, оптические запоминающие устройства и т.п., а также включают в себя реализации типа несущей (например, передачу через Интернет). Кроме того, поток двоичных сигналов, сформированный способом кодирования, сохраняется на машиночитаемом носителе записи или может передаваться по сети проводной/беспроводной связи.In accordance with the present invention, the above-described method of processing an audio signal can be implemented on a software recorded medium in the form of computer-readable codes. Computer-readable media includes all kinds of recording devices that store data readable by a computer system. Computer-readable media include, for example, ROM, RAM, CD-ROM, magnetic tapes, floppy disks, optical storage devices, and the like, and also include carrier-type implementations (e.g., transmission over the Internet). In addition, the binary signal stream generated by the encoding method is stored on a computer-readable recording medium or may be transmitted over a wired / wireless communication network.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬINDUSTRIAL APPLICABILITY

Соответственно, настоящее изобретение применимо для кодирования и декодирования звукового сигнала.Accordingly, the present invention is applicable for encoding and decoding an audio signal.

Несмотря на то, что в этом документе настоящее изобретение описано и проиллюстрировано со ссылкой на его предпочтительные варианты осуществления, специалистам в данной области техники будет очевидно, что в нем могут быть сделаны различные модификации и изменения без отклонения от сущности и объема изобретения. Таким образом, предполагается, что настоящее изобретение охватывает модификации и изменения этого изобретения, которые подпадают под объем прилагаемой формулы изобретения и ее эквивалентов.Although the present invention is described and illustrated in this document with reference to its preferred embodiments, it will be apparent to those skilled in the art that various modifications and changes can be made therein without departing from the spirit and scope of the invention. Thus, it is intended that the present invention cover modifications and variations of this invention that fall within the scope of the appended claims and their equivalents.

Claims

1. Способ обработки звукового сигнала, содержащий этапы, на которых:
принимают смешанный сигнал, включающий в себя, по меньшей мере, один сигнал объекта, и информацию об объекте, извлеченную при формировании смешанного сигнала;
принимают информацию о сведении, включающую в себя информацию выбора режима, причем информация о сведении предназначена для управления сигналом объекта;
игнорируют смешанный сигнал или извлекают фоновый объект и, по меньшей мере, один независимый объект из смешанного сигнала на основе информации выбора режима; и
если игнорируется смешанный сигнал, формируют многоканальную информацию с использованием информации об объекте и информации о сведении,
причем смешанный сигнал соответствует монофоническому сигналу, и
информация выбора режима включает в себя информацию, указывающую один из режимов, включающих в себя нормальный режим, режим для управления фоновым объектом и режим для управления, по меньшей мере, одним независимым объектом.1. A method of processing an audio signal, comprising stages in which:
receive a mixed signal including at least one signal of the object, and information about the object extracted during the formation of the mixed signal;
receive information about the information, including information about the selection of the mode, and information about the information is intended to control the signal of the object;
ignoring the mixed signal or extracting a background object and at least one independent object from the mixed signal based on the mode selection information; and
if the mixed signal is ignored, multichannel information is generated using information about the object and information about the reduction,
moreover, the mixed signal corresponds to a monaural signal, and
mode selection information includes information indicating one of the modes including the normal mode, a mode for controlling a background object, and a mode for controlling at least one independent object.

2. Способ по п.1, дополнительно содержащий этап, на котором принимают информацию об улучшенном объекте, причем, по меньшей мере, один независимый объект извлекают из смешанного сигнала с использованием информации об улучшенном объекте.2. The method according to claim 1, further comprising the step of receiving information about the improved object, wherein at least one independent object is extracted from the mixed signal using information about the improved object.

3. Способ по п.2, в котором информация об улучшенном объекте соответствует разностному сигналу.3. The method according to claim 2, in which information about the improved object corresponds to a difference signal.

4. Способ по п.1, в котором, по меньшей мере, один независимый объект соответствует основанному на объекте сигналу, и в котором фоновый объект соответствует монофоническому сигналу.4. The method according to claim 1, in which at least one independent object corresponds to an object-based signal, and in which the background object corresponds to a monophonic signal.

5. Способ по п.1, в котором стереофонический выходной сигнал формируют, если режим выбора режимов соответствует нормальному режиму, и в котором фоновый объект и, по меньшей мере, один независимый объект извлекают, если режим выбора режимов соответствует одному из режима для управления фоновым объектом и режима для управления, по меньшей мере, одним независимым объектом.5. The method according to claim 1, in which a stereo output signal is generated if the mode selection mode corresponds to the normal mode, and in which the background object and at least one independent object are extracted if the mode selection mode corresponds to one of the mode for controlling the background an object and a mode for controlling at least one independent object.

6. Способ по п.1, дополнительно содержащий этап, на котором формируют, по меньшей мере, одну из первой многоканальной информации для управления фоновым объектом и второй многоканальной информации для управления, по меньшей мере, одним независимым объектом, если фоновый объект и, по меньшей мере, один независимый объект извлекают из смешанного сигнала.6. The method according to claim 1, further comprising the step of generating at least one of the first multi-channel information for controlling the background object and the second multi-channel information for controlling at least one independent object, if the background object and, according to at least one independent object is extracted from the mixed signal.

7. Устройство для обработки звукового сигнала, содержащее:
демультиплексор, принимающий смешанный сигнал, включающий в себя, по меньшей мере, один сигнал объекта, и информацию об объекте, извлеченную при формировании смешанного сигнала;
транскодер объекта, игнорирующий смешанный сигнал или извлекающий фоновый объект и, по меньшей мере, один независимый объект из смешанного сигнала на основе информации выбора режима, включенной в информацию о сведении для управления сигналом объекта;
и
многоканальный декодер, формирующий многоканальную информацию с использованием информации об объекте и информации о сведении, если игнорируется смешанный сигнал,
причем смешанный сигнал соответствует монофоническому сигналу, выходной сигнал соответствует стереофоническому сигналу, сформированному путем применения декоррелятора к смешанному сигналу, и
информация выбора режима включает в себя информацию, указывающую один из режимов, включающих в себя нормальный режим, режим для управления фоновым объектом и режим для управления, по меньшей мере, одним независимым объектом.7. A device for processing an audio signal, comprising:
a demultiplexer receiving a mixed signal, including at least one signal of the object, and information about the object extracted during the formation of the mixed signal;
an object transcoder ignoring the mixed signal or extracting a background object and at least one independent object from the mixed signal based on mode selection information included in the mixing information for controlling the object signal;
and
a multi-channel decoder generating multi-channel information using information about the object and information about mixing, if the mixed signal is ignored,
moreover, the mixed signal corresponds to a monophonic signal, the output signal corresponds to a stereo signal generated by applying a decorrelator to the mixed signal, and
mode selection information includes information indicating one of the modes including the normal mode, a mode for controlling a background object, and a mode for controlling at least one independent object.

8. Устройство по п.7, в котором демультиплексор дополнительно принимает информацию об улучшенном объекте, и при этом, по меньшей мере, один независимый объект извлекается из смешанного сигнала с использованием информации об улучшенном объекте.8. The device according to claim 7, in which the demultiplexer further receives information about the improved object, and at least one independent object is extracted from the mixed signal using information about the improved object.

9. Устройство по п.8, в котором информация об улучшенном объекте соответствует разностному сигналу.9. The device according to claim 8, in which information about the improved object corresponds to a difference signal.

10. Устройство по п.7, в котором, по меньшей мере, один независимый объект соответствует основанному на объекте сигналу, и в котором фоновый объект соответствует монофоническому сигналу.10. The device according to claim 7, in which at least one independent object corresponds to an object-based signal, and in which the background object corresponds to a monophonic signal.

11. Устройство по п.7, в котором стереофонический выходной сигнал формируется, если режим выбора режимов соответствует нормальному режиму, и в котором фоновый объект и, по меньшей мере, один независимый объект извлекаются, если режим выбора режимов соответствует одному из режима для управления фоновым объектом и режима для управления, по меньшей мере, одним независимым объектом.11. The device according to claim 7, in which a stereo output signal is generated if the mode selection mode corresponds to the normal mode, and in which the background object and at least one independent object are extracted if the mode selection mode corresponds to one of the modes for controlling the background an object and a mode for controlling at least one independent object.

12. Устройство по п.7, дополнительно содержащее формирование, по меньшей мере, одной из первой многоканальной информации для управления фоновым объектом и второй многоканальной информации для управления, по меньшей мере, одним независимым объектом, если фоновый объект и, по меньшей мере, один независимый объект извлекаются из смешанного сигнала.12. The device according to claim 7, additionally containing the formation of at least one of the first multichannel information for controlling the background object and the second multichannel information for controlling at least one independent object, if the background object and at least one independent object extracted from the mixed signal.

13. Машиночитаемый носитель записи, содержащий сохраненную на нем программу, предоставленную для выполнения способа обработки звукового сигнала, содержащего:
прием смешанного сигнала, включающего в себя, по меньшей мере, один сигнал объекта, и информации об объекте, извлеченной при формировании смешанного сигнала;
прием информации о сведении, включающей в себя информацию выбора режима, причем информация о сведении предназначена для управления сигналом объекта;
игнорирование смешанного сигнала или извлечение фонового объекта и, по меньшей мере, одного независимого объекта из смешанного сигнала на основе информации выбора режима; и
если игнорируется смешанный сигнал, формирование многоканальной информации с использованием информации об объекте и информации о сведении,
причем смешанный сигнал соответствует монофоническому сигналу, и
информация выбора режима включает в себя информацию, указывающую один из режимов, включающих в себя нормальный режим, режим для управления фоновым объектом и режим для управления, по меньшей мере, одним независимым объектом. 13. A computer-readable recording medium containing a program stored thereon provided for executing a method for processing an audio signal comprising:
receiving a mixed signal, including at least one signal of the object, and information about the object extracted during the formation of the mixed signal;
receiving information about the information, including information selection mode, and information about the information is intended to control the signal of the object;
ignoring the mixed signal or extracting the background object and at least one independent object from the mixed signal based on the mode selection information; and
if the mixed signal is ignored, the formation of multichannel information using information about the object and information about the information,
moreover, the mixed signal corresponds to a monaural signal, and
mode selection information includes information indicating one of the modes including the normal mode, a mode for controlling a background object, and a mode for controlling at least one independent object.