RU2395854C2 - Media signal processing method and device - Google Patents
Media signal processing method and device Download PDFInfo
- Publication number
- RU2395854C2 RU2395854C2 RU2008133995/09A RU2008133995A RU2395854C2 RU 2395854 C2 RU2395854 C2 RU 2395854C2 RU 2008133995/09 A RU2008133995/09 A RU 2008133995/09A RU 2008133995 A RU2008133995 A RU 2008133995A RU 2395854 C2 RU2395854 C2 RU 2395854C2
- Authority
- RU
- Russia
- Prior art keywords
- information
- signal
- filter
- playback
- unit
- Prior art date
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
Область техникиTechnical field
Настоящее изобретение относится к устройству для обработки медиа-сигнала и соответствующему способу, в частности к устройству для генерации сигнала окружения с использованием пространственной информации медиа-сигнала и соответствующему способу.The present invention relates to a device for processing a media signal and a corresponding method, in particular to a device for generating an environment signal using spatial information of a media signal and a corresponding method.
Уровень техникиState of the art
В целом, для генерации многоканального медиа-сигнала широко используются разные виды устройств и способов с использованием пространственной информации для многоканального медиа-сигнала и смешанного с уменьшением количества каналов сигнала, в которых смешанный с уменьшением количества каналов сигнал генерируется путем смешивания с уменьшением количества каналов многоканального медиа-сигнала к моно- или стереосигналу.In general, different types of devices and methods are widely used to generate a multichannel media signal using spatial information for a multichannel media signal and a signal mixed with a decrease in the number of channels, in which a signal mixed with a decrease in the number of channels is generated by mixing with a decrease in the number of multichannel media channels signal to mono or stereo signal.
Однако вышеупомянутые способы и устройства непригодны в условиях, непригодных для генерации многоканального сигнала. Например, они не пригодны для устройства, способного генерировать только стереосигнал. Иными словами, не существует способа или устройства для генерации сигнала окружения, в котором сигнал окружения имеет многоканальные особенности в среде, не пригодной для генерации многоканального сигнала с использованием пространственной информации многоканального сигнала.However, the above methods and devices are unsuitable under conditions unsuitable for generating a multi-channel signal. For example, they are not suitable for a device capable of generating only a stereo signal. In other words, there is no method or device for generating an environment signal in which the environment signal has multi-channel features in an environment unsuitable for generating a multi-channel signal using spatial information of the multi-channel signal.
Таким образом, поскольку не существует способа или устройства для генерации сигнала окружения в устройстве, способном генерировать только моно- или стереосигнал, трудно эффективно обрабатывать медиа-сигнал.Thus, since there is no method or device for generating an surround signal in a device capable of generating only a mono or stereo signal, it is difficult to efficiently process the media signal.
Сущность изобретенияSUMMARY OF THE INVENTION
Задача изобретенияObject of the invention
Соответственно, настоящее изобретение относится к устройству для обработки медиа-сигнала и соответствующему способу, которые, по существу, решают одну или несколько проблем, связанных с ограничениями и недостатками уровня техники.Accordingly, the present invention relates to a device for processing a media signal and a corresponding method, which essentially solve one or more problems associated with the limitations and disadvantages of the prior art.
Задачей настоящего изобретения является обеспечение устройства для обработки медиа-сигнала и соответствующего способа, которые позволяют преобразовывать медиа-сигнал в сигнал окружения с использованием пространственной информации для этого медиа-сигнала.An object of the present invention is to provide a device for processing a media signal and a corresponding method that allows you to convert a media signal into an environmental signal using spatial information for this media signal.
Дополнительные признаки и преимущества изобретения указаны в нижеследующем описании и, отчасти, явствуют из описания, или могут быть изучены при практическом применении изобретения. Задачи и другие преимущества изобретения осуществляются и достигаются посредством структуры, конкретно указанной в нижеприведенном описании и формуле изобретения, а также на прилагаемых чертежах.Additional features and advantages of the invention are set forth in the following description and, in part, are apparent from the description, or may be learned by practice of the invention. The objectives and other advantages of the invention are realized and achieved by means of the structure specifically indicated in the description and claims below, as well as in the accompanying drawings.
Техническое решениеTechnical solution
Для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения способ обработки сигнала согласно настоящему изобретению включает в себя этапы, на которых: генерируют информацию отображения источника, соответствующую каждому источнику из множественных источников, с использованием пространственной информации, указывающей особенности между множественными источниками; генерируют частичную информацию воспроизведения путем применения информации фильтра, дающей эффект окружения, к информации отображения источника для каждого источника; генерируют информацию воспроизведения для генерации сигнала окружения путем интегрирования, по меньшей мере, одной из частичной информации воспроизведения и генерируют сигнал окружения путем применения информации воспроизведения к смешанному с уменьшением числа каналов сигналу, сгенерированному путем смешения с уменьшением числа каналов множественных источников.To achieve these and other advantages, and in accordance with an object of the present invention, a signal processing method according to the present invention includes: generating source mapping information corresponding to each source from multiple sources using spatial information indicating features between multiple sources; generating partial reproduction information by applying filter information giving an environmental effect to the source display information for each source; generating playback information for generating an surround signal by integrating at least one of the partial playback information and generating a surround signal by applying the playback information to a signal mixed by decreasing the number of channels generated by mixing with decreasing the number of channels of multiple sources.
Для дальнейшего достижения этих и других преимуществ и в соответствии с целью настоящего изобретения устройство для обработки сигнала включает в себя блок отображения источника, генерирующий информацию отображения источника, соответствующую каждому источнику из множественных источников, с использованием пространственной информации, указывающей особенности между множественными источниками; блок генерации частичной информации воспроизведения, генерирующий частичную информацию воспроизведения путем применения информации фильтра, дающей эффект окружения, к информации отображения источника для каждого источника; блок интегрирования, генерирующий информацию рендеринга для генерации сигнала окружения путем интегрирования, по меньшей мере, одной из частей информации воспроизведения; и блок воспроизведения, генерирующий сигнал окружения путем применения информации воспроизведения к смешанному с уменьшением числа каналов сигналу, сгенерированному путем смешивания с уменьшением числа каналов множественных источников.To further achieve these and other advantages, and in accordance with the purpose of the present invention, the signal processing apparatus includes a source display unit generating source display information corresponding to each source from multiple sources using spatial information indicating features between the multiple sources; a partial reproducing information generating unit generating partial reproducing information by applying filter information giving an environmental effect to the source display information for each source; an integration unit generating rendering information for generating an environment signal by integrating at least one of the pieces of playback information; and a reproducing unit generating an environment signal by applying the reproduction information to a signal mixed with decreasing the number of channels generated by mixing with decreasing the number of channels of multiple sources.
Следует понимать, что вышеприведенное общее описание и нижеследующее подробное описание являются иллюстративными и пояснительными и призваны обеспечивать дополнительное объяснение заявленного изобретения.It should be understood that the above General description and the following detailed description are illustrative and explanatory and are intended to provide an additional explanation of the claimed invention.
Результаты изобретенияThe results of the invention
Устройство и способ обработки сигнала согласно настоящему изобретению предусматривают использование декодера, который принимает битовый поток, включающий в себя смешанный с уменьшением числа каналов сигнал, сгенерированный путем смешивания с уменьшением числа каналов многоканального сигнала, и пространственную информацию многоканального сигнала, для генерации сигнала, имеющего эффект окружения, в средах, не пригодных для восстановления многоканального сигнала.The signal processing apparatus and method according to the present invention provides for the use of a decoder that receives a bit stream including a signal mixed by decreasing the number of channels generated by mixing with decreasing the number of channels of the multi-channel signal and spatial information of the multi-channel signal to generate a signal having an environmental effect , in environments not suitable for reconstructing a multi-channel signal.
Краткое описание чертежейBrief Description of the Drawings
Прилагаемые чертежи, предназначенные для дополнительного пояснения изобретения и включенные в описание изобретения в качестве его составной части, иллюстрируют варианты осуществления изобретения и совместно с описанием служат для объяснения принципов изобретения.The accompanying drawings, intended to further illustrate the invention and included in the description of the invention as an integral part thereof, illustrate embodiments of the invention and together with the description serve to explain the principles of the invention.
На чертежах:In the drawings:
фиг.1 - блок-схема устройства кодирования аудиосигнала и устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения;1 is a block diagram of an audio signal encoding apparatus and an audio signal decoding apparatus according to one embodiment of the present invention;
фиг.2 - структурная схема битового потока аудиосигнала согласно одному варианту осуществления настоящего изобретения;FIG. 2 is a block diagram of an audio bit stream according to one embodiment of the present invention; FIG.
фиг.3 - подробная блок-схема блока преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;FIG. 3 is a detailed block diagram of a spatial information conversion unit according to one embodiment of the present invention; FIG.
фиг.4 и фиг.5 - блок-схемы конфигураций каналов, используемых в процессе отображения источника согласно одному варианту осуществления настоящего изобретения;4 and 5 are flowcharts of channel configurations used in a source mapping process according to one embodiment of the present invention;
фиг.6 и фиг.7 - подробные блок-схемы блока воспроизведения для стереофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения;FIG. 6 and FIG. 7 are detailed block diagrams of a reproducing unit for a stereo mixed with decreasing number of signal channels according to one embodiment of the present invention;
фиг.8 и фиг.9 - подробные блок-схемы блока воспроизведения для монофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения;FIG. 8 and FIG. 9 are detailed block diagrams of a reproduction unit for a monophonic mixed with decreasing channel number signal according to one embodiment of the present invention;
фиг.10 и фиг.11 - блок-схемы блока сглаживания и блока расширения согласно одному варианту осуществления настоящего изобретения;figure 10 and figure 11 is a block diagram of a smoothing unit and an expansion unit according to one embodiment of the present invention;
фиг.12 - график, поясняющий первый способ сглаживания согласно одному варианту осуществления настоящего изобретения;12 is a graph explaining a first smoothing method according to one embodiment of the present invention;
фиг.13 - график, поясняющий второй способ сглаживания согласно одному варианту осуществления настоящего изобретения;13 is a graph explaining a second smoothing method according to one embodiment of the present invention;
фиг.14 - график, поясняющий третий способ сглаживания согласно одному варианту осуществления настоящего изобретения;Fig. 14 is a graph explaining a third smoothing method according to one embodiment of the present invention;
фиг.15 - график, поясняющий четвертый способ сглаживания согласно одному варианту осуществления настоящего изобретения;FIG. 15 is a graph explaining a fourth smoothing method according to one embodiment of the present invention; FIG.
фиг.16 - график, поясняющий пятый способ сглаживания согласно одному варианту осуществления настоящего изобретения;16 is a graph explaining a fifth smoothing method according to one embodiment of the present invention;
фиг.17 - схема, поясняющая информацию фильтра прототипа, соответствующую каждому каналу;17 is a diagram explaining filter information of a prototype corresponding to each channel;
фиг.18 - блок-схема первого способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;Fig. 18 is a flowchart of a first method for generating playback filter information in a spatial information conversion unit according to one embodiment of the present invention;
фиг.19 - блок-схема второго способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;Fig. 19 is a flowchart of a second method for generating playback filter information in a spatial information conversion unit according to one embodiment of the present invention;
фиг.20 - блок-схема третьего способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;FIG. 20 is a flowchart of a third method for generating playback filter information in a spatial information conversion unit according to one embodiment of the present invention; FIG.
фиг.21 - схема, поясняющая способ генерации сигнала окружения на блоке воспроизведения согласно одному варианту осуществления настоящего изобретения;21 is a diagram explaining a method of generating an surround signal on a reproducing unit according to one embodiment of the present invention;
фиг.22 - схема первого способа интерполяции согласно одному варианту осуществления настоящего изобретения;FIG. 22 is a diagram of a first interpolation method according to one embodiment of the present invention; FIG.
фиг.23 - схема второго способа интерполяции согласно одному варианту осуществления настоящего изобретения;23 is a diagram of a second interpolation method according to one embodiment of the present invention;
фиг.24 - схема способа блочной коммутации согласно одному варианту осуществления настоящего изобретения;24 is a diagram of a block switching method according to one embodiment of the present invention;
фиг.25 - блок-схема позиции, к которой применяется длина окна, определенная блоком определения длины окна, согласно одному варианту осуществления настоящего изобретения;25 is a block diagram of a position to which a window length determined by a window length determination unit according to one embodiment of the present invention is applied;
фиг.26 - схема фильтров, имеющих разные длины, используемых при обработке аудиосигнала, согласно одному варианту осуществления настоящего изобретения;Fig. 26 is a diagram of filters having different lengths used in processing an audio signal, according to one embodiment of the present invention;
фиг.27 - схема способа раздельной обработки аудиосигнала с использованием множества подфильтров согласно одному варианту осуществления настоящего изобретения;Fig. 27 is a diagram of a method for separately processing an audio signal using a plurality of subfilters according to one embodiment of the present invention;
фиг.28 - блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в монофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения;FIG. 28 is a flowchart of a method for reproducing section reproduction information generated by a plurality of subfilters into a monophonic signal with a reduced number of channels, according to one embodiment of the present invention;
фиг.29 - блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в стереофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения;Fig. 29 is a flowchart of a method for reproducing section reproduction information generated by a plurality of subfilters into a stereo mixed with decreasing channel number signal according to one embodiment of the present invention;
фиг.30 - блок-схема первого способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения; иFIG. 30 is a flowchart of a first method for converting a region of a signal mixed with decreasing number of channels according to one embodiment of the present invention; FIG. and
фиг.31 - блок-схема второго способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения.FIG. 31 is a flowchart of a second method for converting a region of a signal mixed with decreasing signal number, according to one embodiment of the present invention.
Предпочтительные варианты осуществления изобретенияPreferred Embodiments
Обратимся к предпочтительным вариантам осуществления настоящего изобретения, примеры которых проиллюстрированы в прилагаемых чертежах.Turning to preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings.
На фиг.1 показана блок-схема устройства кодирования аудиосигнала и устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.1 is a block diagram of an audio encoding apparatus and an audio decoding apparatus according to one embodiment of the present invention.
Согласно фиг.1 устройство кодирования 10 включает в себя блок 100 смешивания с уменьшением числа каналов, блок 200 генерации пространственной информации, блок 300 кодирования смешанного с уменьшением числа каналов сигнала, блок 400 кодирования пространственной информации и блок 500 мультиплексирования.1, an
Если аудиосигнал множественных источников (X1, X2,..., Xn) поступает на блок 100 смешивания с уменьшением числа каналов, блок 100 смешивания с уменьшением числа каналов смешивает с уменьшением числа каналов входной сигнал в смешанный с уменьшением числа каналов сигнал. В этом случае смешанный с уменьшением числа каналов сигнал включает в себя монофонический, стереофонический аудиосигнал и аудиосигнал от многих источников.If the audio signal of multiple sources (X1, X2, ..., Xn) is supplied to the
Источник включает в себя канал и для удобства представлен в нижеследующем описании как канал. В настоящем описании изобретения будем рассматривать моно- или стереофонический смешанный с уменьшением числа каналов сигнал. Тем не менее, настоящее изобретение не ограничивается моно- или стереофоническим смешанным с уменьшением числа каналов сигналом.The source includes a channel and, for convenience, is presented in the following description as a channel. In the present description of the invention we will consider a mono or stereo mixed with a decrease in the number of channels signal. However, the present invention is not limited to a mono or stereo mixed signal with a decrease in the number of channels.
Устройство кодирования 10 способно, в необязательном порядке, использовать произвольный смешанный с уменьшением числа каналов сигнал, непосредственно поступающий извне.The
Блок 200 генерации пространственной информации генерирует пространственную информацию из многоканального аудиосигнала. Пространственную информацию можно генерировать при выполнении процесса смешивания с уменьшением числа каналов. Сгенерированные смешанный с уменьшением числа каналов сигнал и пространственная информация кодируются блоком 300 кодирования смешанного с уменьшением числа каналов сигнала и блоком 400 кодирования пространственной информации, соответственно, после чего поступают на блок 500 мультиплексирования.The spatial
Согласно настоящему изобретению 'пространственная информация' означает информацию, необходимую для генерации многоканального сигнала путем смешивания с увеличением числа каналов смешанного с уменьшением числа каналов сигнала устройством декодирования, причем смешанный с уменьшением числа каналов сигнал генерируется путем смешивания с уменьшением числа каналов многоканального сигнала устройством кодирования и поступает на устройство декодирования. Пространственная информация включает в себя пространственные параметры. Пространственные параметры включают в себя CLD (разность уровней каналов), указывающую разницу в энергии каналов, ICC (межканальную когерентность), указывающую корреляцию между каналами, CPC (коэффициенты прогнозирования каналов), используемые при генерации трех каналов из двух каналов, и т.д.According to the present invention, “spatial information” means information necessary for generating a multi-channel signal by mixing with an increase in the number of channels of a signal mixed with a decreasing number of channels of a signal by a decoding device, and a signal mixed with a decrease in the number of channels is generated by mixing with a decreasing number of channels of a multi-channel signal by an encoding device and supplied to the decoding device. Spatial information includes spatial parameters. Spatial parameters include CLD (channel level difference) indicating the difference in channel energy, ICC (inter-channel coherence) indicating the correlation between the channels, CPC (channel prediction coefficients) used to generate three channels from two channels, etc.
Согласно настоящему изобретению 'блок кодирования смешанного с уменьшением числа каналов сигнала' или 'блок декодирования смешанного с уменьшением числа каналов сигнала' означает кодек, который кодирует или декодирует аудиосигнал вместо пространственной информации. В настоящем описании изобретения в качестве примера аудиосигнала вместо пространственной информации рассматривается смешанный с уменьшением числа каналов аудиосигнал. Кроме того, блок кодирования или декодирования смешанного с уменьшением числа каналов сигнала может включать в себя MP3, AC-3, DTS или AAC. Кроме того, блок кодирования или декодирования смешанного с уменьшением числа каналов сигнала может включать в себя кодек, который еще предстоит разработать, а также ранее разработанный кодек.According to the present invention, “coding unit mixed with decreasing the number of signal channels” or “decoding unit mixed with decreasing the number of signal channels” means a codec that encodes or decodes an audio signal instead of spatial information. In the present description of the invention, instead of spatial information, an audio signal mixed with a decrease in the number of channels is considered as an example of an audio signal. In addition, the encoding or decoding unit of a signal-mixed mixed channel may include MP3, AC-3, DTS, or AAC. In addition, the encoding or decoding unit of a signal mixed with a decrease in the number of channels may include a codec that has yet to be developed, as well as a previously developed codec.
Блок 500 мультиплексирования генерирует битовый поток путем мультиплексирования смешанного с уменьшением числа каналов сигнала и пространственной информации и затем передает сгенерированный битовый поток на устройство декодирования 20. Кроме того, структура битового потока описана ниже со ссылкой на фиг.2.The
Устройство декодирования 20 включает в себя блок 600 демультиплексирования, блок 700 декодирования смешанного с уменьшением числа каналов сигнала, блок 800 декодирования пространственной информации, блок воспроизведения 900 и блок 1000 преобразования пространственной информации.Decoding
Блок 600 демультиплексирования принимает битовый поток и выделяет кодированный смешанный с уменьшением числа каналов сигнал и кодированную пространственную информацию из битового потока. Затем блок 700 декодирования смешанного с уменьшением числа каналов сигнала декодирует кодированный смешанный с уменьшением числа каналов сигнал, и блок 800 декодирования пространственной информации декодирует кодированную пространственную информацию.The
Блок 1000 преобразования пространственной информации генерирует информацию воспроизведения, применимую к смешанному с уменьшением числа каналов сигналу, с использованием декодированной пространственной информации и информации фильтра. В этом случае, информация воспроизведения применяется к смешанному с уменьшением числа каналов сигналу для генерации сигнала окружения.The spatial
Например, сигнал окружения генерируется следующим образом. Прежде всего, процесс генерации смешанного с уменьшением числа каналов сигнала из многоканального аудиосигнала с помощью устройства кодирования 10 может включать в себя несколько этапов использования блока ОТТ (один в два) или ТТТ (три в три). В этом случае пространственную информацию можно генерировать на каждом из этапов. Пространственная информация поступает на устройство декодирования 20. Устройство 20 декодирования генерирует сигнал окружения путем преобразования пространственной информации с последующим воспроизведением преобразованной пространственной информации с смешанным с уменьшением числа каналов сигналом. Вместо генерации многоканального сигнала путем смешивания с увеличением числа каналов смешанного с уменьшением числа каналов сигнала настоящее изобретение предусматривает способ воспроизведения, включающий в себя этапы извлечения пространственной информации на каждом этапе смешивания с увеличением числа каналов и осуществления воспроизведения с использованием извлеченной пространственной информации. Например, способ воспроизведения предусматривает использование фильтрации на основе HRTF (функция моделирования восприятия звука человеком).For example, an environment signal is generated as follows. First of all, the process of generating a signal mixed from decreasing the number of channels from a multi-channel audio signal using
В этом случае пространственная информация представляет собой значение, применимое также к гибридной области. Таким образом, воспроизведение можно классифицировать на следующие типы согласно области.In this case, spatial information is a value that also applies to the hybrid region. Thus, reproduction can be classified into the following types according to region.
Первый тип - это тип воспроизведения, который выполняется в смешанной области путем пропускания смешанного с уменьшением числа каналов сигнала через гибридный блок фильтров. В этом случае преобразование области для пространственной информации не требуется.The first type is the type of playback, which is performed in the mixed region by passing the mixed signal with decreasing number of channels through the hybrid filter block. In this case, domain transformation for spatial information is not required.
Второй тип - это тип воспроизведения, который выполняется во временной области. В этом случае второй тип опирается на тот факт, что фильтр HRTF моделируется как фильтр КИХ (с конечной импульсной характеристикой) или фильтр БИХ (с бесконечной импульсной характеристикой) во временной области. Таким образом, необходим процесс преобразования пространственной информации в коэффициент фильтра во временной области.The second type is the type of playback that is performed in the time domain. In this case, the second type is based on the fact that the HRTF filter is modeled as an FIR filter (with a finite impulse response) or an IIR filter (with an infinite impulse response) in the time domain. Thus, the process of converting spatial information into a filter coefficient in the time domain is necessary.
Третий тип - это тип воспроизведения, который выполняется в другой частотной области. Например, воспроизведение выполняется в области ДПФ (дискретного преобразования Фурье). В этом случае необходим процесс преобразования пространственной информации в соответствующую область. В частности, третий тип обеспечивает повышенное быстродействие благодаря замене фильтрации во временной области соответствующей операцией в частотной области.The third type is the type of playback that is performed in a different frequency domain. For example, playback is performed in the field of DFT (discrete Fourier transform). In this case, the process of transforming spatial information into the corresponding area is necessary. In particular, the third type provides improved performance by replacing filtering in the time domain with the corresponding operation in the frequency domain.
Согласно настоящему изобретению информация фильтра - это информация, необходимая фильтру для обработки аудиосигнала, которая включает в себя коэффициент фильтра, подаваемый на конкретный фильтр. Приведем примеры информации фильтра. Прежде всего, прототип информация-прототип фильтра - это исходная информация фильтра для конкретного фильтра, которую можно представить как GL_L и т.п. Преобразованная информация фильтра указывает коэффициент фильтра после того, как информация-прототип фильтра была преобразована, и ее можно представить как GL_L и т.п. Частичная информация воспроизведения означает информацию фильтра, полученную путем преобразования информации-прототипа фильтра к пространственным переменным для генерации сигнала окружения, и ее можно представить как FL_L1 и т.п. Информация воспроизведения означает информацию фильтра, необходимую для существующего воспроизведения, которую можно представить как HL_L и т.п. Интерполированная/сглаженная информация воспроизведения означает информацию фильтра, полученную путем интерполяции/сглаживания информации воспроизведения, и ее можно представить как HL_L и т.п. В настоящем описании изобретения рассматриваются вышеописанные виды информации фильтра. Тем не менее, настоящее изобретение не ограничивается указанными видами информации фильтра. В частности, HRTF приведена в порядке примера информации фильтра. Тем не менее, настоящее изобретение не ограничивается HRTF.According to the present invention, filter information is information necessary for a filter to process an audio signal, which includes a filter coefficient supplied to a particular filter. Here are some examples of filter information. First of all, the prototype filter prototype information is the initial filter information for a particular filter, which can be represented as GL_L, etc. The converted filter information indicates the filter coefficient after the prototype information of the filter has been converted, and can be represented as GL_L, etc. Partial playback information means filter information obtained by converting filter prototype information to spatial variables to generate an environment signal, and it can be represented as FL_L1, etc. Playback information means filter information needed for an existing play, which can be represented as HL_L, etc. Interpolated / smoothed playback information means filter information obtained by interpolating / smoothing the playback information, and it can be represented as HL_L and the like. In the present description of the invention, the above types of filter information are discussed. However, the present invention is not limited to these types of filter information. In particular, HRTF is shown as an example of filter information. However, the present invention is not limited to HRTF.
Блок воспроизведения 900 принимает декодированный смешанный с уменьшением числа каналов сигнал и информацию воспроизведения и генерирует сигнал окружения, используя декодированный смешанный с уменьшением числа каналов сигнал и информацию воспроизведения. Сигнал окружения может представлять собой сигнал для обеспечения эффекта окружения в аудиосистеме, способной генерировать только стереосигнал. Кроме того, настоящее изобретение применимо не только к аудиосистеме, способной генерировать только стереосигнал, но и к различным другим системам.The
На фиг.2 показана структурная схема битового потока аудиосигнала согласно одному варианту осуществления настоящего изобретения, причем битовый поток включает в себя кодированный смешанный с уменьшением числа каналов сигнал и кодированную пространственную информацию.FIG. 2 shows a block diagram of an audio signal bitstream according to one embodiment of the present invention, wherein the bitstream includes an encoded mixed with decreasing channel number signal and encoded spatial information.
Согласно фиг.2 1-кадровые полезные данные аудиосигнала включают в себя поле смешанного с уменьшением числа каналов сигнала и поле вспомогательных данных. В поле вспомогательных данных может храниться кодированная пространственная информация. Например, если полезные данные аудиосигнала составляют 48~128 кбит/с, пространственная информация может занимать 5~32 кбит/с. Тем не менее, не предусмотрено никаких ограничений на пределы полезных данных аудиосигнала и пространственной информации.According to figure 2, 1-frame payload audio data includes a field mixed with decreasing the number of signal channels and an auxiliary data field. In the auxiliary data field, coded spatial information may be stored. For example, if the useful data of an audio signal is 48 ~ 128 kbit / s, spatial information may occupy 5 ~ 32 kbit / s. However, there are no restrictions on the limits of the useful data of the audio signal and spatial information.
На фиг.3 показана подробная блок-схема блока преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.FIG. 3 shows a detailed block diagram of a spatial information conversion unit according to one embodiment of the present invention.
Согласно фиг.3 блок 1000 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок интегрирования 1030, блок обработки 1040 и блок 1050 преобразования измерения.3, the spatial
Блок 1010 отображения источника генерирует информацию отображения источника, соответствующую каждому источнику аудиосигнала, посредством отображения существующего источника с использованием пространственной информации. В этом случае информация отображения источника означает информацию для каждого источника, генерируемую в соответствии с каждым источником аудиосигнала с использованием пространственной информации и т.п. Источник включает в себя канал, и в этом случае генерируется информация отображения источника, соответствующая каждому каналу. Информацию отображения источника можно представить как коэффициент. Кроме того, процесс отображения источника подробно описан ниже со ссылкой на фиг.4 и фиг.5.A
Блок 1020 генерации частичной информации воспроизведения генерирует частичную информацию воспроизведения, соответствующую каждому источнику, с использованием информации отображения источника и информации фильтра. Например, если блок 900 воспроизведения является фильтром HRTF, блок 1020 генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения с использованием информации фильтра HRTF.A partial playback
Блок интегрирования 1030 генерирует информацию воспроизведения путем интегрирования частичной информации воспроизведения в соответствии с каждым источником смешанного с уменьшением числа каналов сигнала. Информация воспроизведения, которая генерируется с использованием пространственной информации и информации фильтра, означает информацию для генерации сигнала окружения путем ее применения к смешанному с уменьшением числа каналов сигналу. Кроме того, информация воспроизведения включает в себя тип коэффициента фильтра. Интегрирование можно исключить для снижения вычислительной нагрузки процесса воспроизведения. Затем информация воспроизведения поступает на блок обработки 1042.The
Блок обработки 1042 включает в себя блок интерполяции 1041 и/или блок сглаживания 1042. Информация воспроизведения интерполируется блоком интерполяции 1041 и/или сглаживается блоком сглаживания 1042.
Блок 1050 преобразования области преобразует область информации воспроизведения к измерению смешанного с уменьшением числа каналов сигнала, используемого блоком воспроизведения 900. Кроме того, блок 1050 преобразования области может быть предусмотрен в одной из разных позиций, включая позицию, показанную на фиг.3. Таким образом, если информация воспроизведения генерируется в той же области блока воспроизведения 900, блок 1050 преобразования области можно исключить. Информация воспроизведения, преобразованная в другую область, поступает на блок воспроизведения 900.An
Блок 1000 преобразования пространственной информации может включать в себя блок 1060 преобразования информации фильтра. На фиг.3 блок 1060 преобразования информации фильтра предусмотрен в блоке 1000 преобразования пространственной информации. Альтернативно, блок 1060 преобразования информации фильтра может быть предусмотрен вне блока 1000 преобразования пространственной информации. Блок 1060 преобразования информации фильтра настраивается таким образом, чтобы он был пригоден для генерации частичной информации воспроизведения или информации воспроизведения из произвольной информации фильтра, например HRTF. Процесс преобразования информации фильтра может включать в себя следующие этапы.The spatial
Во-первых, предусмотрен этап согласования областей, в которых следует осуществлять процесс. Если область информации фильтра не совпадает с областью существующего (текущего) воспроизведения, требуется этап согласования областей. Например, требуется этап преобразования из временной области HRTF в ДПФ, КЗФ или смешанную область для генерации информации воспроизведения.Firstly, there is a stage of coordination of areas in which the process should be implemented. If the filter information area does not coincide with the area of the existing (current) playback, the stage of matching areas is required. For example, a conversion step is required from the time domain of HRTF to DFT, KZF or mixed region to generate playback information.
Во-вторых, можно предусмотреть этап коэффициента. В этом случае легко сохранять HRTF, преобразованную в другую область, и применять HRTF, преобразованную в другую область, к пространственной информации. Например, если коэффициент фильтра-прототипа имеет характеристику с большим количеством «язычков» (характеристики) (длиной), соответствующий коэффициент должен сохраняться в памяти, соответствующей характеристике, доходящей до соответствующей полной длины 10 в случае схемы каналов 5.1. Это увеличивает нагрузку на память и вычислительную нагрузку. Во избежание этой проблемы можно использовать способ сокращения коэффициента фильтра, подлежащего сохранению, в то же время поддерживая характеристики фильтра в процессе преобразования областей. Например, характеристику HRTF можно преобразовать в несколько значений параметра. В этом случае процесс генерации параметра и значение параметра могут отличаться согласно применяемой области.Secondly, a coefficient step may be provided. In this case, it is easy to save HRTF transformed to another region and apply HRTF transformed to another region to spatial information. For example, if the coefficient of the prototype filter has a characteristic with a large number of “reeds” (characteristics) (length), the corresponding coefficient should be stored in the memory corresponding to the characteristic, reaching the corresponding
Смешанный с уменьшением числа каналов сигнал проходит через блок 1110 преобразования области и/или блок декорреляции 1200 до осуществления его воспроизведения с помощью информации воспроизведения. В случае, когда область информации воспроизведения отличается от области смешанного с уменьшением числа каналов сигнала, блок 1110 преобразования области преобразует область смешанного с уменьшением числа каналов сигнала, чтобы он выражался в той же области, что и информация воспроизведения.Mixed with a decrease in the number of channels, the signal passes through the area conversion unit 1110 and / or the decorrelation unit 1200 until it is reproduced using the playback information. In the case where the reproduction information region is different from the region mixed with decreasing the number of signal channels, the region converting unit 1110 converts the region mixed with decreasing the number of signal channels so that it is expressed in the same region as the reproduction information.
Блок 1200 декорреляции применяется к смешанному с уменьшением числа каналов сигналу, преобразованному в другую область. Для этого может потребоваться вычислительная нагрузка, более высокая по сравнению с предусмотренной согласно способу применения декоррелятора к информации воспроизведения. Однако это позволяет предотвращать возникновение искажений в процессе генерации информации воспроизведения. Блок 1200 декорреляции может включать в себя множество декорреляторов, отличающихся друг от друга характеристиками, если вычислительная нагрузка находится в допустимых пределах. Если смешанный с уменьшением числа каналов сигнал является стереосигналом, блок 1200 декорреляции можно не использовать. На фиг.3 в случае, когда в процессе воспроизведения используется монофонический смешанный с уменьшением числа каналов сигнал, преобразованный в другую область, т.е. монофонический смешанный с уменьшением числа каналов сигнал в частотном, смешанной, КЗФ или ДПФ области, декоррелятор используется в соответствующей области. Кроме того, настоящее изобретение включает в себя декоррелятор, используемый во временной области. В этом случае монофонический смешанный с уменьшением числа каналов сигнал до блока 1100 преобразования области непосредственно подается на блок 1200 декорреляции. В качестве декоррелятора можно использовать БИХ-фильтр (или КИХ-фильтр) первого или более высокого порядка.The decorrelation unit 1200 is applied to a signal mixed with a decrease in the number of channels, converted to another region. This may require a computational load that is higher than that provided by the method for applying the decorrelator to playback information. However, this helps to prevent the occurrence of distortions in the process of generating playback information. Decorrelation unit 1200 may include a plurality of decorrelators that differ in characteristics if the computational load is within acceptable limits. If the signal mixed with the decrease in the number of channels is a stereo signal, the decorrelation unit 1200 may not be used. In Fig. 3, in the case when a monophonic signal mixed with a decrease in the number of channels is converted into another region, i.e. a monophonic signal mixed with a decrease in the number of channels in the frequency, mixed, KZF or DFT region, the decorrelator is used in the corresponding region. In addition, the present invention includes a decorrelator used in the time domain. In this case, a monophonic signal mixed with a decrease in the number of channels to the
Затем блок 900 воспроизведения генерирует сигнал окружения с использованием смешанного с уменьшением числа каналов сигнала, декоррелированного смешанного с уменьшением числа каналов сигнала и информации воспроизведения. Если смешанный с уменьшением числа каналов сигнал является стереосигналом, декоррелированный смешанный с уменьшением числа каналов сигнал можно не использовать. Процесс воспроизведения подробно описан ниже со ссылкой на фиг.6-9.Then, the reproducing
Сигнал окружения преобразуется во временную область блоком 1300 обратного преобразования области и затем выводится. Это позволяет пользователю слышать звук, имеющий многоканальный эффект, через стереофонические наушники и т.п.The environment signal is converted into the time domain by the region
На фиг.4 и фиг.5 показаны блок-схемы конфигураций каналов, используемых в процессе отображения источника согласно одному варианту осуществления настоящего изобретения. Процесс отображения источника - это процесс генерации информации отображения источника, соответствующей каждому источнику аудиосигнала, с использованием пространственной информации. Как указано в предыдущем описании, источник включает в себя канал, и информацию отображения источника можно генерировать в соответствии с каналами, показанными на фиг.4 и фиг.5. Генерируемая информация отображения источника должна иметь тип, соответствующий процессу воспроизведения.4 and 5 show flowcharts of channel configurations used in a source mapping process according to one embodiment of the present invention. A source mapping process is a process of generating source mapping information corresponding to each audio source using spatial information. As indicated in the previous description, the source includes a channel, and the source display information can be generated in accordance with the channels shown in FIG. 4 and FIG. 5. The generated source mapping information should be of a type corresponding to the reproduction process.
Например, если смешанный с уменьшением числа каналов сигнал является моносигналом, можно генерировать информацию отображения источника с использованием пространственной информации, например CLD1~CLD5, ICC1~ICC5 и т.п.For example, if a signal mixed with a decrease in the number of channels is a mono signal, source mapping information can be generated using spatial information, for example CLD1 ~ CLD5, ICC1 ~ ICC5, etc.
Информацию отображения источника можно представить посредством такого значения, как D_L (=DR), D_R (=DR), D_C (=DC), D_LFE (=DLFE), D_Ls (=DLs), D_Rs (=DRs) и т.п. В этом случае процесс генерации информации отображения источника изменяется согласно древовидной структуре, соответствующей пространственной информации, диапазону используемой пространственной информации, и т.п. В настоящем описании изобретения смешанный с уменьшением числа каналов сигнал является, например, моносигналом, что не налагает ограничение на настоящее изобретение.Source mapping information can be represented by values such as D_L (= D R ), D_R (= D R ), D_C (= D C ), D_LFE (= D LFE ), D_Ls (= D Ls ), D_Rs (= D Rs ) etc. In this case, the process of generating the source mapping information changes according to the tree structure corresponding to the spatial information, the range of spatial information used, and the like. In the present description of the invention, a signal mixed with a decrease in the number of channels is, for example, a mono signal, which does not impose a limitation on the present invention.
Выходные сигналы правого и левого каналов, выдаваемые блоком воспроизведения 900, можно выразить формулой 1.The output signals of the right and left channels, issued by the
Формула 1
В этом случае оператор '*' указывает произведение в области ДПФ, и его можно заменить сверткой в КЗФ или временной области.In this case, the operator '*' indicates the product in the DFT region, and it can be replaced by convolution in the KZF or in the time domain.
Настоящее изобретение включает в себя способ генерации L, C, R, Ls и Rs посредством информации отображения источника с использованием пространственной информации или посредством информации отображения источника с использованием пространственной информации и информации фильтра. Например, информацию отображения источника можно генерировать с использованием только CLD пространственной информации или CLD и ICC пространственной информации. Ниже объяснен способ генерации информация отображения источника с использованием только CLD.The present invention includes a method for generating L, C, R, Ls and Rs through source mapping information using spatial information or by source mapping information using spatial information and filter information. For example, source mapping information can be generated using only spatial information CLD or spatial information CLD and ICC. The following explains a method for generating source mapping information using only the CLD.
В случае, когда древовидная структура имеет структуру, показанную на фиг.4, первый способ получения информации отображения источника с использованием только CLD можно выразить формулой 2.In the case where the tree structure has the structure shown in FIG. 4, the first method of obtaining source display information using only CLD can be expressed by
Формула 2
В этом случае,In this case,
и 'm' указывает монофонический смешанный с уменьшением числа каналов сигнал.and 'm' indicates a monophonic signal mixed with a decrease in the number of channels.
В случае, когда древовидная структура имеет структуру, показанную на фиг.5, второй способ получения информации отображения источника с использованием только CLD можно выразить формулой 3.In the case where the tree structure has the structure shown in FIG. 5, the second method of obtaining source display information using only CLD can be expressed by formula 3.
Формула 3Formula 3
Если информация отображения источника генерируется с использованием только CLD, трехмерный эффект можно ослабить. Таким образом, можно генерировать информацию отображения источника с использованием ICC и/или декоррелятора. Кроме того, многоканальный сигнал, генерируемый с использованием выходного сигнала декоррелятора dx(m), можно выразить формулой 4.If the source display information is generated using only the CLD, the three-dimensional effect can be attenuated. In this way, source mapping information can be generated using the ICC and / or decorrelator. In addition, the multi-channel signal generated using the decorrelator output signal dx (m) can be expressed by formula 4.
Формула 4Formula 4
В этом случае 'A', 'B' и 'C - это значения, которые можно представить с использованием CLD и ICC. Величины 'd0' ~ 'd3' указывают декорреляторы. Величина 'm' указывает монофонический смешанный с уменьшением числа каналов сигнал. Однако этот способ не позволяет генерировать информацию отображения источника, например D_L, D_R и т.п.In this case, 'A', 'B', and 'C are values that can be represented using the CLD and ICC. The values 'd 0 ' ~ 'd 3 ' indicate decorrelators. The value 'm' indicates a monophonic signal mixed with a decrease in the number of channels. However, this method does not allow generating source display information, for example, D_L, D_R, etc.
Таким образом, первый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов для смешанного с уменьшением числа каналов сигнала рассматривает dx(m) (x = 0, 1, 2) как независимый входной сигнал. В этом случае величина 'dx' пригодна для процесса генерации информации фильтра частичного воспроизведения согласно формуле 5.Thus, the first method of generating source mapping information using CLD, ICC and / or decorrelators for a signal mixed with decreasing number of channels considers dx (m) (x = 0, 1, 2) as an independent input signal. In this case, the value of 'dx' is suitable for the process of generating information of the partial playback filter according to formula 5.
Формула 5Formula 5
FL_LM = d_L_M * GL_L′ (Моновход → Левый выход)FL_LM = d_L_M * GL_L ′ (Mono input → Left output)
FL_R_M = d_L_M * GL_R′ (Моновход → Правый выход)FL_R_M = d_L_M * GL_R ′ (Mono input → Right exit)
FL_L_Dx = d_L_Dx * GL_L′ (Выход Dx → Левый выход)FL_L_Dx = d_L_Dx * GL_L ′ (Exit Dx → Left Exit)
FL_R_Dx = d_L_Dx * GL_R′ (Выход Dx → Правый выход)FL_R_Dx = d_L_Dx * GL_R ′ (Output Dx → Right Output)
Кроме того, информацию воспроизведения можно генерировать согласно формуле 6 с использованием результата формулы 5.In addition, playback information can be generated according to formula 6 using the result of formula 5.
Формула 6Formula 6
Процесс генерации информации воспроизведения подробно объяснен ниже. Первый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов оперирует выходным значением dx, т.е. 'dx(m)' в качестве независимого входного сигнала, что может повышать вычислительную нагрузку.The process of generating reproduction information is explained in detail below. The first method of generating source mapping information using CLD, ICC and / or decorrelators operates with the output value dx, i.e. 'dx (m)' as an independent input signal, which can increase the computational load.
Второй способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов использует декорреляторы, применяемые в частотной области. В этом случае информацию отображения источника можно выразить формулой 7.A second method of generating source display information using CLD, ICC and / or decorrelators uses decorrelators used in the frequency domain. In this case, the source mapping information can be expressed by formula 7.
Формула 7Formula 7
В этом случае путем применения декорреляторов в частотной области можно генерировать ту же информацию отображения источника, например D_L, D_R и т.п., до применения декорреляторов. Это позволяет упростить реализацию.In this case, by applying decorrelators in the frequency domain, it is possible to generate the same source mapping information, for example D_L, D_R, etc., before applying decorrelators. This simplifies the implementation.
Третий способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов использует декорреляторы, имеющие всечастотную характеристику, как и декорреляторы согласно второму способу. В этом случае всечастотная характеристика означает, что размер фиксируется только посредством изменения фазы. Таким образом, настоящее изобретение позволяет использовать декорреляторы, имеющие всечастотную характеристику, как и декорреляторы согласно первому способу.A third method for generating source display information using CLD, ICC and / or decorrelators uses decorrelators having an all-frequency response, like decorrelators according to the second method. In this case, the all-frequency characteristic means that the size is fixed only by changing the phase. Thus, the present invention allows the use of decorrelators having a frequency response, as well as decorrelators according to the first method.
Четвертый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов осуществляет декорреляцию с использованием декорреляторов для соответствующих каналов (например, L, R, C, Ls, Rs, и т.д.) вместо использования величин 'd0'~'d3' согласно второму способу. В этом случае информацию отображения источника можно выразить формулой 8.A fourth method for generating source display information using CLD, ICC and / or decorrelators carries out decorrelation using decorrelators for the respective channels (e.g., L, R, C, Ls, Rs, etc.) instead of using the values 'd 0 ' ~ 'd 3 ' according to the second method. In this case, the source mapping information can be expressed by formula 8.
Формула 8Formula 8
В этом случае 'k' - это значение энергии декоррелированного сигнала, определяемое из значений CLD и ICC. Кроме того, 'd_L', 'd_R', 'd_C, 'd_Ls' и 'd_Rs' указывают декорреляторы, применяемые к соответствующим каналам.In this case, 'k' is the energy value of the decorrelated signal, determined from the CLD and ICC values. In addition, 'd_L', 'd_R', 'd_C,' d_Ls' and 'd_Rs' indicate decorrelators applied to the respective channels.
Пятый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов максимизирует эффект декорреляции, конфигурируя 'd_L' и 'd_R' симметрично друг другу в четвертом способе и конфигурируя 'd_Ls' и 'd_Rs' симметрично друг другу в четвертом способе. В частности, предполагая d_R = f(d_L) и d_Rs = f(d_Ls), необходимо задавать только 'd_L', 'd_C и 'd_Ls'.A fifth method of generating source display information using CLD, ICC and / or decorrelators maximizes the decorrelation effect by configuring 'd_L' and 'd_R' symmetrically to each other in the fourth method and configuring 'd_Ls' and 'd_Rs' symmetrically to each other in the fourth method. In particular, assuming d_R = f (d_L) and d_Rs = f (d_Ls), you need to specify only 'd_L', 'd_C and' d_Ls'.
Шестой способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов состоит в конфигурировании 'd_L' и 'd_Ls', чтобы они имели корреляцию в пятом способе. Кроме того, 'd_L' и 'd_C можно конфигурировать, чтобы они также имели корреляцию.A sixth method for generating source mapping information using CLD, ICC and / or decorrelators is to configure 'd_L' and 'd_Ls' to have correlation in the fifth method. In addition, 'd_L' and 'd_C can be configured to also have correlation.
Седьмой способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов предусматривает использование декорреляторов согласно третьему способу в качестве последовательной или многоуровневой структуры всечастотных фильтров. Седьмой способ использует тот факт, что всечастотная характеристика поддерживается, даже если всечастотный фильтр используется как последовательная или многоуровневая (вложенная) структура. В случае использования всечастотного фильтра в качестве последовательной или многоуровневой (вложенной) структуры можно получать более разнообразные фазовые характеристики. Это позволяет максимизировать эффект декорреляции.A seventh method of generating source display information using CLD, ICC and / or decorrelators involves using decorrelators according to the third method as a sequential or multi-level structure of all-frequency filters. The seventh method uses the fact that the all-frequency characteristic is supported, even if the all-frequency filter is used as a sequential or multi-level (nested) structure. In the case of using an all-frequency filter as a sequential or multi-level (embedded) structure, more diverse phase characteristics can be obtained. This maximizes the effect of decorrelation.
Восьмой способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов предусматривает совместное использование декоррелятора согласно уровню техники и декоррелятора частотной области согласно второму способу. В этом случае многоканальный сигнал можно выразить формулой 9.An eighth method for generating source display information using CLD, ICC and / or decorrelators involves sharing a decorrelator according to the prior art and a frequency domain decorrelator according to a second method. In this case, the multi-channel signal can be expressed by formula 9.
Формула 9Formula 9
В этом случае в процессе генерации коэффициентов фильтра используется тот же процесс, который был описан в первом способе, за исключением того, что 'A' заменено на 'A+Kd'.In this case, the process of generating filter coefficients uses the same process that was described in the first method, except that 'A' is replaced by 'A + Kd'.
Девятый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов предусматривает генерацию дополнительно декоррелированного значения путем применения декоррелятора частотной области к выходному сигналу декоррелятора согласно уровню техники, в случае использования декоррелятора согласно уровню техники. Таким образом, можно генерировать информацию отображения источника с малой вычислительной нагрузкой благодаря преодолению ограничения декоррелятора частотной области.A ninth method for generating source display information using CLD, ICC and / or decorrelators involves generating an additional decorrelated value by applying a frequency domain decorrelation to the decorrelator output according to the prior art, in the case of using a decorrelator according to the prior art. Thus, it is possible to generate source mapping information with a low computational load by overcoming the limitations of the frequency domain decorrelator.
Десятый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов выражается посредством формулы 10.A tenth method for generating source display information using CLD, ICC and / or decorrelators is expressed by
Формула 10
В этом случае 'di_(m)' (i=L, R, C, Ls, Rs) - это выходное значение декоррелятора, применяемого к каналу i. Таким образом, выходное значение можно обрабатывать во временной области, частотной области, области КЗФ, смешанной области и т.п. Если выходное значение обрабатывается в области, отличной от обрабатываемой в данный момент области, его можно преобразовать посредством преобразования в другую область. Это позволяет использовать 'd' для d_L, d_R, d_C, d_Ls и d_Rs. В этом случае формулу 10 можно выразить очень просто.In this case, 'di_ (m)' (i = L, R, C, Ls, Rs) is the output value of the decorrelator applied to channel i. Thus, the output value can be processed in a time domain, a frequency domain, a KZF region, a mixed region, and the like. If the output value is processed in an area other than the area currently being processed, it can be converted by conversion to another area. This allows the use of 'd' for d_L, d_R, d_C, d_Ls and d_Rs. In this case,
Если формулу 10 применить к формуле 1, формулу 1 можно выразить формулой 11.If
Формула 11Formula 11
В этом случае информация HM_L воспроизведения - это значение, полученное путем объединения пространственной информации и информации фильтра для генерации сигнала окружения Lo со входом m. Кроме того, информация HM_R воспроизведения - это значение, полученное путем объединения пространственной информации и информации фильтра для генерации сигнала окружения Ro со входом m. Кроме того, 'd(m)' - это выходное значение декоррелятора, генерируемое путем преобразования выходного значения декоррелятора в произвольной области в значение в текущей области, или выходное значение декоррелятора, генерируемое посредством обработки в текущей области. Информация HMD_L воспроизведения - это значение, указывающее величину выходного значения декоррелятора d(m), которое суммируется с 'Lo' при воспроизведении d(m), а также значение, полученное путем объединения пространственной информации и информации фильтра друг с другом. Информация HMD_R воспроизведения - это значение, указывающее величину выходного значения декоррелятора d(m), которое суммируется с 'Ro' при воспроизведении d(m).In this case, the reproduction information HM_L is a value obtained by combining spatial information and filter information to generate an environment signal Lo with input m. In addition, the reproduction information HM_R is a value obtained by combining spatial information and filter information to generate an environment signal Ro with an input m. In addition, 'd (m)' is the output of the decorrelator generated by converting the output of the decorrelator in an arbitrary region to a value in the current region, or the output of the decorrelator generated by processing in the current region. The reproduction information HMD_L is a value indicating an output value of the decorrelator d (m) that is added to 'Lo' during reproduction d (m), as well as a value obtained by combining spatial information and filter information with each other. The reproduction information HMD_R is a value indicating an output value of the decorrelator d (m) that is added to 'Ro' during reproduction d (m).
Таким образом, для осуществления процесса воспроизведения на монофоническом смешанном с уменьшением числа каналов сигнале настоящее изобретение предусматривает способ генерации сигнала окружения посредством воспроизведения информации воспроизведения, сгенерированной путем объединения пространственной информации и информации фильтра (например, коэффициента фильтра HRTF), в смешанный с уменьшением числа каналов сигнал и декоррелированный смешанный с уменьшением числа каналов сигнал. Процесс воспроизведения может выполняться в любой области. Если 'd(m)' выражается как 'd*m' (оператор умножения), выполняемый в частотной области, формулу 11 можно выразить формулой 12.Thus, in order to carry out the reproduction process on a monophonic signal with a decrease in the number of channels, the present invention provides a method for generating an surround signal by reproducing reproduction information generated by combining spatial information and filter information (e.g., HRTF filter coefficient) into a signal mixed with a decrease in the number of channels and decorrelated mixed with decreasing number of channels signal. The playback process can be performed in any area. If 'd (m)' is expressed as 'd * m' (a multiplication operator) performed in the frequency domain, formula 11 can be expressed by
Формула 12
Таким образом, в случае осуществления процесса воспроизведения в отношении смешанного с уменьшением числа каналов сигнала в частотной области можно минимизировать вычислительную нагрузку благодаря представлению значения, полученного путем надлежащего объединения пространственной информации, информации фильтра и декорреляторов в форме произведения.Thus, in the case of the implementation of the reproduction process in relation to the signal mixed in the frequency domain, the computational load can be minimized by presenting the value obtained by appropriately combining spatial information, filter information, and decorrelators in the form of a product.
На фиг.6 и фиг.7 показаны подробные блок-схемы блока воспроизведения для стереофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения.FIG. 6 and FIG. 7 show detailed block diagrams of a reproduction unit for a stereo mixed with decreasing channel number signal according to one embodiment of the present invention.
Согласно фиг.6 блок 900 воспроизведения включает в себя блок-A 910 воспроизведения и блок-B 920 воспроизведения.6, a reproducing
Если смешанный с уменьшением числа каналов сигнал является стереосигналом, блок 1000 преобразования пространственной информации генерирует информацию воспроизведения для левого и правого каналов смешанного с уменьшением числа каналов сигнала. Блок-A 910 воспроизведения генерирует сигнал окружения посредством воспроизведения информации воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала в левый канал смешанного с уменьшением числа каналов сигнала. Кроме того, блок-B 920 воспроизведения генерирует сигнал окружения посредством воспроизведения информации воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала в правый канал смешанного с уменьшением числа каналов сигнала. Названия каналов приведены исключительно для иллюстрации, что не налагает ограничение на настоящее изобретение.If the signal mixed with decreasing the number of channels is a stereo signal, the spatial
Информация воспроизведения может включать в себя информацию воспроизведения, доставляемую в некоторый канал, и информацию воспроизведения, доставляемую в другой канал.The playback information may include playback information delivered to a channel and playback information delivered to another channel.
Например, блок 1000 преобразования пространственной информации способен генерировать информацию воспроизведения HL_L и HL_R, поступающую на блок воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала, в котором информация воспроизведения HL_L доставляется в левый выход, соответствующий тому же каналу, и информация воспроизведения HL_R доставляется в правый выход, соответствующий другому каналу. Кроме того, блок 1000 преобразования пространственной информации способен генерировать информацию воспроизведения HR_R и HR_L, поступающую на блок воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала, в котором информация воспроизведения HR_R доставляется в правый выход, соответствующий тому же каналу, и информация воспроизведения HR_L is доставляется в левый выход, соответствующий другому каналу.For example, the spatial
Согласно фиг.7 блок 900 воспроизведения включает в себя блок-1A 911 воспроизведения, блок-2A 912 воспроизведения, блок-1B 921 воспроизведения и блок-2B 922 воспроизведения.7, a reproducing
Блок 900 воспроизведения принимает стереофонический смешанный с уменьшением числа каналов сигнал и информацию воспроизведения от блока 1000 преобразования пространственной информации. Затем блок 900 воспроизведения генерирует сигнал окружения посредством воспроизведения информации воспроизведения в стереофонический смешанный с уменьшением числа каналов сигнал.The reproducing
В частности, блок-1A 911 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HL_L, доставляемой в тот же канал, входящей в состав информации воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала. Блок-2A 912 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HL_R, доставляемой в другой канал, входящей в состав информации воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала. Блок-1B 921 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HR_R, доставляемой в тот же канал, входящей в состав информации воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала. Кроме того, блок-2B 922 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HR_L, доставляемый в другой канал, входящей в состав информации воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала.In particular, the
В нижеследующем описании информация воспроизведения, доставляемая в другой канал, называется 'информация перекрестного воспроизведения'. Информация перекрестного воспроизведения HL_R или HR_L применяется к тому же каналу и затем суммируется с другим каналом посредством сумматора. В этом случае информация перекрестного воспроизведения HL_R и/или HR_L может быть нулевой. Если информация перекрестного воспроизведения HL_R и/или HR_L равна нулю, это означает, что в соответствующий тракт сигнала ничего не добавлено.In the following description, playback information delivered to another channel is called “cross-playback information”. The cross-play information HL_R or HR_L is applied to the same channel and then added to the other channel by an adder. In this case, the cross-playback information HL_R and / or HR_L may be zero. If the cross-play information HL_R and / or HR_L is zero, this means that nothing has been added to the corresponding signal path.
Ниже описан иллюстративный способ генерации сигнала окружения, показанный на фиг.6 или фиг.7.An exemplary environment signal generation method shown in FIG. 6 or FIG. 7 is described below.
Прежде всего, если смешанный с уменьшением числа каналов сигнал является стереосигналом, смешанный с уменьшением числа каналов сигнал, обозначенный 'x', информация отображения источника, генерируемая с использованием пространственной информации, обозначенная 'D', информация-прототип фильтра, обозначенная 'G', многоканальный сигнал, обозначенный 'p', и сигнал окружения, обозначенный 'y', можно представить матрицами, входящими в формулу 13.First of all, if the signal mixed with decreasing the number of channels is a stereo signal, mixed with decreasing the number of channels, the signal denoted by 'x', source display information generated using spatial information denoted by 'D', filter prototype information indicated by 'G', the multi-channel signal denoted by 'p' and the environment signal denoted by 'y' can be represented by the matrices in formula 13.
Формула 13Formula 13
В этом случае, если вышеперечисленные значения заданы в частотной области, их можно обрабатывать следующим образом.In this case, if the above values are set in the frequency domain, they can be processed as follows.
Прежде всего, многоканальный сигнал p, представленный в формуле 14, можно выразить как произведение информации отображения источника D, генерируемой с использованием пространственной информации, и смешанного с уменьшением числа каналов сигнала x.First of all, the multi-channel signal p represented in Formula 14 can be expressed as the product of the display information of the source D generated using spatial information and mixed with a decrease in the number of signal channels x.
Формула 14Formula 14
Сигнал окружения y, представленный в формуле 15, можно генерировать посредством воспроизведения информации-прототипа фильтра G в многоканальный сигнал p.The environment signal y represented in formula 15 can be generated by reproducing the prototype information of the filter G into a multi-channel signal p.
Формула 15Formula 15
В этом случае, если подставить формулу 14 вместо p, его можно генерировать согласно формуле 16.In this case, if we substitute formula 14 instead of p, it can be generated according to formula 16.
Формула 16Formula 16
В этом случае, если информация воспроизведения H задана как H=GD, сигнал окружения y и смешанный с уменьшением числа каналов сигнал x можно связать между собой согласно формуле 17.In this case, if the playback information H is set as H = GD, the surround signal y and the signal x mixed with a decrease in the number of channels can be interconnected according to formula 17.
Формула 17Formula 17
Таким образом, после генерации информации воспроизведения H путем обработки произведения информации фильтра и информации отображения источника смешанный с уменьшением числа каналов сигнал x умножается на информацию воспроизведения H для генерации сигнала окружения y.Thus, after generating the playback information H by processing the product of the filter information and the source display information, the signal x mixed with a decrease in the number of channels is multiplied by the playback information H to generate the surround signal y.
Согласно определению информации воспроизведения H информацию воспроизведения H можно выразить формулой 18.According to the definition of the reproduction information H, the reproduction information H can be expressed by formula 18.
Формула 18Formula 18
На фиг.8 и фиг.9 показаны подробные блок-схемы блока воспроизведения для монофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения.FIGS. 8 and 9 show detailed block diagrams of a reproduction unit for a monophonic mixed with decreasing channel number signal according to one embodiment of the present invention.
Согласно фиг.8 блок 900 воспроизведения включает в себя блок-A 930 воспроизведения и блок-B 940 воспроизведения.8, a reproducing
Если смешанный с уменьшением числа каналов сигнал является моносигналом, блок 1000 преобразования пространственной информации генерирует информацию воспроизведения HM_L и HM_R, в котором информация воспроизведения HM_L используется при воспроизведении моносигнала в левый канал и информация воспроизведения HM_R используется при воспроизведении моносигнала в правый канал.If the signal mixed with a decrease in the number of channels is a mono signal, the spatial
Блок-A 930 воспроизведения применяет информацию воспроизведения HM_L к монофоническому смешанному с уменьшением числа каналов сигналу для генерации сигнала окружения левого канала. Блок-B 940 воспроизведения применяет информацию воспроизведения HM_R к монофоническому смешанному с уменьшением числа каналов сигналу для генерации сигнала окружения правого канала.Block-
Блок 900 воспроизведения, показанный на чертеже, не использует декоррелятор. Однако если блок-A 930 воспроизведения и блок-B 940 воспроизведения осуществляют воспроизведение с использованием соответствующей информации воспроизведения Hmoverall_R и Hmoverall_L, заданных в формуле 12, можно получить выходные сигналы, к которым применяется соответствующий декоррелятор.The reproducing
При этом в случае попытки получения выходной стереосигнал вместо сигнала окружения по завершении воспроизведения, осуществляемого на монофоническом смешанном с уменьшением числа каналов сигнале, возможны следующие два способа.In this case, in the case of an attempt to obtain a stereo output signal instead of the surround signal at the end of playback, performed on a monophonic signal mixed with a decrease in the number of channels, the following two methods are possible.
Первый способ состоит в том, что вместо использования информации воспроизведения для создания эффекта окружения используется значение, используемое для стереовыхода. В этом случае можно получить стереосигнал, изменив лишь информацию воспроизведения в структуре, показанной на фиг.3.The first way is that instead of using the playback information to create an environmental effect, the value used for stereo output is used. In this case, it is possible to obtain a stereo signal by changing only the playback information in the structure shown in FIG. 3.
Второй способ состоит в том, что в процессе декодирования для генерации многоканального сигнала с использованием смешанного с уменьшением числа каналов сигнала и пространственной информации можно получать стереосигнал, осуществляя процесс декодирования только на соответствующем этапе для получения конкретного номера канала.The second method consists in the fact that in the decoding process to generate a multi-channel signal using a signal mixed with a decrease in the number of channels and spatial information, a stereo signal can be obtained by performing the decoding process only at the appropriate stage to obtain a specific channel number.
Согласно фиг.9 блок 900 воспроизведения соответствует случаю, когда декоррелированный сигнал представлен единицей, т.е. согласно формуле 11. Блок 900 воспроизведения включает в себя блок-1A 931 воспроизведения, блок-2A 932 воспроизведения, блок-1B 941 воспроизведения и блок-2B 942 воспроизведения. Блок 900 воспроизведения аналогичен блоку воспроизведения для стереофонического смешанного с уменьшением числа каналов сигнала за исключением того, что блок 900 воспроизведения включает в себя блоки воспроизведения 941 и 942 для декоррелированного сигнала.According to FIG. 9, the reproducing
В случае стереофонического смешанного с уменьшением числа каналов сигнала можно представить, что один из двух каналов является декоррелированным сигналом. Тогда, не применяя дополнительные декорреляторы, можно осуществлять процесс воспроизведения с использованием ранее заданных четырех видов информации воспроизведения HL_L, HL_R и т.п. В частности, блок-1A 931 воспроизведения генерирует сигнал, подлежащий доставке в тот же канал, путем применения информации воспроизведения HM_L к монофоническому смешанному с уменьшением числа каналов сигналу. Блок-2A 932 воспроизведения генерирует сигнал, подлежащий доставке в другой канал, путем применения информации воспроизведения HM_R к монофоническому смешанному с уменьшением числа каналов сигналу. Блок-1B 941 воспроизведения генерирует сигнал, подлежащий доставке в тот же канал, путем применения информации воспроизведения HMD_R к декоррелированному сигналу. Наконец, блок-2B 942 воспроизведения генерирует сигнал, подлежащий доставке в другой канал, путем применения информации воспроизведения HMD_L к декоррелированному сигналу.In the case of a stereo mixed signal with a decrease in the number of channels, one can imagine that one of the two channels is a decorrelated signal. Then, without using additional decorrelators, it is possible to carry out the reproduction process using the previously defined four types of reproduction information HL_L, HL_R, etc. In particular, the
Если смешанный с уменьшением числа каналов сигнал является моносигналом, смешанный с уменьшением числа каналов сигнал, обозначенный x, информация канала источника, обозначенная D, информация-прототип фильтра, обозначенная G, многоканальный сигнал, обозначенный p, и сигнал окружения обозначенный y, можно представить матрицами, представленными в формуле 19.If the signal mixed with decreasing the number of channels is a mono signal, the signal mixed with decreasing the number of channels is indicated by x, the source channel information indicated by D, the filter prototype information indicated by G, the multi-channel signal indicated by p, and the environment signal indicated by y can be represented by matrices represented by formula 19.
Формула 19Formula 19
В этом случае соотношение между матрицами аналогично соотношению в случае, когда смешанный с уменьшением числа каналов сигнал является стереосигналом. Поэтому детали опущены.In this case, the ratio between the matrices is similar to the ratio in the case when the signal mixed with a decrease in the number of channels is a stereo signal. Therefore, details are omitted.
При этом информация отображения источника, описанная со ссылкой на фиг.4 и фиг.5, и информация воспроизведения, генерируемая с использованием информации отображения источника, имеют значения, отличающиеся полосой частот, диапазоном параметров и/или передаваемым временным интервалом. В этом случае, если значения информации отображения источника и/или информации воспроизведения принадлежат существенно разным полосам частот или временным интервалам, в процессе воспроизведения может возникать искажение. Во избежание искажения необходим процесс сглаживания в частотной и/или временной области. Другой способ сглаживания, пригодный для воспроизведения, также можно использовать для сглаживания в частотной области и/или сглаживания во временной области. Кроме того, можно использовать значение, полученное путем умножения информации отображения источника или информации воспроизведения на конкретный коэффициент усиления.In this case, the source display information described with reference to FIG. 4 and FIG. 5 and the playback information generated using the source display information have values differing in a frequency band, a range of parameters and / or a transmitted time interval. In this case, if the values of the source display information and / or the playback information belong to substantially different frequency bands or time intervals, distortion may occur during the playback. To avoid distortion, a smoothing process is needed in the frequency and / or time domain. Another smoothing method suitable for reproduction can also be used for smoothing in the frequency domain and / or smoothing in the time domain. In addition, you can use the value obtained by multiplying the source display information or the playback information by a specific gain.
На фиг.10 и фиг.11 показаны блок-схемы блока сглаживания и блока расширения согласно одному варианту осуществления настоящего изобретения.10 and 11 are block diagrams of a smoothing unit and an expansion unit according to one embodiment of the present invention.
Способ сглаживания согласно настоящему изобретению, показанный на фиг.10 и фиг.11, применим к информации воспроизведения и/или информации отображения источника. Однако способ сглаживания применим к информации других типов. В нижеследующем описании рассмотрено сглаживание в частотной области. Однако настоящее изобретение включает в себя сглаживание во временной области, а также сглаживание в частотной области.The smoothing method according to the present invention, shown in FIG. 10 and FIG. 11, is applicable to playback information and / or source display information. However, the smoothing method is applicable to other types of information. In the following description, smoothing in the frequency domain is considered. However, the present invention includes anti-aliasing in the time domain, as well as anti-aliasing in the frequency domain.
Согласно фиг.10 и фиг.11 блок 1042 сглаживания способен осуществлять сглаживание в отношении информации воспроизведения и/или информации отображения источника. Примеры позиции, где осуществляется сглаживание, подробно описаны ниже со ссылкой на фиг.18-20.According to figure 10 and figure 11, the
Блок 1042 сглаживания может быть сопряжен с блоком 1043 расширения, в котором информация воспроизведения и/или информация отображения источника может расширяться до более широкого диапазона, например полосы фильтра, чем у диапазона параметра. В частности, информация отображения источника может быть расширена до частотного разрешения (например, полосы фильтра), соответствующей информации фильтра, подлежащей умножению на информацию фильтра (например, коэффициент фильтра HRTF). Сглаживание согласно настоящему изобретению выполняется до расширения или совместно с ним. Для осуществления сглаживания совместно с расширением можно использовать один из способов, показанных на фиг.12-16.
На фиг.12 показан график, поясняющий первый способ сглаживания согласно одному варианту осуществления настоящего изобретения.12 is a graph for explaining a first smoothing method according to one embodiment of the present invention.
Согласно фиг.12 первый способ сглаживания предусматривает использование значения, имеющего тот же размер, что и пространственная информация в каждом диапазоне параметра. В этом случае можно добиться эффекта сглаживания с использованием подходящей сглаживающей функции.12, the first smoothing method involves using a value having the same size as the spatial information in each parameter range. In this case, a smoothing effect can be achieved using a suitable smoothing function.
На фиг.13 показан график, поясняющий второй способ сглаживания согласно одному варианту осуществления настоящего изобретения.13 is a graph illustrating a second smoothing method according to one embodiment of the present invention.
Согласно фиг.13 второй способ сглаживания обеспечивает эффект сглаживания путем соединения репрезентативных позиций диапазона параметра. Репрезентативная позиция является истинным центром каждого диапазона параметра, центральной позицией, пропорциональной логарифмической шкале, крайнего уровня и т.п., наименьшим значением частоты, или позицией, ранее определенной другим способом.According to FIG. 13, the second smoothing method provides a smoothing effect by joining representative positions of a parameter range. The representative position is the true center of each range of the parameter, the central position proportional to the logarithmic scale, the extreme level, etc., the lowest frequency value, or the position previously determined in another way.
На фиг.14 показан график, поясняющий третий способ сглаживания согласно одному варианту осуществления настоящего изобретения.14 is a graph for explaining a third smoothing method according to one embodiment of the present invention.
Согласно фиг.14 третий способ сглаживания предусматривает сглаживание в виде кривой или прямой линии, плавно соединяющей границы параметров. В этом случае третий способ сглаживания предусматривает использование заранее заданной кривой сглаживания границ или низкочастотной фильтрации с помощью БИХ-фильтра или КИХ-фильтра первого или более высокого порядка.According to Fig. 14, the third smoothing method involves smoothing in the form of a curve or a straight line smoothly connecting the boundaries of the parameters. In this case, the third smoothing method involves using a predetermined border smoothing curve or low-pass filtering using an IIR filter or a FIR filter of the first or higher order.
На фиг.15 показан график, поясняющий четвертый способ сглаживания согласно одному варианту осуществления настоящего изобретения.15 is a graph illustrating a fourth smoothing method according to one embodiment of the present invention.
Согласно фиг.15 четвертый способ сглаживания позволяет добиться эффекта сглаживания путем прибавления сигнала, например случайного шума, к форме пространственной информации. В этом случае значение, отличающееся каналом или диапазоном, пригодно в качестве случайного шума. В случае добавления случайного шума в частотной области можно прибавлять только значение размера, оставляя значение фазы без изменения. Четвертый способ сглаживания позволяет добиваться эффекта межканальной декорреляции, а также эффекта сглаживания в частотной области.According to Fig. 15, the fourth smoothing method allows to achieve a smoothing effect by adding a signal, for example random noise, to the form of spatial information. In this case, a value that differs in channel or range is suitable as random noise. If random noise is added in the frequency domain, only the size value can be added, leaving the phase value unchanged. The fourth smoothing method allows to achieve the effect of inter-channel decorrelation, as well as the smoothing effect in the frequency domain.
На фиг.16 показан график, поясняющий пятый способ сглаживания согласно одному варианту осуществления настоящего изобретения.16 is a graph for explaining a fifth smoothing method according to one embodiment of the present invention.
Согласно фиг.16 пятый способ сглаживания предусматривает использование способов сглаживания со второго по четвертый в совокупности. Например, после соединения репрезентативных позиций соответствующих диапазонов параметра прибавляется случайный шум, после чего применяется низкочастотная фильтрация. При этом последовательность операций можно менять. Пятый способ сглаживания минимизирует точки нарушения непрерывности в частотной области и усиливает эффект межканальной декорреляции.According to Fig. 16, the fifth smoothing method involves the use of second to fourth smoothing methods in the aggregate. For example, after connecting representative positions of the corresponding parameter ranges, random noise is added, and then low-pass filtering is applied. In this case, the sequence of operations can be changed. The fifth smoothing method minimizes points of discontinuity in the frequency domain and enhances the effect of inter-channel decorrelation.
Согласно способам сглаживания с первого по пятый суммарная мощность значений пространственной информации (например, значений CLD) в соответствующих частотных областях для каждого канала должна быть постоянной. С этой целью после осуществления способа сглаживания для каждого канала следует осуществлять нормализацию мощности. Например, если смешанный с уменьшением числа каналов сигнал является моносигналом, значения уровня соответствующих каналов должны подчиняться соотношению, выраженному формулой 20.According to the first to fifth smoothing methods, the total power of the spatial information values (for example, CLD values) in the respective frequency regions for each channel should be constant. To this end, after implementing the smoothing method for each channel should be normalized power. For example, if a signal mixed with a decrease in the number of channels is a mono signal, the level values of the corresponding channels must obey the relation expressed by
Формула 20
В этом случае 'pb = 0 ~ полный диапазон параметра номер 1' и 'C' - произвольная постоянная.In this case, 'pb = 0 ~ the full range of parameter number 1' and 'C' is an arbitrary constant.
На фиг.17 показана схема, поясняющая информацию фильтра-прототипа, соответствующую каждому каналу.On Fig shows a diagram explaining the information of the filter prototype corresponding to each channel.
Согласно фиг.17 для воспроизведения сигнал, прошедший через фильтр GL_L для источника левого канала, поступает на левый выход, а сигнал, прошедший через фильтр GL_R, поступает на правый выход.According to Fig.17 for playback, the signal passed through the filter GL_L for the source of the left channel is supplied to the left output, and the signal passed through the filter GL_R is fed to the right output.
Затем левый окончательный выходной сигнал (например, Lo) и правый окончательный выходной сигнал (например, Ro) генерируются путем сложения всех сигналов, полученных из соответствующих каналов. В частности, воспроизведенные выходные сигналы левого/правого канала можно выразить формулой 21.Then, the left final output signal (e.g., Lo) and the right final output signal (e.g., Ro) are generated by adding all the signals received from the respective channels. In particular, the reproduced output signals of the left / right channel can be expressed by the formula 21.
Формула 21Formula 21
Согласно настоящему изобретению воспроизведенные выходные сигналы левого/правого канала можно генерировать с использованием L, R, C, Ls и Rs, сгенерированных путем декодирования смешанного с уменьшением числа каналов сигнала в многоканальный сигнал с использованием пространственной информации. Кроме того, настоящее изобретение позволяет генерировать воспроизведенные выходные сигналы левого/правого канала с использованием информации воспроизведения без генерации L, R, C, Ls и Rs, в каковом случае информация воспроизведения генерируется с использованием пространственной информации и информации фильтра.According to the present invention, reproduced left / right channel output signals can be generated using L, R, C, Ls and Rs generated by decoding a signal mixed with decreasing number of channels into a multi-channel signal using spatial information. In addition, the present invention allows to generate reproduced output signals of the left / right channel using the playback information without generating L, R, C, Ls and Rs, in which case, the playback information is generated using spatial information and filter information.
Процесс генерации информации воспроизведения с использованием пространственной информации описан ниже со ссылкой на фиг.18-20.The process of generating reproduction information using spatial information is described below with reference to FIGS. 18-20.
На фиг.18 показана блок-схема первого способа генерации информации воспроизведения на блоке 900 преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.FIG. 18 is a flowchart of a first method for generating reproduction information on a spatial
Согласно фиг.18, как указано в предыдущем описании, блок 900 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области. Блок 900 преобразования пространственной информации имеет такую же конфигурацию, которая показана на фиг.3.18, as indicated in the previous description, the spatial
Блок 1020 генерации частичной информации воспроизведения включает в себя по меньшей мере один или несколько блоков генерации частичной информации воспроизведения (с 1-го блока генерации частичной информации воспроизведения по N-й блок генерации частичной информации воспроизведения).The partial reproducing
Блок 1020 генерации частичной информации воспроизведения генерирует частичную информацию воспроизведения с использованием информации фильтра и информации отображения источника.The partial reproducing
Например, если смешанный с уменьшением числа каналов сигнал является моносигналом, первый блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения, соответствующую левому каналу многоканального сигнала. Таким образом, частичную информацию воспроизведения можно выразить согласно формуле 22 через информацию отображения источника D_L и преобразованную информацию фильтра GL_L' и GL_R'.For example, if the signal mixed with a decrease in the number of channels is a mono signal, the first partial reproducing information generating unit is able to generate partial reproducing information corresponding to the left channel of the multi-channel signal. Thus, partial playback information can be expressed according to Formula 22 through the source display information D_L and the converted filter information GL_L 'and GL_R'.
Формула 22Formula 22
FL_L = D_L * GL_L′FL_L = D_L * GL_L ′
(моновход → коэффициент фильтра на левый выходной канал)(mono input → filter coefficient to the left output channel)
FL_R = D_L * GL_R′FL_R = D_L * GL_R ′
(моновход → коэффициент фильтра на правый выходной канал)(mono input → filter coefficient to the right output channel)
В этом случае D_L - это значение, генерируемое с использованием пространственной информации на блоке 1010 отображения источника. Тем не менее, процесс генерации D_L может следовать древовидной структуре.In this case, D_L is the value generated using spatial information on the
Второй блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения FR_L и FR_R, соответствующую правому каналу многоканального сигнала. Кроме того, N-й блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения FRs_L и FRs_R, соответствующую правому каналу окружения многоканального сигнала.The second partial playback information generating unit is capable of generating partial playback information FR_L and FR_R corresponding to the right channel of the multi-channel signal. In addition, the Nth partial reproducing information generating unit is capable of generating partial reproducing information FRs_L and FRs_R corresponding to the right surround channel of the multi-channel signal.
Если смешанный с уменьшением числа каналов сигнал является стереосигналом, первый блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения, соответствующую левому каналу многоканального сигнала. Таким образом, частичную информацию воспроизведения можно выразить согласно формуле 23 через информацию отображения источника D_L1 и D_L2.If the signal mixed with a decrease in the number of channels is a stereo signal, the first partial reproducing information generating unit is able to generate partial reproducing information corresponding to the left channel of the multi-channel signal. Thus, partial reproduction information can be expressed according to formula 23 through the source display information D_L1 and D_L2.
Формула 23Formula 23
FL_L1 = D_L1 * GL_L′FL_L1 = D_L1 * GL_L ′
(левый вход → коэффициент фильтра на левый выходной канал)(left input → filter coefficient to left output channel)
FL_L2 = D_L2 * GL_L′FL_L2 = D_L2 * GL_L ′
(правый вход → коэффициент фильтра на левый выходной канал)(right input → filter coefficient to the left output channel)
FL_R1 = D_L1 * GL_R′FL_R1 = D_L1 * GL_R ′
(левый вход → коэффициент фильтра на правый выходной канал)(left input → filter coefficient to the right output channel)
FL_R2 = D_L2 * GL_R′FL_R2 = D_L2 * GL_R ′
(правый вход → коэффициент фильтра на правый выходной канал)(right input → filter coefficient to the right output channel)
В формуле 23, FL_R1 объясняется, например, следующим образом.In formula 23, FL_R1 is explained, for example, as follows.
Во-первых, в FL_R1, 'L' указывает позицию многоканального сигнала, 'R' указывает выходной канал сигнала окружения и '1' указывает канал смешанного с уменьшением числа каналов сигнала. Конкретно, FL_R1 указывает частичную информацию воспроизведения, используется при генерации правого выходного канала сигнала окружения из левого канала смешанного с уменьшением числа каналов сигнала.First, in FL_R1, 'L' indicates the position of the multi-channel signal, 'R' indicates the output channel of the surround signal, and '1' indicates the channel mixed with decreasing number of signal channels. Specifically, FL_R1 indicates partial playback information used to generate the right output channel of the surround signal from the left channel mixed with decreasing the number of signal channels.
Во-вторых, D_L1 и D_L2 - это значения, генерируемые с использованием пространственной информации на блоке 1010 отображения источника.Secondly, D_L1 and D_L2 are values generated using spatial information on the
Если смешанный с уменьшением числа каналов сигнал является стереосигналом, можно генерировать множество частей информации воспроизведения из по меньшей мере одного блока генерации частичной информации воспроизведения таким же образом, как в случае, когда смешанный с уменьшением числа каналов сигнал является моносигналом. Типы частичной информации воспроизведения, генерируемой множеством блоков генерации частичной информации воспроизведения, являются иллюстративными, что не налагает ограничение на настоящее изобретение.If the signal mixed with decreasing the number of channels is a stereo signal, it is possible to generate a plurality of parts of the reproduction information from at least one partial reproduction information generating unit in the same manner as in the case where the signal mixed with decreasing the number of channels is a mono signal. The types of partial reproducing information generated by the plurality of partial reproducing information generating blocks are illustrative, which does not limit the present invention.
Частичная информация воспроизведения, генерируемая блоком 1020 генерации частичной информации воспроизведения, передается на блок 900 воспроизведения через блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области.The partial playback information generated by the partial playback
Блок 1030 интегрирования интегрирует части информации воспроизведения, сгенерированные для каждого канала, в информацию воспроизведения (например, HL_L, HL_R, HR_L, HR_R) для процесса воспроизведения. Процесс интегрирования на блоке 1030 интегрирования описан ниже для случая моносигнала и для случая стереосигнала.An
Во-первых, если смешанный с уменьшением числа каналов сигнал является моносигналом, информацию воспроизведения можно выразить формулой 24.First, if a signal mixed with a decrease in the number of channels is a mono signal, the reproduction information can be expressed by the formula 24.
Формула 24Formula 24
Во-вторых, если смешанный с уменьшением числа каналов сигнал является стереосигналом, информацию воспроизведения можно выразить формулой 25.Secondly, if the signal mixed with a decrease in the number of channels is a stereo signal, the playback information can be expressed by the formula 25.
Формула 25Formula 25
Затем, блок 1040 обработки включает в себя блок 1041 интерполяции и/или блок 1042 сглаживания и осуществляет интерполяцию и/или сглаживание информации воспроизведения. Интерполяция и/или сглаживание может выполняться во временной области, частотной области или области КЗФ. В описании изобретения временная область взята в качестве примера, что не налагает ограничение на настоящее изобретение.Then, the
Интерполяция осуществляется для получения информации воспроизведения, не существующей между информациями воспроизведения, если передаваемая информация воспроизведения имеет широкий интервал во временной области. Например, предполагая, что информации воспроизведения существуют в n-ом временном интервале и (n+k)-ом временном интервале (k>1), соответственно, можно осуществить линейную интерполяцию на не переданном временном интервале с использованием сгенерированных информаций воспроизведения (например, HL_L, HR_L, HL_R, HR_R).Interpolation is performed to obtain playback information that does not exist between the playback information, if the transmitted playback information has a wide interval in the time domain. For example, assuming that playback information exists in the n-th time interval and (n + k) -th time interval (k> 1), respectively, it is possible to perform linear interpolation on the non-transmitted time interval using the generated playback information (e.g., HL_L , HR_L, HL_R, HR_R).
Информация воспроизведения, генерируемая способом интерполяции, объясняется для случая, когда смешанный с уменьшением числа каналов сигнал является моносигналом, и для случая, когда смешанный с уменьшением числа каналов сигнал является стереосигналом.The playback information generated by the interpolation method is explained for the case where the signal mixed with decreasing the number of channels is a mono signal, and for the case when the signal mixed with decreasing the number of channels is a stereo signal.
Если смешанный с уменьшением числа каналов сигнал является моносигналом, интерполированную информацию воспроизведения можно выразить формулой 26.If the signal mixed with a decrease in the number of channels is a mono signal, the interpolated playback information can be expressed by formula 26.
Формула 26Formula 26
Если смешанный с уменьшением числа каналов сигнал является стереосигналом, интерполированную информацию воспроизведения можно выразить формулой 27.If the signal mixed with a decrease in the number of channels is a stereo signal, the interpolated playback information can be expressed by formula 27.
Формула 27Formula 27
В этом случае 0<j<k, где 'j' и 'k' - целые числа. Величина 'a' - это действительное число, соответствующее '0<a<1', выражаемое формулой 28.In this case, 0 <j <k, where 'j' and 'k' are integers. The value 'a' is a real number corresponding to '0 <a <1', expressed by formula 28.
Формула 28Formula 28
Если так, можно получать значение, соответствующее не переданному временному интервалу на прямой линии, соединяющей значения в двух временных интервалах согласно формуле 27 и формуле 28. Интерполяция подробно описана ниже со ссылкой на фиг.22 и фиг.23.If so, it is possible to obtain a value corresponding to a non-transmitted time interval on a straight line connecting the values in two time intervals according to Formula 27 and Formula 28. Interpolation is described in detail below with reference to FIG. 22 and FIG. 23.
В случае, когда значение коэффициента фильтра резко изменяется между двумя соседними интервалами времени во временной области, блок 1042 сглаживания выполняет сглаживание во избежание проблемы искажения, обусловленного наличием точки нарушения непрерывности. Сглаживание во временной области можно производить согласно способу сглаживания, описанному со ссылкой на фиг.12-16. Сглаживание можно осуществлять совместно с расширением. Кроме того, сглаживание может осуществляться по-разному в зависимости от позиции применения. Если смешанный с уменьшением числа каналов сигнал является моносигналом, сглаживание во временной области можно выразить формулой 29.In the case where the filter coefficient value changes sharply between two adjacent time intervals in the time domain, the
Формула 29Formula 29
В частности, сглаживание может выполняться посредством 1-полюсного БИХ-фильтра наподобие умножения информации воспроизведения HM_L(n-1) или HM_R(n-1), сглаженной в предыдущем временном интервале n-1, на (1-b), умножения информации воспроизведения HM_L(n) или HM_R(n), сгенерированной в текущем временном интервале n, на b, и сложения двух произведений. В этом случае 'b' - это постоянная, подчиняющаяся условию 0<b<1. При уменьшении 'b' эффект сглаживания усиливается. При увеличении 'b' эффект сглаживания ослабевает. Остальные фильтры можно применять таким же образом.In particular, smoothing can be performed using a 1-pole IIR filter, such as multiplying the playback information HM_L (n-1) or HM_R (n-1), smoothed in the previous time interval n-1, by (1-b), multiplying the playback information HM_L (n) or HM_R (n) generated in the current time interval n, by b, and the addition of two products. In this case, 'b' is a constant obeying the condition 0 <b <1. As 'b' decreases, the smoothing effect is enhanced. As 'b' increases, the smoothing effect weakens. Other filters can be applied in the same way.
Интерполяцию и сглаживание можно представить одним выражением, показанным в формуле 30, с использованием формулы 29 для сглаживания во временной области.Interpolation and smoothing can be represented by one expression shown in formula 30, using formula 29 for smoothing in the time domain.
Формула 30Formula 30
Если интерполяция осуществляется блоком 1041 интерполяции и/или если сглаживание осуществляется блоком 1042 сглаживания, можно получить информацию воспроизведения, имеющую значение энергии, отличное от значения энергии информации-прототипа воспроизведения. Во избежание этой проблемы можно дополнительно осуществлять нормализацию энергии.If the interpolation is performed by the
Наконец, блок 1050 преобразования области осуществляет преобразование информации воспроизведения в область, в которой выражается существующее воспроизведение. Если область, в которой выражается существующее воспроизведение идентична области, в которой выражается информация воспроизведения, преобразование области можно не выполнять. После этого информация воспроизведения, преобразованная в другую область, передается на блок 900 воспроизведения.Finally, the
На фиг.19 показана блок-схема второго способа генерации информации воспроизведения на блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.FIG. 19 is a flowchart of a second method for generating playback information on a spatial information conversion unit according to one embodiment of the present invention.
Второй способ аналогичен первому способу в том отношении, что блок 1000 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области, и в том отношении, что блок 1020 генерации частичной информации воспроизведения включает в себя по меньшей мере один блок генерации частичной информации воспроизведения.The second method is similar to the first method in that the spatial
Согласно фиг.19 второй способ генерации информации воспроизведения отличается от первого способа позицией блока 1040 обработки. Таким образом, интерполяцию и/или сглаживание можно осуществлять для каждого канала на частях информации воспроизведения (например, FL_L и FL_R в случае моносигнала или FL_L1, FL_L2, FL_R1, FL_R2 в случае стереосигнала), генерируемой для каждого канала на блоке 1020 генерации частичной информации воспроизведения.According to FIG. 19, the second method of generating playback information is different from the first method by the position of
Затем блок 1030 интегрирования интегрирует интерполированные и/или сглаженные части информации воспроизведения в информацию воспроизведения.Then, the
Сгенерированная информация воспроизведения передается на блок 900 воспроизведения через блок 1050 преобразования области.The generated reproducing information is transmitted to the reproducing
На фиг.20 показана блок-схема третьего способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.20 is a flowchart of a third method for generating playback filter information in a spatial information conversion unit according to one embodiment of the present invention.
Третий способ аналогичен первому или второму способу в том отношении, что блок 1000 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области, и в том отношении, что блок 1020 генерации частичной информации воспроизведения включает в себя по меньшей мере один блок генерации частичной информации воспроизведения.The third method is similar to the first or second method in that the spatial
Согласно фиг.20 третий способ генерации информации воспроизведения отличается от первого или второго способа тем, что блок 1040 обработки располагается после блока 1010 отображения источника. Таким образом, интерполяцию и/или сглаживание можно осуществлять для каждого канала в отношении информации отображения источника, сгенерированной с использованием пространственной информации на блоке 1010 отображения источника.According to FIG. 20, the third method of generating playback information is different from the first or second method in that the
Затем блок 1020 генерации частичной информации воспроизведения генерирует частичную информацию воспроизведения с использованием интерполированной и/или сглаженной информации отображения источника и информации фильтра.Then, the partial reproducing
Частичная информация воспроизведения интегрируется в информацию воспроизведения на блоке 1030 интегрирования. Наконец, сгенерированная информация воспроизведения передается на блок 900 воспроизведения через блок 1050 преобразования области.Partial playback information is integrated into the playback information on the
На фиг.21 показана схема, поясняющая способ генерации сигнала окружения на блоке воспроизведения согласно одному варианту осуществления настоящего изобретения. На фиг.21 показан процесс воспроизведения, выполняемый в области ДПФ. Однако процесс воспроизведения можно аналогичным образом реализовать в другой области. На фиг.21 показан случай, когда входной сигнал является монофоническим смешанным с уменьшением числа каналов сигналом. Однако фиг.21 в той же степени применима к другим входным каналам, включающим в себя стереофонический смешанный с уменьшением числа каналов сигнал и т.п.21 is a diagram for explaining a method for generating an surround signal on a reproducing unit according to one embodiment of the present invention. On Fig shows the reproduction process performed in the field of DFT. However, the reproduction process can similarly be implemented in another area. On Fig shows the case when the input signal is monophonic mixed with a decrease in the number of channels of the signal. However, FIG. 21 is equally applicable to other input channels including a stereo signal mixed with decreasing number of channels, and the like.
Согласно фиг.21 монофонический смешанный с уменьшением числа каналов сигнал во временной области предпочтительно подвергается вырезанию посредством окна, имеющему интервал перекрытия OL, в блоке преобразования области. На фиг.21 показан случай использования 50% перекрытия. Однако настоящее изобретение включает в себя случаи использования других значений перекрытия.According to Fig.21 monophonic mixed with a decrease in the number of channels, the signal in the time domain is preferably cut by a window having an overlap interval OL, in the block conversion region. On Fig shows the case of using 50% overlap. However, the present invention includes uses of other overlap values.
В качестве функции вырезания посредством окна для существующего вырезания можно использовать функцию, имеющую хорошую частотную избирательность в области ДПФ, благодаря «бесшовному» соединению без нарушений непрерывности во временной области. Например, в качестве вырезающей посредством окна функции можно использовать вырезающую функцию в форме квадрата синуса.As a function of cutting through a window for existing cutting, you can use a function that has good frequency selectivity in the DFT region, due to a "seamless" connection without disruption in the time domain. For example, as a window-cutting function, a cutting function in the form of a square of a sine can be used.
Затем, нулевое заполнение ZL длины язычка характеристики [точнее, (длина язычка характеристики) -1] фильтра воспроизведения с использованием информации воспроизведения, преобразованной в блоке преобразования области, осуществляется в отношении монофонического смешанного с уменьшением числа каналов сигнала, имеющего длину OL*2, полученную путем вырезания. Затем осуществляется преобразование области в область ДПФ. На фиг.21 показано, что смешанный с уменьшением числа каналов сигнал блока k преобразуется в область ДПФ.Then, the zero filling ZL of the length of the tongue of the characteristic [more precisely, (length of the tongue of the characteristic) -1] of the playback filter using the playback information converted in the area conversion unit is performed with respect to a monophonic signal with a decreasing number of channels having a length OL * 2 obtained by cutting out. Then, the region is transformed into the DFT region. On Fig shows that mixed with a decrease in the number of channels, the signal of the block k is converted to the DFT region.
Смешанный с уменьшением числа каналов сигнал, преобразованный в другую область, воспроизводится фильтром воспроизведения, который использует информацию воспроизведения. Процесс воспроизведения можно представить как произведение смешанного с уменьшением числа каналов сигнала и информации воспроизведения. Воспроизведенный смешанный с уменьшением числа каналов сигнал подвергается ОДПФ (обратному дискретному преобразованию Фурье) на блоке обратного преобразования области, после чего перекрывается смешанным с уменьшением числа каналов сигналом (блок k-1 на фиг.21), в который предварительно внесена задержка длиной OL для генерации сигнала окружения.Mixed with a decrease in the number of channels, the signal converted to another region is reproduced by a playback filter that uses the playback information. The reproduction process can be represented as the product of a mixture mixed with a decrease in the number of signal channels and reproduction information. The reproduced signal mixed with a decrease in the number of channels is subjected to a DFT (inverse discrete Fourier transform) on the inverse domain transform block, after which it is blocked by a signal mixed with a decrease in the number of channels (block k-1 in Fig. 21), into which a delay of length OL to generate environment signal.
Интерполяцию можно осуществлять на каждом блоке, претерпевающем процесс воспроизведения. Способ интерполяции описан ниже.Interpolation can be performed on each block undergoing a reproduction process. The interpolation method is described below.
На фиг.22 показана схема первого способа интерполяции согласно одному варианту осуществления настоящего изобретения. Интерполяция согласно настоящему изобретению может выполняться в разных позициях. Например, интерполяция может выполняться в разных позициях в блоке преобразования пространственной информации показанном на фиг.18-20, или может выполняться на блоке воспроизведения. В качестве интерполируемых значений можно использовать пространственную информацию, информацию отображения источника, информацию фильтра и т.п. В описании изобретения рассмотрен пример пространственной информации. Тем не менее, настоящее изобретение не ограничивается пространственной информацией. Интерполяция выполняется после расширения до более широкой полосы или совместно с ним.22 is a diagram of a first interpolation method according to one embodiment of the present invention. Interpolation according to the present invention can be performed in different positions. For example, interpolation may be performed at different positions in the spatial information conversion unit shown in FIGS. 18-20, or may be performed on the playback unit. As the interpolated values, spatial information, source mapping information, filter information, and the like can be used. In the description of the invention, an example of spatial information is considered. However, the present invention is not limited to spatial information. Interpolation is performed after expansion to a wider band or together with it.
Согласно фиг.22 пространственная информация, передаваемая с устройства кодирования, может передаваться из случайной позиции, а не передаваться в каждом временном интервале. Один пространственный кадр способен нести множество наборов пространственной информации (например, наборы параметров n и n+1 на фиг.22). В случае низкой скорости передачи битов один пространственный кадр способен нести единичный новый набор пространственной информации. Таким образом, интерполяция осуществляется на не переданном временном интервале с использованием значений соседнего переданного набора пространственной информации. Интервал между окнами для существующего воспроизведения не всегда совпадает с временным интервалом. Таким образом, можно найти интерполированное значение в центре окон (K-1, K, K+1, K+2 и т.д.) воспроизведения для использования, как показано на фиг.22. Хотя на фиг.22 показано, что между временными интервалами, где существует набор пространственной информации, осуществляется линейная интерполяция, настоящее изобретение не ограничивается способом интерполяции. Например, интерполяция не осуществляется на временном интервале, где набор пространственной информации не существует. Вместо этого можно использовать предыдущее или заранее заданное значение.22, spatial information transmitted from an encoding device may be transmitted from a random position, rather than transmitted at each time slot. One spatial frame is capable of carrying multiple sets of spatial information (for example, sets of parameters n and n + 1 in FIG. 22). In the case of a low bit rate, one spatial frame is capable of carrying a single new set of spatial information. Thus, the interpolation is performed on a non-transmitted time interval using the values of the adjacent transmitted set of spatial information. The interval between windows for existing playback does not always coincide with the time interval. Thus, it is possible to find the interpolated value in the center of the windows (K-1, K, K + 1, K + 2, etc.) of the reproduction for use, as shown in FIG. Although FIG. 22 shows that between time intervals where a set of spatial information exists, linear interpolation is performed, the present invention is not limited to the interpolation method. For example, interpolation is not performed on a time interval where a set of spatial information does not exist. Instead, you can use the previous or predefined value.
На фиг.23 показана схема второго способа интерполяции согласно одному варианту осуществления настоящего изобретения.23 is a diagram of a second interpolation method according to one embodiment of the present invention.
Согласно фиг.23 второй способ интерполяции согласно одному варианту осуществления настоящего изобретения имеет структуру, в которой интервал, использующий предыдущее значение, интервал, использующий заранее заданное значение по умолчанию и т.п., объединяются. Например, интерполяцию можно осуществлять с использованием по меньшей мере одного из способа поддержания предыдущего значения, способа использования заранее заданного значения по умолчанию и способа существующей линейной интерполяции в интервале одного пространственного кадра. В случае, когда по меньшей мере в одном окне существует два новых набора пространственной информации, может иметь место искажение. В нижеследующем описании описана блочная коммутация для предотвращения искажения.23, a second interpolation method according to one embodiment of the present invention has a structure in which an interval using a previous value, an interval using a predetermined default value, and the like are combined. For example, interpolation may be performed using at least one of a method of maintaining a previous value, a method of using a predetermined default value, and a method of existing linear interpolation in the interval of one spatial frame. In the case where at least one window contains two new sets of spatial information, distortion may occur. The following description describes block switching to prevent distortion.
На фиг.24 показана схема способа блочной коммутации согласно одному варианту осуществления настоящего изобретения.24 is a flowchart of a block switching method according to one embodiment of the present invention.
Согласно варианту (a), показанному на фиг.24, поскольку длина окна больше длины временного интервала, по меньшей мере два набора пространственной информации (например, наборы параметров n и n+1 на фиг.24) могут существовать в интервале одного окна. В этом случае разные наборы пространственной информации должны применяться к разным временным интервалам. Однако, если применяется одно значение, полученное путем интерполяции по меньшей мере двух наборов пространственной информации, может иметь место искажение. В частности, может иметь место искажение, связанное со снижением разрешения по времени согласно длине окна.According to embodiment (a) shown in FIG. 24, since the window is longer than the length of the time interval, at least two sets of spatial information (for example, parameter sets n and n + 1 in FIG. 24) can exist in the interval of one window. In this case, different sets of spatial information should be applied to different time intervals. However, if a single value is obtained obtained by interpolating at least two sets of spatial information, distortion may occur. In particular, there may be distortion associated with a decrease in time resolution according to the length of the window.
Для решения этой проблемы можно использовать способ коммутации, предусматривающий изменение размера окна в соответствии с разрешением временного интервала. Например, размер окна, согласно варианту (b) на фиг.24, можно переключать на укороченное окно для интервала, требующего высокое разрешение. В этом случае на начальном и конечном участках переключаемых окон используются соединяющие окна для предотвращения возникновения «швов» во временной области между переключаемыми окнами.To solve this problem, you can use the switching method, which involves resizing the window in accordance with the resolution of the time interval. For example, the window size, according to option (b) in FIG. 24, can be switched to a shorter window for an interval requiring high resolution. In this case, connecting windows are used at the initial and final sections of the switchable windows to prevent “seams” in the time domain between the switchable windows.
Длину окна можно определять с использованием пространственной информации в устройстве декодирования вместо того, чтобы передавать ее как отдельную дополнительную информацию. Например, длину окна можно определить с использованием размера временного интервала для обновления пространственной информации. В частности, если интервал для обновления пространственной информации узок, используется вырезающая функция малой длины. Если интервал для обновления пространственной информации широк, используется вырезающая функция большой длины. В этом случае использование окна переменной длины при воспроизведении позволяет не использовать биты для отдельной передачи информации длины окна. Два типа длины окна показаны в варианте (b) на фиг.24. Однако окна, имеющие разные длины, можно использовать согласно частоте передачи и соотношениям пространственной информации. Определяемая информация длины окна применима к различным этапам для генерации сигнала окружения, что объясняется в нижеследующем описании.The window length can be determined using spatial information in the decoding device instead of transmitting it as separate additional information. For example, the window length can be determined using the size of the time interval for updating spatial information. In particular, if the interval for updating spatial information is narrow, a cutting function of small length is used. If the interval for updating spatial information is wide, a large length cutting function is used. In this case, the use of a variable-length window during playback eliminates the need for bits to separately transmit window-length information. Two types of window lengths are shown in embodiment (b) in FIG. However, windows having different lengths can be used according to the transmission frequency and spatial information ratios. The determined window length information is applicable to various steps for generating an environment signal, which is explained in the following description.
На фиг.25 показана блок-схема позиции, к которой применяется длина окна, определенная блоком определения длины окна, согласно одному варианту осуществления настоящего изобретения.25 is a block diagram of a position to which a window length determined by a window length determination unit according to one embodiment of the present invention is applied.
Согласно фиг.25 блок 1400 определения длины окна способен определять длину окна с использованием пространственной информации. Информация определяемой длины окна применима к блоку 1010 отображения источника, блоку 1030 интегрирования, блоку 1040 обработки, блокам 1050 и 1100 преобразования области и блоку 1300 обратного преобразования области. На фиг.25 показан случай использования стереофонического смешанного с уменьшением числа каналов сигнала. Тем не менее, настоящее изобретение не ограничивается исключительно стереофоническим смешанным с уменьшением числа каналов сигналом. Как указано в предыдущем описании, даже при сокращении длины окна, длина нулевого заполнения, определяемая согласно длине язычка характеристики фильтра, не регулируется. Решение проблемы объясняется в нижеследующем описании.25, a window length determination unit 1400 is able to determine a window length using spatial information. The determined window length information is applicable to the
На фиг.26 показана схема фильтров, имеющих разные длины, используемых при обработке аудиосигнала, согласно одному варианту осуществления настоящего изобретения. Как указано в предыдущем описании, если длина нулевого заполнения, определяемая согласно длине язычка характеристики фильтра, не регулируется, перекрытие, достигающее соответствующей длины, по существу, приводит к снижению разрешения по времени. Решение проблемы состоит в уменьшении длины нулевого заполнения путем ограничения длины язычка характеристики фильтра. Способ уменьшения длины нулевого заполнения можно осуществлять отсечением задней части характеристики (например, интервала рассеяния, соответствующего реверберации). В этом случае процесс воспроизведения может быть менее точным, чем в случае отсутствия отсечения задней части характеристики фильтра. Однако значения коэффициента фильтра во временной области очень малы, чтобы сильно влиять на реверберацию. Поэтому отсечение незначительно влияет на качество звука.FIG. 26 is a diagram of filters having different lengths used in processing an audio signal, according to one embodiment of the present invention. As indicated in the previous description, if the length of the zero fill, determined according to the length of the tongue of the filter characteristic, is not adjustable, the overlap reaching the corresponding length essentially leads to a decrease in time resolution. The solution to this problem is to reduce the length of the zero fill by limiting the length of the tongue of the filter characteristic. A method of reducing the length of the zero fill can be done by cutting off the back of the characteristic (for example, the scattering interval corresponding to the reverb). In this case, the reproduction process may be less accurate than if there is no clipping of the back of the filter characteristic. However, the values of the filter coefficient in the time domain are very small in order to greatly affect the reverb. Therefore, clipping slightly affects the sound quality.
Согласно фиг.26 используются четыре типа фильтров. Четыре типа фильтров используются в области ДПФ, что не налагает ограничение на настоящее изобретение.26, four types of filters are used. Four types of filters are used in the field of DFT, which does not impose a limitation on the present invention.
Фильтр-N1 указывает фильтр, имеющий большую длину фильтра FL и длину 2*OL длинного нулевого заполнения, причем длина язычка характеристики фильтра не ограничена. Фильтр-N2 указывает фильтр, имеющий длину нулевого заполнения 2*OL′, меньшую, чем у фильтра-N1, за счет ограничения длины язычка характеристики фильтра при той же длине фильтра FL. Фильтр-N3 указывает фильтр, имеющий большую длину нулевого заполнения 2*OL, за счет отсутствия ограничения по длине язычка характеристики фильтра при длине фильтра FL′, более короткой, чем у фильтра-N1. Наконец, фильтр-N4 указывает фильтр, имеющий длину окна FL′, меньшую, чем у фильтра-N1, и короткую длину нулевого заполнения 2*OL′ за счет ограничения длины язычка в характеристике фильтра.Filter-N1 indicates a filter having a long filter length FL and a length of 2 * OL of long zero fill, and the length of the filter characteristic tongue is not limited. Filter-N2 indicates a filter having a zero fill length of 2 * OL ′ less than that of filter-N1, by limiting the length of the tab of the filter characteristic for the same filter length FL. Filter-N3 indicates a filter having a large zero fill length of 2 * OL, due to the absence of a restriction on the length of the tongue of the filter characteristic when the filter length FL ′ is shorter than that of filter-N1. Finally, filter-N4 indicates a filter having a window length FL ′ shorter than that of filter-N1 and a short zero fill length of 2 * OL ′ by limiting the length of the tongue in the filter characteristic.
Как указано в предыдущем описании, можно решить проблему разрешения по времени с использованием вышеупомянутых четырех иллюстративных видов фильтров. Таким образом, для задней части характеристики фильтра разные коэффициенты фильтра пригодны для разных областей.As indicated in the previous description, it is possible to solve the problem of time resolution using the above four illustrative types of filters. Thus, for the back of the filter characteristic, different filter coefficients are suitable for different areas.
На фиг.27 показана схема способа раздельной обработки аудиосигнала с использованием множества подфильтров согласно одному варианту осуществления настоящего изобретения, один фильтр можно разделить на подфильтры, имеющие коэффициенты фильтра, отличающиеся друг от друга. После обработки аудиосигнала с использованием подфильтров можно использовать способ сложения результатов обработки. В случае применения пространственной информации к задней части характеристики фильтра, имеющей малую энергию, т.е. в случае осуществления воспроизведения с использованием фильтра с длинным язычком характеристики фильтра, способ предусматривает функцию для обработки посредством деления аудиосигнала на заранее определенную единицу длины. Например, поскольку задняя часть характеристики фильтра несущественно зависит от HRTF, соответствующей каждому каналу, можно осуществлять воспроизведение, извлекая коэффициент, общий для множества окон. В настоящем описании изобретения описан случай выполнения в области ДПФ. Тем не менее, настоящее изобретение не ограничивается областью ДПФ.On Fig shows a diagram of a method for separately processing an audio signal using multiple subfilters according to one embodiment of the present invention, one filter can be divided into subfilters having filter coefficients that are different from each other. After processing the audio signal using subfilters, you can use the method of adding the processing results. When spatial information is applied to the back of a low energy filter characteristic, i.e. in the case of playback using a filter with a long tongue filter characteristics, the method provides a function for processing by dividing the audio signal by a predetermined unit of length. For example, since the back of the filter characteristic is not significantly dependent on the HRTF corresponding to each channel, it is possible to reproduce by extracting a coefficient common to many windows. In the present description of the invention describes a case of execution in the field of DFT. However, the present invention is not limited to the field of DFT.
Согласно фиг.27, после разделения одной FL фильтра на множество подобластей, множество подобластей можно обрабатывать множеством подфильтров (фильтром-A и фильтром-B), имеющим коэффициенты фильтра, отличающиеся друг от друга.According to FIG. 27, after dividing one FL filter into a plurality of subdomains, the plurality of subdomains can be processed by a plurality of subfilters (filter-A and filter-B) having filter coefficients different from each other.
Затем выходной сигнал, обрабатываемый фильтром-A, и выходной сигнал, обрабатываемый фильтром-B, объединяются друг с другом. Например, ОДПФ (обратное дискретное преобразование Фурье) осуществляется в отношении каждого из выходного сигнала, обрабатываемого фильтром-A и выходного сигнала, обрабатываемого фильтром-B, для генерации сигнала, выраженного во временной области. Затем сгенерированные сигналы суммируются. В этом случае позиция, в которой прибавляется выходной сигнал, обрабатываемый фильтром-B, смещена по времени на FL′ относительно позиции выходного сигнала, обрабатываемого фильтром-A. Таким образом, обработка сигнала множеством подфильтров приводит к тому же результату, что и обработка сигнала одним фильтром.Then, the output signal processed by the filter-A and the output signal processed by the filter-B are combined with each other. For example, a DFT (Discrete Inverse Fourier Transform) is performed on each of the output signal processed by the filter-A and the output signal processed by the filter-B to generate a signal expressed in the time domain. Then, the generated signals are summed. In this case, the position at which the output signal processed by filter-B is added is time shifted by FL ′ relative to the position of the output signal processed by filter-A. Thus, processing a signal with multiple subfilters leads to the same result as processing a signal with a single filter.
Кроме того, настоящее изобретение включает в себя способ воспроизведения выходного сигнала, обрабатываемый фильтром-B, непосредственно в смешанный с уменьшением числа каналов сигнал. В этом случае возможно воспроизведение выходного сигнала в смешанный с уменьшением числа каналов сигнал с использованием извлечения коэффициентов из пространственной информации, частичного использования пространственной информации или без использования пространственной информации.In addition, the present invention includes a method of reproducing an output signal processed by filter-B directly into a signal mixed with a decrease in the number of channels. In this case, it is possible to reproduce the output signal into a signal mixed with a decrease in the number of channels using the extraction of coefficients from spatial information, partial use of spatial information or without using spatial information.
Способ отличается тем, что фильтр, имеющий большую длину язычка характеристики, можно применять раздельно, и что хвостовая часть фильтра, имеющая малую энергию, применима без преобразования с использованием пространственной информации. В этом случае, если преобразование с использованием пространственной информации не применяется, другой фильтр не применяется к каждому окну обработки. Поэтому не обязательно применять такую схему, как блочная коммутация. На фиг.27 показано, что фильтр делится на две области. Однако настоящее изобретение способно делить фильтр на множество областей.The method is characterized in that the filter having a large length of the characteristic tongue can be used separately, and that the tail part of the filter having low energy is applicable without conversion using spatial information. In this case, if the transformation using spatial information is not applied, another filter is not applied to each processing window. Therefore, it is not necessary to apply such a scheme as block switching. On Fig shows that the filter is divided into two areas. However, the present invention is able to divide the filter into many areas.
На фиг.28 показана блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в монофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения. На фиг.28 показан один коэффициент воспроизведения. Способ может выполняться для каждого коэффициента воспроизведения.FIG. 28 shows a flowchart of a method for reproducing section reproduction information generated by a plurality of subfilters into a monophonic signal with a reduced number of channels, according to one embodiment of the present invention. On Fig shows one reproduction rate. The method may be performed for each reproduction rate.
Согласно фиг.28 информация фильтра-A, показанная на фиг.27, соответствует информации воспроизведения первого раздела HM_L_A, и информация фильтра-B, показанная на фиг.27, соответствует информации воспроизведения второго раздела HM_L_B. На фиг.28 показан вариант осуществления деления на два подфильтра. Тем не менее, настоящее изобретение не ограничивается двумя подфильтрами. Два подфильтра можно получать через блок 1500 разделения, используя информацию воспроизведения HM_L, генерируемую на блоке 1000 генерации пространственной информации. Альтернативно, два подфильтра можно получать с использованием информации-прототипа HRTF или информации, определенной согласно выбору пользователя. Информация, определенная согласно выбору пользователя, может включать в себя пространственную информацию, выбранную, например, по вкусу пользователя. В этом случае HM_L_A - это информация воспроизведения, основанная на принятой пространственной информации, и HM_L_B может представлять собой информацию воспроизведения для обеспечения трехмерного эффекта, применяемого ко всем сигналам.According to FIG. 28, filter-A information shown in FIG. 27 corresponds to the playback information of the first section HM_L_A, and filter-B information shown in FIG. 27 corresponds to the playback information of the second section HM_L_B. On Fig shows an embodiment of the division into two subfilters. However, the present invention is not limited to two subfilters. Two subfilters can be obtained through the
Как указано в предыдущем описании, обработку множеством подфильтров можно осуществлять во временной области и в области КЗФ, а также в области ДПФ. В частности, значения коэффициентов, разделенные на фильтр-A и фильтр-B, применяются к смешанному с уменьшением числа каналов сигналу посредством воспроизведения во временной области или в области КЗФ, после чего суммируются для генерации окончательного сигнала.As indicated in the previous description, the processing of multiple subfilters can be performed in the time domain and in the KZF region, as well as in the DFT region. In particular, the coefficient values divided by filter-A and filter-B are applied to a signal mixed with a decrease in the number of channels by means of reproduction in the time domain or in the KZF domain, after which they are summed to generate the final signal.
Блок 900 воспроизведения включает в себя блок 950 воспроизведения первого раздела и блок 960 воспроизведения второго раздела. Блок 950 воспроизведения первого раздела осуществляет процесс воспроизведения с использованием HM_L_A, а блок 960 воспроизведения второго раздела осуществляет процесс воспроизведения с использованием HM_L_B.The reproducing
Если фильтр-A и фильтр-B, показанные на фиг.27, получены путем разделения одного и того же фильтра во временной области, можно предусмотреть надлежащую задержку, соответствующую интервалу времени. На фиг.28 показан пример монофонического смешанного с уменьшением числа каналов сигнала. В случае использования монофонического смешанного с уменьшением числа каналов сигнала и декоррелятора, часть, соответствующая фильтру-B, применяется не к декоррелятору, а напрямую к монофоническому смешанному с уменьшением числа каналов сигналу.If filter A and filter B shown in FIG. 27 are obtained by dividing the same filter in the time domain, an appropriate delay corresponding to the time interval can be provided. On Fig shows an example of a monophonic mixed with a decrease in the number of channels of the signal. In the case of using a monophonic signal mixed with a decrease in the number of signal channels and a decorrelator, the part corresponding to filter-B is not applied to the decorrelator, but directly to a monophonic signal mixed with a decrease in the number of channels.
На фиг.29 показана блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в стереофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения.FIG. 29 is a flowchart of a method for reproducing section reproduction information generated by a plurality of subfilters into a stereo mixed with decreasing channel number signal according to one embodiment of the present invention.
Процесс воспроизведения разделов, показанный на фиг.29, аналогичен показанному на фиг.28 в том отношении, что два подфильтра получаются в блоке 1500 разделения с использованием информации воспроизведения, генерируемой блоком 1000 преобразования пространственной информации, прототипа информации-прототипа фильтра HRTF или информации предпочтения пользователя. Отличие от фиг.28 состоит в том, что процесс воспроизведения раздела, соответствующего фильтру-B, совместно применяется к сигналам левого/правого каналов.The section reproducing process shown in FIG. 29 is similar to that shown in FIG. 28 in that two subfilters are obtained in the
В частности, блок 1500 разделения генерирует информацию воспроизведения первого раздела, соответствующую информации фильтра-A, информацию воспроизведения второго раздела и информацию воспроизведения третьего раздела, соответствующую информации фильтра-B. В этом случае информацию воспроизведения третьего раздела можно генерировать с использованием информации фильтра или пространственной информации совместно применимой к сигналам левого/правого каналов.In particular, the
Согласно фиг.29 блок 900 воспроизведения включает в себя блок 970 воспроизведения первого раздела, блок 980 воспроизведения второго раздела и блок 990 воспроизведения третьего раздела.29, a reproducing
Информация воспроизведения третьего раздела применяется к сумме сигналов левого и правого каналов на блоке 990 воспроизведения третьего раздела для генерации одного выходного сигнала. Выходной сигнал суммируется с выходными сигналами левого и правого каналов, которые независимо воспроизводятся фильтром-A1 и фильтром-A2 в блоках 970 и 980 воспроизведения первого и второго раздела, соответственно, для генерации сигналов окружения. В этом случае выходной сигнал блока 990 воспроизведения третьего раздела может прибавляться после надлежащей задержки. Согласно фиг.29 выражение информации перекрестного воспроизведения, применяемой к другому каналу из левого/правого входных сигналов, опущено для удобства описания.The playback information of the third section is applied to the sum of the signals of the left and right channels on
На фиг.30 показана блок-схема первого способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения. До сих пор мы рассматривали процесс воспроизведения, выполняемый в области ДПФ. Как указано в предыдущем описании, процесс воспроизведения можно осуществлять в других областях, а не только в области ДПФ. Однако на фиг.30 показан процесс воспроизведения, выполняемый в области ДПФ. Блок 1100 преобразования области включает в себя фильтр КЗФ и фильтр ДПФ. Блок 1300 обратного преобразования области включает в себя фильтр ОДПФ и фильтр ИКЗФ. На фиг.30 показан монофонический смешанный с уменьшением числа каналов сигнал, что не налагает ограничение на настоящее изобретение.FIG. 30 is a flowchart of a first method for converting a region of a signal mixed with decreasing channel number according to one embodiment of the present invention. So far, we have examined the reproduction process performed in the field of DFT. As indicated in the previous description, the reproduction process can be carried out in other areas, and not only in the field of DFT. However, FIG. 30 shows a reproduction process performed in the DFT region. The
Согласно фиг.30 смешанный с уменьшением числа каналов сигнал во временной области, состоящий из p выборок, проходит через фильтр КЗФ для генерации P выборок подполос (под-диапазонов). W выборок повторно собираются для каждой полосы. После осуществления вырезания на повторно собранных выборках осуществляется нулевое заполнение. Затем выполняется M-точечное ДПФ (БПФ). В этом случае ДПФ обеспечивает обработку посредством вырезания вышеупомянутого типа. Значение, соединяющее M/2 значений в частотной области для каждой полосы, полученные посредством M-точечного ДПФ, с P полосами, можно рассматривать как приближенное значение частотного спектра, полученного M/2*P-точечного ДПФ. Таким образом, коэффициент фильтра, представленный в области M/2*P-точечного ДПФ, умножается на частотный спектр для обеспечения того же эффекта процесса воспроизведения в области ДПФ.According to FIG. 30, a signal in the time domain, mixed with a decrease in the number of channels, consisting of p samples, passes through a KZF filter to generate P samples of subbands (subbands). W samples are reassembled for each strip. After cutting on reassembled samples, zero filling is performed. Then, an M-point DFT (FFT) is performed. In this case, the DFT provides processing by cutting the aforementioned type. The value connecting the M / 2 values in the frequency domain for each band obtained by the M-point DFT with the P bands can be considered as an approximate value of the frequency spectrum obtained by the M / 2 * P-point DFT. Thus, the filter coefficient presented in the M / 2 * P-point DFT region is multiplied by the frequency spectrum to provide the same effect of the reproduction process in the DFT region.
В этом случае сигнал, прошедший через фильтр КЗФ, испытывает утечку, например, обусловленную перекрытием между соседними полосами. В частности, значение, соответствующее соседней полосе, размывается в текущей полосе, и часть значения, существующего в текущей полосе, сдвигается в соседнюю полосу. В этом случае, если выполняется интегрирование КЗФ, исходный сигнал можно восстановить благодаря характеристикам КЗФ. Однако, если осуществляется процесс фильтрации на сигнале соответствующей полосы, как в случае настоящего изобретения, сигнал искажается вследствие утечки. Для минимизации этой проблемы можно добавить процесс восстановления исходного сигнала таким образом, чтобы сигнал проходил через «бабочку» B минимизации утечки до осуществления ДПФ для каждой полосы после КЗФ на блоке 1100 преобразования области и процесс получения обратного значения С после ОДПФ в блоке 1300 обратного преобразования области.In this case, the signal passing through the KZF filter experiences a leak, for example, due to overlap between adjacent bands. In particular, the value corresponding to the adjacent strip is blurred in the current strip, and part of the value existing in the current strip is shifted to the adjacent strip. In this case, if the integration of the SCF is performed, the original signal can be restored due to the characteristics of the SCF. However, if the filtering process is carried out on a signal of the corresponding band, as in the case of the present invention, the signal is distorted due to leakage. To minimize this problem, you can add the process of restoring the original signal so that the signal passes through the “butterfly” B to minimize leakage before performing the DFT for each band after the CFT on the
При этом для согласования процесса генерации информации воспроизведения, осуществляемого в блоке 1000 преобразования пространственной информации, с процессом генерации смешанного с уменьшением числа каналов сигнала, ДПФ можно осуществлять на сигнале, прошедшем через КЗФ, для информации-прототипа фильтра, а не существующее M/2*P-точечное ДПФ вначале. В этом случае могут существовать задержка и распределение данных благодаря фильтру КЗФ.At the same time, in order to coordinate the process of generating playback information carried out in the spatial
На фиг.31 показана блок-схема второго способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения. На фиг.31 показан процесс воспроизведения, осуществляемый в области КЗФ.FIG. 31 is a flowchart of a second method for converting a region of a signal mixed with decreasing channel number according to one embodiment of the present invention. On Fig shows the reproduction process carried out in the field of KZF.
Согласно фиг.31 блок 1100 преобразования области включает в себя блок преобразования области КЗФ, и блок 1300 обратного преобразования области включает в себя блок преобразования области ИКЗФ. Конфигурация, показанная на фиг.31, аналогична случаю использования только ДПФ за исключением того, что блок преобразования области является фильтром КЗФ. В нижеследующем описании считается, что КЗФ включает в себя КЗФ и смешанный КЗФ, имеющие одну и ту же ширину полосы. Отличие от случая использования только ДПФ заключается в том, что генерация информации воспроизведения осуществляется в области КЗФ и что процесс воспроизведения представлен сверткой, а не произведением в области ДПФ, поскольку процесс воспроизведения, осуществляемый блоком 900 воспроизведения, выполняется в области КЗФ.Referring to FIG. 31, a
Предполагая, что фильтр КЗФ имеет B полос, коэффициент фильтра можно представить в виде набора коэффициентов фильтра, имеющих разные особенности (коэффициенты) для B полос. В итоге, если длина язычка характеристики фильтра имеет первый порядок (т.е. умножается на константу), процесс воспроизведения в области ДПФ имеет B частотных спектров, и рабочий процесс согласуется. Формула 31 выражает процесс воспроизведения, выполняемый в одной полосе (b) КЗФ на одном тракте сигнала, для осуществления процесса воспроизведения с использованием информации воспроизведения HM_L.Assuming that the KZF filter has B bands, the filter coefficient can be represented as a set of filter coefficients having different features (coefficients) for B bands. As a result, if the length of the filter characteristic’s tongue is of the first order (i.e., multiplied by a constant), the reproduction process in the DFT region has B frequency spectra, and the workflow is consistent. Formula 31 expresses a reproduction process carried out in a single band (b) of a KZF on a single signal path for implementing a reproduction process using the reproduction information HM_L.
Формула 31Formula 31
В этом случае k указывает временной порядок полосы КЗФ, т.е. единицу временного интервала. Процесс воспроизведения, выполняемый в области КЗФ, имеет преимущество в том, что, если передаваемая пространственная информация является значением, применяемым в области КЗФ, применение соответствующих данных максимально облегчается, и что искажение в ходе применения можно минимизировать. Однако, в случае преобразования области КЗФ в процессе преобразования информации-прототипа фильтра (например, коэффициенте фильтра-прототипа), необходима значительная вычислительная нагрузка для процесса применения преобразованного значения. В этом случае вычислительную нагрузку можно минимизировать способом параметризации коэффициента HRTF в процессе преобразования информации фильтра.In this case, k indicates the time order of the KZF band, i.e. unit of time interval. The reproduction process performed in the field of KZF has the advantage that if the transmitted spatial information is a value applied in the field of KZF, the application of the corresponding data is facilitated as much as possible, and that distortion during application can be minimized. However, in the case of transforming the KZF domain in the process of converting the filter prototype information (for example, the filter prototype coefficient), a significant computational load is required for the process of applying the converted value. In this case, the computational load can be minimized by parameterizing the HRTF coefficient in the process of converting filter information.
Промышленное применениеIndustrial application
Соответственно, способ и устройство обработки сигнала согласно настоящему изобретению предусматривают использование пространственной информации, обеспечиваемой декодером для генерации сигналов окружения с использованием информации фильтра HRTF или информации фильтра согласно предпочтениям пользователя в устройстве декодирования, способном генерировать многоканальный сигнал. Настоящее изобретение применимо к разным видам декодеров, способных воспроизводить только стереосигналы.Accordingly, the signal processing method and apparatus of the present invention utilizes spatial information provided by a decoder to generate surround signals using HRTF filter information or filter information according to user preferences in a decoding apparatus capable of generating a multi-channel signal. The present invention is applicable to various types of decoders capable of reproducing only stereo signals.
Хотя настоящее изобретение описано и проиллюстрировано здесь со ссылкой на предпочтительные варианты его осуществления, специалисты в данной области техники могут предложить различные модификации и вариации, не выходящие за рамки сущности и объема изобретения. Таким образом, настоящее изобретение призвано охватывать всевозможные модификации и вариации, отвечающие объему прилагаемой формулы изобретения и ее эквивалентов.Although the present invention has been described and illustrated here with reference to preferred embodiments thereof, those skilled in the art can propose various modifications and variations without departing from the spirit and scope of the invention. Thus, the present invention is intended to cover all kinds of modifications and variations that correspond to the scope of the attached claims and their equivalents.
Claims (14)
генерируют информацию отображения источника, соответствующую каждому источнику из множественных источников посредством выполнения отображения источника, используя пространственную информацию, указывающую особенности между множественными источниками,
генерируют частичную информацию воспроизведения, соответствующую двум источникам, посредством применения информации фильтра для эффекта окружения к информации отображения источника,
генерируют информацию воспроизведения посредством интегрирования частичной информации воспроизведения, и
генерируют сигнал окружения, имеющий эффект окружения, посредством применения информации воспроизведения к сигналу понижающего микширования, сгенерированному посредством понижающего микширования множественных источников.1. A method of generating an environmental signal from a media signal, comprising the steps of:
generating source mapping information corresponding to each source from multiple sources by performing source mapping using spatial information indicating features between multiple sources,
generating partial playback information corresponding to the two sources by applying filter information for the environmental effect to the source display information,
generating reproduction information by integrating partial reproduction information, and
generating an surround signal having an environmental effect by applying playback information to a downmix signal generated by downmixing multiple sources.
блок отображения источника, генерирующий информацию отображения источника, соответствующую каждому источнику, для множественных источников посредством выполнения отображения источника, используя пространственную информацию, указывающую особенности между множественными источниками,
блок генерации частичной информации воспроизведения, генерирующий частичную информацию воспроизведения посредством применения информации фильтра для эффекта окружения к информации отображения источника,
блок интегрирования, генерирующий информацию воспроизведения, соответствующую двум источникам, посредством интегрирования, по меньшей мере, одной из частичной информации воспроизведения, и
блок воспроизведения, генерирующий сигнал окружения, имеющий эффект окружения, посредством применения информации воспроизведения к сигналу понижающего микширования, сгенерированному посредством понижающего микширования множественных источников.8. A device for generating an environmental signal from a media signal, comprising:
a source mapping unit generating source mapping information corresponding to each source for multiple sources by performing source mapping using spatial information indicating features between multiple sources,
a partial reproducing information generating unit generating partial reproducing information by applying filter information for an environmental effect to the source display information,
an integration unit generating playback information corresponding to the two sources by integrating at least one of the partial playback information, and
a reproducing unit generating an environment signal having an environment effect by applying reproduction information to a downmix signal generated by downmixing multiple sources.
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US75998006P | 2006-01-19 | 2006-01-19 | |
| US60/759,980 | 2006-01-19 | ||
| US77672406P | 2006-02-27 | 2006-02-27 | |
| US60/776,724 | 2006-02-27 | ||
| US77941706P | 2006-03-07 | 2006-03-07 | |
| US60/779,441 | 2006-03-07 | ||
| US60/779,442 | 2006-03-07 | ||
| US60/779,417 | 2006-03-07 | ||
| US78717206P | 2006-03-30 | 2006-03-30 | |
| US60/787,172 | 2006-03-30 | ||
| US60/787,516 | 2006-03-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2008133995A RU2008133995A (en) | 2010-02-27 |
| RU2395854C2 true RU2395854C2 (en) | 2010-07-27 |
Family
ID=42127516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2008133995/09A RU2395854C2 (en) | 2006-01-19 | 2007-01-19 | Media signal processing method and device |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2395854C2 (en) |
-
2007
- 2007-01-19 RU RU2008133995/09A patent/RU2395854C2/en active
Also Published As
| Publication number | Publication date |
|---|---|
| RU2008133995A (en) | 2010-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100953641B1 (en) | Method and apparatus for processing a media signal | |
| JP4519919B2 (en) | Multi-channel hierarchical audio coding using compact side information | |
| KR101010464B1 (en) | Generation of spatial downmixes from parametric representations of multi channel signals | |
| JP4988718B2 (en) | Audio signal decoding method and apparatus | |
| CN101185119B (en) | Method and apparatus for decoding an audio signal | |
| RU2395854C2 (en) | Media signal processing method and device |