RU2555237C2 - Устройство и способ для разложения входного сигнала с использованием понижающего микшера - Google Patents
Устройство и способ для разложения входного сигнала с использованием понижающего микшера Download PDFInfo
- Publication number
- RU2555237C2 RU2555237C2 RU2013131774/08A RU2013131774A RU2555237C2 RU 2555237 C2 RU2555237 C2 RU 2555237C2 RU 2013131774/08 A RU2013131774/08 A RU 2013131774/08A RU 2013131774 A RU2013131774 A RU 2013131774A RU 2555237 C2 RU2555237 C2 RU 2555237C2
- Authority
- RU
- Russia
- Prior art keywords
- signal
- frequency
- channels
- input
- input signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000004458 analytical method Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000001419 dependent effect Effects 0.000 claims description 42
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 12
- 230000005236 sound signal Effects 0.000 abstract description 7
- 239000000126 substance Substances 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 20
- 239000012634 fragment Substances 0.000 description 18
- 230000008447 perception Effects 0.000 description 18
- 238000001228 spectrum Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 210000005069 ears Anatomy 0.000 description 12
- 238000013459 approach Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000005303 weighing Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000009530 blood pressure measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 239000012925 reference material Substances 0.000 description 3
- 208000029523 Interstitial Lung disease Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000004132 cross linking Methods 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 210000000959 ear middle Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000005010 torso Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Amplifiers (AREA)
- Radar Systems Or Details Thereof (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
Изобретение относится к аудиообработке и, в частности, к разложению аудиосигналов на различные компоненты. Технический результат - повышение точности воспроизведения стереофонического звука. Для этого устройство для разложения входного сигнала, имеющего, по меньшей мере, три входных канала, содержит понижающий микшер для понижающего микширования входного сигнала, чтобы получать микшированный с понижением сигнал, имеющий меньшее число каналов, анализатор для анализа микшированного с понижением сигнала, чтобы выводить результат анализа, который перенаправляется в процессор сигналов для обработки входного сигнала или сигнала, выведенного из входного сигнала, чтобы получать разложенный сигнал. 3 н. и 12 н.п. ф-лы, 16 ил.
Description
Настоящее изобретение относится к аудиообработке и, в частности, к разложению аудиосигналов на различные компоненты, к примеру различные по восприятию компоненты.
Слуховая система человека воспринимает звук со всех направлений. Воспринимаемое слуховое (прилагательное "слуховой" обозначает то, что воспринимается, в то время как слово "звук" используется для того, чтобы описывать физические явления) окружение создает впечатление от акустических свойств окружающего пространства и возникающих звуковых событий. Слуховое впечатление, воспринимаемое в конкретном звуковом поле, может (по меньшей мере, частично) моделироваться с учетом трех различных типов сигналов на входах в уши: прямой звук, ранние отражения и рассеянные отражения. Эти сигналы способствуют формированию воспринимаемого слухового пространственного изображения.
Прямой звук обозначает волны каждого звукового события, которые первыми достигают слушателя непосредственно из источника звука без искажений. Это является характеристикой для источника звука и предоставляет наименее компрометируемую информацию относительно направления падения звукового события. Первичными метками для оценки направления источника звука в горизонтальной плоскости являются разности между входными сигналами в левое и правое ухо, а именно интерауральные разности времен (ITD) и интерауральные разности уровней (ILD). Затем множество отражений прямого звука поступают в уши из различных направлений и с различными относительными временными задержками и уровнями. С увеличением временной задержки, относительно прямого звука, плотность отражений возрастает до тех пор, пока они не составляют статистическую помеху.
Отраженный звук способствует восприятию расстояния и слуховому пространственному впечатлению, которое состоит, по меньшей мере, из двух компонентов: кажущаяся ширина источника (ASW) (другим общеупотребительным термином для ASW является объемность слышимости) и круговое охватывание слушателя (LEV). ASW задается как расширение кажущейся ширины источника звука и определяется главным образом посредством ранних латеральных отражений. LEV означает чувство охватывания звуком у слушателя и определяется главным образом посредством поздно поступающих отражений. Цель воспроизведения электроакустического стереофонического звука состоит в том, чтобы вызывать восприятие приятного слухового пространственного изображения. Это может иметь естественную или архитектурную природу (например, запись концерта в зале), либо это может быть звуковое поле, которое не является существующим в реальности (например, электроакустическая музыка).
Из области техники акустики концертных залов известно, что для того, чтобы получать субъективно приятное звуковое поле, важным является сильное чувство слухового пространственного впечатления, неотъемлемой частью которого является LEV. Интерес представляет способность компоновок громкоговорителей воспроизводить охватывающее звуковое поле посредством воспроизведения рассеянного звукового поля. В синтетическом звуковом поле невозможно воспроизводить все естественные отражения с использованием специализированных преобразователей. Это является, в частности, истинным для рассеянных поздних отражений. Свойства тактирования и уровней рассеянных отражений могут быть моделированы посредством использования "реверберированных" сигналов в качестве входных сигналов громкоговорителей. Если они достаточно декоррелированы, число и местоположение громкоговорителей, используемых для воспроизведения, определяет то, воспринимается или нет звуковое поле как рассеянное. Цель состоит в том, чтобы вызывать восприятие непрерывного, рассеянного звукового поля с использованием только дискретного числа преобразователей. Иными словами, создаются звуковые поля, где ни одно направление поступления звука не может быть оценено, и, в частности, не может быть локализован ни один преобразователь. Субъективная рассеянность синтетических звуковых полей может быть оценена в субъективных тестах.
Воспроизведение стереофонического звука нацелено на вызывание восприятия непрерывного звукового поля с использованием только дискретного числа преобразователей. Характеристиками, требуемыми в наибольшей степени, являются направленная устойчивость локализованных источников и реалистичное воспроизведение окружающего слухового окружения. Большая часть форматов, используемых сегодня для того, чтобы сохранять или транспортировать стереофонические записи, основана на канале. Каждый канал передает сигнал, который предназначен для воспроизведения по ассоциированному громкоговорителю в конкретной позиции. Конкретное слуховое изображение рассчитывается во время процесса записи или микширования. Это изображение точно воссоздается, если компоновка громкоговорителей, используемая для воспроизведения, напоминает целевую компоновку, для которой рассчитана запись.
Число подходящих каналов передачи и воспроизведения постоянно растет, и при появлении каждого нового формата звуковоспроизведения возникает потребность выполнять воспроизведение контента в традиционном формате в фактической системе воспроизведения. Алгоритмы повышающего микширования (с увеличением числа каналов) представляют собой решение для осуществления этой потребности за счет вычисления сигнала с большим числом каналов из традиционного сигнала. Ряд алгоритмов повышающего стереомикширования предложен в литературе, например, в работах Carlos Avendano и Jean-Marc Jot "A frequency-domain approach to multichannel upmix", Journal of the Audio Engineering Society, издание 52, № 7/8, стр. 740-749, 2004 год; Christof Faller "Multiple-loudspeaker playback of stereo signals", Journal of the Audio Engineering Society, издание 54, № 11, стр. 1051-1064, ноябрь 2006 года; John Usherand Jacob Benesty "Enhancement of spatial sound quality: A new reverberation-extraction audio upmixer", IEEE Transactions on Audio, Speech and Language Processing, издание 15, № 7, стр. 2141-2150, сентябрь 2007 года. Большинство этих алгоритмов основано на разложении на прямые/окружающие сигналы с последующим воспроизведением, адаптированным к целевой компоновке громкоговорителей.
Описанные разложения на прямые/окружающие сигналы не являются легко применимыми к многоканальным сигналам объемного звучания. Непросто сформулировать модель для сигналов и фильтрацию для того, чтобы получать из N аудиоканалов соответствующие N прямых звуковых и N окружающих звуковых каналов. Простая модель для сигналов, используемая в стереослучае (см., например, работу Christof Faller, "Multiple-loudspeaker playback of stereo signals", Journal of the Audio Engineering Society, издание 54, № 11, стр. 1051-1064, ноябрь 2006 года), при условии что прямой звук, который должен быть коррелирован между всеми каналами, не охватывает отношений разнесения между каналами, которые могут существовать между каналами сигналов объемного звучания.
Общая цель воспроизведения стереофонического звука состоит в том, чтобы вызывать восприятие непрерывного звукового поля с использованием только ограниченного числа каналов передачи и преобразователей. Два громкоговорителя являются минимальным требованием для пространственного воспроизведения звука. Современные потребительские системы зачастую предлагают большее число каналов воспроизведения. По существу, стереофонические сигналы (независимые от числа каналов) записываются или смешиваются таким образом, что для каждого источника прямой звук становится когерентным (=зависимым от) с числом каналов с конкретными направленными метками, и отраженные независимые звуки становятся числом каналов, определяющих метки для кажущейся ширины источника и кругового охватывания слушателя. Корректное восприятие целевого слухового изображения обычно является возможным только в идеальной точке наблюдения в компоновке для воспроизведения, для которой предназначена запись. Добавление дополнительных динамиков в данную компоновку громкоговорителей обычно обеспечивает более реалистичное восстановление/моделирование естественного звукового поля. Для того чтобы использовать в полной мере расширенную компоновку громкоговорителей, если входные сигналы предоставляются в другом формате, либо для того, чтобы обрабатывать различно воспринимаемые части входного сигнала, они должны быть отдельно доступными. Это подробное описание поясняет способ, чтобы разделять зависимые и независимые компоненты стереофонических записей, содержащих произвольное число нижеуказанных входных каналов.
Разложение аудиосигналов на различно воспринимаемые компоненты необходимо для высококачественной модификации сигналов, улучшения, адаптивного воспроизведения и перцепционного кодирования. Недавно предложен ряд способов, которые дают возможность обработки и/или извлечения различных по восприятию компонентов сигнала из двухканальных входных сигналов. Поскольку входные сигналы более чем с двумя каналами становятся все более распространенными, описанные обработки требуются также для многоканальных входных сигналов. Тем не менее, большинство принципов, описанных для двухканального входного сигнала, не могут быть легко переложены на работу с входными сигналами с произвольным числом каналов.
Если требуется выполнять анализ сигналов для прямых и окружающих частей, например, с помощью 5.1-канального сигнала объемного звучания, имеющего левый канал, центральный канал, правый канал, левый канал объемного звучания, правый канал объемного звучания и улучшение низких частот (сабвуфер), совсем не очевидно, как следует применять анализ прямых/окружающих сигналов. Можно вспомнить о сравнении каждой пары из шести каналов, приводящих к иерархической обработке, которая имеет, в конечном счете, до 15 различных операций сравнения. Затем, когда выполнены все из этих 15 операций сравнения, в которых каждый канал сравнивается с каждым другим каналом, следует определять то, как необходимо оценивать 15 результатов. Это отнимает много времени, результаты с трудом поддаются интерпретации и вследствие значительного объема ресурсов обработки не применимы, например, для вариантов применения для разделения на прямые/окружающие сигналы в реальном времени или, в общем, для разложений сигналов, которые могут быть, например, использованы в контексте повышающего микширования или любых других операций аудиообработки.
В работе M. M. Goodwin и J. M. Jot "Primary-ambient signal decomposition and vector-based localization for spatial audio coding and enhancement", в Proc. Of ICASSP 2007, 2007 год, анализ главных компонентов применяется к сигналам входного канала с тем, чтобы выполнять разложение на первичные (=прямые) и окружающие сигналы.
Модели, используемые в работах Christof Faller "Multiple-loudspeaker playback of stereo signals", Journal of the Audio Engineering Society, издание 54, № 11, стр. 1051-1064, ноябрь 2006 года, и C. Faller "A highly directive 2-capsule based microphone system", в Preprint 123rd Conv. Aud. Eng. Soc., октябрь 2007 года, предполагают декоррелированный или частично коррелированный рассеянный звук в стереосигналах и сигналах микрофонов соответственно. Они выводят фильтры для извлечения рассеянного/окружающего сигнала с учетом этого допущения. Эти подходы ограничены одно- и двухканальными аудиосигналами.
Дополнительным ссылочным материалом является C. Avendano и J.-M. Jot "A frequency-domain approach to multichannel upmix", Journal of the Audio Engineering Society, издание 52, № 7/8, стр. 740-749, 2004 год. Ссылочный материал M. M. Goodwin и J. M. Jot "Primary-ambient signal decomposition and vector-based localization for spatial audio coding and enhancement", в Proc. Of ICASSP 2007, 2007 год, содержит следующие комментарии по ссылочному материалу Avendano, Jot. Ссылочный материал предоставляет подход, который заключает в себе создание частотно-временной маски для того, чтобы извлекать окружающую часть из входного стереосигнала. Тем не менее, маска основана на взаимной корреляции между сигналами левого и правого каналов, так что этот подход не является сразу применимым к проблеме извлечения окружающей части из произвольного многоканального входного сигнала. Использование любого такого способа на основе корреляции для этого случая высшего порядка должно приводить к необходимости иерархического попарного корреляционного анализа, что влечет за собой значительные вычислительные затраты или некоторое альтернативное измерение многоканальной корреляции.
Пространственное воспроизведение на основе импульсной характеристики (SIRR) (работа Juha Merimaa и Ville Pulkki "Spatial impulse response rendering", в Proc. of the 7th Int. Conf. on Digital Audio Effects (DAFx'04), 2004 год) оценивает прямой звук с направлением и рассеянный звук в импульсных характеристиках в B-формате. Во многом аналогично SIRR, направленное кодирование аудио (DirAC) (работа Ville Pulkki "Spatial sound reproduction with directional audio coding", Journal of the Audio Engineering Society, издание 55, № 6, стр. 503-516, июнь 2007 года), реализует аналогичный анализ прямого и рассеянного звука для непрерывных аудиосигналов в B-формате.
Подход, представленный в работе Julia Jakka "Binaural to Multichannel Audio Upmix", Ph.D. thesis, Master's Thesis, Helsinki University of Technology, 2005 год, описывает повышающее микширование с использованием бинауральных сигналов в качестве входного сигнала.
Ссылочный материал Boaz Rafaely "Spatially Optimal Wiener Filtering in the Reverberant Sound Field", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2001, 21-24 октября 2001 года, New Paltz, Нью-Йорк, описывает выведение фильтров Винера, которые являются пространственно оптимальными для реверберирующих звуковых полей. Обеспечивается применение к подавлению шумов в компоновке с двумя микрофонами в реверберационных помещениях. Оптимальные фильтры, которые выведены из пространственной корреляции рассеянных звуковых полей, захватывают локальный характер звуковых полей и, следовательно, имеют низший порядок и потенциально большую пространственную надежность, чем традиционные адаптивные фильтры подавления шумов в реверберационных помещениях. Представляются формулы для неограниченных и причинно ограниченных оптимальных фильтров, и примерное применение к улучшению речи с двумя микрофонами демонстрируется с использованием компьютерного моделирования.
Цель настоящего изобретения заключается в том, чтобы предоставлять усовершенствованный принцип для разложения входного сигнала.
Эта цель достигается посредством устройства для разложения входного сигнала по п. 1, способа разложения входного сигнала по п. 14 или компьютерной программы по п. 15.
Настоящее изобретение основано на том факте, что для разложения многоканального сигнала преимущественным является подход с условием не выполнять анализ относительно различных компонентов сигнала для самого входного сигнала, т.е. для сигнала, имеющего, по меньшей мере, три входных канала. Вместо этого многоканальный входной сигнал, имеющий, по меньшей мере, три входных канала, обрабатывается посредством понижающего микшера для понижающего микширования входного сигнала, чтобы получать микшированный с понижением сигнал. Микшированный с понижением сигнал имеет число каналов понижающего микширования, которое меньше числа входных каналов и предпочтительно равняется двум. Затем выполняется анализ входного сигнала для микшированного с понижением сигнала, а не для самого входного сигнала, и анализ приводит к получению результата анализа. Тем не менее, этот результат анализа не применяется к микшированному с понижением сигналу, а применяется к входному сигналу или, альтернативно, к сигналу, выведенному из входного сигнала, причем этот сигнал, выведенный из входного сигнала, может быть сигналом повышающего микширования или, в зависимости от числа каналов входных сигналов, также сигналом понижающего микширования, но этот сигнал, выведенный из входного сигнала, должен отличаться от микшированного с понижением сигнала, для которого выполнен анализ. Когда, например, рассматривается случай, в котором входной сигнал является 5.1-канальным сигналом, то сигнал понижающего микширования, для которого выполняется анализ, может быть понижающим стереомикшированием, имеющим два канала. Результаты анализа затем применяются непосредственно к входному сигналу 5.1, к более высокому повышающему микшированию, такому как выходной сигнал 7.1, или к многоканальному понижающему микшированию входного сигнала, имеющего, например, только три канала, которые представляют собой левый канал, центральный канал и правый канал, когда под рукой только трехканальное устройство для воспроизведения аудио. Тем не менее, в любом случае сигнал, для которого применяются результаты анализа посредством процессора сигналов, отличается от микшированного с понижением сигнала, для которого выполнен анализ, и типично имеет больше каналов, чем микшированный с понижением сигнал, для которого выполняется анализ относительно компонентов сигнала.
Так называемый "косвенный" анализ/обработка является возможным вследствие того факта, что можно предположить, что любые компоненты сигнала в отдельных входных каналах также возникают в микшированных с понижением каналах, поскольку понижающее микширование типично состоит из суммирования входных каналов различными способами. Одно простое понижающее микширование, например, заключается в том, что отдельные входные каналы взвешиваются по мере необходимости посредством правила понижающего микширования или матрицы понижающего микширования и затем суммируются после взвешивания. Альтернативное понижающее микширование состоит из фильтрации входных каналов с помощью определенных фильтров, таких как HRTF-фильтры, и понижающее микширование выполняется посредством использования фильтрованных сигналов, т.е. сигналов, фильтруемых посредством HRTF-фильтров, как известно в данной области техники. Для пятиканального входного сигнала требуется 10 HRTF-фильтров, и выходные сигналы HRTF-фильтров для левой части/левого уха суммируются, а выходные сигналы HRTF-фильтров для фильтров правых каналов суммируются для правого уха. Альтернативные понижающие микширования могут применяться для того, чтобы уменьшать число каналов, которые должны быть обработаны в анализаторе сигналов.
Следовательно, варианты осуществления настоящего изобретения описывают новый принцип для того, чтобы извлекать различные по восприятию компоненты из произвольных входных сигналов, посредством рассмотрения анализируемого сигнала в то время, когда результат анализа применяется к входному сигналу. Такой анализируемый сигнал может быть получен, например, посредством рассмотрения модели распространения сигналов каналов или громкоговорителей в уши. Это частично обусловлено тем фактом, что слуховая система человека также использует исключительно два сенсора (левое и правое ухо) для того, чтобы оценивать звуковые поля. Таким образом, извлечение различных по восприятию компонентов, по существу, сводится к рассмотрению анализируемого сигнала, который обозначается далее как понижающее микширование. В этом документе термин "понижающее микширование" используется для любой предварительной обработки многоканального сигнала, приводящей в результате к анализируемому сигналу (она может включать в себя, например, модель распространения, HRTF, BRIR, простое понижающее микширование на основе перекрестных коэффициентов).
Зная формат предоставленного входного сигнала и требуемых характеристик сигнала, который должен быть извлечен, могут быть заданы идеальные межканальные взаимосвязи для микшированного с понижением формата, и по сути, анализ этого анализируемого сигнала является достаточным для того, чтобы формировать весовую маску (или несколько весовых масок) для разложения многоканальных сигналов.
В варианте осуществления, многоканальная проблема упрощается посредством использования понижающего стереомикширования сигнала объемного звучания и применения анализа прямых/окружающих сигналов к понижающему микшированию. На основе результата, т.е. кратковременных оценок спектров мощности прямых и окружающих звуков, фильтры выводятся для разложения N-канального сигнала на N прямых звуковых и N окружающих звуковых каналов.
Настоящее изобретение является выгодным вследствие того факта, что анализ сигналов применяется для меньшего числа каналов, что существенно сокращает требуемое время обработки, так что идея изобретения может быть применена даже в вариантах применения для повышающего микширования или понижающего микширования либо любой другой операции обработки сигналов в реальном времени, при которой требуются различные компоненты, к примеру различные по восприятию компоненты сигнала.
Дополнительный полезный эффект настоящего изобретения состоит в том, что хотя выполняется понижающее микширование, выяснено, что это не ухудшает обнаруживаемость различных по восприятию компонентов во входном сигнале. Другими словами, даже когда микшируются с понижением входные каналы, тем не менее, отдельные компоненты сигнала могут быть разделены в значительной степени. Кроме того, понижающее микширование работает как некоторый "сбор" всех компонентов сигналов всех входных каналов в двух каналах, и один анализ, применяемый для этих "собранных" микшированных с понижением сигналов, предоставляет уникальный результат, который не должен более интерпретироваться и может непосредственно использоваться для обработки сигналов.
В предпочтительном варианте осуществления конкретная эффективность в целях разложения сигналов достигается, когда анализ сигналов выполняется на основе заранее вычисленной частотно-зависимой кривой подобия в качестве эталонной кривой. Термин "подобие" включает в себя корреляцию и когерентность, при этом, в строгом математическом смысле, корреляция вычисляется между двумя сигналами без дополнительного сдвига по времени, и когерентность вычисляется посредством сдвига двух сигналов по времени/фазе, так что сигналы имеют максимальную корреляцию, и фактическая корреляция по частоте затем вычисляется с применяемым сдвигом по времени/фазе. В этом тексте считается, что подобие, корреляция и когерентность означают одно и то же, т.е. количественную степень подобия между двумя сигналами, к примеру, когда более высокое абсолютное значение подобия означает, что два сигнала являются в большей степени подобными, а более низкое абсолютное значение подобия означает, что два сигнала являются в меньшей степени подобными.
Показано, что использование такой корреляционной кривой в качестве эталонной кривой обеспечивает очень эффективно реализуемый анализ, поскольку кривая может использоваться для простых операций сравнения и/или вычислений весовых коэффициентов. Использование заранее вычисленной частотно-зависимой корреляционной кривой позволяет выполнять только простые вычисления, а не более сложные операции фильтрации Винера. Кроме того, применение частотно-зависимой корреляционной кривой является в известной степени выгодным вследствие того факта, что проблема разрешается не со статистической точки зрения, а разрешается более аналитическим способом, поскольку вводится максимально возможный объем информации из текущей компоновки с тем, чтобы получать решение проблемы. Дополнительно, гибкость этой процедуры является очень высокой, поскольку эталонная кривая может быть получена посредством множества различных способов. Один способ заключается в том, чтобы фактически измерять два или более сигнала в определенной компоновке и затем вычислять корреляционную кривую по частоте из измеренных сигналов. Следовательно, можно излучать независимые сигналы из различных динамиков или сигналы, имеющие определенную степень зависимости, которая является заранее известной.
Другая предпочтительная альтернатива заключается в том, чтобы просто вычислять корреляционную кривую в соответствии с допущением относительно независимых сигналов. В этом случае сигналы фактически вообще не являются обязательными, поскольку результат является независимым от сигнала.
Разложение сигналов с использованием эталонной кривой для анализа сигналов может применяться для стереообработки, т.е. для разложения стереосигнала. Альтернативно, эта процедура также может быть реализована с помощью понижающего микшера для разложения многоканальных сигналов. Альтернативно, эта процедура также может быть реализована для многоканальных сигналов без использования понижающего микшера, когда предусмотрена попарная оценка сигналов иерархическим способом.
Предпочтительные варианты осуществления настоящего изобретения описаны далее со ссылками на прилагаемые чертежи, на которых:
Фиг.1 является блок-схемой для иллюстрации устройства для разложения входного сигнала с использованием понижающего микшера;
Фиг.2 является блок-схемой, иллюстрирующей реализацию устройства для разложения сигнала, имеющего, по меньшей мере, три входных канала, с использованием анализатора с заранее вычисленной частотно-зависимой корреляционной кривой в соответствии с дополнительным аспектом изобретения;
Фиг.3 иллюстрирует дополнительную предпочтительную реализацию настоящего изобретения при обработке в частотной области для понижающего микширования, анализа и обработки сигналов;
Фиг.4 иллюстрирует примерную заранее вычисленную частотно-зависимую корреляционную кривую для эталонной кривой для анализа, указываемой на фиг.1 или фиг.2;
Фиг.5 иллюстрирует блок-схему, иллюстрирующую последующую обработку для того, чтобы извлекать независимые компоненты;
Фиг.6 иллюстрирует дополнительную реализацию блок-схемы для последующей обработки, в которой извлекаются независимые рассеянные, независимые прямые и прямые компоненты;
Фиг.7 иллюстрирует блок-схему, реализующую понижающий микшер в качестве формирователя анализируемых сигналов;
Фиг.8 иллюстрирует блок-схему последовательности операций способа для указания предпочтительного способа обработки в анализаторе сигналов по фиг.1 или фиг.2;
Фиг.9А-9Е иллюстрируют различные заранее вычисленные частотно-зависимые корреляционные кривые, которые могут быть использованы в качестве эталонных кривых для нескольких различных компоновок с различными числами и позициями источников звука (к примеру, громкоговорителей);
Фиг.10 иллюстрирует блок-схему для иллюстрации другого варианта осуществления для оценки рассеянности, в котором рассеянные компоненты являются компонентами, которые должны быть разложены; и
Фиг.11A и 11B иллюстрируют примерные уравнения для применения анализа сигналов без частотно-зависимой корреляционной кривой, но с базированием на подходе на основе фильтрации Винера.
Фиг.1 иллюстрирует устройство для разложения входного сигнала 10, имеющего, по меньшей мере, три входных канала или, в общем, N входных каналов. Эти входные каналы вводятся в понижающий микшер 12 для понижающего микширования входного сигнала, чтобы получать микшированный с понижением сигнал 14, при этом понижающий микшер 12 выполнен с возможностью понижающего микширования так, что число каналов понижающего микширования микшированного с понижением сигнала 14, которое указывается посредством "m", составляет, по меньшей мере, два и меньше числа входных каналов входного сигнала 10. m каналов понижающего микширования вводятся в анализатор 16 для анализа микшированного с понижением сигнала, чтобы выводить результат 18 анализа. Результат 18 анализа вводится в процессор 20 сигналов, причем процессор сигналов выполнен с возможностью обработки входного сигнала 10 или сигнала, выведенного из входного сигнала посредством модуля 22 выведения сигналов с использованием результата анализа, при этом процессор 20 сигналов выполнен с возможностью применения результатов анализа к входным каналам или к каналам сигнала 24, выведенного из входного сигнала, чтобы получать разложенный сигнал 26.
В варианте осуществления, проиллюстрированном на фиг.1, число входных каналов составляет n, число каналов понижающего микширования составляет m, число выведенных каналов составляет l и число выходных каналов равно l, когда выведенный сигнал, а не входной сигнал обрабатывается посредством процессора сигналов. Альтернативно, когда модуля 22 выведения сигналов не существует, то входной сигнал обрабатывается непосредственно процессором сигналов, и в таком случае число каналов разложенного сигнала 26, указываемое посредством "l" на фиг.1, равно n. Следовательно, фиг.1 иллюстрирует два различных примера. Один пример не имеет модуля 22 выведения сигналов, и входной сигнал непосредственно применяется к процессору 20 сигналов. Другой пример заключается в том, что реализуется модуль 22 выведения сигналов, и после этого выведенный сигнал 24, а не входной сигнал 10 обрабатывается посредством процессора 20 сигналов. Модуль выведения сигналов, например, может быть микшером аудиоканалов, таким как повышающий микшер для формирования дополнительных выходных каналов. В этом случае l должно превышать n. В другом варианте осуществления модуль выведения сигналов может быть другим аудиопроцессором, который выполняет взвешивание, задержку или какую-либо еще обработку для входных каналов, и в этом случае число выходных каналов l модуля 22 выведения сигналов должно быть равно числу n входных каналов. В дополнительной реализации модуль выведения сигналов может быть понижающим микшером, который уменьшает число каналов от входного сигнала до выведенного сигнала. В этой реализации предпочтительно, чтобы число l по-прежнему превышало число m микшированных с понижением каналов, чтобы иметь одно из преимуществ настоящего изобретения, т.е. то, что анализ сигналов применяется к меньшему числу канальных сигналов.
Анализатор выполнен с возможностью анализировать микшированный с понижением сигнал относительно различных по восприятию компонентов. Эти различные по восприятию компоненты могут быть независимыми компонентами в отдельных каналах, с одной стороны, и зависимыми компонентами, с другой стороны. Альтернативные компоненты сигнала, которые должны быть проанализированы посредством настоящего изобретения, являются прямыми компонентами, с одной стороны, и окружающими компонентами, с другой стороны. Существует множество других компонентов, которые могут отделяться посредством настоящего изобретения, таких как речевые компоненты от музыкальных компонентов, компоненты шума от речевых компонентов, компоненты шума от музыкальных компонентов, компоненты высокочастотного шума относительно компонентов низкочастотного шума, в сигналах с несколькими высотами тона, компоненты, предоставляемые посредством различных инструментов, и т.д. Это обусловлено тем фактом, что существуют мощные инструментальные средства анализа, такие как фильтрация Винера, как пояснено в контексте фиг.11A, 11B, или другие процедуры анализа, такие как использование частотно-зависимой корреляционной кривой, как пояснено в контексте, например, фиг.8 в соответствии с настоящим изобретением.
Фиг.2 иллюстрирует другой аспект, в котором анализатор реализуется для использования заранее вычисленной частотно-зависимой корреляционной кривой 16. Таким образом, устройство для разложения сигнала 28, имеющего множество каналов, содержит анализатор 16 для анализа корреляции между двумя каналами анализируемого сигнала, идентичного входному сигналу или связанного с входным сигналом, например, посредством операции понижающего микширования, как проиллюстрировано в контексте фиг.1. Анализируемый сигнал, проанализированный посредством анализатора 16, имеет, по меньшей мере, два анализируемых канала, и анализатор 16 выполнен с возможностью использования заранее вычисленной частотно-зависимой корреляционной кривой в качестве эталонной кривой для того, чтобы определять результат 18 анализа. Процессор 20 сигналов может работать аналогично тому, что пояснено в контексте фиг.1, и выполнен с возможностью обработки анализируемого сигнала или сигнала, выведенного из анализируемого сигнала посредством модуля 22 выведения сигналов, причем модуль 22 выведения сигналов может быть реализован аналогично тому, что пояснено в контексте модуля 22 выведения сигналов по фиг.1. Альтернативно, процессор сигналов может обрабатывать сигнал, из которого выведен анализируемый сигнал, и обработка сигналов использует результат анализа для того, чтобы получать разложенный сигнал. Следовательно, в варианте осуществления по фиг.2 входной сигнал может быть идентичным анализируемому сигналу, и в этом случае анализируемый сигнал также может быть стереосигналом, имеющим всего два канала, как проиллюстрировано на фиг.2. Альтернативно, анализируемый сигнал может быть выведен из входного сигнала посредством любого вида обработки, такой как понижающее микширование, как описано в контексте фиг.1, либо посредством любой другой обработки, такой как повышающее микширование и т.п. Дополнительно, процессор 20 сигналов может быть полезным с целью применять обработку сигналов к сигналу, идентичному сигналу, введенному в анализатор, или процессор сигналов может применять обработку сигналов к сигналу, из которого выведен анализируемый сигнал, к примеру, как указано в контексте фиг.1, или процессор сигналов может применять обработку сигналов к сигналу, который выведен из анализируемого сигнала, к примеру, посредством повышающего микширования и т.п.
Следовательно, для процессора сигналов существуют различные возможности, и все эти возможности являются выгодными вследствие уникальной операции анализатора с использованием заранее вычисленной частотно-зависимой корреляционной кривой в качестве эталонной кривой для того, чтобы определять результат анализа.
Далее поясняются дополнительные варианты осуществления. Следует отметить, что, как пояснено в контексте фиг.2, рассматривается даже использование двухканального анализируемого сигнала (без понижающего микширования). Следовательно, настоящее изобретение, как пояснено в различных аспектах в контексте фиг.1 и фиг.2, которые могут быть использованы совместно или в качестве отдельных аспектов, понижающее микширование может быть обработано посредством анализатора, либо двухканальный сигнал, который, вероятно, не сформирован посредством понижающего микширования, может быть обработан посредством анализатора сигналов с использованием заранее вычисленной эталонной кривой. В этом контексте следует отметить, что последующее описание аспектов реализации может применяться к обоим аспектам, схематично проиллюстрированным на фиг.1 и фиг.2, даже когда некоторые признаки описываются только для одного аспекта, а не для обоих. Если, например, рассматривается фиг.3, становится очевидным, что признаки частотной области по фиг.3 описываются в контексте аспекта, проиллюстрированного на фиг.1, но очевидно, что частотно-временное преобразование, как описано ниже относительно фиг.3, и обратное преобразование также может применяться к реализации на фиг.2, которая не имеет понижающего микшера, но которая имеет указанный анализатор, который использует заранее вычисленную частотно-зависимую корреляционную кривую.
В частности, частотно-временной преобразователь должен быть размещен с возможностью преобразовывать анализируемый сигнал до того, как анализируемый сигнал вводится в анализатор, и преобразователь частота/время должен быть размещен на выходе процессора сигналов, чтобы преобразовывать обработанный сигнал обратно во временную область. Когда имеется модуль выведения сигналов, частотно-временной преобразователь может быть размещен на входе модуля выведения сигналов, так что модуль выведения сигналов, анализатор и процессор сигналов работают в частотной/поддиапазонной области. В этом контексте, частота и поддиапазон частот по существу означают часть в частоте частотного представления.
Кроме того, очевидно, что анализатор на фиг.1 может быть реализован многими различными способами, но этот анализатор в одном варианте осуществления также реализуется в качестве анализатора, поясненного на фиг.2, т.е. в качестве анализатора, который использует заранее вычисленную частотно-зависимую корреляционную кривую в качестве альтернативы фильтрации Винера или любому другому аналитическому способу.
Вариант осуществления по фиг.3 применяет процедуру понижающего микширования к произвольному входному сигналу, чтобы получать двухканальное представление. Выполняется анализ в частотно-временной области, и вычисляются весовые маски, которые умножаются на частотно-временное представление входного сигнала, как проиллюстрировано на фиг.3.
На чертеже T/F обозначает частотно-временное преобразование; обычно кратковременное преобразование Фурье (STFT). iT/F обозначает соответствующее обратное преобразование. являются входными сигналами временной области, где n представляет собой временной индекс. обозначают коэффициенты частотного разложения, где представляет собой временной индекс разложения, а i представляет собой частотный индекс разложения. являются двумя каналами микшированного с понижением сигнала.
является вычисленным взвешиванием. являются взвешенными частотными разложениями каждого канала. Hij(i) являются коэффициентами понижающего микширования, которые могут быть действительнозначными или комплекснозначными, и коэффициенты могут быть постоянными во времени или зависимыми от времени. Следовательно, коэффициенты понижающего микширования могут быть просто константами либо фильтрами, такими как HRTF-фильтры, реверберационные фильтры или аналогичные фильтры.
На фиг.3 проиллюстрирован случай применения идентичного взвешивания ко всем каналам.
являются выходными сигналами временной области, содержащими извлеченные компоненты сигнала. (Входной сигнал может иметь произвольное число каналов (N), сформированных для произвольной целевой компоновки громкоговорителей для воспроизведения. Понижающее микширование может включать в себя HRTF, чтобы получать сигналы, поступающие в уши, моделирование фильтров слышимости и т.д. Понижающее микширование также может быть выполнено во временной области).
В варианте осуществления, вычисляется разность между эталонной корреляцией (В этом тексте, термин "корреляция" используется в качестве синонима для межканального подобия и в силу этого также может включать в себя оценки сдвигов по времени, для которых обычно используется термин "когерентность". Даже если оцениваются сдвиги во времени, результирующее значение может иметь знак. Обычно, когерентность задается как имеющая только положительные значения) в качестве функции от частоты () и фактической корреляцией микшированного с понижением входного сигнала (). В зависимости от отклонения фактической кривой от эталонной кривой, вычисляется весовой коэффициент для каждого частотно-временного фрагмента, указывающий то, содержит он зависимые или независимые компоненты. Полученное частотно-временное взвешивание указывает независимые компоненты и может уже применяться к каждому каналу входного сигнала, чтобы давать в результате многоканальный сигнал (число каналов равно числу входных каналов), включающий в себя независимые части, которые могут восприниматься как различные или рассеянные.
Эталонная кривая может быть задана различными способами.
Примерами являются:
- Идеальная теоретическая эталонная кривая для идеализированного двух- или трехмерного рассеянного звукового поля, состоящего из независимых компонентов.
- Идеальная кривая, достижимая при эталонной целевой компоновке громкоговорителей для данного входного сигнала (например, стандартной стереокомпоновке с азимутальными углами (±30°) или стандартной пятиканальной компоновке согласно ITU-R BS.775 с азимутальными углами (0°, ±30°, ±110°).
- Идеальная кривая для фактической текущей компоновки громкоговорителей (Фактические позиции могут измеряться или быть известны через пользовательский ввод. Эталонная кривая может быть вычислена при допущении воспроизведения независимых сигналов по данным громкоговорителям).
- Фактическая частотно-зависимая кратковременная мощность каждого входного канала может быть включена в вычисление эталонной кривой.
При наличии частотно-зависимой эталонной кривой () может быть задано верхнее пороговое значение () и нижнее пороговое значение () (см. фиг.4). Пороговые кривые могут совпадать с эталонной кривой () или задаваться при допущении пороговых значений обнаруживаемости, либо они могут быть выведены эвристически.
Если отклонение фактической кривой от эталонной кривой находится в пределах границ, заданных посредством пороговых значений, фактический элемент выборки получает взвешивание, указывающее независимые компоненты. Выше верхнего порогового значения или ниже нижнего порогового значения элемент выборки указывается как зависимый. Этот индикатор может быть двоичным или постепенным (т.е. соответствующим функции на основе мягкого решения). В частности, если верхнее и нижнее пороговое значение совпадает с эталонной кривой, применяемое взвешивание непосредственно связано с отклонением от эталонной кривой.
Со ссылкой на фиг.3, ссылка с номером 32 иллюстрирует частотно-временной преобразователь, который может быть реализован как кратковременное преобразование Фурье или как любой вид гребенки фильтров, формирующей подполосные сигналы, такой как QMF-гребенка фильтров и т.п. Независимо от подробной реализации частотно-временного преобразователя 32, выводом частотно-временного преобразователя для каждого входного канала xi является спектр для каждого периода времени входного сигнала. Следовательно, частотно-временной процессор 32 может быть реализован с возможностью всегда принимать блок входных выборок отдельного сигнала канала и вычислять частотное представление, к примеру FFT-спектр, имеющий спектральные линии, идущие от нижней частоты к верхней частоте. Затем для следующего блока времени выполняется идентичная процедура, так что в конечном счете последовательность кратковременных спектров вычисляется для каждого сигнала входного канала. Определенный частотный диапазон определенного спектра, связанного с определенным блоком входных выборок входного канала, называется "частотно-временным фрагментом", и предпочтительно анализ в анализаторе 16 выполняется на основе этих частотно-временных фрагментов. Следовательно, анализатор принимает, в качестве входного сигнала для одного частотно-временного фрагмента, спектральное значение на первой частоте для определенного блока входных выборок первого канала D1 понижающего микширования и принимает значение для идентичной частоты и идентичного блока (во времени) второго канала D2 понижающего микширования.
Затем, что касается примера, проиллюстрированного на фиг.8, анализатор 16 выполнен с возможностью определения (80) значения корреляции между двумя входными каналами в расчете на каждый поддиапазон частот и временным блоком, т.е. значения корреляции для частотно-временного фрагмента. Затем анализатор 16 извлекает, в варианте осуществления, проиллюстрированном относительно фиг.2 или фиг.4, значение корреляции (82) для соответствующей подполосы частот из эталонной корреляционной кривой. Когда, например, поддиапазон частот является поддиапазоном частот, указываемым как 40 на фиг.4, то этап 82 приводит к значению 41, указывающему корреляцию от -1 до +1, и значение 41 в таком случае представляет собой извлеченное значение корреляции. Затем, на этапе 83, результат для поддиапазона частот с использованием определенного значения корреляции из этапа 80 и извлеченного значения корреляции 41, полученного на этапе 82, обрабатывается посредством выполнения сравнения и последующего нахождения решения либо трактуется посредством вычисления фактической разности. Результат может быть, как пояснено выше, двоичным результатом, сообщающим, что фактический частотно-временной фрагмент, рассматриваемый в сигнале понижающего микширования/анализируемом сигнале, имеет независимые компоненты. Это решение находится, когда фактически определенное значение корреляции (на этапе 80) равно эталонному значению корреляции или достаточно близко к эталонному значению корреляции.
Тем не менее, когда определяется то, что определенное значение корреляции указывает более высокую абсолютную корреляцию, чем эталонное значение корреляции, то определяется то, что рассматриваемый частотно-временной фрагмент содержит зависимые компоненты. Следовательно, когда корреляция частотно-временного фрагмента сигнала понижающего микширования или анализируемого сигнала указывает более высокое абсолютное значение корреляции, чем эталонная кривая, то можно сказать, что компоненты в этом частотно-временном фрагменте зависят друг от друга. Тем не менее, когда корреляция указывается как очень близкая к эталонной кривой, то можно сказать, что компоненты являются независимыми. Зависимые компоненты могут принимать первое взвешенное значение, к примеру 1, и независимые компоненты могут принимать второе взвешенное значение, к примеру 0. Предпочтительно, как проиллюстрировано на фиг.4, высокие и низкие пороговые значения, которые разнесены от эталонной линии, используются для того, чтобы предоставлять лучший результат, что подходит больше, чем использование одной только эталонной кривой.
Кроме того, относительно фиг.4 следует отметить, что корреляция может варьироваться от -1 до +1. Корреляция, имеющая знак минус, дополнительно указывает сдвиг фаз в 180° между сигналами. Следовательно, также могут применяться другие корреляции, охватывающие только от 0 до 1, в которых отрицательная часть корреляции просто задается положительной. В этой процедуре в таком случае можно игнорировать сдвиг по времени или сдвиг фаз в целях определения корреляции.
Альтернативный способ вычисления результата состоит в том, чтобы фактически вычислять расстояние между значением корреляции, определенным на этапе 80, и извлеченным значением корреляции, полученным на этапе 82, и затем определять показатель от 0 до 1 в качестве весового коэффициента на основе расстояния. Хотя первая альтернатива (1) на фиг.8 приводит только к значениям 0 или 1, вариант (2) приводит к значениям от 0 до 1 и, в некоторых реализациях, является предпочтительным.
Процессор 20 сигналов на фиг.3 проиллюстрирован в качестве умножителей, и результаты анализа представляют собой просто определенный весовой коэффициент, который перенаправляется из анализатора в процессор сигналов, как проиллюстрировано в 84 на фиг.8, а затем применяется к соответствующему частотно-временному фрагменту входного сигнала 10. Когда, например, фактически рассматриваемый спектр является 20-м спектром в последовательности спектров и когда фактически рассматриваемый элемент разрешения по частоте является пятым элементом разрешения по частоте этого 20-го спектра, то частотно-временной фрагмент может указываться как (20, 5), где первое число указывает номер блока во времени, а второе число указывает элемент разрешения по частоте в этом спектре. Затем результат анализа для частотно-временного фрагмента (20, 5) применяется к соответствующему частотно-временному фрагменту (20, 5) каждого канала входного сигнала на фиг.3 или, когда реализуется модуль выведения сигналов, как проиллюстрировано на фиг.1, к соответствующему частотно-временному фрагменту каждого канала выведенного сигнала.
Далее подробнее поясняется вычисление эталонной кривой. Для настоящего изобретения, тем не менее, по существу, не важно, как выведена эталонная кривая. Это может быть произвольная кривая или, например, значения в таблице поиска, указывающие идеальную или требуемую взаимосвязь входных сигналов xj в сигнале D понижающего микширования либо (и в контексте фиг.2) в анализируемом сигнале. Следующее выведение является примерным.
Физическое рассеяние звукового поля может быть оценено посредством способа, представленного посредством работы Cook и др. (Richard K. Cook, R. V. Waterhouse, R. D. Berendt, Seymour Edelman и Jr. M.C. Thompson "Measurement of correlation coefficients in reverberant sound fields", Journal Of The Acoustical Society Of America, издание 27, № 6, стр. 1072-1077, ноябрь 1955 года), с использованием коэффициента (r) корреляции звукового давления в установившемся состоянии плоских волн в двух пространственно разделенных точках, как проиллюстрировано в следующем уравнении (4):
где и являются измерениями звукового давления в двух точках, n является временным индексом и < > обозначает усреднение во времени. В звуковом поле в установившемся состоянии могут быть выведены следующие взаимосвязи:
(для двумерных звуковых полей)
где d является расстоянием между двумя точками измерения, а является волновым числом, причем λ представляет собой длину волны. (Физическая эталонная кривая r(k,d) уже может быть использована в качестве для последующей обработки.)
Показателем воспринимаемой рассеянности звукового поля является коэффициент интерауральной взаимной корреляции (), измеряемый в звуковом поле. Измерение подразумевает, что радиус между датчиками давления (соответственно, ушами) является фиксированным. При включении этого ограничения r становится функцией от частоты с угловой частотой , где c является скоростью звука в воздушной среде. Кроме того, сигналы давления отличаются от ранее рассматриваемых сигналов свободного поля вследствие эффектов отражения, дифракции и отклонения, вызываемых посредством ушных раковин, головы и торса слушателя. Эти эффекты, существенные для пространственного слухового восприятия, описываются посредством передаточных функций восприятия звука человеком (HRTF). С учетом этих воздействий результирующие сигналы давления на входах в уши представляют собой и . Для вычисления могут быть использованы измеряемые HRTF-данные, либо могут быть получены аппроксимации посредством использования аналитической модели (например, в работе Richard O. Duda и William L. Martens "Range dependence of the response of the spherical head model", Journal Of The Acoustical Society Of America, издание 104, № 5, стр. 3048-3058, ноябрь 1998 года).
Поскольку слуховая система человека выступает в качестве анализатора частоты с ограниченной частотной избирательностью, дополнительно может быть включена эта частотная избирательность. Слуховые фильтры предположительно имеют характер изменения, аналогичный перекрывающимся полосовым фильтрам. В нижеприведенном примерном пояснении, подход на основе критических полос частот используется для того, чтобы аппроксимировать эти перекрывающиеся полосы пропускания фильтра посредством фильтров с прямоугольной характеристикой. Эквивалентная прямоугольная полоса пропускания (ERB) может вычисляться как функция от центральной частоты (работа R Brian. Glasberg и Brian C. J. Moore "Derivation of auditory filter shapes from notched-noise data", Hearing Research, издание 47, стр. 103-138, 1990 год). С учетом того, что бинауральная обработка выполняется после слуховой фильтрации, должно быть вычислено для отдельных частотных каналов, давая в результате следующие частотно-зависимые сигналы давления:
где пределы интегрирования задаются посредством пределов критической полосы частот согласно фактической центральной частоте ω. Коэффициенты 1/b(ω) могут использоваться или не использоваться в уравнениях (7) и (8).
Если одно из измерений звукового давления выполняется с опережением или задержкой на частотно-независимую разность времен, когерентность сигналов может быть оценена. Слуховая система человека имеет возможность использовать такое свойство временного совмещения. Обычно, интерауральная когерентность вычисляется в пределах ±1 мс. В зависимости от доступной вычислительной мощности, вычисления могут быть реализованы с использованием только значения нулевого запаздывания (для низкой сложности) или когерентности с временным опережением и задержкой (если высокая сложность является возможной). Далее не проводится различие между обоими случаями.
Идеальный характер изменения достигается при условии идеального рассеянного звукового поля, которое может быть идеализировано в качестве волнового поля, которое состоит из в равной степени сильных, некоррелированных плоских волн, распространяющихся во всех направлениях (т.е. наложения бесконечного числа распространяющихся плоских волн со случайными соотношениями фаз и равномерно распределенными направлениями распространения). Сигнал, испускаемый посредством громкоговорителя, может считаться плоской волной для слушателя, расположенного достаточно далеко. Это допущение плоской волны является общим в стереофоническом воспроизведении по громкоговорителям. Таким образом, синтетическое звуковое поле, воспроизведенное посредством громкоговорителей, сформировано из составляющих плоских волн из ограниченного числа направлений.
При входном сигнале с N каналов, сформированных для воспроизведения в компоновке с позициями громкоговорителей. (В случае только горизонтальной компоновки для воспроизведения, li указывает азимутальный угол. В общем случае, li=(азимут, высота) указывает позицию громкоговорителя относительно головы слушателя. Если текущая компоновка в помещении для прослушивания отличается от эталонной компоновки, li альтернативно может представлять позиции громкоговорителей фактической компоновки для воспроизведения). С помощью этой информации эталонная кривая интерауральной когерентности для моделирования на основе рассеянного поля может быть вычислена для этой компоновки при допущении, что в каждый громкоговоритель подаются независимые сигналы. Мощность сигнала, образуемая за счет доли от каждого входного канала в каждом частотно-временном фрагменте, может быть включена в вычисление эталонной кривой. В примерной реализации используется в качестве
Различные эталонные кривые в качестве примеров для частотно-зависимых эталонных кривых или корреляционных кривых проиллюстрированы на фиг.9А-9Е для различного числа источников звука в различных позициях источников звука и различных ориентациях головы, как указано на чертежах.
Далее подробнее поясняется вычисление результатов анализа, как пояснено в контексте фиг.8, на основе эталонных кривых.
Цель состоит в том, чтобы выводить взвешивание, которое равняется 1, если корреляция каналов понижающего микширования равна вычисленной эталонной корреляции в соответствии с допущением относительно независимых сигналов, воспроизводимых из всех громкоговорителей. Если корреляция понижающего микширования равняется +1 или -1, выведенное взвешивание должно быть 0, что указывает то, что независимые компоненты не присутствуют. Между этими крайними случаями взвешивание должно представлять обоснованный переход между индикатором как независимого (W=1) или абсолютно зависимого (W=0).
При эталонной корреляционной кривой (ω) и оценке корреляции/когерентности фактического входного сигнала, воспроизведенного по фактической компоновке для воспроизведения ((csig(ω)), является корреляцией относительно когерентности понижающего микширования, может быть вычислено отклонение csig(ω) от (ω). Это отклонение (возможно включающее в себя верхнее и нижнее пороговое значение) отображается на диапазон [0; 1], чтобы получать взвешивание (), которое применяется ко всем входным каналам с тем, чтобы разделять независимые компоненты.
Следующий пример иллюстрирует возможное отображение, когда пороговые значения соответствуют эталонной кривой:
Амплитуда отклонения (обозначается как ) фактической кривой от эталонной задается следующим образом:
При условии, что корреляция/когерентность ограничена рамками [-1; +1], максимально возможное отклонение в направлении +1 или -1 для каждой частоты задается следующим образом:
Взвешивание для каждой частоты тем самым получается из
С учетом временной зависимости и ограниченного частотного разрешения частотного разложения, взвешенные значения выводятся следующим образом (Здесь приводится общий случай эталонной кривой, которая может изменяться во времени. Независимая от времени эталонная кривая (т.е. ) также возможна):
Такая обработка может быть выполнена при частотном разложении с частотными коэффициентами, сгруппированными в обусловленные восприятием поддиапазона частот по причинам вычислительной сложности, а также для того, чтобы получать фильтры с меньшими импульсными характеристиками. Кроме того, могут применяться сглаживающие фильтры, и могут применяться функции сжатия (т.е. искажение взвешивания требуемым способом, дополнительное введение минимальных и/или максимальных взвешенных значений).
Фиг.5 иллюстрирует дополнительную реализацию настоящего изобретения, в которой понижающий микшер реализуется с использованием HRTF-фильтров и слуховых фильтров, как проиллюстрировано. Кроме того, фиг.5 дополнительно иллюстрирует, что результатами анализа, выведенными посредством анализатора 16, являются весовые коэффициенты для каждого частотно-временного элемента разрешения, и процессор 20 сигналов проиллюстрирован в качестве модуля выведения для выведения независимых компонентов. В таком случае вывод процессора 20 снова составляет N каналов, но каждый канал теперь включает в себя только независимые компоненты и более не включает в себя зависимые компоненты. В этой реализации, анализатор должен вычислять взвешивания, так что в первой реализации по фиг.8 независимый компонент должен принимать взвешенное значение 1, а зависимый компонент должен принимать взвешенное значение 0. В таком случае, частотно-временные фрагменты в исходных N каналах, обработанных посредством процессора 20, которые имеют зависимые компоненты, должны задаваться равными 0.
В другой альтернативе, если существуют взвешенные значения от 0 до 1 на фиг.8, анализатор должен вычислять взвешивание таким образом, что частотно-временной фрагмент, имеющий небольшое расстояние до эталонной кривой, должен принимать высокое значение (более близкое к 1), а частотно-временной фрагмент, имеющий большое расстояние до эталонной кривой, должен принимать небольшой весовой коэффициент (более близкий к 0). В последующем проиллюстрированном взвешивании, например, на фиг.3 в 20, независимые компоненты затем должны быть усилены, в то время как зависимые компоненты должны быть ослаблены.
Тем не менее, когда процессор 20 сигналов реализован не для извлечения независимых компонентов, а для извлечения зависимых компонентов, то взвешивания должны назначаться наоборот, так что, когда взвешивание выполняется в умножителях 20, проиллюстрированных на фиг.3, независимые компоненты ослабляются, а зависимые компоненты усиливаются. Следовательно, каждый процессор сигналов может применяться для извлечения компонентов сигнала, поскольку определение фактически извлеченных компонентов сигнала выполняется посредством фактического назначения взвешенных значений.
Фиг.6 иллюстрирует дополнительную реализацию идеи изобретения, но теперь в другой реализации процессора 20. В варианте осуществления фиг.6 процессор 20 реализуется для извлечения независимых рассеянных частей, независимых прямых частей и прямых частей/компонентов по существу.
Чтобы получать, из разделенных независимых компонентов (), части, способствующие восприятию охватывающего /окружающего звукового поля, должны учитываться дополнительные ограничения. Одно такое ограничение может представлять собой допущение, что охватывающий окружающий звук является в равной степени сильным из каждого направления. Таким образом, например, минимальная энергия каждого частотно-временного фрагмента в каждом канале независимых звуковых сигналов может быть извлечена, чтобы получать охватывающий окружающий сигнал (который дополнительно может обрабатываться, чтобы получать более высокое число окружающих каналов). Пример:
где обозначает кратковременную оценку мощности. (Этот пример показывает простейший случай. Один очевидный исключительный случай, в котором он неприменим - это когда один из каналов включает в себя приостановки сигналов, в ходе которых входная мощность этого канала должна быть очень низкой или нулевой).
В некоторых случаях преимущественным является то, чтобы извлекать равные энергетические части всех входных каналов и вычислять взвешивание с использованием только извлеченных спектров.
Извлеченные зависимые (которые, например, могут быть выведены как Ydependent=Yj(m,i)-Xj(m,i)) части могут быть использованы для того, чтобы обнаруживать канальные зависимости и таким образом оценивать направленные метки, внутренне присущие вследствие входного сигнала, обеспечивая возможность дополнительных процессов, таких как, например, повторное панорамирование.
Фиг.7 иллюстрирует разновидность общего принципа. N-канальный входной сигнал подается в формирователь анализируемых сигналов (ASG). Формирование M-канального анализируемого сигнала может, например, включать в себя модель распространения из каналов/громкоговорителей в уши или другие способы, обозначаемые в качестве понижающего микширования в этом документе. Индикатор относительно различных компонентов основан на анализируемом сигнале. Маски, указывающие различные компоненты, применяются к входным сигналам (извлечение A/извлечение D (20a, 20b)). Взвешенные входные сигналы дополнительно могут обрабатываться (постобработка A/постобработка D (70a, 70b), чтобы давать в результате выходные сигналы с конкретным символом, причем в этом примере обозначения "A" и "D" выбраны так, что они указывают то, что компоненты, которые должны быть извлечены, могут быть "окружающими" и "прямыми звуковыми".
Далее описывается фиг.10. Стационарные звуковые поля называются рассеянными, если направленное распределение звуковой энергии не зависит от направления. Направленное распределение энергии может быть оценено посредством измерения всех направлений с использованием остронаправленного микрофона. В акустике помещений реверберирующее звуковое поле в замкнутом пространстве зачастую моделируется в качестве рассеянного поля. Рассеянное звуковое поле может быть идеализировано в качестве волнового поля, которое состоит из в равной степени сильных, некоррелированных плоских волн, распространяющихся во всех направлениях. Такое звуковое поле является изотропным и гомогенным.
Если равномерность распределения энергии представляет отдельный интерес, коэффициент корреляции "точка-точка"
звуковых давлений p1(t) и p2(t) в установившемся состоянии в двух пространственно разделенных точках может быть использован для того, чтобы оценивать физическое рассеяние звукового поля. Для допущенных идеальных трехмерных и двумерных рассеянных звуковых полей в установившемся состоянии, наведенных посредством синусоидального источника, могут быть выведены следующие взаимосвязи:
и
где
(причем λ представляет собой длину волны) является волновым числом и d является расстоянием между точками измерения. С учетом этих взаимосвязей, рассеяние звукового поля может быть оценено посредством сравнения данных измерений с эталонными кривыми. Поскольку идеальные взаимосвязи являются только обязательными, но не достаточными условиями, может рассматриваться определенное число измерений с различными ориентациями оси, соединяющей микрофоны.
При условии нахождения слушателя в звуковом поле измерения звукового давления задаются посредством сигналов pl(t) и pr(t), поступающих в уши. Таким образом, допущенное расстояние d между точками измерения является фиксированным, и r становится функцией только от частоты при
, где c является скоростью звука в воздушной среде. Сигналы, поступающие в уши, отличаются от ранее рассматриваемых сигналов свободного поля вследствие влияния эффектов, вызываемых посредством ушных раковин, головы и торса слушателя. Эти эффекты, существенные для пространственного слуха, описываются посредством передаточных функций восприятия звука человеком (HRTF). Измеренные HRTF-данные могут быть использованы для того, чтобы включать эти эффекты. Для того чтобы моделировать аппроксимацию HRTF, используется аналитическая модель. Голова моделируется в качестве твердой сферы с радиусом 8,75 см и местоположениями ушей при азимуте в ±100° и высоте в 0°. С учетом теоретического характера изменения r в идеальном рассеянном звуковом поле и влияния HRTF, можно определять частотно-зависимую эталонную кривую интерауральной взаимной корреляции для рассеянных звуковых полей.
Оценка рассеянности основана на сравнении моделированных меток с предполагаемыми эталонными метками в рассеянном поле. Это сравнение подчинено ограничениям человеческого слуха. В слуховой системе бинауральная обработка выполняется для слуховой периферии, состоящей из внешнего уха, среднего уха и внутреннего уха. Эффекты внешнего уха, которые не аппроксимируются посредством сферической модели (например, форма ушных раковин, слуховой канал), и эффекты среднего уха не рассматриваются. Спектральная избирательность внутреннего уха моделируется в качестве гребенки перекрывающихся полосовых фильтров (обозначаемых слуховыми фильтрами на фиг.10). Подход на основе критических полос частот используется для того, чтобы аппроксимировать эти перекрывающиеся полосы пропускания фильтра посредством фильтров с прямоугольной характеристикой. Эквивалентная прямоугольная полоса пропускания (ERB) вычисляется как функция от центральной частоты в соответствии со следующим:
Предполагается, что слуховая система человека допускает выполнение временного совмещения для того, чтобы обнаруживать когерентные компоненты сигнала, и этот взаимно-корреляционный анализ используется для оценки времени совмещения (соответствующий ITD) при присутствии сложных звуков. Приблизительно вплоть до 1-1,5 кГц, сдвиги по времени несущего сигнала оцениваются с использованием взаимной корреляции форм сигналов, тогда как на верхних частотах взаимная корреляция огибающих становится релевантной меткой. Далее, это различие не проводится. Оценка интерауральной когерентности (IC) моделируется в качестве максимального абсолютного значения нормализованной функции интерауральной взаимной корреляции:
Некоторые модели бинаурального восприятия рассматривают проводимый анализ на основе интерауральной взаимной корреляции. Поскольку рассматриваются стационарные сигналы, зависимость от времени не принимается во внимание. Для того чтобы моделировать влияние обработки на основе критических полос частот, частотно-зависимая нормализованная взаимно-корреляционная функция вычисляется следующим образом:
где A является взаимно-корреляционной функцией в расчете на критическую полосу частот, а B и C являются автокорреляционными функциями в расчете на критическую полосу частот. Их взаимосвязь с частотной областью посредством полосового взаимного спектра и полосовых автоспектров может формулироваться следующим образом:
где L(f) и R(f) являются преобразованиями Фурье сигналов, поступающих в уши,
являются верхним и нижним пределами интегрирования критической полосы частот согласно фактической центральной частоте, а * обозначает комплексно-сопряженное число.
Если сигналы из двух или более источников под различными углами накладываются, вызываются колеблющиеся ILD- и ITD-метки. Такие изменения ILD и ITD в качестве функции от времени и/или частоты могут формировать объемность. Тем не менее, в долговременном среднем, не должно быть ILD и ITD в рассеянном звуковом поле. Средняя ITD в нуль означает, что корреляция между сигналами не может быть увеличена посредством временного совмещения. ILD в принципе могут оцениваться в пределах полного диапазона звуковых частот. Поскольку голова не составляет препятствия на низких частотах, ILD являются самыми эффективными на средних и высоких частотах.
Далее поясняются фиг.11A и 11B для того, чтобы иллюстрировать альтернативную реализацию анализатора без использования эталонной кривой, как пояснено в контексте фиг.10 или фиг.4.
Кратковременное преобразование Фурье (STFT) применяется к входным аудиоканалам объемного звучания, давая в результате кратковременные спектры
-
соответственно, где m является спектральным (временным) индексом, а i является частотным индексом. Спектры понижающего стереомикширования входного сигнала объемного звучания, обозначаемые
и
, вычисляются. Для объемного звучания 5.1 понижающее микширование ITU является подходящим в качестве уравнения (1).
-
соответствуют в этом порядке левому каналу (L), правому каналу (R), центральному каналу (C), левому каналу объемного звучания (LS) и правому каналу объемного звучания (RS). Далее, временные и частотные индексы опускаются в большинстве случаев для краткости записи.
На основе стереосигнала понижающего микширования фильтры WD и WA вычисляются для получения оценок прямых и окружающих звуковых сигналов объемного звучания в уравнении (2) и (3).
При допущении, что окружающий звуковой сигнал декоррелируется между всеми входными каналами, коэффициенты понижающего микширования выбраны таким образом, что это допущение также применяется для каналов понижающего микширования. Таким образом, можно сформулировать модель для сигналов понижающего микширования в уравнении 4.
D1 и D2 представляют коррелированные STFT-спектры непосредственного звука, а A1 и A2 представляют декоррелированный окружающий звук. Дополнительно предполагается, что прямой звук и окружающий звук в каждом канале являются взаимно декоррелированными.
Оценка непосредственного звука, в отношении метода наименьших квадратов, достигается посредством применения фильтра Винера к исходному сигналу объемного звучания, чтобы подавлять окружающую часть. Чтобы вывести один фильтр, который может применяться ко всем входным каналам, прямые компоненты в понижающем микшировании оцениваются с использованием идентичного фильтра для левого и правого каналов согласно уравнению (5).
Объединенная функция среднеквадратической ошибки для этой оценки задается посредством уравнения (6).
Функция ошибок (6) минимизируется посредством обнуления ее производной. Результирующий фильтр для оценки непосредственного звука находится в уравнении 8.
Аналогично, фильтр оценки для окружающего звука может быть выведен согласно уравнению 9.
Далее, выводятся оценки для PD и PA, требуемые для вычисления WD и WA. Взаимная корреляция понижающего микширования задается посредством уравнения 10, в котором с учетом модели для сигналов понижающего микширования (4) задается ссылка на (11).
Дополнительно, при условии, что окружающие компоненты в понижающем микшировании имеют идентичную входную мощность левого и правого каналов понижающего микширования, можно записывать уравнение 12.
При подстановке уравнения 12 в последнюю строку уравнения 10 и рассмотрении уравнения 13 получается уравнение (14) и (15).
Как пояснено в контексте фиг.4, формирование эталонных кривых для минимальной корреляции может предполагаться посредством размещения двух или более различных источников звука в компоновке для воспроизведения и посредством размещения головы слушателя в определенной позиции в этой компоновке для воспроизведения. Затем полностью независимые сигналы излучаются посредством различных громкоговорителей. Для компоновки с двумя динамиками два канала должны быть полностью декоррелированы с корреляцией, равной 0, в случае если отсутствуют результирующие взаимные микширования. Тем не менее, эти результирующие взаимные микширования возникают вследствие перекрестного связывания от левой стороны к правой стороне слуховой системы человека, и другие перекрестные связывания также возникают вследствие ревербераций в помещении и т.д. Следовательно, результирующие эталонные кривые, как проиллюстрировано на фиг.4 или на фиг.9А-9D, не всегда равны 0, а имеют значения, в частности, отличающиеся от 0, хотя эталонные сигналы, предполагаемые в этом сценарии, являются полностью независимыми. Тем не менее, важно понимать, что эти сигналы фактически не требуются. Также достаточно предположить полную независимость между двумя или более сигналами при вычислении эталонной кривой. В этом контексте, тем не менее, следует отметить, что другие эталонные кривые могут быть вычислены для других сценариев, например, с использованием или допущением сигналов, которые не являются полностью независимыми, а имеют определенную, но заранее известную зависимость или степень зависимости между собой. Когда вычисляется эта другая эталонная кривая, интерпретация или предоставление весовых коэффициентов должно отличаться относительно эталонной кривой, в которой допускаются полностью независимые сигналы.
Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока, или элемента, или признака соответствующего устройства.
Изобретенный разложенный сигнал может быть сохранен на цифровом носителе хранения данных или может быть передан по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, к примеру Интернет.
В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные на нем электронно-читаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой, так что осуществляется соответствующий способ.
Некоторые варианты осуществления согласно изобретению содержат невременный носитель хранения данных, имеющий электронно-читаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.
В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт запущен на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.
Другими словами, следовательно, вариант осуществления изобретенного способа представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа запущена на компьютере.
Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе.
Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного устройства.
Вышеописанные варианты осуществления являются просто примерными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и признаков, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных признаков, представленных посредством описания и пояснения вариантов осуществления в данном документе.
Claims (15)
1. Устройство для разложения входного сигнала (10), имеющего по меньшей мере три входных канала, содержащее:
- понижающий микшер (12) для понижающего микширования входного сигнала, чтобы получать сигнал понижающего микширования, при этом понижающий микшер (12) выполнен с возможностью понижающего микширования, так что число каналов понижающего микширования сигнала (14) понижающего микширования составляет по меньшей мере 2 и меньше от числа входных каналов;
- анализатор (16) для анализа сигнала понижающего микширования, чтобы выводить результат (18) анализа; и
- процессор (20) сигналов для обработки входного сигнала (10) или сигнала (24), выведенного из входного сигнала с использованием результата (18) анализа, при этом процессор (20) сигналов выполнен с возможностью применения результата анализа к входным каналам входного сигнала или каналам сигнала, выведенного из входного сигнала, чтобы получать разложенный сигнал (26), при этом сигнал, выведенный из входного сигнала, отличается от сигнала понижающего микширования.
- понижающий микшер (12) для понижающего микширования входного сигнала, чтобы получать сигнал понижающего микширования, при этом понижающий микшер (12) выполнен с возможностью понижающего микширования, так что число каналов понижающего микширования сигнала (14) понижающего микширования составляет по меньшей мере 2 и меньше от числа входных каналов;
- анализатор (16) для анализа сигнала понижающего микширования, чтобы выводить результат (18) анализа; и
- процессор (20) сигналов для обработки входного сигнала (10) или сигнала (24), выведенного из входного сигнала с использованием результата (18) анализа, при этом процессор (20) сигналов выполнен с возможностью применения результата анализа к входным каналам входного сигнала или каналам сигнала, выведенного из входного сигнала, чтобы получать разложенный сигнал (26), при этом сигнал, выведенный из входного сигнала, отличается от сигнала понижающего микширования.
2. Устройство по п. 1, дополнительно содержащее частотно-временной преобразователь (32) для преобразования входных каналов во временную последовательность частотных представлений канала, причем каждое частотное представление входного канала имеет множество поддиапазонов частот, или в котором понижающий микшер (12) содержит частотно-временной преобразователь для преобразования сигнала понижающего микширования,
- при этом анализатор (16) выполнен с возможностью формирования результата (18) анализа для отдельных поддиапазонов частот, и
- при этом процессор (20) сигналов выполнен с возможностью применения отдельных результатов анализа к соответствующим поддиапазонам частот входного сигнала или сигнала, выведенного из входного сигнала.
- при этом анализатор (16) выполнен с возможностью формирования результата (18) анализа для отдельных поддиапазонов частот, и
- при этом процессор (20) сигналов выполнен с возможностью применения отдельных результатов анализа к соответствующим поддиапазонам частот входного сигнала или сигнала, выведенного из входного сигнала.
3. Устройство по п. 1, в котором анализатор (16) выполнен с возможностью формировать, в качестве результата анализа, весовые коэффициенты (W(m, i)), и
- при этом процессор (20) сигналов выполнен с возможностью применения весовых коэффициентов к входному сигналу или сигналу, выведенному из входного сигнала, посредством взвешивания с помощью весовых коэффициентов.
- при этом процессор (20) сигналов выполнен с возможностью применения весовых коэффициентов к входному сигналу или сигналу, выведенному из входного сигнала, посредством взвешивания с помощью весовых коэффициентов.
4. Устройство по п. 1, в котором понижающий микшер выполнен с возможностью суммирования взвешенных или невзвешенных входных каналов в соответствии с правилом понижающего микширования, заданным таким образом, что по меньшей мере два канала понижающего микширования отличаются друг от друга.
5. Устройство по п. 1, в котором понижающий микшер (12) выполнен с возможностью фильтрации входного сигнала (10) с использованием фильтров на основе импульсных характеристик помещения, фильтров на основе бинауральных импульсных характеристик помещения (BRIR) или фильтров на основе HRTF.
6. Устройство по п. 1, в котором процессор (20) выполнен с возможностью применения фильтра Винера к входному сигналу или сигналу, выведенному из входного сигнала, и в котором анализатор (16) выполнен с возможностью вычисления фильтра Винера с использованием значений математического ожидания, выведенных из каналов понижающего микширования.
7. Устройство по одному из предшествующих пунктов, дополнительно содержащее модуль (22) выведения сигналов для выведения сигнала из входного сигнала так, что сигнал, выведенный из входного сигнала, имеет отличное число каналов по сравнению с сигналом понижающего микширования или входным сигналом.
8. Устройство по п. 1, в котором анализатор (20) выполнен с возможностью использования предварительно сохраненной частотно-зависимой кривой подобия, указывающей частотно-зависимое подобие между двумя сигналами, формируемыми посредством заранее известных эталонных сигналов.
9. Устройство по п. 1, в котором анализатор выполнен с возможностью использования предварительно сохраненной частотно-зависимой кривой подобия, указывающей частотно-зависимое подобие между двумя или более сигналами в позиции слушателя при допущении, что сигналы имеют известную характеристику подобия и что сигналы могут испускаться посредством громкоговорителей в известных позициях громкоговорителей.
10. Устройство по п. 1, в котором анализатор выполнен с возможностью вычислять зависимую от сигнала частотно-зависимую кривую подобия с использованием частотно-зависимой кратковременной мощности входных каналов.
11. Устройство по п. 8, в котором анализатор (16) выполнен с возможностью вычислять подобие канала понижающего микширования в поддиапазоне частот (80), сравнивать результат оценки подобия с подобием, указываемым посредством эталонной кривой (82, 83), и формировать весовой коэффициент на основе результата сжатия в качестве результата анализа, или
- вычислять расстояние между соответствующим результатом и подобием, указываемым посредством эталонной кривой для идентичного поддиапазона частот, и дополнительно вычислять весовой коэффициент на основе расстояния в качестве результата анализа.
- вычислять расстояние между соответствующим результатом и подобием, указываемым посредством эталонной кривой для идентичного поддиапазона частот, и дополнительно вычислять весовой коэффициент на основе расстояния в качестве результата анализа.
12. Устройство по п. 1, в котором анализатор (16) выполнен с возможностью анализировать каналы понижающего микширования в поддиапазонах частот, определенных посредством частотного разрешения человеческого уха.
13. Устройство по п. 1, в котором анализатор (16) выполнен с возможностью анализировать сигнал понижающего микширования, чтобы формировать результат анализа, обеспечивающий разложение на прямые и окружающие части, и
- при этом процессор (20) сигналов выполнен с возможностью извлечения прямой части или окружающей части с использованием результата анализа.
- при этом процессор (20) сигналов выполнен с возможностью извлечения прямой части или окружающей части с использованием результата анализа.
14. Способ разложения входного сигнала (10), имеющего по меньшей мере три входных канала, содержащий этапы, на которых:
- микшируют с понижением (12) входной сигнал, чтобы получать сигнал понижающего микширования, так что число каналов понижающего микширования сигнала (14) понижающего микширования составляет по меньшей мере 2 и меньше от числа входных каналов;
- анализируют (16) сигнал понижающего микширования, чтобы выводить результат (18) анализа; и
- обрабатывают (20) входной сигнал (10) или сигнал (24), выведенный из входного сигнала, с использованием результата (18) анализа, при этом результат анализа применяется к входным каналам входного сигнала или каналам сигнала, выведенного из входного сигнала, чтобы получать разложенный сигнал (26), при этом сигнал, выведенный из входного сигнала, отличается от сигнала понижающего микширования.
- микшируют с понижением (12) входной сигнал, чтобы получать сигнал понижающего микширования, так что число каналов понижающего микширования сигнала (14) понижающего микширования составляет по меньшей мере 2 и меньше от числа входных каналов;
- анализируют (16) сигнал понижающего микширования, чтобы выводить результат (18) анализа; и
- обрабатывают (20) входной сигнал (10) или сигнал (24), выведенный из входного сигнала, с использованием результата (18) анализа, при этом результат анализа применяется к входным каналам входного сигнала или каналам сигнала, выведенного из входного сигнала, чтобы получать разложенный сигнал (26), при этом сигнал, выведенный из входного сигнала, отличается от сигнала понижающего микширования.
15. Машиночитаемый носитель, содержащий записанную на нем компьютерную программу для осуществления способа по п. 14, когда компьютерная программа выполняется посредством компьютера или процессора.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US42192710P | 2010-12-10 | 2010-12-10 | |
US61/421,927 | 2010-12-10 | ||
EP11165742A EP2464145A1 (en) | 2010-12-10 | 2011-05-11 | Apparatus and method for decomposing an input signal using a downmixer |
EP11165742.5 | 2011-05-11 | ||
PCT/EP2011/070702 WO2012076332A1 (en) | 2010-12-10 | 2011-11-22 | Apparatus and method for decomposing an input signal using a downmixer |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2013131774A RU2013131774A (ru) | 2015-01-20 |
RU2555237C2 true RU2555237C2 (ru) | 2015-07-10 |
Family
ID=44582056
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013131775/08A RU2554552C2 (ru) | 2010-12-10 | 2011-11-22 | Устройство и способ для разложения входного сигнала с использованием заранее вычисленной эталонной кривой |
RU2013131774/08A RU2555237C2 (ru) | 2010-12-10 | 2011-11-22 | Устройство и способ для разложения входного сигнала с использованием понижающего микшера |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013131775/08A RU2554552C2 (ru) | 2010-12-10 | 2011-11-22 | Устройство и способ для разложения входного сигнала с использованием заранее вычисленной эталонной кривой |
Country Status (16)
Country | Link |
---|---|
US (3) | US10187725B2 (ru) |
EP (4) | EP2464146A1 (ru) |
JP (2) | JP5654692B2 (ru) |
KR (2) | KR101471798B1 (ru) |
CN (2) | CN103355001B (ru) |
AR (2) | AR084176A1 (ru) |
AU (2) | AU2011340891B2 (ru) |
BR (2) | BR112013014173B1 (ru) |
CA (2) | CA2820351C (ru) |
ES (2) | ES2534180T3 (ru) |
HK (2) | HK1190552A1 (ru) |
MX (2) | MX2013006358A (ru) |
PL (2) | PL2649815T3 (ru) |
RU (2) | RU2554552C2 (ru) |
TW (2) | TWI519178B (ru) |
WO (2) | WO2012076332A1 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2713858C1 (ru) * | 2016-04-12 | 2020-02-07 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для обеспечения индивидуальных звуковых зон |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI429165B (zh) | 2011-02-01 | 2014-03-01 | Fu Da Tong Technology Co Ltd | Method of data transmission in high power induction power supply |
US10056944B2 (en) | 2011-02-01 | 2018-08-21 | Fu Da Tong Technology Co., Ltd. | Data determination method for supplying-end module of induction type power supply system and related supplying-end module |
US9075587B2 (en) | 2012-07-03 | 2015-07-07 | Fu Da Tong Technology Co., Ltd. | Induction type power supply system with synchronous rectification control for data transmission |
TWI472897B (zh) * | 2013-05-03 | 2015-02-11 | Fu Da Tong Technology Co Ltd | 自動調節電壓準位之方法、裝置及其感應式電源供應器 |
US9831687B2 (en) | 2011-02-01 | 2017-11-28 | Fu Da Tong Technology Co., Ltd. | Supplying-end module for induction-type power supply system and signal analysis circuit therein |
US9048881B2 (en) | 2011-06-07 | 2015-06-02 | Fu Da Tong Technology Co., Ltd. | Method of time-synchronized data transmission in induction type power supply system |
US8941267B2 (en) | 2011-06-07 | 2015-01-27 | Fu Da Tong Technology Co., Ltd. | High-power induction-type power supply system and its bi-phase decoding method |
US9628147B2 (en) | 2011-02-01 | 2017-04-18 | Fu Da Tong Technology Co., Ltd. | Method of automatically adjusting determination voltage and voltage adjusting device thereof |
US10038338B2 (en) | 2011-02-01 | 2018-07-31 | Fu Da Tong Technology Co., Ltd. | Signal modulation method and signal rectification and modulation device |
US9600021B2 (en) | 2011-02-01 | 2017-03-21 | Fu Da Tong Technology Co., Ltd. | Operating clock synchronization adjusting method for induction type power supply system |
US9671444B2 (en) | 2011-02-01 | 2017-06-06 | Fu Da Tong Technology Co., Ltd. | Current signal sensing method for supplying-end module of induction type power supply system |
KR20120132342A (ko) * | 2011-05-25 | 2012-12-05 | 삼성전자주식회사 | 보컬 신호 제거 장치 및 방법 |
US9253574B2 (en) * | 2011-09-13 | 2016-02-02 | Dts, Inc. | Direct-diffuse decomposition |
MY181365A (en) * | 2012-09-12 | 2020-12-21 | Fraunhofer Ges Forschung | Apparatus and method for providing enhanced guided downmix capabilities for 3d audio |
EP2976898B1 (en) | 2013-03-19 | 2017-03-08 | Koninklijke Philips N.V. | Method and apparatus for determining a position of a microphone |
EP2790419A1 (en) * | 2013-04-12 | 2014-10-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio |
WO2014171791A1 (ko) | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
CN108810793B (zh) | 2013-04-19 | 2020-12-15 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
US9769586B2 (en) * | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
CN105706468B (zh) | 2013-09-17 | 2017-08-11 | 韦勒斯标准与技术协会公司 | 用于音频信号处理的方法和设备 |
US10580417B2 (en) | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
EP4246513A3 (en) | 2013-12-23 | 2023-12-13 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and parameterization device for same |
CN104768121A (zh) | 2014-01-03 | 2015-07-08 | 杜比实验室特许公司 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
ES2709248T3 (es) | 2014-01-03 | 2019-04-15 | Dolby Laboratories Licensing Corp | Generación de audio binaural en respuesta a un audio multicanal que usa al menos una red de retardo de retroalimentación |
WO2015142073A1 (ko) | 2014-03-19 | 2015-09-24 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
US9860668B2 (en) | 2014-04-02 | 2018-01-02 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
EP2942982A1 (en) * | 2014-05-05 | 2015-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering |
EP3165007B1 (en) | 2014-07-03 | 2018-04-25 | Dolby Laboratories Licensing Corporation | Auxiliary augmentation of soundfields |
CN105336332A (zh) * | 2014-07-17 | 2016-02-17 | 杜比实验室特许公司 | 分解音频信号 |
CN106797525B (zh) | 2014-08-13 | 2019-05-28 | 三星电子株式会社 | 用于生成和回放音频信号的方法和设备 |
US9666192B2 (en) | 2015-05-26 | 2017-05-30 | Nuance Communications, Inc. | Methods and apparatus for reducing latency in speech recognition applications |
US10559303B2 (en) * | 2015-05-26 | 2020-02-11 | Nuance Communications, Inc. | Methods and apparatus for reducing latency in speech recognition applications |
TWI596953B (zh) * | 2016-02-02 | 2017-08-21 | 美律實業股份有限公司 | 錄音模組 |
EP3335218B1 (en) * | 2016-03-16 | 2019-06-05 | Huawei Technologies Co., Ltd. | An audio signal processing apparatus and method for processing an input audio signal |
US10659904B2 (en) * | 2016-09-23 | 2020-05-19 | Gaudio Lab, Inc. | Method and device for processing binaural audio signal |
US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
JP6788272B2 (ja) * | 2017-02-21 | 2020-11-25 | オンフューチャー株式会社 | 音源の検出方法及びその検出装置 |
CN110383700A (zh) * | 2017-03-10 | 2019-10-25 | 英特尔Ip公司 | 杂散降低电路和装置、无线电收发器、移动终端、用于杂散降低的方法和计算机程序 |
IT201700040732A1 (it) * | 2017-04-12 | 2018-10-12 | Inst Rundfunktechnik Gmbh | Verfahren und vorrichtung zum mischen von n informationssignalen |
CA3219540A1 (en) * | 2017-10-04 | 2019-04-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding |
CN111107481B (zh) * | 2018-10-26 | 2021-06-22 | 华为技术有限公司 | 一种音频渲染方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6052658A (en) * | 1997-12-31 | 2000-04-18 | Industrial Technology Research Institute | Method of amplitude coding for low bit rate sinusoidal transform vocoder |
US6694027B1 (en) * | 1999-03-09 | 2004-02-17 | Smart Devices, Inc. | Discrete multi-channel/5-2-5 matrix system |
RU2315371C2 (ru) * | 2002-12-28 | 2008-01-20 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для смешивания аудиопотока и носитель информации |
RU2363116C2 (ru) * | 2002-07-12 | 2009-07-27 | Конинклейке Филипс Электроникс Н.В. | Аудиокодирование |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7026A (en) * | 1850-01-15 | Door-lock | ||
US9025A (en) * | 1852-06-15 | And chas | ||
US5065759A (en) * | 1990-08-30 | 1991-11-19 | Vitatron Medical B.V. | Pacemaker with optimized rate responsiveness and method of rate control |
US5912976A (en) | 1996-11-07 | 1999-06-15 | Srs Labs, Inc. | Multi-channel audio enhancement system for use in recording and playback and methods for providing same |
SE514862C2 (sv) | 1999-02-24 | 2001-05-07 | Akzo Nobel Nv | Användning av en kvartär ammoniumglykosidtensid som en effektförhöjande hjälpkemikalie för gödningsmedel eller pesticider samt kompositioner innehållande pesticider eller gödningsmedel |
US7254500B2 (en) * | 2003-03-31 | 2007-08-07 | The Salk Institute For Biological Studies | Monitoring and representing complex signals |
JP2004354589A (ja) * | 2003-05-28 | 2004-12-16 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号判別方法、音響信号判別装置、音響信号判別プログラム |
DE602005005640T2 (de) | 2004-03-01 | 2009-05-14 | Dolby Laboratories Licensing Corp., San Francisco | Mehrkanalige audiocodierung |
EP1722359B1 (en) * | 2004-03-05 | 2011-09-07 | Panasonic Corporation | Error conceal device and error conceal method |
US7392195B2 (en) | 2004-03-25 | 2008-06-24 | Dts, Inc. | Lossless multi-channel audio codec |
US8843378B2 (en) | 2004-06-30 | 2014-09-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel synthesizer and method for generating a multi-channel output signal |
KR101283741B1 (ko) * | 2004-10-28 | 2013-07-08 | 디티에스 워싱턴, 엘엘씨 | N채널 오디오 시스템으로부터 m채널 오디오 시스템으로 변환하는 오디오 공간 환경 엔진 및 그 방법 |
US7961890B2 (en) | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
US7468763B2 (en) * | 2005-08-09 | 2008-12-23 | Texas Instruments Incorporated | Method and apparatus for digital MTS receiver |
US7563975B2 (en) * | 2005-09-14 | 2009-07-21 | Mattel, Inc. | Music production system |
KR100739798B1 (ko) | 2005-12-22 | 2007-07-13 | 삼성전자주식회사 | 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치 |
SG136836A1 (en) * | 2006-04-28 | 2007-11-29 | St Microelectronics Asia | Adaptive rate control algorithm for low complexity aac encoding |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US7877317B2 (en) * | 2006-11-21 | 2011-01-25 | Yahoo! Inc. | Method and system for finding similar charts for financial analysis |
US8023707B2 (en) * | 2007-03-26 | 2011-09-20 | Siemens Aktiengesellschaft | Evaluation method for mapping the myocardium of a patient |
DE102008009024A1 (de) | 2008-02-14 | 2009-08-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals |
EP2272169B1 (en) * | 2008-03-31 | 2017-09-06 | Creative Technology Ltd. | Adaptive primary-ambient decomposition of audio signals |
US8023660B2 (en) | 2008-09-11 | 2011-09-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues |
WO2010092568A1 (en) * | 2009-02-09 | 2010-08-19 | Waves Audio Ltd. | Multiple microphone based directional sound filter |
WO2010125228A1 (en) * | 2009-04-30 | 2010-11-04 | Nokia Corporation | Encoding of multiview audio signals |
KR101566967B1 (ko) * | 2009-09-10 | 2015-11-06 | 삼성전자주식회사 | 디지털 방송 시스템에서 패킷 디코딩 방법 및 장치 |
EP2323130A1 (en) | 2009-11-12 | 2011-05-18 | Koninklijke Philips Electronics N.V. | Parametric encoding and decoding |
EP2578000A1 (en) * | 2010-06-02 | 2013-04-10 | Koninklijke Philips Electronics N.V. | System and method for sound processing |
US9183849B2 (en) | 2012-12-21 | 2015-11-10 | The Nielsen Company (Us), Llc | Audio matching with semantic audio recognition and report generation |
-
2011
- 2011-05-11 EP EP11165746A patent/EP2464146A1/en not_active Withdrawn
- 2011-05-11 EP EP11165742A patent/EP2464145A1/en not_active Withdrawn
- 2011-11-22 BR BR112013014173-5A patent/BR112013014173B1/pt active IP Right Grant
- 2011-11-22 AU AU2011340891A patent/AU2011340891B2/en active Active
- 2011-11-22 AU AU2011340890A patent/AU2011340890B2/en active Active
- 2011-11-22 RU RU2013131775/08A patent/RU2554552C2/ru active
- 2011-11-22 CN CN201180067280.2A patent/CN103355001B/zh active Active
- 2011-11-22 ES ES11793700.3T patent/ES2534180T3/es active Active
- 2011-11-22 MX MX2013006358A patent/MX2013006358A/es active IP Right Grant
- 2011-11-22 EP EP11787858.7A patent/EP2649814B1/en active Active
- 2011-11-22 PL PL11793700T patent/PL2649815T3/pl unknown
- 2011-11-22 JP JP2013542452A patent/JP5654692B2/ja active Active
- 2011-11-22 WO PCT/EP2011/070702 patent/WO2012076332A1/en active Application Filing
- 2011-11-22 CA CA2820351A patent/CA2820351C/en active Active
- 2011-11-22 CN CN201180067248.4A patent/CN103348703B/zh active Active
- 2011-11-22 PL PL11787858T patent/PL2649814T3/pl unknown
- 2011-11-22 WO PCT/EP2011/070700 patent/WO2012076331A1/en active Application Filing
- 2011-11-22 KR KR1020137017810A patent/KR101471798B1/ko active IP Right Grant
- 2011-11-22 KR KR1020137017699A patent/KR101480258B1/ko active IP Right Grant
- 2011-11-22 EP EP11793700.3A patent/EP2649815B1/en active Active
- 2011-11-22 CA CA2820376A patent/CA2820376C/en active Active
- 2011-11-22 MX MX2013006364A patent/MX2013006364A/es active IP Right Grant
- 2011-11-22 JP JP2013542451A patent/JP5595602B2/ja active Active
- 2011-11-22 RU RU2013131774/08A patent/RU2555237C2/ru active
- 2011-11-22 ES ES11787858T patent/ES2530960T3/es active Active
- 2011-11-22 BR BR112013014172-7A patent/BR112013014172B1/pt active IP Right Grant
- 2011-11-28 TW TW100143542A patent/TWI519178B/zh active
- 2011-11-28 TW TW100143541A patent/TWI524786B/zh active
- 2011-12-06 AR ARP110104562A patent/AR084176A1/es active IP Right Grant
- 2011-12-06 AR ARP110104561A patent/AR084175A1/es active IP Right Grant
-
2013
- 2013-06-06 US US13/911,791 patent/US10187725B2/en active Active
- 2013-06-06 US US13/911,824 patent/US9241218B2/en active Active
-
2014
- 2014-04-11 HK HK14103528.9A patent/HK1190552A1/xx unknown
- 2014-04-16 HK HK14103633.1A patent/HK1190553A1/xx unknown
-
2018
- 2018-12-04 US US16/209,638 patent/US10531198B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6052658A (en) * | 1997-12-31 | 2000-04-18 | Industrial Technology Research Institute | Method of amplitude coding for low bit rate sinusoidal transform vocoder |
US6694027B1 (en) * | 1999-03-09 | 2004-02-17 | Smart Devices, Inc. | Discrete multi-channel/5-2-5 matrix system |
RU2363116C2 (ru) * | 2002-07-12 | 2009-07-27 | Конинклейке Филипс Электроникс Н.В. | Аудиокодирование |
RU2315371C2 (ru) * | 2002-12-28 | 2008-01-20 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для смешивания аудиопотока и носитель информации |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2713858C1 (ru) * | 2016-04-12 | 2020-02-07 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для обеспечения индивидуальных звуковых зон |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2555237C2 (ru) | Устройство и способ для разложения входного сигнала с использованием понижающего микшера | |
RU2569346C2 (ru) | Устройство и способ генерирования выходного сигнала с применением блока разложения сигнала | |
AU2015255287A1 (en) | Apparatus and method for generating an output signal employing a decomposer |