RU2728832C2 - Способ и устройство для управления маскировкой потери аудиокадров - Google Patents
Способ и устройство для управления маскировкой потери аудиокадров Download PDFInfo
- Publication number
- RU2728832C2 RU2728832C2 RU2017124644A RU2017124644A RU2728832C2 RU 2728832 C2 RU2728832 C2 RU 2728832C2 RU 2017124644 A RU2017124644 A RU 2017124644A RU 2017124644 A RU2017124644 A RU 2017124644A RU 2728832 C2 RU2728832 C2 RU 2728832C2
- Authority
- RU
- Russia
- Prior art keywords
- frame
- spectrum
- sinusoidal
- frequency
- prototype
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 78
- 230000000873 masking effect Effects 0.000 title claims description 12
- 230000005236 sound signal Effects 0.000 claims abstract description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 23
- 230000010363 phase shift Effects 0.000 claims abstract description 6
- 230000002123 temporal effect Effects 0.000 claims abstract description 6
- 238000001228 spectrum Methods 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 45
- 238000004458 analytical method Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 9
- 238000006467 substitution reaction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000011084 recovery Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000003775 Density Functional Theory Methods 0.000 description 53
- 230000000875 corresponding effect Effects 0.000 description 27
- 230000006978 adaptation Effects 0.000 description 19
- 230000001052 transient effect Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000009172 bursting Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 210000004704 glottis Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
- G10L19/025—Detection of transients or attacks for time/frequency resolution switching
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Stereophonic System (AREA)
- Time-Division Multiplex Systems (AREA)
- Auxiliary Devices For Music (AREA)
- Error Detection And Correction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Изобретение относится к области обработки аудиосигналов. Технический результат заключается в снижении ошибок передачи, которые могут приводить к ситуации, в которой один или несколько переданных кадров отсутствуют в приемнике для восстановления. Технический результат достигается за счет изменения всех спектральных коэффициентов прототипного кадра, включенных в интервал Mвокруг синусоиды k путем фазового сдвига пропорционально синусоидальной частоте fи разнице во времени между потерянным аудиокадром и прототипным кадром, таким образом включая временное развертывание синусоидальных компонентов прототипного кадра во временной экземпляр потерянного аудиокадра, и сохранения параметров этих спектральных коэффициентов. 3 н. и 10 з.п. ф-лы, 15 ил.
Description
Область техники, к которой относится изобретение
Заявка относится к способам и устройствам для управления способом маскировки для потерянных аудиокадров принятого аудиосигнала.
Уровень техники
Традиционные системы аудиосвязи передают речевые и аудиосигналы в кадрах, что означает, что посылающая сторона сначала организует сигнал в коротких сегментах или кадрах, например, по 20-40 мс, которые затем кодируются и передаются как логические блоки, например, в пакете передачи. Приемник декодирует каждый из этих блоков и восстанавливает соответствующие кадры сигнала, которые, в свою очередь, наконец выводятся как непрерывная последовательность восстановленных семплов (отсчетов) сигнала. До кодирования обычно имеется этап аналого-цифрового (A/D) преобразования, который преобразует аналоговый речевой или аудиосигнал от микрофона в последовательность аудиосемплов. С другой стороны, на принимающем конце обычно имеется конечный этап цифро-аналогового (D/A) преобразования, который преобразует последовательность восстановленных цифровых семплов сигнала в непрерывный во времени аналоговый сигнал для воспроизведения громкоговорителем.
Однако такая система передачи для речевых и аудио-сигналов может страдать от ошибок передачи, которые могут приводить к ситуации, в которой один или несколько переданных кадров отсутствуют в приемнике для восстановления. В этом случае декодер должен генерировать подстановочный сигнал для каждого из стертых, то есть недоступных кадров. Это делается в так называемом блоке маскировки потери кадров или ошибок декодера сигнала принимающей стороны. Цель маскировки потери кадров состоит в том, чтобы сделать потерю кадров настолько неслышимой, насколько это возможно, и, следовательно, смягчить воздействие потери кадров на качество восстановленного сигнала в максимально возможной степени.
Традиционные способы маскировки потери кадров могут зависеть от структуры или архитектуры кодека, например, путем применения формы повторения ранее принятых параметров кодека. Такие методики повторения параметров явно зависят от конкретных параметров используемого кодека и, следовательно, не так легко применимы для других кодеков с другой структурой. Текущие способы маскировки потери кадров могут, например, применять концепцию замораживания и экстраполяции параметров ранее полученного кадра для генерации подстановочного кадра для потерянного кадра.
Эти способы маскировки потери кадров существующего уровня техники включают в себя некоторые схемы обработки пакетных потерь. Обычно, после потери множества кадров подряд синтезируемый сигнал ослабляется, пока он полностью не заглушается после длинных пакетов ошибок. Кроме того, параметры кодирования, которые, по сути, повторяются и экстраполируются, изменяются так, что выполняется ослабление, и так, что спектральные пики сглаживаются.
Методики маскировки потери кадров существующего уровня техники обычно применяют концепцию замораживания и экстраполяции параметров ранее полученного кадра для генерации подстановочного кадра для потерянного кадра. Многие параметрические кодеки для разговорных сигналов, такие как кодеки с линейным предсказанием, такие как AMR или AMR-WB, как правило замораживают ранее принятые параметры или используют некоторую их экстраполяцию и используют с ними декодер. В сущности, принцип состоит в том, что должна быть заданная модель для кодирования/декодирования, и в том, чтобы применять одну и ту же модель с замороженными или экстраполируемыми параметрами. Методики маскировки потери кадров AMR и AMR-WB могут рассматриваться как типичные представители. Они подробно описаны в соответствующих описаниях стандартов.
Многие кодеки из класса аудиокодеков применяют методики кодирования в частотной области. Это означает, что после некоторого преобразования в частотную область к спектральным параметрам применяется модель кодирования. Декодер восстанавливает спектр сигнала из принятых параметров и, наконец, преобразует спектр обратно во временной сигнал. Как правило, временной сигнал восстанавливается кадр за кадром. Такие кадры объединяются с помощью добавляющих перекрытие методик в конечный восстановленный сигнал. Даже в этом случае аудиокодеков маскировка ошибок существующего уровня техники обычно применяется к одной и той же или по меньшей мере к аналогичной модели декодирования для потерянных кадров. Параметры частотной области из ранее полученного кадра замораживаются или соответствующим образом экстраполируются и затем используются в преобразовании из частотной во временную область. Примеры таких методик обеспечены аудиокодеками 3GPP в соответствии со стандартами 3GPP.
Сущность изобретения
Решения для маскировки потери кадров существующего уровня техники, как правило, страдают от ухудшения качества. Основная проблема состоит в том, что методика замораживания и экстраполяции параметров и повторное применение той же самой модели декодирования даже для потерянных кадров не всегда гарантирует плавное и точное развертывание сигнала из ранее декодированных кадров сигнала в потерянный кадр. Это обычно приводит к нарушениям непрерывности звукового сигнала с соответствующим влиянием на качество.
Описаны новые схемы маскировки потери кадров для систем передачи разговорных и аудио-сигналов. Новые схемы улучшают качество в случае потери кадров по сравнению с качеством, достижимым с помощью методик маскировки потери кадров предшествующего уровня техники.
Целью настоящих вариантов воплощения является управление схемой маскировки потери кадров, которая, предпочтительно, имеет тип соответствующих описанных новых способов, так что достигается наилучшее возможное качество звука восстановленного сигнала. Варианты воплощения направлены на оптимизацию этого качества восстановления и относительно свойств сигнала, и относительно временного распределения потерь кадров. Особенно проблематично обеспечить хорошее качество для маскировки потери кадров случаи, когда аудиосигнал имеет сильно изменяющиеся свойства, такие как энергетические всплески и спады, или если он спектрально сильно флуктуирует. В этом случае описанные способы маскировки могут повторять всплески, спады или спектральную флуктуацию, приводя к большим отклонениям от исходного сигнала и соответствующей потери качества.
Другой проблемный случай имеет место, когда пакеты потерь кадров происходят подряд. Концептуально, схема маскировки потери кадров в соответствии с описанными способами может справиться с такими случаями, хотя оказалось, что раздражающие тональные артефакты могут по-прежнему иметь место. Другой целью настоящих вариантов воплощения является уменьшение таких артефактов в максимально возможной степени.
В соответствии с первым аспектом способ для декодера маскировки потерянного аудиокадра содержит этапы, на которых обнаруживают в свойстве ранее принятого и восстановленного аудиосигнала или в статистическом свойстве наблюдаемых потерь кадров условие, для которого подстановка потерянного кадра обеспечивает относительно более низкое качество. В случае, если такое условие обнаружено, модифицируют способ маскировки путем выборочной настройки фазы или амплитуды спектра подстановочного кадра.
В соответствии со вторым аспектом декодер сконфигурирован реализовывать маскировку потерянного аудиокадра и содержит контроллер, сконфигурированный обнаруживать в свойстве ранее принятого и восстановленного аудиосигнала или в статистическом свойстве наблюдаемых потерь кадров условие, для которого подстановка потерянного кадра обеспечивает относительно более низкое качество. В случае, если такое условие обнаружено, контроллер сконфигурирован модифицировать способ маскировки путем выборочной настройки фазы или амплитуды спектра подстановочного кадра.
Декодер может быть реализован в устройстве, таком как, например, мобильный телефон.
В соответствии с третьим аспектом приемник содержит декодер в соответствии со вторым аспектом, описанным выше.
В соответствии с четвертым аспектом определена компьютерная программа для маскировки потерянного аудиокадра, и компьютерная программа содержит инструкции, которые при исполнении процессором предписывают процессору маскировать потерянный аудиокадр в соответствии с первым аспектом, описанным выше.
В соответствии с пятым аспектом компьютерный программный продукт содержит машиночитаемый носитель, хранящий компьютерную программу в соответствии с описанным выше четвертым аспектом.
Преимущество варианта воплощения решает проблему управления адаптацией способами маскировки потери кадров, позволяя уменьшить слышимое влияние потери кадров при передаче кодированных речевых сигналов и аудиосигналов даже больше, по сравнению с качеством, достигаемым только с помощью описанных способов маскировки. Общее преимущество вариантов воплощения состоит в обеспечении плавного и точного развертывания восстановленного сигнала даже для потерянных кадров. Слышимое влияние потери кадров значительно уменьшается по сравнению с использованием методик существующего уровня техники.
Краткое описание чертежей
Для более полного понимания иллюстративных вариантов воплощения настоящего изобретения теперь дается нижеследующее описание в сочетании с прилагаемыми чертежами, на которых:
Фигура 1 показывает прямоугольную оконную функцию.
Фигура 2 показывает комбинацию окна Хемминга с прямоугольным окном.
Фигура 3 показывает пример амплитудного спектра оконной функции.
Фигура 5 показывает спектр обработанного с помощью оконной функции синусоидального сигнала с частотой .
Фигура 6 изображает вертикальные линии, соответствующие величине узлов решетки DFT, на основании кадра анализа.
Фигура 7 изображает параболу, совмещенную с узлами P1, P2 и P3 решетки DFT.
Фигура 8 изображает совмещение основного лепестка спектра окна.
Фигура 9 изображает совмещение функции P аппроксимации основного лепестка с узлами P1 и P2 решетки DFT.
Фигура 10 является схемой последовательности операций, изображающей иллюстративный способ в соответствии с вариантами воплощения изобретения для управления способом маскировки для потерянного аудиокадра принятого аудиосигнала.
Фигура 11 является схемой последовательности операций, изображающей другой иллюстративный способ в соответствии с вариантами воплощения изобретения для управления способом маскировки для потерянного аудиокадра принятого аудиосигнала.
Фигура 12 изображает другой иллюстративный вариант воплощения изобретения.
Фигура 13 показывает пример устройства в соответствии с вариантом воплощения изобретения.
Фигура 14 показывает другой пример устройства в соответствии с вариантом воплощения изобретения.
Фигура 15 показывает другой пример устройства в соответствии с вариантом воплощения изобретения.
Подробное описание
Новая схема управления для новых описанных методик маскировки потери кадров включает в себя следующие этапы, как показано на фигуре 10. Следует отметить, что способ может быть реализован в контроллере в декодере.
1. Обнаружить условия в свойствах ранее принятого и восстановленного аудиосигнала или в статистических свойствах наблюдаемых потерь кадров, для которых подстановка потерянного кадра в соответствии с описанными способами обеспечивает относительно более низкое качество, 101.
2. В случае, если такое условие обнаружено на этапе 1, модифицировать элемент способов, в соответствии с которыми спектр подстановочного кадра вычисляется с помощью , путем выборочной регулировки фаз или спектральных амплитуд, 102.
Синусоидальный анализ
Первый этап методики маскировки потери кадров, к которой может быть применена новая методика управления, включает в себя синусоидальный анализ части ранее принятого сигнала. Цель этого синусоидального анализа состоит в том, чтобы найти частоты основных синусоид этого сигнала, и лежащее в основе допущение состоит в том, что сигнал состоит из ограниченного числа отдельных синусоид, то есть что это мультисинусоидальный сигнал следующего типа:
В этом уравнении K является числом синусоид, из которых, как предполагается, состоит сигнал. Для каждой из синусоид с индексом , является амплитудой, является частотой, а является фазой. Частота дискретизации обозначена с помощью , а временной индекс дискретных по времени семплов сигнала с помощью .
Главное значение имеет нахождение частот синусоид настолько точно, насколько это возможно. В то время как идеальный синусоидальный сигнал будет иметь линейчатый спектр с линейчатыми частотами , нахождение их истинных значений будут, в принципе, требовать бесконечного времени измерения. Следовательно, на практике трудно найти эти частоты, так как они могут быть оценены только на основании короткого периода измерения, который соответствует сегменту сигнала, используемому для синусоидального анализа, описанного в настоящем документе; этот сегмент сигнала именуется в дальнейшем кадром анализа. Другая трудность состоит в том, что сигнал может на практике изменяться со временем, что означает, что параметры вышеупомянутого уравнения изменяются с течением времени. Следовательно, с одной стороны, желательно использовать длинный кадр анализа, делая измерение более точным; с другой стороны, будет необходим короткий период измерения, чтобы лучше справляться с возможными изменениями сигнала. Хорошим компромиссом является использование длины кадра анализа порядка, например, 20-40 мс.
Предпочтительная возможность для идентификации частот синусоид состоит в проведении анализа в частотной области кадра анализа. С этой целью кадр анализа преобразуется в частотную область, например, с помощью DFT, или DCT, или аналогичных преобразований в частотную область. В случае, если используется DFT кадра анализа, спектр дается выражением:
В этом уравнении обозначает оконную функцию, с помощью которой извлекается и умножается на весовую функцию кадр анализа длины . Типичными оконными функциями являются, например, прямоугольные окна, которые равны 1 для и 0 в противном случае, как показано на фигуре 1. Здесь предполагается, что временные индексы ранее принятого аудиосигнала заданы так, что кадр анализа обозначается временными индексами . Другими оконными функциями, которые могут быть более подходящими для спектрального анализа, являются, например, окно Хемминга, окно Хеннинга, окно Кайзера или окно Блекмана. Оконная функция, которая оказалось особенно полезной, является комбинацией окна Хемминга с прямоугольным окном. Это окно имеет форму нарастающего фронта как левая половина окна Хемминга длины и форму убывающего фронта как правая половина окна Хемминга длины , а между нарастающим и убывающим фронтами окно равно 1 на длине , как показано на фигуре 2.
Пики амплитудного спектра умноженного на оконную функцию кадра анализа составляют аппроксимацию требуемых синусоидальных частот. Точность этой аппроксимации, однако, ограничена частотным интервалом DFT. Для DFT с длиной блока L точность ограничена величиной .
Эксперименты показывают, что этот уровень точности может быть слишком низким в рамках способов, описанных в настоящем документе. Улучшенная точность может быть получена на основании следующих соображений:
Спектр умноженного на оконную функцию кадра анализа дается сверткой спектра оконной функции с линейчатым спектром синусоидального модельного сигнала , которая далее дискретизируется в узлах решетки DFT:
Путем использования спектрального выражения для синусоидального модельного сигнала это может быть записано как
Следовательно, дискретизированный спектр дается выражением
На основании этих соображений предполагается, что наблюдаемые пики в амплитудном спектре кадра анализа происходят от умноженного на оконную функцию синусоидального сигнала с K синусоидами, где истинные частоты синусоид находятся вблизи пиков.
Пусть будет индексом DFT (узлом решетки) наблюдаемого k-го пика, тогда соответствующая частота , которая может рассматриваться как аппроксимация истинной синусоидальной частоты . Можно предположить, что истинная частота синусоиды лежит в пределах интервала .
Для ясности следует отметить, что свертка спектра оконной функции со спектром линейчатого спектра синусоидального модельного сигнала может пониматься как суперпозиция смещенных по частоте версий спектра оконной функции, в результате чего частоты сдвига являются частотами синусоид. Эта суперпозиция затем дискретизируется в узлах решетки DFT. Эти этапы изображены с помощью следующих фигур. Фигура 3 изображает пример амплитудного спектра оконной функции. Фигура 4 показывает амплитудный спектр (линейчатый спектр) иллюстративного синусоидального сигнала с одной синусоидой частоты. Фигура 5 показывает амплитудный спектр умноженного на оконную функцию синусоидального сигнала, который повторяет и накладывает смещенный по частоте спектр окна на частоты синусоиды. Вертикальные линии на фигуре 6 соответствуют величинам узлов решетки DFT умноженной на оконную функцию синусоиды, которые получены путем вычисления DFT кадра анализа. Следует отметить, что все спектры являются периодическими с нормированным частотным параметром , где , что соответствует частоте дискретизации.
Предыдущее обсуждение и иллюстрация фигуры 6 предполагают, что более хорошая аппроксимация истинных синусоидальных частот может быть найдена только путем увеличения разрешения поиска по частотному разрешению используемого преобразования в частотную область.
Один предпочтительный путь найти более хорошую аппроксимацию частот синусоид состоит в том, чтобы применить параболическую интерполяцию. Один такой подход состоит в том, чтобы совместить параболы с узлами решетки амплитудного спектра DFT, которые окружают пики, и вычислить соответствующие частоты, принадлежащие максимумам параболы. Подходящим выбором для порядка парабол является 2. Говоря более подробно, может быть применена следующая процедура:
1. Идентифицировать пики DFT умноженного на оконную функцию кадра анализа. Поиск пиков предоставит число пиков K и соответствующие индексы DFT пиков. Поиск пиков обычно может выполняться на амплитудном спектре DFT или логарифмическом амплитудном спектре DFT.
2. Для каждого пика (с ) с соответствующим индексом DFT совместить параболу с тремя точками . Результатом этого являются коэффициенты , , параболы, определенной выражением
Это совмещение параболы изображено на фигуре 7.
3. Для каждой из K парабол вычислить интерполированный частотный индекс , соответствующий значению , для которого парабола имеет свой максимум. Использовать как аппроксимацию для частоты синусоиды.
Описанный подход обеспечивает хорошие результаты, но может иметь некоторые ограничения, так как параболы не аппроксимируют форму основного лепестка амплитудного спектра оконной функции. Альтернативной схемой, делающей это, является усовершенствованная оценка частоты, использующая аппроксимацию основного лепестка, которая может быть описана следующим образом. Основная идея этой альтернативы состоит в том, чтобы совместить функцию , которая аппроксимирует основной лепесток , с узлами решетки амплитудного спектра DFT, которые окружают пики, и вычислить соответствующие частоты, принадлежащие максимумам функции. Функция может быть идентичной смещенному по частоте амплитудному спектру оконной функции. Для численной простоты, однако, это должен быть скорее, например, многочлен, который позволяет выполнить простое вычисление максимума функции. Может применяться следующая подробная процедура:
1. Идентифицировать пики DFT умноженного на оконную функцию кадра анализа. Поиск пиков предоставит число пиков K и соответствующие индексы DFT пиков. Поиск пиков обычно может выполняться на амплитудном спектре DFT или логарифмическом амплитудном спектре DFT.
2. Получить функцию , которая аппроксимирует амплитудный спектр оконной функции или логарифмический амплитудный спектр для данного интервала . Выбор аппроксимирующей функции, аппроксимирующей основной лепесток спектра окна, изображен на фигуре 8.
3. Для каждого пика (с ) с соответствующим индексом DFT совместить смещенную по частоте функцию с двумя узлами решетки DFT, которые окружают ожидаемый истинный пик непрерывного спектра умноженного на оконную функцию синусоидального сигнала. Следовательно, если больше, чем , совместить с точками , и в противном случае с точками . может, для простоты, являться многочленом 2 или 4 порядка. Это делает аппроксимацию на этапе 2 вычислением простой линейной регрессии, и вычисление простым. Интервал может быть выбран фиксированным и идентичным для всех пиков, например, , или адаптивным. В адаптивном подходе интервал может быть выбран так, что функция совмещается с основным лепестком спектра оконной функции в диапазоне соответствующих узлов {P1; P2} решетки DFT. Процесс совмещения визуализирован на фигуре 9.
4. Для каждого из K сдвинутых по частоте параметров , для которых непрерывный спектр умноженного на оконную функцию синусоидального сигнала, как ожидается, будет иметь свой пик, вычислить как аппроксимацию для частоты синусоиды.
Есть много случаев, когда переданный сигнал является гармоническим, то есть сигнал состоит из синусоидальных волн, частоты которых кратны некоторой основной частоте . Это имеет место, когда сигнал является очень периодическим, как, например, для вокализованной речи или длительных тонов некоторого музыкального инструмента. Это означает, что частоты синусоидальной модели вариантов воплощения не являются независимыми, а скорее имеют гармоническую зависимость и происходят от одной и той же основной частоты. Следовательно, принятие во внимание этого гармонического свойства может значительно улучшить анализ синусоидальных составляющих частот.
Одну возможность улучшения можно описать следующим образом:
1. Проверить, является ли сигнал гармоническим. Это может быть сделано, например, путем оценки периодичности сигнала до потери кадра. Один простой способ состоит в выполнении автокорреляционного анализа сигнала. Максимум такой автокорреляционной функции для некоторой временной задержки может использоваться в качестве индикатора. Если значение этого максимума превышает заданный порог, сигнал может расцениваться гармоническим. Соответствующая временная задержка тогда соответствует периоду сигнала, который связан с основной частотой как .
Многие способы кодирования речи с линейным предсказанием применяют так называемое предсказание высоты тона с обратной или без обратной связи или кодирование CELP с использованием адаптивных кодовых книг. Параметры усиление высоты тона и соответствующей задержки высоты тона, полученные с помощью таких способов кодирования, также являются полезными индикаторами, если сигнал является гармоническим и, соответственно, для временной задержки.
2. Для каждого индекса гармоники в пределах целочисленного диапазона проверить, есть ли пик в (логарифмическом) амплитудном спектре DFT кадра анализа в окресности частоты гармоники. Окрестность может быть определена как дельта-область вокруг , где дельта соответствует частотному разрешению DFT , то есть интервал .
В случае, если такой пик с соответствующей оценочной синусоидальной частотой присутствует, заменить частотой .
Для двухэтапной процедуры, данной выше, существует также возможность осуществления проверки, является ли сигнал гармоническим, и получение основной частоты неявно и, возможно, итеративным образом, не обязательно с использованием индикаторов из некоторого отдельного способа. Пример для такой методики дается следующий:
Для каждого из набора потенциальных значений применить этап 2 процедуры, хотя без замены , но с подсчетом, сколько пиков DFT присутствует в окрестности вблизи частот гармоник, то есть кратных . Идентифицировать основную частоту , для которой получено наибольшее число пиков на или вблизи от частот гармоник. Если это наибольшее число пиков превышает заданный порог, то сигнал предполагается гармоническим. В этом случае можно предположить, что является основной частотой, с которой затем выполняется этап 2, приводя к улучшенным синусоидальным частотам. Более предпочтительной альтернативой является, однако, оптимизация сначала основной частоты на основании частот пиков, которые были найдены совпадающими с частотами гармоник. Предположим есть набор M гармоник, то есть кратных некоторой основной частоты, которые были найдены совпадающими с некоторым набором M спектральных пиков на частотах , , тогда лежащая в основе (оптимизированная) основная частота может быть вычислена для минимизации ошибки между частотами гармоник и частотами спектральных пиков. Если ошибка, которая должна быть минимизирована, является среднеквадратичной ошибкой , тогда оптимальная основная частота вычисляется как
Начальный набор потенциальных значений может быть получен из частот пиков DFT или оценочных синусоидальных частот .
Дальнейшая возможность улучшить точность оценочных синусоидальных частот состоит в рассмотрении их развертывания во времени. С этой целью оценки синусоидальных частот по нескольким кадрам анализа могут комбинироваться, например, посредством усреднения или предсказания. До усреднения или предсказания может быть применено отслеживание пиков, которое соединяет оценочные спектральные пики с соответствующими теми же самыми лежащими в основе синусоидами.
Применение синусоидальной модели
Применение синусоидальной модели для выполнения операции по маскировке потери кадров, описанной в настоящем документе, может быть описано следующим образом.
Предполагается, что данный сегмент кодированного сигнала не может быть восстановлен декодером, так как соответствующая закодированная информация не доступна. Дополнительно предполагается, что часть сигнала до этого сегмента доступна. Пусть с является недоступным сегментом, для которого должен быть сгенерирован подстановочный кадр , и с n<0 является доступным ранее декодированным сигналом. Затем, на первом этапе прототипный кадр доступного сигнала длины L и начальным индексом извлекается с помощью оконной функции и преобразуется в частотную область, например, с помощью DFT:
Оконная функция может быть одной из оконных функций, описанных выше в синусоидальном анализе. Предпочтительно, чтобы уменьшить сложность численных расчетов, преобразованный в частотную область кадр должен быть идентичен кадру, используемому во время синусоидального анализа.
На следующем этапе применяется допущение синусоидальной модели. В соответствии с этим DFT прототипного кадра может быть записано следующим образом:
Следующий этап состоит в том, чтобы понять, что спектр используемой оконной функции имеет значительный вклад только в диапазоне частот вблизи нуля. Как изображено на фигуре 3, амплитудный спектр оконной функции больше для частот вблизи нуля и мал в противном случае (в пределах нормированного диапазона частот от до , соответствующего половине частоты дискретизации). Следовательно, в качестве аппроксимации предполагается, что спектр окна является ненулевым только для интервала M=[-mmin,mmax], где mmin и mmax являются небольшими положительными числами. В частности, аппроксимация спектра оконной функции используется так, что для каждого k вклады смещенных спектров окна в вышеупомянутом выражении являются строго неперекрывающимися. Следовательно, в вышеупомянутом уравнении для каждого частотного индекса в максимуме всегда есть вклад только от одного слагаемого, то есть от одного смещенного спектра окна. Это означает, что выражение выше сводится к следующему приближенному выражению:
Здесь обозначает целочисленный интервал , где mmin,k и mmax,k выполняют объясненное выше ограничение, так что интервалы не перекрываются. Подходящим выбором для mmin,k и mmax,k является задание их равными небольшому целочисленному значению δ, например, δ=3. Однако если индексы DFT, относящиеся к двум соседним синусоидальным частотам и , меньше, чем 2δ, то δ задается равным , так что оно гарантирует, что интервалы не перекрываются. Функция является ближайшим целым числом к аргументу функции, которое меньше или равно ему.
Следующий этап в соответствии с вариантом воплощения состоит в применении синусоидальной модели в соответствии с вышеупомянутым выражением и развертывании ее K синусоид во времени. Допущение, что временные индексы удаленного сегмента по сравнению с временными индексами прототипного кадра отличаются на семплов, означает, что фазы синусоид сдвинуты на
Следовательно, спектр DFT развернутой синусоидальной модели дается выражением:
Применение снова аппроксимации, в соответствии с которой смещенные спектры оконной функции не перекрываются, дает выражение:
Сравнивая DFT прототипного кадра с DFT развернутой синусоидальной модели с использованием аппроксимации, найдено, что амплитудный спектр остается неизменным, в то время как фаза смещается на для каждого . Следовательно, коэффициенты спектра частот прототипного кадра в окрестности каждой синусоиды смещены пропорционально синусоидальной частоте и разнице во времени между потерянным аудиокадром и прототипным кадром .
Следовательно, в соответствии с вариантом воплощения подстановочный кадр может быть вычислен с помощью следующего выражения:
Конкретный вариант воплощения решает вопросы, связанные с фазовой рандомизацией для индексов DFT, не принадлежащих какому-либо интервалу . Как было описано выше, интервалы , k=1…K должен быть заданы так, чтобы они являлись строго неперекрывающимися, что достигается с использованием некоторого параметра δ, который управляет размером интервалов. Может получиться, что δ является небольшим относительно частотного расстояния между двумя соседними синусоидами. Следовательно, в этом случае получается, что имеется разрыв между двумя интервалами. Следовательно, для соответствующих индексов m DFT фазовый сдвиг в соответствии с вышеупомянутым выражением не определен. Подходящим выбором в соответствии с этим вариантом воплощения является рандомизация фазы для этих индексов, что дает , где функция возвращает некоторое случайное число.
Было найдено выгодным для качества восстановленных сигналов оптимизировать размер интервалов . В частности, интервалы должны быть больше, если сигнал является очень тональным, то есть когда он имеет четкие и явные спектральные пики. Это имеет место, например, когда сигнал является гармоническим с четкой периодичностью. В других случаях, когда сигнал имеет менее выраженную спектральную структуру с более широкими спектральными максимумами, было найдено, что использование небольших интервалов приводит к лучшему качеству. Это открытие приводит к дополнительному улучшению, в соответствии с которым размер интервала настраивается в соответствии со свойствами сигнала. Одна реализация состоит в использовании детектора тональности или периодичности. Если этот детектор идентифицирует сигнал как тональный, δ-параметр, управляющий размером интервала, устанавливается равным относительно большому значению. В противном случае δ-параметр устанавливается равным относительно небольшому значению.
На основании приведенного выше способы маскировки потери аудиокадров включают в себя следующие этапы:
1. Анализ сегмента доступного, ранее синтезированного сигнала для получения составляющих синусоидальных частот синусоидальной модели, опционально c использованием усовершенствованной оценки частоты.
2. Извлечение прототипного кадра из доступного ранее синтезированного сигнала и вычисление DFT этого кадра.
3. Вычисление фазового сдвига для каждой синусоиды k в ответ на синусоидальную частоту и сдвиг (опережение) по времени между прототипным кадром и подстановочным кадром. Опционально на этом этапе может быть настроен размер интервала M в ответ на тональность аудиосигнала.
4. Для каждой синусоиды k сдвиг фазы прототипного кадра DFT на выборочно для индексов DFT, относящихся к окрестности вокруг частоты синусоиды.
5. Вычисление обратного DFT спектра, полученного на этапе 4.
Анализ и обнаружение свойства сигнала и потери кадров
Способы, описанные выше, основаны на допущении, что свойства аудиосигнала не изменяются значительно за короткое время от ранее принятого и восстановленного кадра сигнала до потерянного кадра. В этом случае очень хорошим выбором является сохранение амплитудного спектра ранее восстановленного кадра и развертывание фазы синусоидальных основных компонентов, обнаруженных в ранее восстановленном сигнале. Однако существуют случаи, где это допущение является неправильным, которые являются, например, транзиентами с внезапными изменениями энергии или внезапными спектральными изменениями.
Первый вариант воплощения детектора транзиентов в соответствии с изобретением может, следовательно, быть основан на изменениях энергии в пределах ранее восстановленного сигнала. Этот способ, изображенный на фигуре 11, вычисляет энергию в левой части и правой части некоторого кадра анализа, 113. Кадр анализа может быть идентичен кадру, используемому для синусоидального анализа, описанного выше. Часть (левая или правая) кадра анализа может быть первой или, соответственно, последней половиной кадра анализа или, например, первой или, соответственно, последней четвертью кадра анализа, 110. Соответствующее вычисление энергии выполняется путем суммирования квадратов семплов в этих частях кадра:
Здесь обозначает кадр анализа, и обозначают соответствующие индексы начала частей кадра, оба из которых имеют размер Npart.
Теперь энергия левой и правой частей кадра используются для обнаружения нарушения непрерывности сигнала. Это выполняется путем вычисления отношения
Нарушение непрерывности с внезапным уменьшением энергии (спад, окончание звука) может быть обнаружено, если отношение превышает некоторый порог (например, 10), 115. Аналогично, нарушение непрерывности с внезапным увеличением энергии (всплеск, начало звука) может быть обнаружено, если отношение ниже некоторого другого порога (например, 0.1), 117.
В контексте описанных выше способов маскировки было найдено, что определенное выше отношение энергий во многих случаях может быть слишком нечувствительным индикатором. В частности, в реальных сигналах и особенно музыке есть случаи, когда тон на некоторой частоте внезапно появляется, в то время как некоторый другой тон на некоторой другой частоте внезапно останавливается. Анализ такого сигнального кадра с помощью определенного выше отношения энергий в любом случае приведет к неправильному результату обнаружения по меньшей мере для одного из тонов, так как этот индикатор не чувствителен к различным частотам.
Решение этой проблемы описано в следующем варианте воплощения. Обнаружение транзиентов теперь выполняется в частотно-временной плоскости. Кадр анализа снова разделяется на левую и правую часть кадра, 110. Хотя теперь, эти две части кадра (после умножения на подходящую оконную функцию, например, окно Хемминга, 111) преобразуются в частотную область, например, посредством Npart-точечного DFT, 112.
Теперь обнаружение транзиентов может быть выполнено частотно-избирательно для каждого отрезка DFT с индексом m. Используя энергии амплитудных спектров левой и правой частей кадра, для каждого индекса m DFT соответствующее отношение энергий может быть вычислено 113 в виде
Эксперименты показывают, что частотно-избирательное обнаружение транзиентов с разрешением отрезков DFT является относительно неточным из-за статистических флуктуаций (ошибок оценки). Было найдено, что качество операции довольно сильно увеличивается, если делать частотно-избирательное обнаружение транзиентов на основе полос частот. Пусть указывают k-ый интервал, k=1…K, охватывающий отрезки DFT от до , тогда эти интервалы определяют K полос частот. Выборочное по группе частот обнаружение транзиентов теперь может быть основано на отношении для полос между соответствующими энергиями полос левой и правой частей кадра:
Следует отметить, что интервал соответствует полосе частот , где обозначает частоту дискретизации звука.
Самая низкая граница m0 нижней полосы частот может быть задана равной 0, но может быть также задана равной индексу DFT, соответствующему большей частоте, чтобы снизить ошибки оценки, которые увеличиваются для более низких частот. Самая высокая граница mk верхней полосы частот может быть задана равной , но предпочтительно выбирается так, чтобы соответствовать некоторой более низкой частоте, на которой транзиент все еще имеет значительный слышимый эффект.
Подходящий выбор для размеров или ширин этих полос частот состоит в том, чтобы сделать их одинакового размера шириной, например, в несколько 100 Гц. Другой предпочтительный путь состоит в том, чтобы сделать ширины полос частот зависящими от размера акустических критических полос частот человека, то есть связать их с разрешением по частоте слуховой системы. Это означает, приблизительно, что необходимо сделать ширины полос частот одинаковыми для частот до 1 кГц, и увеличивать их экспоненциально выше 1 кГц. Экспоненциальное увеличение означает, например, удвоение полосы частот с увеличением индекса полосы k.
Как описано в первом варианте воплощения детектора транзиентов, который был основан на отношении энергий двух частей кадра, любое из отношений, связанных с энергиями полос или энергиями отрезков DFT двух частей кадра, сравниваются с определенными порогами. Используется соответствующий верхний порог для (частотно-избирательного) обнаружения спадов 115 и соответствующий нижний порог для (частотно-избирательного) обнаружения всплесков 117.
Дополнительный зависящий от аудиосигнала индикатор, который является подходящим для адаптации способа маскировки потери кадров, может быть основан на параметрах кодека, переданных декодеру. Например, кодек может быть многорежимным кодеком, как ITU-T G.718. Такой кодек может использовать конкретные режимы кодека для различных типов сигнала и изменять режим кодека в кадре незадолго до того, как потеря кадра может быть расценена как индикатор для транзиента.
Другим полезным индикатором для адаптации маскировки потери кадров является параметр кодека, относящийся к свойству озвучивания и переданному сигналу. Озвучивание относится к высоко периодической речи, которая генерируется периодическим возбуждением голосовой щели вокального тракта человека.
Дополнительный предпочтительный индикатор оценивает, является ли содержание сигнала музыкой или речью. Такой индикатор может быть получен от классификатора сигналов, который может обычно быть частью кодека. В случае, если кодек выполняет такую классификацию и делает соответствующее решение о классификации доступным в качестве параметра кодирования декодеру, этот параметр предпочтительно используется в качестве индикатора содержания сигнала, который будет использоваться для адаптации способа маскировки потери кадров.
Другим индикатором, который предпочтительно используется для адаптации способов маскировки потери кадров, является пакетирование потери кадров. Пакетирование потери кадров означает, что происходит потеря нескольких кадров подряд, затрудняя для способа маскировки потери кадров использование годных только что декодированных частей сигнала для его работы. Индикатором существующего уровня техники является число nburst наблюдаемых потерь кадров подряд. Этот счетчик увеличивается на единицу при каждой потере кадра и обнуляется при приеме годного кадра. Этот индикатор также используется в контексте настоящих иллюстративных вариантов воплощения изобретения.
Адаптация способа маскировки потери кадров
В случае, если этапы, выполненные выше, указывают условие, предполагающее адаптацию операции по маскировке потери кадров, вычисление спектра подстановочного кадра модифицируется.
В то время как исходное вычисление спектра подстановочного кадра выполняется в соответствии с выражением , теперь производится адаптация, модифицирующая и амплитуду, и фазу. Амплитуда изменяется посредством масштабирования с помощью двух множителей и , а фаза модифицируется с помощью добавочного фазового компонента . Это приводит к следующему модифицированному вычислению подстановочного кадра:
Следует отметить, что исходные (неадаптированные) способы маскировки потери кадров используются, если , и . Следовательно, эти соответствующие значения являются значениями по умолчанию.
Общая цель использования адаптации амплитуды состоит в том, чтобы избежать слышимых артефактов способа маскировки потери кадров. Такие артефакты могут быть музыкальными или тональными звуками или странными звуками, являющимися результатом повторений транзиентных звуков. Такие артефакты, в свою очередь, будут приводить к снижению качества, предотвращение чего является целью описанной адаптации. Подходящим путем такой адаптации является изменение амплитудного спектра подстановочного кадра в подходящей степени.
Фигура 12 изображает вариант воплощения модификации способа маскировки. Адаптация амплитуды, 123, предпочтительно делается, если счетчик пакетных потерь nburst превышает некоторый порог thrburst, например, thrburst=3, 121. В этом случае для коэффициента ослабления используется значение меньше, чем 1, например, .
Однако было найдено, что выгодно выполнять ослабление с постепенно увеличивающейся степенью. Одним предпочтительным вариантом воплощения, который делает это, является задание логарифмического параметра, указывающего логарифмическое увеличение ослабления на кадр, . Затем, в случае, если пакетный счетчик превышает порог, постепенно увеличивающийся коэффициент ослабления вычисляется с помощью выражения
Здесь постоянная c является просто масштабирующей постоянной, позволяющей указать параметр , например, в децибелах (дБ).
Дополнительная предпочтительная адаптация делается в ответ на индикатор, оценен ли сигнал как музыка или речь. Для музыкального содержания по сравнению с речевым содержанием предпочтительно увеличить порог и уменьшить ослабление на кадр. Это эквивалентно выполнению адаптации способа маскировки потери кадров в более низкой степени. Предпосылкой этого вида адаптации является то, что музыка, как правило, менее чувствительна к более длинным пакетам потерь, чем речь. Следовательно, исходный, то есть немодифицированный способ маскировки потери кадров, по-прежнему является предпочтительным для этого случая, по меньшей мере для потери большего числа кадров подряд.
Дополнительная адаптация способа маскировки относительно коэффициента ослабления амплитуды предпочтительно делается в случае, если был обнаружен транзиент на основании того, что индикатор или, альтернативно, или превысил порог, 122. В этом случае подходящее действие адаптации, 125, заключается в модификации второго коэффициента ослабления амплитуды , так что общим ослаблением управляет произведение этих двух множителей .
В случае, если обнаружен всплеск, было найдено полезным скорее ограничить увеличение энергии подстановочного кадра. В этом случае множитель может быть задан равным некоторому фиксированному значению, например, 1, что означает, что ослабление отсутствует, но также нет никакого усиления.
В вышеупомянутом следует отметить, что коэффициент ослабления амплитуды предпочтительно применяется частотно-избирательно, то есть с индивидуально вычисленными множителями для каждой полосы частот. В случае, если подход с полосами не используется, соответствующие коэффициенты ослабления амплитуды, тем не менее, могут быть получены аналогичным образом. может тогда быть задан индивидуально для каждого отрезка DFT в случае, если частотно-избирательное обнаружение транзиентов используется на уровне отрезков DFT. Или в случае, если не используется вообще никакое частотно-избирательное указание о транзиентах, может быть глобально одинаковым для всех m.
Дополнительная предпочтительная адаптация коэффициента ослабления амплитуды делается в сочетании с модификацией фазы посредством дополнительного фазового компонента , 127. В случае, если для данного m используется такая модификация фазы, коэффициент ослабления уменьшается дополнительно. Предпочтительно учитывается даже степень модификации фазы. Если модификация фазы является лишь умеренной, уменьшается лишь незначительно, в то время как если модификация фазы является значительной, уменьшается в большей степени.
Общая цель введения адаптации фазы состоит в том, чтобы избежать слишком сильной тональности или периодичности сигнала в генерируемых подстановочных кадрах, что, в свою очередь, привело бы к снижению качества. Подходящим путем такой адаптации является рандомизация или сглаживание фазы в подходящей степени.
Такое сглаживание фазы выполняется, если дополнительный фазовый компонент задается равным случайному значению, масштабированному с помощью некоторого управляющего коэффициента: .
Случайное значение, полученное с помощью функции , например, генерируется с помощью некоторого генератора псевдослучайных чисел. Здесь предполагается, что он обеспечивает случайное число в пределах интервала .
Масштабирующий коэффициент в вышеупомянутом уравнении управляет степенью, в которой сглаживается исходная фаза . Следующие варианты воплощения решают проблему адаптацию фазы посредством управления этим масштабирующим коэффициентом. Управление масштабирующим коэффициентом делается аналогичным образом, как и управление множителями модификации амплитуды, описанными выше.
В соответствии с первым вариантом воплощения масштабирующий коэффициент адаптируется в ответ на счетчик пакетных потерь. Если счетчик пакетных потерь превышает некоторый порог , например, , используется значение больше, чем 0, например, .
Однако было найдено, что выгодно выполнять сглаживание с постепенно увеличивающейся степенью. Одним предпочтительным вариантом воплощения, который делает это, является задание параметра, указывающего увеличение сглаживания на кадр, . Затем, в случае, если пакетный счетчик превышает порог, постепенно увеличивающийся множитель управления сглаживанием вычисляется с помощью
В вышеупомянутой формуле следует отметить, что должна быть ограничена максимальным значением 1, для которого достигается полное сглаживание фазы.
Следует отметить, что пороговое значение пакетных потерь , используемое для инициирования сглаживания фазы, может быть тем же самым порогом, что и порог, используемый для ослабления амплитуды. Однако, более высокое качество может быть получено путем задания этих порогов равными индивидуальным оптимальным значениям, что, как правило, означает, что эти пороги могут отличаться.
Дополнительная предпочтительная адаптация делается в ответ на индикатор, оценен ли сигнал как музыка или речь. Для музыкального содержания по сравнению с речевым содержанием предпочтительно увеличить порог , что означает, что сглаживание фазы для музыки по сравнению с речью делается только в случае большего количества потерянных подряд кадров. Это эквивалентно выполнению адаптации способа маскировки потери кадров для музыки в более низкой степени. Предпосылкой этого вида адаптации является то, что музыка, как правило, менее чувствительна к более длинным пакетам потерь, чем речь. Следовательно, исходный, то есть немодифицированный способ маскировки потери кадров, по-прежнему является предпочтительным для этого случая, по меньшей мере для потери большего числа кадров подряд.
Дополнительный предпочтительный вариант воплощения состоит в адаптации сглаживания фазы в ответ на обнаруженный транзиент. В этом случае более сильная степень сглаживания фазы может использоваться для отрезков m DFT, для которых транзиент указан или для этого отрезка, отрезков DFT соответствующей полосы частот или целого кадра.
Часть описанных схем решает проблему оптимизации способа маскировки потери кадров для гармонических сигналов и, в частности, для вокализованной речи.
В случае, если способы, использующие усовершенствованную частотную оценку, как описано выше, не реализованы, другая возможность адаптации для способа маскировки потери кадров, оптимизирующего качество для сигналов вокализованной речи, состоит в том, чтобы переключиться на некоторый другой способ маскировки потери кадров, который специально спроектирован и оптимизирован для речи, а не для общих аудиосигналов, содержащих музыку и речь. В этом случае используется индикатор, что сигнал содержит сигнал вокализованной речи, чтобы выбрать другую оптимизированную для речи схему маскировки потери кадров, а не схемы, описанные выше.
Варианты воплощения применяются к контроллеру в декодере, как изображено на фигуре 13. Фигура 13 является блок-схемой декодера в соответствии с вариантами воплощения. Декодер 130 содержит блок 132 ввода, сконфигурированный принимать закодированный аудиосигнал. Фигура изображает маскировку потери кадров логическим блоком 134 маскировки потери кадров, который указывает, что декодер сконфигурирован реализовывать маскировку потерянного аудиокадра, в соответствии с вышеописанными вариантами воплощения. Дополнительно декодер содержит контроллер 136 для реализации вариантов воплощения, описанных выше. Контроллер 136 сконфигурирован обнаруживать условия в свойствах ранее принятого и восстановленного аудиосигнала или в статистических свойствах наблюдаемых потерь кадров, для которых подстановка потерянного кадра в соответствии с описанными способами обеспечивает относительно более низкое качество. В случае, если такое условие обнаружено, контроллер 136 сконфигурирован изменять элемент способов маскировки, в соответствии с которым спектр подстановочного кадра вычисляется как , путем выборочной настройки фаз или спектральных амплитуд. Обнаружение может быть выполнено блоком 146 детектора, а модификация может быть выполнена блоком 148 модификатора, как изображено на фигуре 14.
Декодер с входящими в его состав блоками может быть реализован в аппаратных средствах. Есть множество вариантов схемотехнических элементов, которые могут использоваться и комбинироваться для достижения функций блоков декодера. Такие варианты охватываются вариантами воплощения. Конкретными примерами аппаратной реализации декодера является реализация в аппаратных средствах и технологии интегральной схемы цифрового сигнального процессора (DSP), включая и электронные схемы общего назначения, и специализированные схемы.
Декодер 150, описанный в настоящем документе, может быть альтернативно реализован, например, как изображено на фигуре 15, то есть с помощью одного или нескольких процессоров 154 и соответствующего программного обеспечения 155 с подходящим накопителем или памятью 156 для него для восстановления аудиосигнала, что включает в себя выполнение маскировки потери аудиокадров в соответствии с вариантами воплощения, описанными в настоящем документе, как показано на фигуре 13. Входящий закодированный аудиосигнал принимается входом (ВХОД) 152, с которым соединены процессор 154 и память 156. Декодированный и восстановленный аудиосигнал, полученный из программного обеспечения, выводится из выхода (ВЫХОД) 158.
Технология, описанная выше, может использоваться, например, в приемнике, который может использоваться в мобильном устройстве (например, мобильном телефоне, портативном компьютере) или стационарном устройстве, таком как персональный компьютер.
Следует понимать, что выбор взаимодействующих блоков или модулей, а также наименования блоков приведены только для иллюстративных целей, и они могут быть сконфигурированы множеством альтернативных путей, чтобы иметь возможность исполнять раскрытые действия процесса.
Следует также отметить, что блоки или модули, описанные в этом раскрытии, должны рассматриваться как логические объекты, а не обязательно как отдельные физические объекты. Следует иметь в виду, что объем технологии, раскрытой в настоящем документе, полностью охватывает другие варианты воплощения, которые могут быть очевидны для специалистов в области техники, и что объем этого раскрытия, соответственно, не должен ограничиваться.
Ссылка на элемент в единственном числе не означает "один и только один", если это не указано явно, а скорее означает "один или несколько".
Все структурные и функциональные эквиваленты элементов вышеописанных вариантов воплощения, которые известны специалистам в области техники, явно включены в настоящий документ по ссылке и должны охватываться им. Кроме того, устройство или способ не обязательно должно решать каждую проблему, которая должна решаться с помощью технологии, раскрытой в настоящем документе, для того, чтобы оно охватывалось настоящим документом.
В предыдущем описании для целей пояснения, а не ограничения, изложены конкретные подробности, такие как конкретная архитектура, интерфейсы, методики и т.д., чтобы обеспечить полное понимание раскрытой технологии. Однако для специалистов в области техники будет очевидно, что раскрытая технология может быть реализована в других вариантах воплощения и/или комбинациях вариантов воплощения, которые отступают от этих конкретных подробностей. То есть специалисты в области техники будут в состоянии разработать различные конструкции, которые, хотя явно не описаны или показаны в настоящем документе, воплощают принципы раскрытой технологии. В некоторых случаях подробные описания известных устройств, электрических цепей и способов опущены, чтобы не загромождать описание раскрытой технологии ненужными подробностями. Все утверждения в настоящем документе, излагающие принципы, аспекты и варианты воплощения раскрытой технологии, а также их конкретные примеры, предназначены для охвата и структурных, и функциональных их эквивалентов. Дополнительно предполагается, что такие эквиваленты включают в себя как в настоящий момент известные эквиваленты, так и эквиваленты, которые могут быть разработаны в будущем, например, любые разработанные элементы, которые выполняют ту же самую функцию, независимо от структуры.
Таким образом, например, специалистам в области техники будет понятно, что фигуры в настоящем документе могут представлять собой концептуальный вид иллюстративной электрической схемы или других функциональных блоков, воплощающих принципы технологии и/или различных процессов, которые могут быть, по сути, представлены на машиночитаемом носителе и исполнены компьютером или процессором даже при том, что такой компьютер или процессор могут быть не показаны явно на фигурах.
Функции различных элементов, в том числе функциональных блоков, могут быть обеспечены с помощью аппаратных средств, таких как аппаратные средства электрических цепей и/или аппаратные средства, способные исполнять программное обеспечения в форме кодированных инструкций, сохраненных на машиночитаемом носителе. Таким образом, такие функции и изображенные функциональные блоки должны пониматься как реализованные или с помощью аппаратных средств, и/или с помощью компьютера и, таким образом, реализованными машинным образом.
Варианты воплощения, описанные выше, следует понимать как несколько иллюстративных примеров настоящего изобретения. Специалистам в области техники будет понятно, что различные модификации, комбинации и изменения могут быть сделаны в вариантах воплощения, не отступая от объема настоящего изобретения. В частности, решения для различных частей в различных вариантах воплощения могут быть объединены в других конфигурациях, где это технически возможно.
Claims (25)
1. Способ маскировки потерянного аудиокадра принятого аудиосигнала, причем способ содержит этапы, на которых:
- извлекают сегмент из ранее принятого или восстановленного аудиосигнала, при этом упомянутый сегмент используется в качестве прототипного кадра для того, чтобы создать подстановочный кадр для потерянного аудиокадра;
- преобразуют извлеченный прототипный кадр в представление в частотной области;
- выполняют синусоидальный анализ прототипного кадра, при этом синусоидальный анализ включает в себя идентификацию частот синусоидальных компонентов аудиосигнала;
- изменяют все спектральные коэффициенты прототипного кадра, включенные в интервал Mk вокруг синусоиды k путем фазового сдвига пропорционально синусоидальной частоте fk и разнице во времени между потерянным аудиокадром и прототипным кадром, таким образом включая временное развертывание синусоидальных компонентов прототипного кадра во временной экземпляр потерянного аудиокадра, и сохраняют параметры этих спектральных коэффициентов;
- изменяют фазу спектрального коэффициента прототипного кадра, не включенного ни в один из интервалов, относящихся к области вокруг идентифицированных синусоид путем случайного значения, и сохраняют параметры этого спектрального коэффициента; и
- выполняют обратное преобразование в частотную область настроенного по фазе частотного спектра прототипного кадра, для создания таким образом подстановочного кадра для потерянного аудиокадра.
2. Способ по п. 1, в котором идентификация частот синусоидальных компонентов также содержит идентификацию частот вблизи пиков спектра, относящегося к преобразованию в частотную область.
3. Способ по п. 2, в котором идентификация частот синусоидальных компонентов выполняется с более высоким разрешением, чем частотное разрешение используемого преобразования в частотную область.
4. Способ по п. 3, в котором идентификация частот синусоидальных компонентов также включает в себя интерполяцию.
5. Способ по п. 4, в котором интерполяция является параболического типа.
6. Способ по любому из пп. 1-5, который также содержит извлечение прототипного кадра из доступного ранее полученного или восстановленного сигнала, используя оконную функцию.
7. Способ по п. 6, который также содержит аппроксимацию спектра оконной функции так, что спектр подстановочного кадра сформирован из строго неперекрывающихся частей аппроксимированного спектра оконной функции.
8. Декодер, сконфигурированный с возможностью маскировки потерянного аудиокадра принятого аудиосигнала, содержащий процессор и память, причем память хранит инструкции, исполняемые процессором, при этом декодер сконфигурирован для:
- извлечения сегмента из ранее принятого или восстановленного аудиосигнала, при этом упомянутый сегмент используется в качестве прототипного кадра для того, чтобы создать подстановочный кадр для потерянного аудиокадра;
- преобразования извлеченного прототипного кадра в представление в частотной области;
- выполнения синусоидального анализа прототипного кадра, при этом синусоидальный анализ включает в себя идентификацию частот синусоидальных компонентов аудиосигнала;
- изменения всех спектральных коэффициентов прототипного кадра, включенных в интервал Mk вокруг синусоиды k путем фазового сдвига пропорционально синусоидальной частоте fk и разнице во времени между потерянным аудиокадром и прототипным кадром, таким образом включая временное развертывание синусоидальных компонентов прототипного кадра во временной экземпляр потерянного аудиокадра, и сохранения параметров этих спектральных коэффициентов;
- изменения фазы спектрального коэффициента прототипного кадра, не включенного ни в один из интервалов, относящихся к области вокруг идентифицированных синусоид путем случайного значения, и сохранения параметров этого спектрального коэффициента; и
- выполнения обратного преобразования в частотную область настроенного по фазе частотного спектра прототипного кадра, для создания таким образом подстановочного кадра для потерянного аудиокадра.
9. Декодер по п. 8, в котором идентификация частот синусоидальных компонентов также содержит идентификацию частот вблизи пиков спектра, относящегося к преобразованию в частотную область.
10. Декодер по п. 8, в котором идентификация частот синусоидальных компонентов аудиосигнала также включает в себя параболическую интерполяцию.
11. Декодер по любому из пп. 8-10, который также сконфигурирован для извлечения прототипного кадра из доступного ранее полученного или восстановленного сигнала, используя оконную функцию.
12. Декодер по п. 8, который также сконфигурирован для аппроксимирования спектра оконной функции так, что спектр подстановочного кадра сформирован из строго неперекрывающихся частей аппроксимированного спектра оконной функции.
13. Приемник, содержащий декодер по любому из пп. 8-12.
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361760822P | 2013-02-05 | 2013-02-05 | |
US201361760814P | 2013-02-05 | 2013-02-05 | |
US201361761051P | 2013-02-05 | 2013-02-05 | |
US61/761,051 | 2013-02-05 | ||
US61/760,814 | 2013-02-05 | ||
US61/760,822 | 2013-02-05 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2015137708A Division RU2628144C2 (ru) | 2013-02-05 | 2014-01-22 | Способ и устройство для управления маскировкой потери аудиокадров |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2020122689A Division RU2020122689A (ru) | 2013-02-05 | 2020-07-09 | Способ и устройство для управления маскировкой потери аудиокадров |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2017124644A RU2017124644A (ru) | 2019-01-30 |
RU2017124644A3 RU2017124644A3 (ru) | 2020-05-27 |
RU2728832C2 true RU2728832C2 (ru) | 2020-07-31 |
Family
ID=50114514
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017124644A RU2728832C2 (ru) | 2013-02-05 | 2014-01-22 | Способ и устройство для управления маскировкой потери аудиокадров |
RU2015137708A RU2628144C2 (ru) | 2013-02-05 | 2014-01-22 | Способ и устройство для управления маскировкой потери аудиокадров |
RU2020122689A RU2020122689A (ru) | 2013-02-05 | 2020-07-09 | Способ и устройство для управления маскировкой потери аудиокадров |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2015137708A RU2628144C2 (ru) | 2013-02-05 | 2014-01-22 | Способ и устройство для управления маскировкой потери аудиокадров |
RU2020122689A RU2020122689A (ru) | 2013-02-05 | 2020-07-09 | Способ и устройство для управления маскировкой потери аудиокадров |
Country Status (21)
Country | Link |
---|---|
US (6) | US9293144B2 (ru) |
EP (5) | EP3125239B1 (ru) |
JP (3) | JP6069526B2 (ru) |
KR (4) | KR102110212B1 (ru) |
CN (3) | CN108899038B (ru) |
AU (5) | AU2014215734B2 (ru) |
BR (1) | BR112015018316B1 (ru) |
CA (2) | CA2900354C (ru) |
DK (2) | DK3561808T3 (ru) |
ES (4) | ES2750783T3 (ru) |
HK (2) | HK1210315A1 (ru) |
MX (3) | MX344550B (ru) |
MY (1) | MY170368A (ru) |
NZ (2) | NZ739387A (ru) |
PH (3) | PH12015501507B1 (ru) |
PL (2) | PL3125239T3 (ru) |
PT (2) | PT3125239T (ru) |
RU (3) | RU2728832C2 (ru) |
SG (3) | SG10202106262SA (ru) |
WO (1) | WO2014123471A1 (ru) |
ZA (1) | ZA201504881B (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2787309C1 (ru) * | 2022-05-05 | 2023-01-09 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Кемеровский государственный университет" | Способ идентификации мультисинусоидальных цифровых сигналов |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL3576087T3 (pl) | 2013-02-05 | 2021-10-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Ukrywanie klatki utraconej sygnału audio |
EP2954516A1 (en) | 2013-02-05 | 2015-12-16 | Telefonaktiebolaget LM Ericsson (PUBL) | Enhanced audio frame loss concealment |
NO2780522T3 (ru) | 2014-05-15 | 2018-06-09 | ||
WO2015190985A1 (en) | 2014-06-13 | 2015-12-17 | Telefonaktiebolaget L M Ericsson (Publ) | Burst frame error handling |
US10373608B2 (en) | 2015-10-22 | 2019-08-06 | Texas Instruments Incorporated | Time-based frequency tuning of analog-to-information feature extraction |
KR102192999B1 (ko) * | 2016-03-07 | 2020-12-18 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 적절히 디코딩된 오디오 프레임의 디코딩된 표현의 특성을 사용하는 에러 은닉 유닛, 오디오 디코더, 및 관련 방법과 컴퓨터 프로그램 |
MX2018010754A (es) | 2016-03-07 | 2019-01-14 | Fraunhofer Ges Forschung | Unidad de ocultamiento de error, decodificador de audio y método relacionado y programa de computadora que desaparece una trama de audio ocultada de acuerdo con factores de amortiguamiento diferentes para bandas de frecuencia diferentes. |
WO2017153006A1 (en) * | 2016-03-07 | 2017-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Hybrid concealment method: combination of frequency and time domain packet loss concealment in audio codecs |
CN108922551B (zh) * | 2017-05-16 | 2021-02-05 | 博通集成电路(上海)股份有限公司 | 用于补偿丢失帧的电路及方法 |
US20190074805A1 (en) * | 2017-09-07 | 2019-03-07 | Cirrus Logic International Semiconductor Ltd. | Transient Detection for Speaker Distortion Reduction |
EP3483878A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
EP3483884A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
EP3483882A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
EP3483886A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
EP3483880A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
US11990141B2 (en) | 2018-12-20 | 2024-05-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for controlling multichannel audio frame loss concealment |
CN111402904B (zh) * | 2018-12-28 | 2023-12-01 | 南京中感微电子有限公司 | 音频数据恢复方法、装置及蓝牙设备 |
CN109887515B (zh) * | 2019-01-29 | 2021-07-09 | 北京市商汤科技开发有限公司 | 音频处理方法及装置、电子设备和存储介质 |
WO2020169756A1 (en) * | 2019-02-21 | 2020-08-27 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods for frequency domain packet loss concealment and related decoder |
CN113678197B (zh) * | 2019-03-25 | 2024-06-11 | 雷蛇(亚太)私人有限公司 | 在音频错误消除中使用递增搜索序列的方法和设备 |
WO2020249380A1 (en) * | 2019-06-13 | 2020-12-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Time reversed audio subframe error concealment |
CN111883173B (zh) * | 2020-03-20 | 2023-09-12 | 珠海市杰理科技股份有限公司 | 基于神经网络的音频丢包修复方法、设备和*** |
EP4252227A1 (en) | 2020-11-26 | 2023-10-04 | Telefonaktiebolaget LM Ericsson (publ) | Noise suppression logic in error concealment unit using noise-to-signal ratio |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020059059A1 (en) * | 2000-10-04 | 2002-05-16 | Iliev Alexander I. | Auxiliary channel masking in an audio signal |
US6477490B2 (en) * | 1997-10-03 | 2002-11-05 | Matsushita Electric Industrial Co., Ltd. | Audio signal compression method, audio signal compression apparatus, speech signal compression method, speech signal compression apparatus, speech recognition method, and speech recognition apparatus |
US20090198500A1 (en) * | 2007-08-24 | 2009-08-06 | Qualcomm Incorporated | Temporal masking in audio coding based on spectral dynamics in frequency sub-bands |
RU2417457C2 (ru) * | 2005-01-31 | 2011-04-27 | Скайп Лимитед | Способ конкатенации кадров в системе связи |
RU2420815C2 (ru) * | 2006-10-25 | 2011-06-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для генерации значений подполос звукового сигнала и устройство и способ для генерации отсчетов звукового сигнала во временной области |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06130999A (ja) * | 1992-10-22 | 1994-05-13 | Oki Electric Ind Co Ltd | コード励振線形予測復号化装置 |
JP3617503B2 (ja) * | 1996-10-18 | 2005-02-09 | 三菱電機株式会社 | 音声復号化方法 |
JP3567750B2 (ja) * | 1998-08-10 | 2004-09-22 | 株式会社日立製作所 | 圧縮音声再生方法及び圧縮音声再生装置 |
US6882634B2 (en) * | 2000-04-07 | 2005-04-19 | Broadcom Corporation | Method for selecting frame encoding parameters to improve transmission performance in a frame-based communications network |
JP2002229593A (ja) * | 2001-02-06 | 2002-08-16 | Matsushita Electric Ind Co Ltd | 音声信号復号化処理方法 |
KR100591350B1 (ko) * | 2001-03-06 | 2006-06-19 | 가부시키가이샤 엔.티.티.도코모 | 오디오 데이터 보간장치 및 방법, 오디오 데이터관련 정보작성장치 및 방법, 오디오 데이터 보간 정보 송신장치 및방법, 및 그 프로그램 및 기록 매체 |
US20040002856A1 (en) * | 2002-03-08 | 2004-01-01 | Udaya Bhaskar | Multi-rate frequency domain interpolative speech CODEC system |
JP4215448B2 (ja) * | 2002-04-19 | 2009-01-28 | 日本電気株式会社 | 音声復号装置及び音声復号方法 |
US20040122680A1 (en) * | 2002-12-18 | 2004-06-24 | Mcgowan James William | Method and apparatus for providing coder independent packet replacement |
US6985856B2 (en) * | 2002-12-31 | 2006-01-10 | Nokia Corporation | Method and device for compressed-domain packet loss concealment |
DE60327371D1 (de) | 2003-01-30 | 2009-06-04 | Fujitsu Ltd | EINRICHTUNG UND VERFAHREN ZUM VERBERGEN DES VERSCHWINDENS VON AUDIOPAKETEN, EMPFANGSENDGERuT UND AUDIOKOMMUNIKAITONSSYSTEM |
US7394833B2 (en) * | 2003-02-11 | 2008-07-01 | Nokia Corporation | Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification |
WO2004102531A1 (en) | 2003-05-14 | 2004-11-25 | Oki Electric Industry Co., Ltd. | Apparatus and method for concealing erased periodic signal data |
EP1642265B1 (en) * | 2003-06-30 | 2010-10-27 | Koninklijke Philips Electronics N.V. | Improving quality of decoded audio by adding noise |
US7596488B2 (en) * | 2003-09-15 | 2009-09-29 | Microsoft Corporation | System and method for real-time jitter control and packet-loss concealment in an audio signal |
US20050091044A1 (en) * | 2003-10-23 | 2005-04-28 | Nokia Corporation | Method and system for pitch contour quantization in audio coding |
US7324937B2 (en) * | 2003-10-24 | 2008-01-29 | Broadcom Corporation | Method for packet loss and/or frame erasure concealment in a voice communication system |
CA2457988A1 (en) * | 2004-02-18 | 2005-08-18 | Voiceage Corporation | Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization |
EP1722359B1 (en) * | 2004-03-05 | 2011-09-07 | Panasonic Corporation | Error conceal device and error conceal method |
WO2006009074A1 (ja) * | 2004-07-20 | 2006-01-26 | Matsushita Electric Industrial Co., Ltd. | 音声復号化装置および補償フレーム生成方法 |
US7930184B2 (en) * | 2004-08-04 | 2011-04-19 | Dts, Inc. | Multi-channel audio coding/decoding of random access points and transients |
US7734381B2 (en) * | 2004-12-13 | 2010-06-08 | Innovive, Inc. | Controller for regulating airflow in rodent containment system |
US20070147518A1 (en) * | 2005-02-18 | 2007-06-28 | Bruno Bessette | Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX |
US8620644B2 (en) * | 2005-10-26 | 2013-12-31 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
US7457746B2 (en) * | 2006-03-20 | 2008-11-25 | Mindspeed Technologies, Inc. | Pitch prediction for packet loss concealment |
US8358704B2 (en) * | 2006-04-04 | 2013-01-22 | Qualcomm Incorporated | Frame level multimedia decoding with frame information table |
WO2008022207A2 (en) | 2006-08-15 | 2008-02-21 | Broadcom Corporation | Time-warping of decoded audio signal after packet loss |
JP2008058667A (ja) | 2006-08-31 | 2008-03-13 | Sony Corp | 信号処理装置および方法、記録媒体、並びにプログラム |
FR2907586A1 (fr) | 2006-10-20 | 2008-04-25 | France Telecom | Synthese de blocs perdus d'un signal audionumerique,avec correction de periode de pitch. |
US7991612B2 (en) * | 2006-11-09 | 2011-08-02 | Sony Computer Entertainment Inc. | Low complexity no delay reconstruction of missing packets for LPC decoder |
CN102682774B (zh) | 2006-11-10 | 2014-10-08 | 松下电器(美国)知识产权公司 | 参数解码方法及参数解码装置 |
RU2459283C2 (ru) * | 2007-03-02 | 2012-08-20 | Панасоник Корпорэйшн | Кодирующее устройство, декодирующее устройство и способ |
CN101207665B (zh) * | 2007-11-05 | 2010-12-08 | 华为技术有限公司 | 一种衰减因子的获取方法 |
CN100550712C (zh) * | 2007-11-05 | 2009-10-14 | 华为技术有限公司 | 一种信号处理方法和处理装置 |
CN101261833B (zh) * | 2008-01-24 | 2011-04-27 | 清华大学 | 一种使用正弦模型进行音频错误隐藏处理的方法 |
CN101308660B (zh) * | 2008-07-07 | 2011-07-20 | 浙江大学 | 一种音频压缩流的解码端错误恢复方法 |
CN102222505B (zh) | 2010-04-13 | 2012-12-19 | 中兴通讯股份有限公司 | 可分层音频编解码方法***及瞬态信号可分层编解码方法 |
WO2012158159A1 (en) | 2011-05-16 | 2012-11-22 | Google Inc. | Packet loss concealment for audio codec |
-
2014
- 2014-01-22 EP EP16183917.0A patent/EP3125239B1/en active Active
- 2014-01-22 DK DK19178384.4T patent/DK3561808T3/da active
- 2014-01-22 EP EP21162222.0A patent/EP3855430B1/en active Active
- 2014-01-22 US US14/422,249 patent/US9293144B2/en not_active Expired - Fee Related
- 2014-01-22 RU RU2017124644A patent/RU2728832C2/ru active
- 2014-01-22 RU RU2015137708A patent/RU2628144C2/ru active
- 2014-01-22 ES ES16183917T patent/ES2750783T3/es active Active
- 2014-01-22 ES ES19178384T patent/ES2881510T3/es active Active
- 2014-01-22 SG SG10202106262SA patent/SG10202106262SA/en unknown
- 2014-01-22 CA CA2900354A patent/CA2900354C/en active Active
- 2014-01-22 EP EP23202489.3A patent/EP4322159A3/en active Pending
- 2014-01-22 CN CN201810694623.1A patent/CN108899038B/zh active Active
- 2014-01-22 NZ NZ739387A patent/NZ739387A/en unknown
- 2014-01-22 PT PT16183917T patent/PT3125239T/pt unknown
- 2014-01-22 WO PCT/SE2014/050068 patent/WO2014123471A1/en active Application Filing
- 2014-01-22 CA CA2978416A patent/CA2978416C/en active Active
- 2014-01-22 CN CN201810694625.0A patent/CN108831490B/zh active Active
- 2014-01-22 MX MX2015009210A patent/MX344550B/es active IP Right Grant
- 2014-01-22 KR KR1020167009636A patent/KR102110212B1/ko active IP Right Grant
- 2014-01-22 ES ES14704935.7T patent/ES2603827T3/es active Active
- 2014-01-22 MX MX2021000353A patent/MX2021000353A/es unknown
- 2014-01-22 DK DK16183917.0T patent/DK3125239T3/da active
- 2014-01-22 EP EP14704935.7A patent/EP2954518B1/en active Active
- 2014-01-22 JP JP2015555964A patent/JP6069526B2/ja active Active
- 2014-01-22 SG SG11201505231VA patent/SG11201505231VA/en unknown
- 2014-01-22 KR KR1020207013012A patent/KR102238376B1/ko active IP Right Grant
- 2014-01-22 AU AU2014215734A patent/AU2014215734B2/en active Active
- 2014-01-22 MX MX2020001307A patent/MX2020001307A/es unknown
- 2014-01-22 SG SG10201700846UA patent/SG10201700846UA/en unknown
- 2014-01-22 CN CN201480007552.3A patent/CN104969290B/zh active Active
- 2014-01-22 NZ NZ710308A patent/NZ710308A/en unknown
- 2014-01-22 ES ES21162222T patent/ES2964807T3/es active Active
- 2014-01-22 MY MYPI2015702413A patent/MY170368A/en unknown
- 2014-01-22 PL PL16183917T patent/PL3125239T3/pl unknown
- 2014-01-22 KR KR1020217009851A patent/KR102349025B1/ko active IP Right Grant
- 2014-01-22 PL PL19178384T patent/PL3561808T3/pl unknown
- 2014-01-22 KR KR1020157024184A patent/KR20150108937A/ko not_active Application Discontinuation
- 2014-01-22 PT PT147049357T patent/PT2954518T/pt unknown
- 2014-01-22 EP EP19178384.4A patent/EP3561808B1/en active Active
- 2014-01-22 BR BR112015018316-6A patent/BR112015018316B1/pt active IP Right Grant
-
2015
- 2015-07-02 PH PH12015501507A patent/PH12015501507B1/en unknown
- 2015-07-07 ZA ZA2015/04881A patent/ZA201504881B/en unknown
- 2015-11-03 HK HK15110858.3A patent/HK1210315A1/xx unknown
-
2016
- 2016-02-03 US US15/014,563 patent/US9721574B2/en active Active
- 2016-09-07 AU AU2016225836A patent/AU2016225836B2/en active Active
- 2016-12-26 JP JP2016251224A patent/JP6440674B2/ja active Active
-
2017
- 2017-06-23 US US15/630,994 patent/US10332528B2/en active Active
-
2018
- 2018-01-09 PH PH12018500083A patent/PH12018500083B1/en unknown
- 2018-03-20 PH PH12018500600A patent/PH12018500600B1/en unknown
- 2018-05-16 AU AU2018203449A patent/AU2018203449B2/en active Active
- 2018-11-20 JP JP2018217479A patent/JP6698792B2/ja active Active
-
2019
- 2019-01-11 HK HK19100479.9A patent/HK1258094A1/zh unknown
- 2019-05-09 US US16/407,307 patent/US10559314B2/en active Active
- 2019-12-19 US US16/721,206 patent/US11437047B2/en active Active
-
2020
- 2020-01-28 AU AU2020200577A patent/AU2020200577B2/en active Active
- 2020-07-09 RU RU2020122689A patent/RU2020122689A/ru unknown
-
2021
- 2021-08-04 AU AU2021212049A patent/AU2021212049B2/en active Active
-
2022
- 2022-07-29 US US17/876,848 patent/US20220375480A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6477490B2 (en) * | 1997-10-03 | 2002-11-05 | Matsushita Electric Industrial Co., Ltd. | Audio signal compression method, audio signal compression apparatus, speech signal compression method, speech signal compression apparatus, speech recognition method, and speech recognition apparatus |
US20020059059A1 (en) * | 2000-10-04 | 2002-05-16 | Iliev Alexander I. | Auxiliary channel masking in an audio signal |
RU2417457C2 (ru) * | 2005-01-31 | 2011-04-27 | Скайп Лимитед | Способ конкатенации кадров в системе связи |
RU2420815C2 (ru) * | 2006-10-25 | 2011-06-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для генерации значений подполос звукового сигнала и устройство и способ для генерации отсчетов звукового сигнала во временной области |
US20090198500A1 (en) * | 2007-08-24 | 2009-08-06 | Qualcomm Incorporated | Temporal masking in audio coding based on spectral dynamics in frequency sub-bands |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2787309C1 (ru) * | 2022-05-05 | 2023-01-09 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Кемеровский государственный университет" | Способ идентификации мультисинусоидальных цифровых сигналов |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2728832C2 (ru) | Способ и устройство для управления маскировкой потери аудиокадров | |
US20230368802A1 (en) | Burst frame error handling |