RU2728832C2 - Способ и устройство для управления маскировкой потери аудиокадров - Google Patents

Способ и устройство для управления маскировкой потери аудиокадров Download PDF

Info

Publication number
RU2728832C2
RU2728832C2 RU2017124644A RU2017124644A RU2728832C2 RU 2728832 C2 RU2728832 C2 RU 2728832C2 RU 2017124644 A RU2017124644 A RU 2017124644A RU 2017124644 A RU2017124644 A RU 2017124644A RU 2728832 C2 RU2728832 C2 RU 2728832C2
Authority
RU
Russia
Prior art keywords
frame
spectrum
sinusoidal
frequency
prototype
Prior art date
Application number
RU2017124644A
Other languages
English (en)
Other versions
RU2017124644A3 (ru
RU2017124644A (ru
Inventor
Стефан БРУН
Йонас СВЕДБЕРГ
Original Assignee
Телефонактиеболагет Л М Эрикссон (Пабл)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Телефонактиеболагет Л М Эрикссон (Пабл) filed Critical Телефонактиеболагет Л М Эрикссон (Пабл)
Publication of RU2017124644A publication Critical patent/RU2017124644A/ru
Publication of RU2017124644A3 publication Critical patent/RU2017124644A3/ru
Application granted granted Critical
Publication of RU2728832C2 publication Critical patent/RU2728832C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Stereophonic System (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Auxiliary Devices For Music (AREA)
  • Error Detection And Correction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Изобретение относится к области обработки аудиосигналов. Технический результат заключается в снижении ошибок передачи, которые могут приводить к ситуации, в которой один или несколько переданных кадров отсутствуют в приемнике для восстановления. Технический результат достигается за счет изменения всех спектральных коэффициентов прототипного кадра, включенных в интервал Mвокруг синусоиды k путем фазового сдвига пропорционально синусоидальной частоте fи разнице во времени между потерянным аудиокадром и прототипным кадром, таким образом включая временное развертывание синусоидальных компонентов прототипного кадра во временной экземпляр потерянного аудиокадра, и сохранения параметров этих спектральных коэффициентов. 3 н. и 10 з.п. ф-лы, 15 ил.

Description

Область техники, к которой относится изобретение
Заявка относится к способам и устройствам для управления способом маскировки для потерянных аудиокадров принятого аудиосигнала.
Уровень техники
Традиционные системы аудиосвязи передают речевые и аудиосигналы в кадрах, что означает, что посылающая сторона сначала организует сигнал в коротких сегментах или кадрах, например, по 20-40 мс, которые затем кодируются и передаются как логические блоки, например, в пакете передачи. Приемник декодирует каждый из этих блоков и восстанавливает соответствующие кадры сигнала, которые, в свою очередь, наконец выводятся как непрерывная последовательность восстановленных семплов (отсчетов) сигнала. До кодирования обычно имеется этап аналого-цифрового (A/D) преобразования, который преобразует аналоговый речевой или аудиосигнал от микрофона в последовательность аудиосемплов. С другой стороны, на принимающем конце обычно имеется конечный этап цифро-аналогового (D/A) преобразования, который преобразует последовательность восстановленных цифровых семплов сигнала в непрерывный во времени аналоговый сигнал для воспроизведения громкоговорителем.
Однако такая система передачи для речевых и аудио-сигналов может страдать от ошибок передачи, которые могут приводить к ситуации, в которой один или несколько переданных кадров отсутствуют в приемнике для восстановления. В этом случае декодер должен генерировать подстановочный сигнал для каждого из стертых, то есть недоступных кадров. Это делается в так называемом блоке маскировки потери кадров или ошибок декодера сигнала принимающей стороны. Цель маскировки потери кадров состоит в том, чтобы сделать потерю кадров настолько неслышимой, насколько это возможно, и, следовательно, смягчить воздействие потери кадров на качество восстановленного сигнала в максимально возможной степени.
Традиционные способы маскировки потери кадров могут зависеть от структуры или архитектуры кодека, например, путем применения формы повторения ранее принятых параметров кодека. Такие методики повторения параметров явно зависят от конкретных параметров используемого кодека и, следовательно, не так легко применимы для других кодеков с другой структурой. Текущие способы маскировки потери кадров могут, например, применять концепцию замораживания и экстраполяции параметров ранее полученного кадра для генерации подстановочного кадра для потерянного кадра.
Эти способы маскировки потери кадров существующего уровня техники включают в себя некоторые схемы обработки пакетных потерь. Обычно, после потери множества кадров подряд синтезируемый сигнал ослабляется, пока он полностью не заглушается после длинных пакетов ошибок. Кроме того, параметры кодирования, которые, по сути, повторяются и экстраполируются, изменяются так, что выполняется ослабление, и так, что спектральные пики сглаживаются.
Методики маскировки потери кадров существующего уровня техники обычно применяют концепцию замораживания и экстраполяции параметров ранее полученного кадра для генерации подстановочного кадра для потерянного кадра. Многие параметрические кодеки для разговорных сигналов, такие как кодеки с линейным предсказанием, такие как AMR или AMR-WB, как правило замораживают ранее принятые параметры или используют некоторую их экстраполяцию и используют с ними декодер. В сущности, принцип состоит в том, что должна быть заданная модель для кодирования/декодирования, и в том, чтобы применять одну и ту же модель с замороженными или экстраполируемыми параметрами. Методики маскировки потери кадров AMR и AMR-WB могут рассматриваться как типичные представители. Они подробно описаны в соответствующих описаниях стандартов.
Многие кодеки из класса аудиокодеков применяют методики кодирования в частотной области. Это означает, что после некоторого преобразования в частотную область к спектральным параметрам применяется модель кодирования. Декодер восстанавливает спектр сигнала из принятых параметров и, наконец, преобразует спектр обратно во временной сигнал. Как правило, временной сигнал восстанавливается кадр за кадром. Такие кадры объединяются с помощью добавляющих перекрытие методик в конечный восстановленный сигнал. Даже в этом случае аудиокодеков маскировка ошибок существующего уровня техники обычно применяется к одной и той же или по меньшей мере к аналогичной модели декодирования для потерянных кадров. Параметры частотной области из ранее полученного кадра замораживаются или соответствующим образом экстраполируются и затем используются в преобразовании из частотной во временную область. Примеры таких методик обеспечены аудиокодеками 3GPP в соответствии со стандартами 3GPP.
Сущность изобретения
Решения для маскировки потери кадров существующего уровня техники, как правило, страдают от ухудшения качества. Основная проблема состоит в том, что методика замораживания и экстраполяции параметров и повторное применение той же самой модели декодирования даже для потерянных кадров не всегда гарантирует плавное и точное развертывание сигнала из ранее декодированных кадров сигнала в потерянный кадр. Это обычно приводит к нарушениям непрерывности звукового сигнала с соответствующим влиянием на качество.
Описаны новые схемы маскировки потери кадров для систем передачи разговорных и аудио-сигналов. Новые схемы улучшают качество в случае потери кадров по сравнению с качеством, достижимым с помощью методик маскировки потери кадров предшествующего уровня техники.
Целью настоящих вариантов воплощения является управление схемой маскировки потери кадров, которая, предпочтительно, имеет тип соответствующих описанных новых способов, так что достигается наилучшее возможное качество звука восстановленного сигнала. Варианты воплощения направлены на оптимизацию этого качества восстановления и относительно свойств сигнала, и относительно временного распределения потерь кадров. Особенно проблематично обеспечить хорошее качество для маскировки потери кадров случаи, когда аудиосигнал имеет сильно изменяющиеся свойства, такие как энергетические всплески и спады, или если он спектрально сильно флуктуирует. В этом случае описанные способы маскировки могут повторять всплески, спады или спектральную флуктуацию, приводя к большим отклонениям от исходного сигнала и соответствующей потери качества.
Другой проблемный случай имеет место, когда пакеты потерь кадров происходят подряд. Концептуально, схема маскировки потери кадров в соответствии с описанными способами может справиться с такими случаями, хотя оказалось, что раздражающие тональные артефакты могут по-прежнему иметь место. Другой целью настоящих вариантов воплощения является уменьшение таких артефактов в максимально возможной степени.
В соответствии с первым аспектом способ для декодера маскировки потерянного аудиокадра содержит этапы, на которых обнаруживают в свойстве ранее принятого и восстановленного аудиосигнала или в статистическом свойстве наблюдаемых потерь кадров условие, для которого подстановка потерянного кадра обеспечивает относительно более низкое качество. В случае, если такое условие обнаружено, модифицируют способ маскировки путем выборочной настройки фазы или амплитуды спектра подстановочного кадра.
В соответствии со вторым аспектом декодер сконфигурирован реализовывать маскировку потерянного аудиокадра и содержит контроллер, сконфигурированный обнаруживать в свойстве ранее принятого и восстановленного аудиосигнала или в статистическом свойстве наблюдаемых потерь кадров условие, для которого подстановка потерянного кадра обеспечивает относительно более низкое качество. В случае, если такое условие обнаружено, контроллер сконфигурирован модифицировать способ маскировки путем выборочной настройки фазы или амплитуды спектра подстановочного кадра.
Декодер может быть реализован в устройстве, таком как, например, мобильный телефон.
В соответствии с третьим аспектом приемник содержит декодер в соответствии со вторым аспектом, описанным выше.
В соответствии с четвертым аспектом определена компьютерная программа для маскировки потерянного аудиокадра, и компьютерная программа содержит инструкции, которые при исполнении процессором предписывают процессору маскировать потерянный аудиокадр в соответствии с первым аспектом, описанным выше.
В соответствии с пятым аспектом компьютерный программный продукт содержит машиночитаемый носитель, хранящий компьютерную программу в соответствии с описанным выше четвертым аспектом.
Преимущество варианта воплощения решает проблему управления адаптацией способами маскировки потери кадров, позволяя уменьшить слышимое влияние потери кадров при передаче кодированных речевых сигналов и аудиосигналов даже больше, по сравнению с качеством, достигаемым только с помощью описанных способов маскировки. Общее преимущество вариантов воплощения состоит в обеспечении плавного и точного развертывания восстановленного сигнала даже для потерянных кадров. Слышимое влияние потери кадров значительно уменьшается по сравнению с использованием методик существующего уровня техники.
Краткое описание чертежей
Для более полного понимания иллюстративных вариантов воплощения настоящего изобретения теперь дается нижеследующее описание в сочетании с прилагаемыми чертежами, на которых:
Фигура 1 показывает прямоугольную оконную функцию.
Фигура 2 показывает комбинацию окна Хемминга с прямоугольным окном.
Фигура 3 показывает пример амплитудного спектра оконной функции.
Фигура 4 изображает линейчатый спектр иллюстративного синусоидального сигнала с частотой
Figure 00000001
.
Фигура 5 показывает спектр обработанного с помощью оконной функции синусоидального сигнала с частотой
Figure 00000002
.
Фигура 6 изображает вертикальные линии, соответствующие величине узлов решетки DFT, на основании кадра анализа.
Фигура 7 изображает параболу, совмещенную с узлами P1, P2 и P3 решетки DFT.
Фигура 8 изображает совмещение основного лепестка спектра окна.
Фигура 9 изображает совмещение функции P аппроксимации основного лепестка с узлами P1 и P2 решетки DFT.
Фигура 10 является схемой последовательности операций, изображающей иллюстративный способ в соответствии с вариантами воплощения изобретения для управления способом маскировки для потерянного аудиокадра принятого аудиосигнала.
Фигура 11 является схемой последовательности операций, изображающей другой иллюстративный способ в соответствии с вариантами воплощения изобретения для управления способом маскировки для потерянного аудиокадра принятого аудиосигнала.
Фигура 12 изображает другой иллюстративный вариант воплощения изобретения.
Фигура 13 показывает пример устройства в соответствии с вариантом воплощения изобретения.
Фигура 14 показывает другой пример устройства в соответствии с вариантом воплощения изобретения.
Фигура 15 показывает другой пример устройства в соответствии с вариантом воплощения изобретения.
Подробное описание
Новая схема управления для новых описанных методик маскировки потери кадров включает в себя следующие этапы, как показано на фигуре 10. Следует отметить, что способ может быть реализован в контроллере в декодере.
1. Обнаружить условия в свойствах ранее принятого и восстановленного аудиосигнала или в статистических свойствах наблюдаемых потерь кадров, для которых подстановка потерянного кадра в соответствии с описанными способами обеспечивает относительно более низкое качество, 101.
2. В случае, если такое условие обнаружено на этапе 1, модифицировать элемент способов, в соответствии с которыми спектр подстановочного кадра вычисляется с помощью
Figure 00000003
, путем выборочной регулировки фаз или спектральных амплитуд, 102.
Синусоидальный анализ
Первый этап методики маскировки потери кадров, к которой может быть применена новая методика управления, включает в себя синусоидальный анализ части ранее принятого сигнала. Цель этого синусоидального анализа состоит в том, чтобы найти частоты основных синусоид этого сигнала, и лежащее в основе допущение состоит в том, что сигнал состоит из ограниченного числа отдельных синусоид, то есть что это мультисинусоидальный сигнал следующего типа:
Figure 00000004
В этом уравнении K является числом синусоид, из которых, как предполагается, состоит сигнал. Для каждой из синусоид с индексом
Figure 00000005
,
Figure 00000006
 является амплитудой,
Figure 00000002
 является частотой, а
Figure 00000007
 является фазой. Частота дискретизации обозначена с помощью
Figure 00000008
, а временной индекс дискретных по времени семплов сигнала
Figure 00000009
 с помощью
Figure 00000010
.
Главное значение имеет нахождение частот синусоид настолько точно, насколько это возможно. В то время как идеальный синусоидальный сигнал будет иметь линейчатый спектр с линейчатыми частотами
Figure 00000002
, нахождение их истинных значений будут, в принципе, требовать бесконечного времени измерения. Следовательно, на практике трудно найти эти частоты, так как они могут быть оценены только на основании короткого периода измерения, который соответствует сегменту сигнала, используемому для синусоидального анализа, описанного в настоящем документе; этот сегмент сигнала именуется в дальнейшем кадром анализа. Другая трудность состоит в том, что сигнал может на практике изменяться со временем, что означает, что параметры вышеупомянутого уравнения изменяются с течением времени. Следовательно, с одной стороны, желательно использовать длинный кадр анализа, делая измерение более точным; с другой стороны, будет необходим короткий период измерения, чтобы лучше справляться с возможными изменениями сигнала. Хорошим компромиссом является использование длины кадра анализа порядка, например, 20-40 мс.
Предпочтительная возможность для идентификации частот синусоид
Figure 00000002
 состоит в проведении анализа в частотной области кадра анализа. С этой целью кадр анализа преобразуется в частотную область, например, с помощью DFT, или DCT, или аналогичных преобразований в частотную область. В случае, если используется DFT кадра анализа, спектр дается выражением:
Figure 00000011
Figure 00000012
В этом уравнении
Figure 00000013
 обозначает оконную функцию, с помощью которой извлекается и умножается на весовую функцию кадр анализа длины
Figure 00000014
. Типичными оконными функциями являются, например, прямоугольные окна, которые равны 1 для
Figure 00000015
 и 0 в противном случае, как показано на фигуре 1. Здесь предполагается, что временные индексы ранее принятого аудиосигнала заданы так, что кадр анализа обозначается временными индексами
Figure 00000016
. Другими оконными функциями, которые могут быть более подходящими для спектрального анализа, являются, например, окно Хемминга, окно Хеннинга, окно Кайзера или окно Блекмана. Оконная функция, которая оказалось особенно полезной, является комбинацией окна Хемминга с прямоугольным окном. Это окно имеет форму нарастающего фронта как левая половина окна Хемминга длины
Figure 00000017
 и форму убывающего фронта как правая половина окна Хемминга длины
Figure 00000018
, а между нарастающим и убывающим фронтами окно равно 1 на длине
Figure 00000019
, как показано на фигуре 2.
Пики амплитудного спектра умноженного на оконную функцию кадра
Figure 00000020
 анализа составляют аппроксимацию требуемых синусоидальных частот. Точность этой аппроксимации, однако, ограничена частотным интервалом DFT. Для DFT с длиной блока L точность ограничена величиной
Figure 00000021
.
Эксперименты показывают, что этот уровень точности может быть слишком низким в рамках способов, описанных в настоящем документе. Улучшенная точность может быть получена на основании следующих соображений:
Спектр умноженного на оконную функцию кадра анализа дается сверткой спектра оконной функции с линейчатым спектром синусоидального модельного сигнала
Figure 00000022
, которая далее дискретизируется в узлах решетки DFT:
Figure 00000023
.
Путем использования спектрального выражения для синусоидального модельного сигнала это может быть записано как
Figure 00000024
.
Следовательно, дискретизированный спектр дается выражением
Figure 00000025
, где m=0…L-1.
На основании этих соображений предполагается, что наблюдаемые пики в амплитудном спектре кадра анализа происходят от умноженного на оконную функцию синусоидального сигнала с K синусоидами, где истинные частоты синусоид находятся вблизи пиков.
Пусть
Figure 00000026
 будет индексом DFT (узлом решетки) наблюдаемого k-го пика, тогда соответствующая частота
Figure 00000027
, которая может рассматриваться как аппроксимация истинной синусоидальной частоты
Figure 00000028
. Можно предположить, что истинная частота
Figure 00000029
 синусоиды лежит в пределах интервала
Figure 00000030
.
Для ясности следует отметить, что свертка спектра оконной функции со спектром линейчатого спектра синусоидального модельного сигнала может пониматься как суперпозиция смещенных по частоте версий спектра оконной функции, в результате чего частоты сдвига являются частотами синусоид. Эта суперпозиция затем дискретизируется в узлах решетки DFT. Эти этапы изображены с помощью следующих фигур. Фигура 3 изображает пример амплитудного спектра оконной функции. Фигура 4 показывает амплитудный спектр (линейчатый спектр) иллюстративного синусоидального сигнала с одной синусоидой частоты. Фигура 5 показывает амплитудный спектр умноженного на оконную функцию синусоидального сигнала, который повторяет и накладывает смещенный по частоте спектр окна на частоты синусоиды. Вертикальные линии на фигуре 6 соответствуют величинам узлов решетки DFT умноженной на оконную функцию синусоиды, которые получены путем вычисления DFT кадра анализа. Следует отметить, что все спектры являются периодическими с нормированным частотным параметром
Figure 00000031
, где
Figure 00000032
, что соответствует частоте
Figure 00000033
 дискретизации.
Предыдущее обсуждение и иллюстрация фигуры 6 предполагают, что более хорошая аппроксимация истинных синусоидальных частот может быть найдена только путем увеличения разрешения поиска по частотному разрешению используемого преобразования в частотную область.
Один предпочтительный путь найти более хорошую аппроксимацию частот
Figure 00000034
 синусоид состоит в том, чтобы применить параболическую интерполяцию. Один такой подход состоит в том, чтобы совместить параболы с узлами решетки амплитудного спектра DFT, которые окружают пики, и вычислить соответствующие частоты, принадлежащие максимумам параболы. Подходящим выбором для порядка парабол является 2. Говоря более подробно, может быть применена следующая процедура:
1. Идентифицировать пики DFT умноженного на оконную функцию кадра анализа. Поиск пиков предоставит число пиков K и соответствующие индексы DFT пиков. Поиск пиков обычно может выполняться на амплитудном спектре DFT или логарифмическом амплитудном спектре DFT.
2. Для каждого пика
Figure 00000035
 (с
Figure 00000036
) с соответствующим индексом
Figure 00000037
 DFT совместить параболу с тремя точками
Figure 00000038
. Результатом этого являются коэффициенты
Figure 00000039
,
Figure 00000040
,
Figure 00000041
 параболы, определенной выражением
Figure 00000042
.
Это совмещение параболы изображено на фигуре 7.
3. Для каждой из K парабол вычислить интерполированный частотный индекс
Figure 00000043
, соответствующий значению
Figure 00000044
, для которого парабола имеет свой максимум. Использовать
Figure 00000045
 как аппроксимацию для частоты
Figure 00000046
 синусоиды.
Описанный подход обеспечивает хорошие результаты, но может иметь некоторые ограничения, так как параболы не аппроксимируют форму основного лепестка амплитудного спектра
Figure 00000047
 оконной функции. Альтернативной схемой, делающей это, является усовершенствованная оценка частоты, использующая аппроксимацию основного лепестка, которая может быть описана следующим образом. Основная идея этой альтернативы состоит в том, чтобы совместить функцию
Figure 00000048
, которая аппроксимирует основной лепесток
Figure 00000049
, с узлами решетки амплитудного спектра DFT, которые окружают пики, и вычислить соответствующие частоты, принадлежащие максимумам функции. Функция
Figure 00000050
 может быть идентичной смещенному по частоте амплитудному спектру
Figure 00000051
 оконной функции. Для численной простоты, однако, это должен быть скорее, например, многочлен, который позволяет выполнить простое вычисление максимума функции. Может применяться следующая подробная процедура:
1. Идентифицировать пики DFT умноженного на оконную функцию кадра анализа. Поиск пиков предоставит число пиков K и соответствующие индексы DFT пиков. Поиск пиков обычно может выполняться на амплитудном спектре DFT или логарифмическом амплитудном спектре DFT.
2. Получить функцию
Figure 00000050
, которая аппроксимирует амплитудный спектр
Figure 00000049
 оконной функции или логарифмический амплитудный спектр
Figure 00000052
 для данного интервала
Figure 00000053
. Выбор аппроксимирующей функции, аппроксимирующей основной лепесток спектра окна, изображен на фигуре 8.
3. Для каждого пика
Figure 00000054
 (с
Figure 00000055
) с соответствующим индексом
Figure 00000056
 DFT совместить смещенную по частоте функцию
Figure 00000057
 с двумя узлами решетки DFT, которые окружают ожидаемый истинный пик непрерывного спектра умноженного на оконную функцию синусоидального сигнала. Следовательно, если
Figure 00000058
 больше, чем
Figure 00000059
, совместить
Figure 00000057
 с точками
Figure 00000060
, и в противном случае с точками
Figure 00000061
.
Figure 00000062
 может, для простоты, являться многочленом 2 или 4 порядка. Это делает аппроксимацию на этапе 2 вычислением простой линейной регрессии, и вычисление
Figure 00000063
 простым. Интервал
Figure 00000053
 может быть выбран фиксированным и идентичным для всех пиков, например,
Figure 00000064
, или адаптивным. В адаптивном подходе интервал может быть выбран так, что функция
Figure 00000057
 совмещается с основным лепестком спектра оконной функции в диапазоне соответствующих узлов {P1; P2} решетки DFT. Процесс совмещения визуализирован на фигуре 9.
4. Для каждого из K сдвинутых по частоте параметров
Figure 00000063
, для которых непрерывный спектр умноженного на оконную функцию синусоидального сигнала, как ожидается, будет иметь свой пик, вычислить
Figure 00000065
 как аппроксимацию для частоты
Figure 00000066
 синусоиды.
Есть много случаев, когда переданный сигнал является гармоническим, то есть сигнал состоит из синусоидальных волн, частоты которых кратны некоторой основной частоте
Figure 00000067
. Это имеет место, когда сигнал является очень периодическим, как, например, для вокализованной речи или длительных тонов некоторого музыкального инструмента. Это означает, что частоты синусоидальной модели вариантов воплощения не являются независимыми, а скорее имеют гармоническую зависимость и происходят от одной и той же основной частоты. Следовательно, принятие во внимание этого гармонического свойства может значительно улучшить анализ синусоидальных составляющих частот.
Одну возможность улучшения можно описать следующим образом:
1. Проверить, является ли сигнал гармоническим. Это может быть сделано, например, путем оценки периодичности сигнала до потери кадра. Один простой способ состоит в выполнении автокорреляционного анализа сигнала. Максимум такой автокорреляционной функции для некоторой временной задержки
Figure 00000068
 может использоваться в качестве индикатора. Если значение этого максимума превышает заданный порог, сигнал может расцениваться гармоническим. Соответствующая временная задержка
Figure 00000069
 тогда соответствует периоду сигнала, который связан с основной частотой как
Figure 00000070
.
Многие способы кодирования речи с линейным предсказанием применяют так называемое предсказание высоты тона с обратной или без обратной связи или кодирование CELP с использованием адаптивных кодовых книг. Параметры усиление высоты тона и соответствующей задержки высоты тона, полученные с помощью таких способов кодирования, также являются полезными индикаторами, если сигнал является гармоническим и, соответственно, для временной задержки.
Дополнительный способ для получения
Figure 00000071
 описывается ниже.
2. Для каждого индекса
Figure 00000072
 гармоники в пределах целочисленного диапазона
Figure 00000073
 проверить, есть ли пик в (логарифмическом) амплитудном спектре DFT кадра анализа в окресности частоты
Figure 00000074
 гармоники. Окрестность
Figure 00000075
 может быть определена как дельта-область вокруг
Figure 00000076
, где дельта соответствует частотному разрешению DFT
Figure 00000077
, то есть интервал
Figure 00000078
.
В случае, если такой пик с соответствующей оценочной синусоидальной частотой присутствует, заменить
Figure 00000079
 частотой
Figure 00000080
.
Для двухэтапной процедуры, данной выше, существует также возможность осуществления проверки, является ли сигнал гармоническим, и получение основной частоты неявно и, возможно, итеративным образом, не обязательно с использованием индикаторов из некоторого отдельного способа. Пример для такой методики дается следующий:
Для каждого
Figure 00000081
 из набора потенциальных значений
Figure 00000082
 применить этап 2 процедуры, хотя без замены
Figure 00000079
, но с подсчетом, сколько пиков DFT присутствует в окрестности вблизи частот гармоник, то есть кратных
Figure 00000081
. Идентифицировать основную частоту
Figure 00000083
, для которой получено наибольшее число пиков на или вблизи от частот гармоник. Если это наибольшее число пиков превышает заданный порог, то сигнал предполагается гармоническим. В этом случае можно предположить, что
Figure 00000084
 является основной частотой, с которой затем выполняется этап 2, приводя к улучшенным синусоидальным частотам. Более предпочтительной альтернативой является, однако, оптимизация сначала основной частоты
Figure 00000085
 на основании частот пиков, которые были найдены совпадающими с частотами гармоник. Предположим есть набор M гармоник, то есть кратных
Figure 00000086
 некоторой основной частоты, которые были найдены совпадающими с некоторым набором M спектральных пиков на частотах
Figure 00000087
,
Figure 00000088
, тогда лежащая в основе (оптимизированная) основная частота
Figure 00000089
 может быть вычислена для минимизации ошибки между частотами гармоник и частотами спектральных пиков. Если ошибка, которая должна быть минимизирована, является среднеквадратичной ошибкой
Figure 00000090
, тогда оптимальная основная частота вычисляется как
Figure 00000091
.
Начальный набор потенциальных значений
Figure 00000082
 может быть получен из частот пиков DFT или оценочных синусоидальных частот
Figure 00000092
.
Дальнейшая возможность улучшить точность оценочных синусоидальных частот
Figure 00000093
 состоит в рассмотрении их развертывания во времени. С этой целью оценки синусоидальных частот по нескольким кадрам анализа могут комбинироваться, например, посредством усреднения или предсказания. До усреднения или предсказания может быть применено отслеживание пиков, которое соединяет оценочные спектральные пики с соответствующими теми же самыми лежащими в основе синусоидами.
Применение синусоидальной модели
Применение синусоидальной модели для выполнения операции по маскировке потери кадров, описанной в настоящем документе, может быть описано следующим образом.
Предполагается, что данный сегмент кодированного сигнала не может быть восстановлен декодером, так как соответствующая закодированная информация не доступна. Дополнительно предполагается, что часть сигнала до этого сегмента доступна. Пусть
Figure 00000094
 с
Figure 00000095
 является недоступным сегментом, для которого должен быть сгенерирован подстановочный кадр
Figure 00000096
, и
Figure 00000097
 с n<0 является доступным ранее декодированным сигналом. Затем, на первом этапе прототипный кадр доступного сигнала длины L и начальным индексом
Figure 00000098
 извлекается с помощью оконной функции
Figure 00000099
 и преобразуется в частотную область, например, с помощью DFT:
Figure 00000100
.
Оконная функция может быть одной из оконных функций, описанных выше в синусоидальном анализе. Предпочтительно, чтобы уменьшить сложность численных расчетов, преобразованный в частотную область кадр должен быть идентичен кадру, используемому во время синусоидального анализа.
На следующем этапе применяется допущение синусоидальной модели. В соответствии с этим DFT прототипного кадра может быть записано следующим образом:
Figure 00000101
.
Следующий этап состоит в том, чтобы понять, что спектр используемой оконной функции имеет значительный вклад только в диапазоне частот вблизи нуля. Как изображено на фигуре 3, амплитудный спектр оконной функции больше для частот вблизи нуля и мал в противном случае (в пределах нормированного диапазона частот от
Figure 00000102
 до
Figure 00000103
, соответствующего половине частоты дискретизации). Следовательно, в качестве аппроксимации предполагается, что спектр
Figure 00000104
 окна является ненулевым только для интервала M=[-mmin,mmax], где mmin и mmax являются небольшими положительными числами. В частности, аппроксимация спектра оконной функции используется так, что для каждого k вклады смещенных спектров окна в вышеупомянутом выражении являются строго неперекрывающимися. Следовательно, в вышеупомянутом уравнении для каждого частотного индекса в максимуме всегда есть вклад только от одного слагаемого, то есть от одного смещенного спектра окна. Это означает, что выражение выше сводится к следующему приближенному выражению:
Figure 00000105
 для неотрицательных
Figure 00000106
 и для каждого k.
Здесь
Figure 00000107
 обозначает целочисленный интервал
Figure 00000108
, где mmin,k и mmax,k выполняют объясненное выше ограничение, так что интервалы не перекрываются. Подходящим выбором для mmin,k и mmax,k является задание их равными небольшому целочисленному значению δ, например, δ=3. Однако если индексы DFT, относящиеся к двум соседним синусоидальным частотам
Figure 00000109
 и
Figure 00000110
, меньше, чем 2δ, то δ задается равным
Figure 00000111
, так что оно гарантирует, что интервалы не перекрываются. Функция
Figure 00000112
 является ближайшим целым числом к аргументу функции, которое меньше или равно ему.
Следующий этап в соответствии с вариантом воплощения состоит в применении синусоидальной модели в соответствии с вышеупомянутым выражением и развертывании ее K синусоид во времени. Допущение, что временные индексы удаленного сегмента по сравнению с временными индексами прототипного кадра отличаются на
Figure 00000113
 семплов, означает, что фазы синусоид сдвинуты на
Figure 00000114
.
Следовательно, спектр DFT развернутой синусоидальной модели дается выражением:
Figure 00000115
.
Применение снова аппроксимации, в соответствии с которой смещенные спектры оконной функции не перекрываются, дает выражение:
Figure 00000116
 для неотрицательных
Figure 00000106
 и для каждого k.
Сравнивая DFT прототипного кадра
Figure 00000117
 с DFT развернутой синусоидальной модели
Figure 00000118
 с использованием аппроксимации, найдено, что амплитудный спектр остается неизменным, в то время как фаза смещается на
Figure 00000119
 для каждого
Figure 00000106
. Следовательно, коэффициенты спектра частот прототипного кадра в окрестности каждой синусоиды смещены пропорционально синусоидальной частоте
Figure 00000120
 и разнице во времени между потерянным аудиокадром и прототипным кадром
Figure 00000121
.
Следовательно, в соответствии с вариантом воплощения подстановочный кадр может быть вычислен с помощью следующего выражения:
Figure 00000122
 с
Figure 00000123
 для неотрицательных
Figure 00000106
 и для каждого k.
Конкретный вариант воплощения решает вопросы, связанные с фазовой рандомизацией для индексов DFT, не принадлежащих какому-либо интервалу
Figure 00000124
. Как было описано выше, интервалы
Figure 00000125
, k=1…K должен быть заданы так, чтобы они являлись строго неперекрывающимися, что достигается с использованием некоторого параметра δ, который управляет размером интервалов. Может получиться, что δ является небольшим относительно частотного расстояния между двумя соседними синусоидами. Следовательно, в этом случае получается, что имеется разрыв между двумя интервалами. Следовательно, для соответствующих индексов m DFT фазовый сдвиг в соответствии с вышеупомянутым выражением
Figure 00000123
 не определен. Подходящим выбором в соответствии с этим вариантом воплощения является рандомизация фазы для этих индексов, что дает
Figure 00000126
, где функция
Figure 00000127
 возвращает некоторое случайное число.
Было найдено выгодным для качества восстановленных сигналов оптимизировать размер интервалов
Figure 00000124
. В частности, интервалы должны быть больше, если сигнал является очень тональным, то есть когда он имеет четкие и явные спектральные пики. Это имеет место, например, когда сигнал является гармоническим с четкой периодичностью. В других случаях, когда сигнал имеет менее выраженную спектральную структуру с более широкими спектральными максимумами, было найдено, что использование небольших интервалов приводит к лучшему качеству. Это открытие приводит к дополнительному улучшению, в соответствии с которым размер интервала настраивается в соответствии со свойствами сигнала. Одна реализация состоит в использовании детектора тональности или периодичности. Если этот детектор идентифицирует сигнал как тональный, δ-параметр, управляющий размером интервала, устанавливается равным относительно большому значению. В противном случае δ-параметр устанавливается равным относительно небольшому значению.
На основании приведенного выше способы маскировки потери аудиокадров включают в себя следующие этапы:
1. Анализ сегмента доступного, ранее синтезированного сигнала для получения составляющих синусоидальных частот
Figure 00000128
 синусоидальной модели, опционально c использованием усовершенствованной оценки частоты.
2. Извлечение прототипного кадра
Figure 00000129
 из доступного ранее синтезированного сигнала и вычисление DFT этого кадра.
3. Вычисление фазового сдвига
Figure 00000130
 для каждой синусоиды k в ответ на синусоидальную частоту
Figure 00000131
 и сдвиг (опережение)
Figure 00000132
 по времени между прототипным кадром и подстановочным кадром. Опционально на этом этапе может быть настроен размер интервала M в ответ на тональность аудиосигнала.
4. Для каждой синусоиды k сдвиг фазы прототипного кадра DFT на
Figure 00000130
 выборочно для индексов DFT, относящихся к окрестности вокруг частоты
Figure 00000131
 синусоиды.
5. Вычисление обратного DFT спектра, полученного на этапе 4.
Анализ и обнаружение свойства сигнала и потери кадров
Способы, описанные выше, основаны на допущении, что свойства аудиосигнала не изменяются значительно за короткое время от ранее принятого и восстановленного кадра сигнала до потерянного кадра. В этом случае очень хорошим выбором является сохранение амплитудного спектра ранее восстановленного кадра и развертывание фазы синусоидальных основных компонентов, обнаруженных в ранее восстановленном сигнале. Однако существуют случаи, где это допущение является неправильным, которые являются, например, транзиентами с внезапными изменениями энергии или внезапными спектральными изменениями.
Первый вариант воплощения детектора транзиентов в соответствии с изобретением может, следовательно, быть основан на изменениях энергии в пределах ранее восстановленного сигнала. Этот способ, изображенный на фигуре 11, вычисляет энергию в левой части и правой части некоторого кадра анализа, 113. Кадр анализа может быть идентичен кадру, используемому для синусоидального анализа, описанного выше. Часть (левая или правая) кадра анализа может быть первой или, соответственно, последней половиной кадра анализа или, например, первой или, соответственно, последней четвертью кадра анализа, 110. Соответствующее вычисление энергии выполняется путем суммирования квадратов семплов в этих частях кадра:
Figure 00000133
, и
Figure 00000134
.
Здесь
Figure 00000135
 обозначает кадр анализа,
Figure 00000136
 и
Figure 00000137
 обозначают соответствующие индексы начала частей кадра, оба из которых имеют размер Npart.
Теперь энергия левой и правой частей кадра используются для обнаружения нарушения непрерывности сигнала. Это выполняется путем вычисления отношения
Figure 00000138
.
Нарушение непрерывности с внезапным уменьшением энергии (спад, окончание звука) может быть обнаружено, если отношение
Figure 00000139
 превышает некоторый порог (например, 10), 115. Аналогично, нарушение непрерывности с внезапным увеличением энергии (всплеск, начало звука) может быть обнаружено, если отношение
Figure 00000140
 ниже некоторого другого порога (например, 0.1), 117.
В контексте описанных выше способов маскировки было найдено, что определенное выше отношение энергий во многих случаях может быть слишком нечувствительным индикатором. В частности, в реальных сигналах и особенно музыке есть случаи, когда тон на некоторой частоте внезапно появляется, в то время как некоторый другой тон на некоторой другой частоте внезапно останавливается. Анализ такого сигнального кадра с помощью определенного выше отношения энергий в любом случае приведет к неправильному результату обнаружения по меньшей мере для одного из тонов, так как этот индикатор не чувствителен к различным частотам.
Решение этой проблемы описано в следующем варианте воплощения. Обнаружение транзиентов теперь выполняется в частотно-временной плоскости. Кадр анализа снова разделяется на левую и правую часть кадра, 110. Хотя теперь, эти две части кадра (после умножения на подходящую оконную функцию, например, окно Хемминга, 111) преобразуются в частотную область, например, посредством Npart-точечного DFT, 112.
Figure 00000141
 и
Figure 00000142
, где m=0…Npart-1.
Теперь обнаружение транзиентов может быть выполнено частотно-избирательно для каждого отрезка DFT с индексом m. Используя энергии амплитудных спектров левой и правой частей кадра, для каждого индекса m DFT соответствующее отношение энергий может быть вычислено 113 в виде
Figure 00000143
.
Эксперименты показывают, что частотно-избирательное обнаружение транзиентов с разрешением отрезков DFT является относительно неточным из-за статистических флуктуаций (ошибок оценки). Было найдено, что качество операции довольно сильно увеличивается, если делать частотно-избирательное обнаружение транзиентов на основе полос частот. Пусть
Figure 00000144
 указывают k-ый интервал, k=1…K, охватывающий отрезки DFT от
Figure 00000145
 до
Figure 00000146
, тогда эти интервалы определяют K полос частот. Выборочное по группе частот обнаружение транзиентов теперь может быть основано на отношении для полос между соответствующими энергиями полос левой и правой частей кадра:
Figure 00000147
.
Следует отметить, что интервал
Figure 00000144
 соответствует полосе частот
Figure 00000148
, где
Figure 00000149
 обозначает частоту дискретизации звука.
Самая низкая граница m0 нижней полосы частот может быть задана равной 0, но может быть также задана равной индексу DFT, соответствующему большей частоте, чтобы снизить ошибки оценки, которые увеличиваются для более низких частот. Самая высокая граница mk верхней полосы частот может быть задана равной
Figure 00000150
, но предпочтительно выбирается так, чтобы соответствовать некоторой более низкой частоте, на которой транзиент все еще имеет значительный слышимый эффект.
Подходящий выбор для размеров или ширин этих полос частот состоит в том, чтобы сделать их одинакового размера шириной, например, в несколько 100 Гц. Другой предпочтительный путь состоит в том, чтобы сделать ширины полос частот зависящими от размера акустических критических полос частот человека, то есть связать их с разрешением по частоте слуховой системы. Это означает, приблизительно, что необходимо сделать ширины полос частот одинаковыми для частот до 1 кГц, и увеличивать их экспоненциально выше 1 кГц. Экспоненциальное увеличение означает, например, удвоение полосы частот с увеличением индекса полосы k.
Как описано в первом варианте воплощения детектора транзиентов, который был основан на отношении энергий двух частей кадра, любое из отношений, связанных с энергиями полос или энергиями отрезков DFT двух частей кадра, сравниваются с определенными порогами. Используется соответствующий верхний порог для (частотно-избирательного) обнаружения спадов 115 и соответствующий нижний порог для (частотно-избирательного) обнаружения всплесков 117.
Дополнительный зависящий от аудиосигнала индикатор, который является подходящим для адаптации способа маскировки потери кадров, может быть основан на параметрах кодека, переданных декодеру. Например, кодек может быть многорежимным кодеком, как ITU-T G.718. Такой кодек может использовать конкретные режимы кодека для различных типов сигнала и изменять режим кодека в кадре незадолго до того, как потеря кадра может быть расценена как индикатор для транзиента.
Другим полезным индикатором для адаптации маскировки потери кадров является параметр кодека, относящийся к свойству озвучивания и переданному сигналу. Озвучивание относится к высоко периодической речи, которая генерируется периодическим возбуждением голосовой щели вокального тракта человека.
Дополнительный предпочтительный индикатор оценивает, является ли содержание сигнала музыкой или речью. Такой индикатор может быть получен от классификатора сигналов, который может обычно быть частью кодека. В случае, если кодек выполняет такую классификацию и делает соответствующее решение о классификации доступным в качестве параметра кодирования декодеру, этот параметр предпочтительно используется в качестве индикатора содержания сигнала, который будет использоваться для адаптации способа маскировки потери кадров.
Другим индикатором, который предпочтительно используется для адаптации способов маскировки потери кадров, является пакетирование потери кадров. Пакетирование потери кадров означает, что происходит потеря нескольких кадров подряд, затрудняя для способа маскировки потери кадров использование годных только что декодированных частей сигнала для его работы. Индикатором существующего уровня техники является число nburst наблюдаемых потерь кадров подряд. Этот счетчик увеличивается на единицу при каждой потере кадра и обнуляется при приеме годного кадра. Этот индикатор также используется в контексте настоящих иллюстративных вариантов воплощения изобретения.
Адаптация способа маскировки потери кадров
В случае, если этапы, выполненные выше, указывают условие, предполагающее адаптацию операции по маскировке потери кадров, вычисление спектра подстановочного кадра модифицируется.
В то время как исходное вычисление спектра подстановочного кадра выполняется в соответствии с выражением
Figure 00000151
, теперь производится адаптация, модифицирующая и амплитуду, и фазу. Амплитуда изменяется посредством масштабирования с помощью двух множителей
Figure 00000152
 и
Figure 00000153
, а фаза модифицируется с помощью добавочного фазового компонента
Figure 00000154
. Это приводит к следующему модифицированному вычислению подстановочного кадра:
Figure 00000155
.
Следует отметить, что исходные (неадаптированные) способы маскировки потери кадров используются, если
Figure 00000156
,
Figure 00000157
 и
Figure 00000158
. Следовательно, эти соответствующие значения являются значениями по умолчанию.
Общая цель использования адаптации амплитуды состоит в том, чтобы избежать слышимых артефактов способа маскировки потери кадров. Такие артефакты могут быть музыкальными или тональными звуками или странными звуками, являющимися результатом повторений транзиентных звуков. Такие артефакты, в свою очередь, будут приводить к снижению качества, предотвращение чего является целью описанной адаптации. Подходящим путем такой адаптации является изменение амплитудного спектра подстановочного кадра в подходящей степени.
Фигура 12 изображает вариант воплощения модификации способа маскировки. Адаптация амплитуды, 123, предпочтительно делается, если счетчик пакетных потерь nburst превышает некоторый порог thrburst, например, thrburst=3, 121. В этом случае для коэффициента ослабления используется значение меньше, чем 1, например,
Figure 00000159
.
Однако было найдено, что выгодно выполнять ослабление с постепенно увеличивающейся степенью. Одним предпочтительным вариантом воплощения, который делает это, является задание логарифмического параметра, указывающего логарифмическое увеличение ослабления на кадр,
Figure 00000160
. Затем, в случае, если пакетный счетчик превышает порог, постепенно увеличивающийся коэффициент ослабления вычисляется с помощью выражения
Figure 00000161
.
Здесь постоянная c является просто масштабирующей постоянной, позволяющей указать параметр
Figure 00000162
, например, в децибелах (дБ).
Дополнительная предпочтительная адаптация делается в ответ на индикатор, оценен ли сигнал как музыка или речь. Для музыкального содержания по сравнению с речевым содержанием предпочтительно увеличить порог
Figure 00000163
 и уменьшить ослабление на кадр. Это эквивалентно выполнению адаптации способа маскировки потери кадров в более низкой степени. Предпосылкой этого вида адаптации является то, что музыка, как правило, менее чувствительна к более длинным пакетам потерь, чем речь. Следовательно, исходный, то есть немодифицированный способ маскировки потери кадров, по-прежнему является предпочтительным для этого случая, по меньшей мере для потери большего числа кадров подряд.
Дополнительная адаптация способа маскировки относительно коэффициента ослабления амплитуды предпочтительно делается в случае, если был обнаружен транзиент на основании того, что индикатор
Figure 00000164
 или, альтернативно,
Figure 00000165
 или
Figure 00000166
 превысил порог, 122. В этом случае подходящее действие адаптации, 125, заключается в модификации второго коэффициента ослабления амплитуды
Figure 00000167
, так что общим ослаблением управляет произведение этих двух множителей
Figure 00000168
.
Figure 00000169
 задается в ответ на указанный транзиент. В случае, если обнаружен спад, множитель
Figure 00000170
 предпочтительно выбирается так, чтобы отражать уменьшение энергии спада. Подходящим выбором является задание
Figure 00000170
 равным обнаруженному изменению усиления:
Figure 00000171
, для
Figure 00000172
, k=1…K.
В случае, если обнаружен всплеск, было найдено полезным скорее ограничить увеличение энергии подстановочного кадра. В этом случае множитель может быть задан равным некоторому фиксированному значению, например, 1, что означает, что ослабление отсутствует, но также нет никакого усиления.
В вышеупомянутом следует отметить, что коэффициент ослабления амплитуды предпочтительно применяется частотно-избирательно, то есть с индивидуально вычисленными множителями для каждой полосы частот. В случае, если подход с полосами не используется, соответствующие коэффициенты ослабления амплитуды, тем не менее, могут быть получены аналогичным образом.
Figure 00000170
 может тогда быть задан индивидуально для каждого отрезка DFT в случае, если частотно-избирательное обнаружение транзиентов используется на уровне отрезков DFT. Или в случае, если не используется вообще никакое частотно-избирательное указание о транзиентах,
Figure 00000170
 может быть глобально одинаковым для всех m.
Дополнительная предпочтительная адаптация коэффициента ослабления амплитуды делается в сочетании с модификацией фазы посредством дополнительного фазового компонента
Figure 00000173
, 127. В случае, если для данного m используется такая модификация фазы, коэффициент ослабления
Figure 00000174
 уменьшается дополнительно. Предпочтительно учитывается даже степень модификации фазы. Если модификация фазы является лишь умеренной,
Figure 00000175
 уменьшается лишь незначительно, в то время как если модификация фазы является значительной,
Figure 00000175
 уменьшается в большей степени.
Общая цель введения адаптации фазы состоит в том, чтобы избежать слишком сильной тональности или периодичности сигнала в генерируемых подстановочных кадрах, что, в свою очередь, привело бы к снижению качества. Подходящим путем такой адаптации является рандомизация или сглаживание фазы в подходящей степени.
Такое сглаживание фазы выполняется, если дополнительный фазовый компонент
Figure 00000173
 задается равным случайному значению, масштабированному с помощью некоторого управляющего коэффициента:
Figure 00000176
.
Случайное значение, полученное с помощью функции
Figure 00000177
, например, генерируется с помощью некоторого генератора псевдослучайных чисел. Здесь предполагается, что он обеспечивает случайное число в пределах интервала
Figure 00000178
.
Масштабирующий коэффициент
Figure 00000179
 в вышеупомянутом уравнении управляет степенью, в которой сглаживается исходная фаза
Figure 00000180
. Следующие варианты воплощения решают проблему адаптацию фазы посредством управления этим масштабирующим коэффициентом. Управление масштабирующим коэффициентом делается аналогичным образом, как и управление множителями модификации амплитуды, описанными выше.
В соответствии с первым вариантом воплощения масштабирующий коэффициент
Figure 00000181
 адаптируется в ответ на счетчик пакетных потерь. Если счетчик пакетных потерь
Figure 00000182
 превышает некоторый порог
Figure 00000163
, например,
Figure 00000183
, используется значение больше, чем 0, например,
Figure 00000184
.
Однако было найдено, что выгодно выполнять сглаживание с постепенно увеличивающейся степенью. Одним предпочтительным вариантом воплощения, который делает это, является задание параметра, указывающего увеличение сглаживания на кадр,
Figure 00000185
. Затем, в случае, если пакетный счетчик превышает порог, постепенно увеличивающийся множитель управления сглаживанием вычисляется с помощью
Figure 00000186
.
В вышеупомянутой формуле следует отметить, что
Figure 00000187
 должна быть ограничена максимальным значением 1, для которого достигается полное сглаживание фазы.
Следует отметить, что пороговое значение пакетных потерь
Figure 00000163
, используемое для инициирования сглаживания фазы, может быть тем же самым порогом, что и порог, используемый для ослабления амплитуды. Однако, более высокое качество может быть получено путем задания этих порогов равными индивидуальным оптимальным значениям, что, как правило, означает, что эти пороги могут отличаться.
Дополнительная предпочтительная адаптация делается в ответ на индикатор, оценен ли сигнал как музыка или речь. Для музыкального содержания по сравнению с речевым содержанием предпочтительно увеличить порог
Figure 00000163
, что означает, что сглаживание фазы для музыки по сравнению с речью делается только в случае большего количества потерянных подряд кадров. Это эквивалентно выполнению адаптации способа маскировки потери кадров для музыки в более низкой степени. Предпосылкой этого вида адаптации является то, что музыка, как правило, менее чувствительна к более длинным пакетам потерь, чем речь. Следовательно, исходный, то есть немодифицированный способ маскировки потери кадров, по-прежнему является предпочтительным для этого случая, по меньшей мере для потери большего числа кадров подряд.
Дополнительный предпочтительный вариант воплощения состоит в адаптации сглаживания фазы в ответ на обнаруженный транзиент. В этом случае более сильная степень сглаживания фазы может использоваться для отрезков m DFT, для которых транзиент указан или для этого отрезка, отрезков DFT соответствующей полосы частот или целого кадра.
Часть описанных схем решает проблему оптимизации способа маскировки потери кадров для гармонических сигналов и, в частности, для вокализованной речи.
В случае, если способы, использующие усовершенствованную частотную оценку, как описано выше, не реализованы, другая возможность адаптации для способа маскировки потери кадров, оптимизирующего качество для сигналов вокализованной речи, состоит в том, чтобы переключиться на некоторый другой способ маскировки потери кадров, который специально спроектирован и оптимизирован для речи, а не для общих аудиосигналов, содержащих музыку и речь. В этом случае используется индикатор, что сигнал содержит сигнал вокализованной речи, чтобы выбрать другую оптимизированную для речи схему маскировки потери кадров, а не схемы, описанные выше.
Варианты воплощения применяются к контроллеру в декодере, как изображено на фигуре 13. Фигура 13 является блок-схемой декодера в соответствии с вариантами воплощения. Декодер 130 содержит блок 132 ввода, сконфигурированный принимать закодированный аудиосигнал. Фигура изображает маскировку потери кадров логическим блоком 134 маскировки потери кадров, который указывает, что декодер сконфигурирован реализовывать маскировку потерянного аудиокадра, в соответствии с вышеописанными вариантами воплощения. Дополнительно декодер содержит контроллер 136 для реализации вариантов воплощения, описанных выше. Контроллер 136 сконфигурирован обнаруживать условия в свойствах ранее принятого и восстановленного аудиосигнала или в статистических свойствах наблюдаемых потерь кадров, для которых подстановка потерянного кадра в соответствии с описанными способами обеспечивает относительно более низкое качество. В случае, если такое условие обнаружено, контроллер 136 сконфигурирован изменять элемент способов маскировки, в соответствии с которым спектр подстановочного кадра вычисляется как
Figure 00000188
, путем выборочной настройки фаз или спектральных амплитуд. Обнаружение может быть выполнено блоком 146 детектора, а модификация может быть выполнена блоком 148 модификатора, как изображено на фигуре 14.
Декодер с входящими в его состав блоками может быть реализован в аппаратных средствах. Есть множество вариантов схемотехнических элементов, которые могут использоваться и комбинироваться для достижения функций блоков декодера. Такие варианты охватываются вариантами воплощения. Конкретными примерами аппаратной реализации декодера является реализация в аппаратных средствах и технологии интегральной схемы цифрового сигнального процессора (DSP), включая и электронные схемы общего назначения, и специализированные схемы.
Декодер 150, описанный в настоящем документе, может быть альтернативно реализован, например, как изображено на фигуре 15, то есть с помощью одного или нескольких процессоров 154 и соответствующего программного обеспечения 155 с подходящим накопителем или памятью 156 для него для восстановления аудиосигнала, что включает в себя выполнение маскировки потери аудиокадров в соответствии с вариантами воплощения, описанными в настоящем документе, как показано на фигуре 13. Входящий закодированный аудиосигнал принимается входом (ВХОД) 152, с которым соединены процессор 154 и память 156. Декодированный и восстановленный аудиосигнал, полученный из программного обеспечения, выводится из выхода (ВЫХОД) 158.
Технология, описанная выше, может использоваться, например, в приемнике, который может использоваться в мобильном устройстве (например, мобильном телефоне, портативном компьютере) или стационарном устройстве, таком как персональный компьютер.
Следует понимать, что выбор взаимодействующих блоков или модулей, а также наименования блоков приведены только для иллюстративных целей, и они могут быть сконфигурированы множеством альтернативных путей, чтобы иметь возможность исполнять раскрытые действия процесса.
Следует также отметить, что блоки или модули, описанные в этом раскрытии, должны рассматриваться как логические объекты, а не обязательно как отдельные физические объекты. Следует иметь в виду, что объем технологии, раскрытой в настоящем документе, полностью охватывает другие варианты воплощения, которые могут быть очевидны для специалистов в области техники, и что объем этого раскрытия, соответственно, не должен ограничиваться.
Ссылка на элемент в единственном числе не означает "один и только один", если это не указано явно, а скорее означает "один или несколько".
Все структурные и функциональные эквиваленты элементов вышеописанных вариантов воплощения, которые известны специалистам в области техники, явно включены в настоящий документ по ссылке и должны охватываться им. Кроме того, устройство или способ не обязательно должно решать каждую проблему, которая должна решаться с помощью технологии, раскрытой в настоящем документе, для того, чтобы оно охватывалось настоящим документом.
В предыдущем описании для целей пояснения, а не ограничения, изложены конкретные подробности, такие как конкретная архитектура, интерфейсы, методики и т.д., чтобы обеспечить полное понимание раскрытой технологии. Однако для специалистов в области техники будет очевидно, что раскрытая технология может быть реализована в других вариантах воплощения и/или комбинациях вариантов воплощения, которые отступают от этих конкретных подробностей. То есть специалисты в области техники будут в состоянии разработать различные конструкции, которые, хотя явно не описаны или показаны в настоящем документе, воплощают принципы раскрытой технологии. В некоторых случаях подробные описания известных устройств, электрических цепей и способов опущены, чтобы не загромождать описание раскрытой технологии ненужными подробностями. Все утверждения в настоящем документе, излагающие принципы, аспекты и варианты воплощения раскрытой технологии, а также их конкретные примеры, предназначены для охвата и структурных, и функциональных их эквивалентов. Дополнительно предполагается, что такие эквиваленты включают в себя как в настоящий момент известные эквиваленты, так и эквиваленты, которые могут быть разработаны в будущем, например, любые разработанные элементы, которые выполняют ту же самую функцию, независимо от структуры.
Таким образом, например, специалистам в области техники будет понятно, что фигуры в настоящем документе могут представлять собой концептуальный вид иллюстративной электрической схемы или других функциональных блоков, воплощающих принципы технологии и/или различных процессов, которые могут быть, по сути, представлены на машиночитаемом носителе и исполнены компьютером или процессором даже при том, что такой компьютер или процессор могут быть не показаны явно на фигурах.
Функции различных элементов, в том числе функциональных блоков, могут быть обеспечены с помощью аппаратных средств, таких как аппаратные средства электрических цепей и/или аппаратные средства, способные исполнять программное обеспечения в форме кодированных инструкций, сохраненных на машиночитаемом носителе. Таким образом, такие функции и изображенные функциональные блоки должны пониматься как реализованные или с помощью аппаратных средств, и/или с помощью компьютера и, таким образом, реализованными машинным образом.
Варианты воплощения, описанные выше, следует понимать как несколько иллюстративных примеров настоящего изобретения. Специалистам в области техники будет понятно, что различные модификации, комбинации и изменения могут быть сделаны в вариантах воплощения, не отступая от объема настоящего изобретения. В частности, решения для различных частей в различных вариантах воплощения могут быть объединены в других конфигурациях, где это технически возможно.

Claims (25)

1. Способ маскировки потерянного аудиокадра принятого аудиосигнала, причем способ содержит этапы, на которых:
- извлекают сегмент из ранее принятого или восстановленного аудиосигнала, при этом упомянутый сегмент используется в качестве прототипного кадра для того, чтобы создать подстановочный кадр для потерянного аудиокадра;
- преобразуют извлеченный прототипный кадр в представление в частотной области;
- выполняют синусоидальный анализ прототипного кадра, при этом синусоидальный анализ включает в себя идентификацию частот синусоидальных компонентов аудиосигнала;
- изменяют все спектральные коэффициенты прототипного кадра, включенные в интервал Mk вокруг синусоиды k путем фазового сдвига пропорционально синусоидальной частоте fk и разнице во времени между потерянным аудиокадром и прототипным кадром, таким образом включая временное развертывание синусоидальных компонентов прототипного кадра во временной экземпляр потерянного аудиокадра, и сохраняют параметры этих спектральных коэффициентов;
- изменяют фазу спектрального коэффициента прототипного кадра, не включенного ни в один из интервалов, относящихся к области вокруг идентифицированных синусоид путем случайного значения, и сохраняют параметры этого спектрального коэффициента; и
- выполняют обратное преобразование в частотную область настроенного по фазе частотного спектра прототипного кадра, для создания таким образом подстановочного кадра для потерянного аудиокадра.
2. Способ по п. 1, в котором идентификация частот синусоидальных компонентов также содержит идентификацию частот вблизи пиков спектра, относящегося к преобразованию в частотную область.
3. Способ по п. 2, в котором идентификация частот синусоидальных компонентов выполняется с более высоким разрешением, чем частотное разрешение используемого преобразования в частотную область.
4. Способ по п. 3, в котором идентификация частот синусоидальных компонентов также включает в себя интерполяцию.
5. Способ по п. 4, в котором интерполяция является параболического типа.
6. Способ по любому из пп. 1-5, который также содержит извлечение прототипного кадра из доступного ранее полученного или восстановленного сигнала, используя оконную функцию.
7. Способ по п. 6, который также содержит аппроксимацию спектра оконной функции так, что спектр подстановочного кадра сформирован из строго неперекрывающихся частей аппроксимированного спектра оконной функции.
8. Декодер, сконфигурированный с возможностью маскировки потерянного аудиокадра принятого аудиосигнала, содержащий процессор и память, причем память хранит инструкции, исполняемые процессором, при этом декодер сконфигурирован для:
- извлечения сегмента из ранее принятого или восстановленного аудиосигнала, при этом упомянутый сегмент используется в качестве прототипного кадра для того, чтобы создать подстановочный кадр для потерянного аудиокадра;
- преобразования извлеченного прототипного кадра в представление в частотной области;
- выполнения синусоидального анализа прототипного кадра, при этом синусоидальный анализ включает в себя идентификацию частот синусоидальных компонентов аудиосигнала;
- изменения всех спектральных коэффициентов прототипного кадра, включенных в интервал Mk вокруг синусоиды k путем фазового сдвига пропорционально синусоидальной частоте fk и разнице во времени между потерянным аудиокадром и прототипным кадром, таким образом включая временное развертывание синусоидальных компонентов прототипного кадра во временной экземпляр потерянного аудиокадра, и сохранения параметров этих спектральных коэффициентов;
- изменения фазы спектрального коэффициента прототипного кадра, не включенного ни в один из интервалов, относящихся к области вокруг идентифицированных синусоид путем случайного значения, и сохранения параметров этого спектрального коэффициента; и
- выполнения обратного преобразования в частотную область настроенного по фазе частотного спектра прототипного кадра, для создания таким образом подстановочного кадра для потерянного аудиокадра.
9. Декодер по п. 8, в котором идентификация частот синусоидальных компонентов также содержит идентификацию частот вблизи пиков спектра, относящегося к преобразованию в частотную область.
10. Декодер по п. 8, в котором идентификация частот синусоидальных компонентов аудиосигнала также включает в себя параболическую интерполяцию.
11. Декодер по любому из пп. 8-10, который также сконфигурирован для извлечения прототипного кадра из доступного ранее полученного или восстановленного сигнала, используя оконную функцию.
12. Декодер по п. 8, который также сконфигурирован для аппроксимирования спектра оконной функции так, что спектр подстановочного кадра сформирован из строго неперекрывающихся частей аппроксимированного спектра оконной функции.
13. Приемник, содержащий декодер по любому из пп. 8-12.
RU2017124644A 2013-02-05 2014-01-22 Способ и устройство для управления маскировкой потери аудиокадров RU2728832C2 (ru)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361760822P 2013-02-05 2013-02-05
US201361760814P 2013-02-05 2013-02-05
US201361761051P 2013-02-05 2013-02-05
US61/761,051 2013-02-05
US61/760,814 2013-02-05
US61/760,822 2013-02-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2015137708A Division RU2628144C2 (ru) 2013-02-05 2014-01-22 Способ и устройство для управления маскировкой потери аудиокадров

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2020122689A Division RU2020122689A (ru) 2013-02-05 2020-07-09 Способ и устройство для управления маскировкой потери аудиокадров

Publications (3)

Publication Number Publication Date
RU2017124644A RU2017124644A (ru) 2019-01-30
RU2017124644A3 RU2017124644A3 (ru) 2020-05-27
RU2728832C2 true RU2728832C2 (ru) 2020-07-31

Family

ID=50114514

Family Applications (3)

Application Number Title Priority Date Filing Date
RU2017124644A RU2728832C2 (ru) 2013-02-05 2014-01-22 Способ и устройство для управления маскировкой потери аудиокадров
RU2015137708A RU2628144C2 (ru) 2013-02-05 2014-01-22 Способ и устройство для управления маскировкой потери аудиокадров
RU2020122689A RU2020122689A (ru) 2013-02-05 2020-07-09 Способ и устройство для управления маскировкой потери аудиокадров

Family Applications After (2)

Application Number Title Priority Date Filing Date
RU2015137708A RU2628144C2 (ru) 2013-02-05 2014-01-22 Способ и устройство для управления маскировкой потери аудиокадров
RU2020122689A RU2020122689A (ru) 2013-02-05 2020-07-09 Способ и устройство для управления маскировкой потери аудиокадров

Country Status (21)

Country Link
US (6) US9293144B2 (ru)
EP (5) EP3125239B1 (ru)
JP (3) JP6069526B2 (ru)
KR (4) KR102110212B1 (ru)
CN (3) CN108899038B (ru)
AU (5) AU2014215734B2 (ru)
BR (1) BR112015018316B1 (ru)
CA (2) CA2900354C (ru)
DK (2) DK3561808T3 (ru)
ES (4) ES2750783T3 (ru)
HK (2) HK1210315A1 (ru)
MX (3) MX344550B (ru)
MY (1) MY170368A (ru)
NZ (2) NZ739387A (ru)
PH (3) PH12015501507B1 (ru)
PL (2) PL3125239T3 (ru)
PT (2) PT3125239T (ru)
RU (3) RU2728832C2 (ru)
SG (3) SG10202106262SA (ru)
WO (1) WO2014123471A1 (ru)
ZA (1) ZA201504881B (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2787309C1 (ru) * 2022-05-05 2023-01-09 Федеральное государственное бюджетное образовательное учреждение высшего образования "Кемеровский государственный университет" Способ идентификации мультисинусоидальных цифровых сигналов

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3576087T3 (pl) 2013-02-05 2021-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Ukrywanie klatki utraconej sygnału audio
EP2954516A1 (en) 2013-02-05 2015-12-16 Telefonaktiebolaget LM Ericsson (PUBL) Enhanced audio frame loss concealment
NO2780522T3 (ru) 2014-05-15 2018-06-09
WO2015190985A1 (en) 2014-06-13 2015-12-17 Telefonaktiebolaget L M Ericsson (Publ) Burst frame error handling
US10373608B2 (en) 2015-10-22 2019-08-06 Texas Instruments Incorporated Time-based frequency tuning of analog-to-information feature extraction
KR102192999B1 (ko) * 2016-03-07 2020-12-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 적절히 디코딩된 오디오 프레임의 디코딩된 표현의 특성을 사용하는 에러 은닉 유닛, 오디오 디코더, 및 관련 방법과 컴퓨터 프로그램
MX2018010754A (es) 2016-03-07 2019-01-14 Fraunhofer Ges Forschung Unidad de ocultamiento de error, decodificador de audio y método relacionado y programa de computadora que desaparece una trama de audio ocultada de acuerdo con factores de amortiguamiento diferentes para bandas de frecuencia diferentes.
WO2017153006A1 (en) * 2016-03-07 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid concealment method: combination of frequency and time domain packet loss concealment in audio codecs
CN108922551B (zh) * 2017-05-16 2021-02-05 博通集成电路（上海）股份有限公司 用于补偿丢失帧的电路及方法
US20190074805A1 (en) * 2017-09-07 2019-03-07 Cirrus Logic International Semiconductor Ltd. Transient Detection for Speaker Distortion Reduction
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
US11990141B2 (en) 2018-12-20 2024-05-21 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for controlling multichannel audio frame loss concealment
CN111402904B (zh) * 2018-12-28 2023-12-01 南京中感微电子有限公司 音频数据恢复方法、装置及蓝牙设备
CN109887515B (zh) * 2019-01-29 2021-07-09 北京市商汤科技开发有限公司 音频处理方法及装置、电子设备和存储介质
WO2020169756A1 (en) * 2019-02-21 2020-08-27 Telefonaktiebolaget Lm Ericsson (Publ) Methods for frequency domain packet loss concealment and related decoder
CN113678197B (zh) * 2019-03-25 2024-06-11 雷蛇(亚太)私人有限公司 在音频错误消除中使用递增搜索序列的方法和设备
WO2020249380A1 (en) * 2019-06-13 2020-12-17 Telefonaktiebolaget Lm Ericsson (Publ) Time reversed audio subframe error concealment
CN111883173B (zh) * 2020-03-20 2023-09-12 珠海市杰理科技股份有限公司 基于神经网络的音频丢包修复方法、设备和***
EP4252227A1 (en) 2020-11-26 2023-10-04 Telefonaktiebolaget LM Ericsson (publ) Noise suppression logic in error concealment unit using noise-to-signal ratio

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059059A1 (en) * 2000-10-04 2002-05-16 Iliev Alexander I. Auxiliary channel masking in an audio signal
US6477490B2 (en) * 1997-10-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Audio signal compression method, audio signal compression apparatus, speech signal compression method, speech signal compression apparatus, speech recognition method, and speech recognition apparatus
US20090198500A1 (en) * 2007-08-24 2009-08-06 Qualcomm Incorporated Temporal masking in audio coding based on spectral dynamics in frequency sub-bands
RU2417457C2 (ru) * 2005-01-31 2011-04-27 Скайп Лимитед Способ конкатенации кадров в системе связи
RU2420815C2 (ru) * 2006-10-25 2011-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для генерации значений подполос звукового сигнала и устройство и способ для генерации отсчетов звукового сигнала во временной области

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06130999A (ja) * 1992-10-22 1994-05-13 Oki Electric Ind Co Ltd コード励振線形予測復号化装置
JP3617503B2 (ja) * 1996-10-18 2005-02-09 三菱電機株式会社 音声復号化方法
JP3567750B2 (ja) * 1998-08-10 2004-09-22 株式会社日立製作所 圧縮音声再生方法及び圧縮音声再生装置
US6882634B2 (en) * 2000-04-07 2005-04-19 Broadcom Corporation Method for selecting frame encoding parameters to improve transmission performance in a frame-based communications network
JP2002229593A (ja) * 2001-02-06 2002-08-16 Matsushita Electric Ind Co Ltd 音声信号復号化処理方法
KR100591350B1 (ko) * 2001-03-06 2006-06-19 가부시키가이샤 엔.티.티.도코모 오디오 데이터 보간장치 및 방법, 오디오 데이터관련 정보작성장치 및 방법, 오디오 데이터 보간 정보 송신장치 및방법, 및 그 프로그램 및 기록 매체
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
JP4215448B2 (ja) * 2002-04-19 2009-01-28 日本電気株式会社 音声復号装置及び音声復号方法
US20040122680A1 (en) * 2002-12-18 2004-06-24 Mcgowan James William Method and apparatus for providing coder independent packet replacement
US6985856B2 (en) * 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
DE60327371D1 (de) 2003-01-30 2009-06-04 Fujitsu Ltd EINRICHTUNG UND VERFAHREN ZUM VERBERGEN DES VERSCHWINDENS VON AUDIOPAKETEN, EMPFANGSENDGERuT UND AUDIOKOMMUNIKAITONSSYSTEM
US7394833B2 (en) * 2003-02-11 2008-07-01 Nokia Corporation Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification
WO2004102531A1 (en) 2003-05-14 2004-11-25 Oki Electric Industry Co., Ltd. Apparatus and method for concealing erased periodic signal data
EP1642265B1 (en) * 2003-06-30 2010-10-27 Koninklijke Philips Electronics N.V. Improving quality of decoded audio by adding noise
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
US20050091044A1 (en) * 2003-10-23 2005-04-28 Nokia Corporation Method and system for pitch contour quantization in audio coding
US7324937B2 (en) * 2003-10-24 2008-01-29 Broadcom Corporation Method for packet loss and/or frame erasure concealment in a voice communication system
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
EP1722359B1 (en) * 2004-03-05 2011-09-07 Panasonic Corporation Error conceal device and error conceal method
WO2006009074A1 (ja) * 2004-07-20 2006-01-26 Matsushita Electric Industrial Co., Ltd. 音声復号化装置および補償フレーム生成方法
US7930184B2 (en) * 2004-08-04 2011-04-19 Dts, Inc. Multi-channel audio coding/decoding of random access points and transients
US7734381B2 (en) * 2004-12-13 2010-06-08 Innovive, Inc. Controller for regulating airflow in rodent containment system
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US7457746B2 (en) * 2006-03-20 2008-11-25 Mindspeed Technologies, Inc. Pitch prediction for packet loss concealment
US8358704B2 (en) * 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table
WO2008022207A2 (en) 2006-08-15 2008-02-21 Broadcom Corporation Time-warping of decoded audio signal after packet loss
JP2008058667A (ja) 2006-08-31 2008-03-13 Sony Corp 信号処理装置および方法、記録媒体、並びにプログラム
FR2907586A1 (fr) 2006-10-20 2008-04-25 France Telecom Synthese de blocs perdus d'un signal audionumerique,avec correction de periode de pitch.
US7991612B2 (en) * 2006-11-09 2011-08-02 Sony Computer Entertainment Inc. Low complexity no delay reconstruction of missing packets for LPC decoder
CN102682774B (zh) 2006-11-10 2014-10-08 松下电器（美国）知识产权公司 参数解码方法及参数解码装置
RU2459283C2 (ru) * 2007-03-02 2012-08-20 Панасоник Корпорэйшн Кодирующее устройство, декодирующее устройство и способ
CN101207665B (zh) * 2007-11-05 2010-12-08 华为技术有限公司 一种衰减因子的获取方法
CN100550712C (zh) * 2007-11-05 2009-10-14 华为技术有限公司 一种信号处理方法和处理装置
CN101261833B (zh) * 2008-01-24 2011-04-27 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法
CN101308660B (zh) * 2008-07-07 2011-07-20 浙江大学 一种音频压缩流的解码端错误恢复方法
CN102222505B (zh) 2010-04-13 2012-12-19 中兴通讯股份有限公司 可分层音频编解码方法***及瞬态信号可分层编解码方法
WO2012158159A1 (en) 2011-05-16 2012-11-22 Google Inc. Packet loss concealment for audio codec

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477490B2 (en) * 1997-10-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Audio signal compression method, audio signal compression apparatus, speech signal compression method, speech signal compression apparatus, speech recognition method, and speech recognition apparatus
US20020059059A1 (en) * 2000-10-04 2002-05-16 Iliev Alexander I. Auxiliary channel masking in an audio signal
RU2417457C2 (ru) * 2005-01-31 2011-04-27 Скайп Лимитед Способ конкатенации кадров в системе связи
RU2420815C2 (ru) * 2006-10-25 2011-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для генерации значений подполос звукового сигнала и устройство и способ для генерации отсчетов звукового сигнала во временной области
US20090198500A1 (en) * 2007-08-24 2009-08-06 Qualcomm Incorporated Temporal masking in audio coding based on spectral dynamics in frequency sub-bands

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2787309C1 (ru) * 2022-05-05 2023-01-09 Федеральное государственное бюджетное образовательное учреждение высшего образования "Кемеровский государственный университет" Способ идентификации мультисинусоидальных цифровых сигналов

Also Published As

Publication number Publication date
ES2750783T3 (es) 2020-03-27
PH12018500600A1 (en) 2019-06-10
EP3855430B1 (en) 2023-10-18
SG10201700846UA (en) 2017-03-30
CA2900354A1 (en) 2014-08-14
AU2020200577B2 (en) 2021-08-05
PH12018500083A1 (en) 2019-06-10
CN108831490A (zh) 2018-11-16
MX2021000353A (es) 2023-02-24
MX344550B (es) 2016-12-20
SG11201505231VA (en) 2015-08-28
KR102238376B1 (ko) 2021-04-08
NZ710308A (en) 2018-02-23
US20170287494A1 (en) 2017-10-05
EP2954518A1 (en) 2015-12-16
KR20150108937A (ko) 2015-09-30
EP4322159A2 (en) 2024-02-14
ES2964807T3 (es) 2024-04-09
SG10202106262SA (en) 2021-07-29
PL3125239T3 (pl) 2019-12-31
US11437047B2 (en) 2022-09-06
AU2021212049B2 (en) 2023-02-16
ES2603827T3 (es) 2017-03-01
JP2019061254A (ja) 2019-04-18
EP3561808A1 (en) 2019-10-30
US20150228287A1 (en) 2015-08-13
US10332528B2 (en) 2019-06-25
BR112015018316A2 (pt) 2017-07-18
EP3855430A1 (en) 2021-07-28
JP2016510432A (ja) 2016-04-07
RU2015137708A (ru) 2017-03-10
KR102110212B1 (ko) 2020-05-13
CA2978416C (en) 2019-06-18
EP3125239A1 (en) 2017-02-01
AU2014215734A1 (en) 2015-08-06
AU2016225836A1 (en) 2016-10-06
DK3561808T3 (da) 2021-05-03
JP6440674B2 (ja) 2018-12-19
KR20160045917A (ko) 2016-04-27
EP3125239B1 (en) 2019-07-17
PH12018500600B1 (en) 2019-06-10
US9721574B2 (en) 2017-08-01
CN108831490B (zh) 2023-05-02
KR20210041107A (ko) 2021-04-14
US20190267011A1 (en) 2019-08-29
RU2628144C2 (ru) 2017-08-15
AU2014215734B2 (en) 2016-08-11
AU2018203449A1 (en) 2018-06-07
KR20200052983A (ko) 2020-05-15
AU2018203449B2 (en) 2020-01-02
US20200126567A1 (en) 2020-04-23
JP6698792B2 (ja) 2020-05-27
CN108899038A (zh) 2018-11-27
PT3125239T (pt) 2019-09-12
AU2016225836B2 (en) 2018-06-21
CA2978416A1 (en) 2014-08-14
EP2954518B1 (en) 2016-08-31
MX2020001307A (es) 2021-01-12
JP2017097365A (ja) 2017-06-01
US20160155446A1 (en) 2016-06-02
PT2954518T (pt) 2016-12-01
RU2017124644A3 (ru) 2020-05-27
PL3561808T3 (pl) 2021-10-04
MX2015009210A (es) 2015-11-25
US9293144B2 (en) 2016-03-22
US20220375480A1 (en) 2022-11-24
KR102349025B1 (ko) 2022-01-07
ES2881510T3 (es) 2021-11-29
RU2017124644A (ru) 2019-01-30
PH12015501507A1 (en) 2015-09-28
DK3125239T3 (da) 2019-08-19
HK1258094A1 (zh) 2019-11-01
RU2020122689A (ru) 2022-01-10
EP4322159A3 (en) 2024-04-17
CN104969290B (zh) 2018-07-31
ZA201504881B (en) 2016-12-21
JP6069526B2 (ja) 2017-02-01
AU2021212049A1 (en) 2021-08-26
AU2020200577A1 (en) 2020-02-13
HK1210315A1 (en) 2016-04-15
US10559314B2 (en) 2020-02-11
MY170368A (en) 2019-07-24
PH12015501507B1 (en) 2015-09-28
RU2020122689A3 (ru) 2022-01-10
BR112015018316B1 (pt) 2022-03-08
EP3561808B1 (en) 2021-03-31
WO2014123471A1 (en) 2014-08-14
EP3855430C0 (en) 2023-10-18
PH12018500083B1 (en) 2019-06-10
CN104969290A (zh) 2015-10-07
CA2900354C (en) 2017-10-24
NZ739387A (en) 2020-03-27
CN108899038B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
RU2728832C2 (ru) Способ и устройство для управления маскировкой потери аудиокадров
US20230368802A1 (en) Burst frame error handling