RU2763848C2 - Улучшенное расширение диапазона частот в декодере звукового сигнала - Google Patents
Улучшенное расширение диапазона частот в декодере звукового сигнала Download PDFInfo
- Publication number
- RU2763848C2 RU2763848C2 RU2017144521A RU2017144521A RU2763848C2 RU 2763848 C2 RU2763848 C2 RU 2763848C2 RU 2017144521 A RU2017144521 A RU 2017144521A RU 2017144521 A RU2017144521 A RU 2017144521A RU 2763848 C2 RU2763848 C2 RU 2763848C2
- Authority
- RU
- Russia
- Prior art keywords
- signal
- decoded
- frequency
- band
- range
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims abstract description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 27
- 230000003044 adaptive effect Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000002156 mixing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract 3
- 239000000126 substance Substances 0.000 abstract 1
- 230000005284 excitation Effects 0.000 description 30
- 238000003786 synthesis reaction Methods 0.000 description 30
- 230000015572 biosynthetic process Effects 0.000 description 29
- 238000001914 filtration Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 14
- 239000004606 Fillers/Extenders Substances 0.000 description 12
- 238000012805 post-processing Methods 0.000 description 10
- 230000007480 spreading Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 238000012952 Resampling Methods 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000017105 transposition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000000737 potassium alginate Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000000728 ammonium alginate Substances 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K3/00—Apparatus for stamping articles having integral means for supporting the articles to be stamped
- B41K3/54—Inking devices
- B41K3/56—Inking devices using inking pads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/02—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images
- B41K1/04—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images with multiple stamping surfaces; with stamping surfaces replaceable as a whole
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/08—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters
- B41K1/10—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters having movable type-carrying bands or chains
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/08—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters
- B41K1/12—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters having adjustable type-carrying wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/36—Details
- B41K1/38—Inking devices; Stamping surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/36—Details
- B41K1/38—Inking devices; Stamping surfaces
- B41K1/40—Inking devices operated by stamping movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/36—Details
- B41K1/38—Inking devices; Stamping surfaces
- B41K1/40—Inking devices operated by stamping movement
- B41K1/42—Inking devices operated by stamping movement with pads or rollers movable for inking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
Abstract
Изобретение относится к области вычислительной техники для обработки аудиоданных. Технический результат заключается в повышении точности декодирования сигнала звуковой частоты. Технический результат достигается за счет получения сигнала, декодированного в первом диапазоне частот, называемом нижним диапазоном; извлечения тональных составляющих и сигнала окружения из сигнала, возникающего из декодированного сигнала нижнего диапазона; объединения тональных составляющих и сигнала окружения посредством адаптивного микширования с использованием коэффициентов регулирования уровня энергии для получения звукового сигнала, называемого объединенным сигналом; и расширения декодированного сигнала нижнего диапазона по меньшей мере на по меньшей мере одном втором диапазоне частот, находящемся выше, чем первый диапазон частот перед этапом извлечения, формирующего расширенный декодированный сигнал нижнего диапазона U HB1(k), причем извлечение содержит следующие операции: (a) вычисление тональной энергии расширенного декодированного сигнала нижнего диапазона; (b) вычисление сигнала окружения в абсолютном значении, соответствующем среднему значению уровня спектра спектральная линия за спектральной линией, и вычисление энергии преобладающих тональных составляющих декодированного в верхнем диапазоне спектра. 3 н. и 6 з.п. ф-лы, 6 ил.
Description
Настоящее изобретение относится к области кодирования/декодирования и обработки сигналов звуковой частоты (например, речи, музыки или других подобных сигналов) для их передачи или их хранения.
Более конкретно, настоящее изобретение относится к способу расширения диапазона частот и устройству в декодере или процессоре, производящему выделение сигнала звуковой частоты из шумов.
Существуют многочисленные методы сжатия (с потерей) сигнала звуковой частоты, такого как речь или музыка.
Традиционные способы кодирования для разговорных приложений, как правило, классифицируются как кодирование формы сигналов (PCM - "импульсно-кодовая модуляция", ADPCM - "адаптивная дифференциальная импульсно-кодовая модуляция", кодирование с преобразованием и т.д.), параметрическое кодирование (LPC - "кодирования с линейным предсказанием", синусоидальное кодирование и т.д.) и параметрическое гибридное кодирование с квантованием параметров посредством "анализа через синтез", из которого кодирование CELP ("линейное предсказание с кодовым возбуждением") является наиболее известным примером.
Для не разговорных приложений известный уровень техники для кодирования (монофонического) звукового сигнала включает в себя перцептуальное кодирование посредством преобразования или в поддиапазонах с параметрическим кодированием высоких частот посредством репликации полосы (SBR - репликации спектральной полосы).
Обзор способов кодирования обычной речи и звука можно найти в работах W.B. Kleijn and K.K. Paliwal (eds.), Speech Coding and Synthesis, Elsevier, 1995; M. Bosi, R.E. Goldberg, Introduction to Digital Audio Coding and Standards, Springer 2002; J. Benesty, M.M. Sondhi, Y. Huang (eds.), Handbook of Speech Processing, Springer 2008.
В данном случае внимание сосредоточено, более конкретно, на стандартизированном 3GPP AMR-WB ("адаптивном многоскоростном при широкополосной передаче") кодеке (кодере и декодере), который работает на входной/выходной частоте 16 кГц, и в котором сигнал разделяется на два поддиапазона: нижний диапазон (0-6,4 кГц), который подвергается дискретизации на 12,8 кГц и кодируется посредством модели CELP, и верхний диапазон (6,4-7 кГц), который параметрически восстанавливается посредством "расширения диапазона" (или BWE - "расширения полосы частот") с или без дополнительной информации в зависимости от режима текущего кадра. Можно отметить, что ограничение кодированного диапазона кодека AMR-WB на частоте 7 кГц, по существу, связано с тем, что частотная характеристика при передаче широкополосных терминалов была аппроксимирована в момент стандартизации (ETSI/3GPP, в дальнейшем ITU-T) в соответствии с частотной маской, определенной в стандарте ITU-T P.341 и, более конкретно посредством так называемого фильтра "P341", определенного в стандарте ITU-T G.191, который отсекает частоты выше 7 кГц (данный фильтр соблюдает маску, определенную в P.341). Тем не менее, в теории хорошо известно, что сигнал, подвергнутый дискретизации с частотой 16 кГц, может иметь определенный звуковой диапазон от 0 до 8000 Гц; поэтому AMR-WB-кодек вводит ограничение верхнего диапазона по сравнению с теоретической полосой пропускания 8 кГц.
3GPP AMR-WB речевой кодек был стандартизирован в 2001 году, главным образом, для режима с коммутацией каналов (CS) телефонных приложений на GSM (2G) и UMTS (3G). Этот же кодек также был стандартизирован в 2003 году в стандарте ITU-T в виде рекомендации G.722.2 "Широкополосное кодирование речи при приблизительно 16 кбит/с с применением адаптивного многоскоростного широкополосного кодирования (AMR-WB)".
Он имеет девять скоростей цифрового потока, называемых режимами, от 6,6 до 23,85 кбит/с, и содержит механизмы непрерывной передачи (DTX "прерывистой передачи") с определением присутствия голосового сигнала (VAD) и генерацией комфортного шума (CNG) из кадров описания периода молчания (SID "дескриптор информации о паузе") и механизмы коррекции потерянных кадров (FEC "маскирование стирания кадров", иногда называемое PLC "маскирование потери пакетов").
Подробная информация о кодировании AMR-WB и алгоритме декодирования не повторяется в данной заявке; подробное описание этого кодека можно найти в спецификациях 3GPP (TS 26.190, 26.191, 26.192, 26.193, 26.194, 26.204) и в ITU-T-G.722.2 (и соответствующих дополнениях и приложениях), и в статье B. Bessette и другие, озаглавленной "The adaptive multirate wideband speech codec (AMR-WB)ʺ, IEEE Transactions on Speech and Audio Processing, vol. 10, no. 8, 2002, pp. 620-636, и исходных кодах связанных стандартов 3GPP и ITU-T.
Принцип расширения диапазона в кодеке AMR-WB довольно слабо развит. В действительности верхний диапазон (6,4-7 кГц) генерируется посредством формировании белого шума во времени (применяемого при формировании коэффициентов усиления в расчете на подкадр) и частотной огибающей (посредством применения синтезирующего фильтра линейного предсказания или LPC - "кодирования с линейным предсказанием"). Данный метод расширения диапазона показан на фиг. 1.
Белый шум , генерируется с частотой 16 кГц для каждого подкадра длительностью 5 мс посредством линейного конгруэнтного генератора (блок 100). Этот шум формируется во времени посредством применения коэффициентов усиления для каждого подкадра; эта операция разбивается на два этапа обработки (блоки 102, 106 или 109):
• Первый коэффициент вычисляется (блок 101), чтобы установить белый шум (блок 102) на том же уровне, что возбуждение , , декодируемое на 12,8 кГц в нижнем диапазоне:
Можно отметить, что нормализация энергий выполняется путем сравнения блоков разного размера (64 для и 80 для ) без компенсации отличий в частотах дискретизации (12,8 или 16 кГц).
• Затем получается возбуждение в верхнем диапазоне (блок 106 или 109) в виде:
где коэффициент усиления получают по-разному в зависимости от скорости цифрового потока. Если скорость цифрового потока текущего кадра <23,85 кбит/с, коэффициент усиления оценивают "вслепую" (то есть без дополнительной информации); в этом случае блок 103 фильтрует сигнал, декодированный в нижнем диапазоне, посредством фильтра высоких частот с частотой среза 400 Гц для получения сигнала , - данный фильтр высоких частот устраняет влияние очень низких частот, которые могут исказить оценку, выполненную в блоке 104 - затем "наклон" (индикатор крутизны спектра), обозначенный сигнала вычисляют с помощью нормированной автокорреляции (блок 104):
где - коэффициент усиления, применяемый в активных речевых (SP) кадрах, - коэффициент усиления, применяемый в неактивных речевых кадрах, относящихся к фоновому (BG) шуму, и - весовая функция, которая зависит от определения присутствия голосового сигнала (VAD). Понятно, что оценка наклона () позволяет адаптировать уровень верхнего диапазона в зависимости от спектрального характера сигнала; эта оценка особенно важна, когда крутизна спектра CELP декодированного сигнала такова, что средняя энергия уменьшается, когда частота увеличивается (в случае вокализованного сигнала, где близка к 1, поэтому соответственно снижается). Следует также отметить, что коэффициент при AMR-WB декодировании ограничен принимать значения в интервале [0,1; 1,0]. Фактически, для сигналов, спектр которых имеет больше энергии на высоких частотах ( близко к -1, близко к 2), коэффициент усиления , как правило, занижается.
При 23,85 кбит/с единица корректирующей информации передается на кодер AMR-WB и декодируется (блоки 107, 108) с целью уточнения коэффициента усиления, оцененного для каждого подкадра (4 бита каждые 5 мс или 0,8 кбит/с).
Искусственное возбуждение после этого фильтруется (блок 111) посредством синтезирующего фильтра синтеза LPC с передаточной функцией и работающего на частоте дискретизации 16 кГц. Структура данного фильтра зависит от скорости передачи текущего кадра:
При 6,6 кбит/с фильтр получается взвешиванием посредством коэффициента =0,9 фильтра LPC порядка 20, , который "экстраполирует" фильтр LPC порядка 16, , декодированный в нижнем диапазоне (на 12,8 кГц) -подробная информация об экстраполяции в области параметров ISF (спектральной частоты иммитанса) описана в стандарте G.722.2 в разделе 6.3.2.1; в этом случае
где =0,6. Следует отметить, что в этом случае фильтр используется на частоте 16 кГц, что приводит к расширению (посредством пропорционального преобразования) частотной характеристики этого фильтра от [0; 6,4 кГц] до [0; 8 кГц].
В заключение, результат обрабатывается посредством полосового фильтра (блок 112) типа FIR ("конечной импульсной характеристики"), чтобы сохранить только диапазон 6-7 кГц; при скорости 23,85 кбит/с низкочастотный фильтр также типа FIR (блок 113) добавляется к обработке для дополнительного подавления частот выше 7 кГц. В заключение, высокочастотный (HF) синтез добавляется (блок 130) к низкочастотному (LF) синтезу, полученному посредством блоков 120-123 и подвергнутому передискретизации с частотой 16 кГц (блок 123). Таким образом, даже если верхний диапазон расширяется в теории от 6,4 до 7 кГц в кодеке AMR-WB, HF синтез скорее содержится в полосе 6-7 кГц перед суммированием с LF синтезом.
В методе расширения диапазона кодека AMR-WB можно выделить ряд недостатков:
Сигнал в верхнем диапазоне представляет собой сформированный белый шум (сформированный посредством временных коэффициентов усиления для каждого подкадра путем фильтрации посредством и полосовой фильтрации), который не является хорошей общей моделью сигнала в диапазоне 6,4-7 кГц. Например, существуют чрезвычайно гармонические музыкальные сигналы, для которых диапазон 6,4-7 кГц содержит синусоидальные составляющие (или тональные сигналы) и не содержит шума (или содержит мало шума); для этих сигналов расширение диапазона кодека AMR-WB значительно ухудшает качество.
Фильтр низких частот на 7 кГц (блок 113) вносит сдвиг почти 1 мс между нижним и верхним диапазонами, которые могут потенциально ухудшить качество определенных сигналов посредством незначительной десинхронизации двух диапазонов при 23,85 кбит/с - данная десинхронизация может также представлять проблемы при переключении скорости цифрового потока с 23,85 кбит/с на другие режимы.
Оценка коэффициентов усиления для каждого подкадра (блок 101, 103-105) не является оптимальной. Отчасти она основывается на выравнивании "абсолютной" энергии в расчете на один подкадр (блок 101) между сигналами на различных частотах: искусственным возбуждением на частоте 16 кГц (белый шум) и сигналом на частоте 12,8 кГц (декодированное возбуждение ACELP). Следует отметить, в частности, что этот подход в неявном виде вызывает затухание возбуждения в верхнем диапазоне (в соотношении 12,8/16=0,8); собственно также следует отметить, что компенсация предыскажений не выполняется в верхнем диапазоне в кодеке AMR-WB, который в неявном виде порождает усиление относительно близкое к 0,6 (что соответствует значению частотной характеристики на частоте 6400 Гц). В действительности, коэффициенты 1/0,8 и 0,6 компенсируются приблизительно.
Что касается речи, характеристические тесты кодека 3GPP AMR-WB, задокументированные в 3GPP отчете TR 26.976, показали, что режим при 23,85 кбит/с имеет не такое хорошее качество, как при 23,05 кбит/с, при этом его качество в действительности подобно режиму при 15,85 кбит/с. Это показывает, в частности, что уровень искусственного HF сигнала необходимо контролировать очень аккуратно, так как качество ухудшается при скорости 23,85 кбит/с, при этом считается, что 4 бита на кадр наилучшим образом обеспечивают возможность аппроксимации энергии исходных высоких частот.
Ограничение кодированного диапазона на 7 кГц является следствием строгой модели передаточной функции акустических терминалов (фильтр P.341 в стандарте ITU-T G.191). В настоящее время для частоты дискретизации 16 кГц остаются важными частоты в диапазоне 7-8 кГц, особенно для музыкальных сигналов, чтобы обеспечивать хороший уровень качества.
Алгоритм декодирования AMR-WB был частично улучшен с разработкой масштабируемого кодека ITU-T G.718, который был стандартизован в 2008 году.
Стандарт ITU-T G.718 содержит так называемый режим функциональной совместимости, для которого ядро кодирования совместимо с кодированием G.722.2 (AMR-WB) при 12,65 кбит/с; кроме того, декодер G.718 имеет конкретный признак того, чтобы быть в состоянии декодировать битовый поток AMR-WB/G.722.2 на всех возможных скоростях цифрового потока в кодеке AMR-WB- (от 6,6 до 23,85 кбит/с).
Функционально совместимый декодер G.718 в режиме малой задержки (G.718-LD) показан на фиг. 2. Ниже приведен список улучшений, предусмотренных функциональными возможностями декодирования AMR-WB битового потока в декодере G.718, со ссылками на фиг. 1 при необходимости:
Расширение диапазона (описано, например, в пункте 7.13.1 Рекомендации G.718, блок 206) идентично тому, что в декодере AMR-WB, за исключением того, что полосовой фильтр 6-7 кГц и синтезирующий фильтр 1/AHB(z) (блоки 111 и 112) находятся в обратном порядке. Кроме того, при 23,85 кбит/с 4 бита, передаваемых в расчете на один подкадр кодером AMR-WB, не используются в функционально совместимом декодере G.718; следовательно, синтез высоких частот (HF) при 23,85 кбит/с идентичен синтезу при 23,05 кбит/с, что позволяет избежать известной проблемы качества декодирования AMR-WB при 23,85 кбит/с. Фильтр низких частот 7 кГц (блок 113) заведомо не используется, а специфическое декодирование режима 23,85 кбит/с не совершается (блоки 107-109).
Пост-обработка синтеза на 16 кГц (смотри пункт 7.14 G.718) реализуется в G.718 посредством "порогового шумоподавителя" в блоке 208 (для "улучшения" качества периодов молчания посредством снижения уровня), при этом высокочастотная фильтрация (блок 209), постфильтр низких частот (так называемый "постфильтр низких звуковых частот") в блоке 210 подавляют перекрестные гармонические помехи на низких частотах и преобразование в 16-битные целые числа с контролем насыщения (с управлением усиления или AGC) в блоке 211.
Тем не менее расширение диапазона в кодеках AMR-WB и/или G.718 (функционально совместимый режим) по-прежнему ограничивается рядом аспектов.
В частности, синтез высоких частот посредством формируемого белого шума (посредством временного подхода типа входного фильтра LPC) является весьма ограниченной моделью сигнала в диапазоне частот выше 6,4 кГц.
Только диапазон 6,4-7 кГц искусственно повторно синтезируется, в то время как на практике более широкий диапазон (до 8 кГц) теоретически возможен при частоте дискретизации 16 кГц, что потенциально может способствовать повышению качества сигналов, если они не являются предварительно обработанными посредством фильтра типа P.341 (50-7000 Гц), как определено в Software Tool Library (стандарт G.191) ITU-T.
Следовательно, существует необходимость улучшить расширение диапазона в кодеке типа AMR-WB или функционально совместимой версии этого кодека или, в более общем смысле, улучшить расширение диапазона звукового сигнала, в частности, для того чтобы улучшить частотный состав расширения диапазона.
Настоящее изобретение улучшает ситуацию.
Изобретение предлагает для этой цели способ расширения диапазона частот сигнала звуковой частоты во время процесса декодирования или улучшения, включающего этап получения сигнала, декодированного в первом диапазоне частот, называемом нижним диапазоном. Способ включает следующие этапы:
- извлечение тональных составляющих и сигнала окружения из сигнала, возникающего из декодированного сигнала нижнего диапазона;
- объединение тональных составляющих и сигнала окружения посредством адаптивного микширования с использованием коэффициентов регулирования уровня энергии для получения звукового сигнала, называемого объединенный сигнал;
- расширение по меньшей мере одного второго диапазона частот, находящегося выше, чем первый диапазон частот декодированного сигнала нижнего диапазона, до этапа извлечения или объединенного сигнала после этапа объединения.
Следует отметить, что в дальнейшем термин "расширение диапазона" будет пониматься в широком смысле и будет включать не только случай расширения поддиапазона на высоких частотах, но и случай замены поддиапазонов, которые установлены в ноль (типа "шумового наполнения" в кодировании с преобразованием).
Таким образом, в одно и то же время с учетом тональных составляющих и сигнала окружения, извлеченного из сигнала, возникающего из декодирования нижнего диапазона, можно выполнить расширение диапазона с моделью сигнала, подходящей к истинной природе сигнала в противоположность использованию искусственного шума. Качество расширения диапазона, таким образом, улучшается, в частности, для определенных типов сигналов, таких как музыкальные сигналы.
Действительно, сигнал, декодированный в нижнем диапазоне частот, содержит часть, соответствующую звуковому окружению, которая может быть перенесена в высокую частоту таким образом, что микширование гармонических составляющих и существующего окружения позволяет обеспечить целостный восстановленный верхний диапазон.
Следует отметить, что даже если изобретение продиктовано улучшением качества расширения диапазона в контексте функционально совместимого кодирования AMR-WB, различные варианты осуществления применяются к более общему случаю расширения диапазона звукового сигнала, в частности, в устройстве улучшения качества, выполняющем анализ звукового сигнала, чтобы извлечь параметры, необходимые для расширения диапазона.
Различные конкретные варианты осуществления, указанные ниже, могут быть добавлены по отдельности или в сочетании друг с другом к этапам способа расширения, определенного выше.
В одном варианте осуществление расширение диапазона выполняется в области возбуждения и декодированный сигнал нижнего диапазона представляет собой декодированный сигнал возбуждения нижнего диапазона.
Преимущество этого варианта осуществления заключается в том, что в области возбуждения возможно преобразование без обработки методом окна (или, что то же самое, с неявным прямоугольным окном длины кадра). Тогда в этом случае не слышен артефакт (блок эффектов).
В первом варианте осуществления извлечение тональных составляющих и сигнала окружения выполняется в соответствии со следующими этапами:
- обнаружение в частотной области преобладающих тональных составляющих декодированного или декодированного и расширенного сигнала нижнего диапазона;
- вычисление остаточного сигнала посредством извлечения преобладающих тональных составляющих, чтобы получить сигнал окружения.
Данный вариант осуществления обеспечивает точное обнаружение тональных составляющих.
Во втором варианте осуществления, низкой сложности, извлечение тональных составляющих и сигнала окружения выполняется в соответствии со следующими этапами:
- получение сигнала окружения посредством вычисления среднего значения спектра декодированного или декодированного и расширенного сигнала нижнего диапазона;
- получение тональных составляющих посредством вычитания вычисленного сигнала окружения из декодированного или декодированного и расширенного сигнала нижнего диапазона.
В одном варианте осуществления на этапе объединения коэффициент регулирования уровня энергии, применяемый для адаптивного микширования, вычисляется в зависимости от полной энергии декодированного или декодированного и расширенного сигнала нижнего диапазона и тональных составляющих.
Применение этого коэффициента регулирования позволяет адаптировать этап объединения к характеристикам сигнала таким образом, чтобы оптимизировать относительную долю сигнала окружения в микшированном сигнале. Уровень энергии, таким образом, регулируется так, чтобы избежать звуковых артефактов.
В предпочтительном варианте осуществления декодированный сигнал нижнего диапазона проходит этап преобразования или декомпозиции поддиапазона на основе блока фильтров, затем в частотной области или области поддиапазона выполняются этапы извлечения и объединения.
Реализация расширения диапазона в частотной области позволяет получить высокое качество частотного анализа, которое не доступно при временном подходе, и также позволяет иметь разрешение по частоте, являющееся достаточным для обнаружения тональных составляющих.
В подробном варианте осуществления декодированный и расширенный сигнал нижнего диапазона получается в соответствии со следующим уравнением:
где - индекс дискретного значения, - спектр сигнала, полученного после этапа преобразования, - спектр расширенного сигнала, и start_band - предопределенная переменная.
Таким образом, эта функция включает передискретизацию сигнала посредством добавления дискретных значений к спектру этого сигнала. Однако возможны и другие способы расширения сигнала, например, посредством транспонирования в обработке поддиапазона.
Настоящее изобретение также предусматривает устройство для расширения диапазона частот сигнала звуковой частоты, при этом сигнал декодирован в первом диапазоне частот, называемом нижним диапазоном. Устройство содержит:
- модуль для извлечения тональных составляющих и сигнала окружения на основе сигнала, возникающего из декодированного сигнала нижнего диапазона;
- модуль для объединения тональных составляющих и сигнала окружения посредством адаптивного микширования с использованием коэффициентов регулирования уровня энергии для получения звукового сигнала, называемого объединенный сигнал;
- модуль для расширения на по меньшей мере одном втором диапазоне частот, находящемся выше, чем первый диапазон частот, реализованный на декодированном сигнале нижнего диапазона перед модулем извлечения или на объединенном сигнале после модуля объединения.
Данное устройство демонстрирует те же преимущества, что и описанный ранее способ, который оно реализует.
Целью настоящего изобретения является декодер, содержащий описанное устройство.
Целью является компьютерная программа, содержащая команды программного кода для реализации этапов способа расширения диапазона, описанного выше, при выполнении этих команд процессором.
Наконец, настоящее изобретение относится к носителю данных, который может считываться процессором, встроенным или нет в устройство расширения диапазона, по возможности съемному, хранящему компьютерную программу, реализующую способ расширения диапазона, как описано выше.
Другие признаки и преимущества настоящего изобретения станут более очевидными из нижеследующего описания, приведенного только в качестве неограничивающего примера и со ссылкой на прилагаемые графические материалы, на которых:
на фиг. 1 показана часть декодера типа AMR-WB, реализующая этапы расширения диапазона частот согласно известному уровню техники и описанная выше;
на фиг. 2 показан декодер функционально совместимого типа 16 кГц G.718-LD согласно известному уровню техники и описанный выше;
на фиг. 3 показан декодер, который является функционально совместимым с кодированием AMR-WB, имеющий в своем составе устройство расширения диапазона в соответствии с вариантом осуществления настоящего изобретения;
на фиг. 4 в виде блок-схемы показаны основные этапы способа расширения диапазона в соответствии с вариантом осуществления настоящего изобретения;
на фиг. 5 показан вариант осуществления в частотной области встроенного в декодер устройства расширения диапазона в соответствии с настоящим изобретением; и
на фиг. 6 показана аппаратная реализация устройства расширения диапазона в соответствии с настоящим изобретением.
На фиг. 3 показан примерный декодер, совместимый со стандартом AMR-WB/G.722.2, в котором присутствует пост-обработка, подобная той, которая представлена в G.718 и описана со ссылкой на фиг. 2, и улучшенное расширение диапазона в соответствии со способом расширения согласно настоящему изобретению, реализованный посредством устройства расширения диапазона, проиллюстрированным блоком 309.
В отличие от декодирования AMR-WB, которое работает с частотой дискретизации выходного сигнала 16 кГц, и G.718 декодера, который работает на 8 или 16 кГц, в данной заявке рассматривается декодер, который может работать с выходным сигналом (синтеза) на частоте fs=8, 16, 32 или 48 кГц. Следует отметить, что при этом предполагается, что кодирование было выполнено в соответствии с алгоритмом AMR-WB с внутренней частотой 12,8 кГц для кодирования CELP нижнего диапазона и при 23,85 кбит/с интервального кодирования подкадра на частоте 16 кГц, но также возможны функционально совместимые варианты кодера AMR-WB; несмотря на то, что изобретение описывается в данном случае на уровне декодирования, при этом предполагается, что кодирование может также работать с входным сигналом на частоте fs=8, 16, 32 или 48 кГц, и соответствующие операции передискретизации, выходящие за объем настоящего изобретения, реализуются в кодировании в зависимости от значения fs. Следует отметить, что при fs=8 кГц в декодере, в случае декодирования, который совместим с AMR-WB, нет необходимости расширять нижний диапазон 0-6,4 кГц, поскольку восстановленный звуковой диапазон на частоте fs ограничивается 0-4000 Гц.
На фиг. 3 декодирование CELP (LF - низких частот) по-прежнему работает на внутренней частоте 12,8 кГц, как в AMR-WB и G.718, и расширение диапазона (HF - высоких частот), которое является предметом настоящего изобретения работает на частоте 16 кГц, и синтезы LF и HF объединяются (блок 312) на частоте fs после надлежащей передискретизации (блоки 307 и 311). В вариантах изобретения объединение нижнего и верхнего диапазонов может быть выполнено на частоте 16 кГц после передискретизации нижнего диапазона из 12,8 в 16 кГц до передискретизации объединенного сигнала с частотой fs.
Декодирование в соответствии с фиг. 3 зависит от режима AMR-WB (или скорости цифрового потока), связанного с текущим принятым кадром. В качестве индикатора, и без воздействия на блок 309, декодирование части CELP в нижнем диапазоне включает следующие этапы:
демультиплексирование кодированных параметров (блок 300) в случае правильно принятого кадра (bfi=0, где bfi - "индикатор плохого кадра" со значением 0 для принятого кадра и 1 для потерянного кадра);
декодирование параметров ISF с интерполяцией и преобразованием в коэффициенты LPC (блок 301), как описано в пункте 6.1 стандарта G.722.2;
декодирование возбуждения CELP (блок 302) с адаптивной и фиксированной частью для восстановления возбуждения (exc или ) в каждом подкадре длиной 64 на частоте 12,8 кГц:
следуя обозначениям пункта 7.1.2.1 G.718 относительно декодирования CELP, где и - кодовые слова адаптивных и фиксированных словарей соответственно и и - связанные декодированные коэффициенты усиления. Данное возбуждение используется в адаптивном словаре следующего подкадра; затем он обрабатывается и, как в G.718, возбуждение (также обозначаемое exc) выделяется из своей модифицированной постобработанной версии (также обозначаемой exc2), которая служит в качестве входных данных для синтезирующего фильтра в блоке 303. В вариантах, которые могут быть реализованы для изобретения, операции пост-обработки, применяемые к возбуждению, могут быть изменены (например, дисперсия фазы может быть увеличена) или данные операции пост-обработки могут быть расширены (например, может быть реализовано снижение перекрестных гармонических помех), не влияя на сущность способа расширения диапазона в соответствии с настоящим изобретением;
узкополосную пост-обработку (блок 304) в соответствии с пунктом 7.3 G.718, если fs=8 кГц;
пост-обработку низких частот (блок 306), как описано в пункте 7.14.1.1 G.718. Данная обработка вводит задержку, которая учитывается при декодировании верхнего диапазона (> 6,4 кГц);
передискретизацию внутренней частоты 12,8 кГц на выходную частоту fs (блок 307). Возможен ряд вариантов осуществления. Без потери общности, в данном случае в качестве примера считается, что если fs=8 или 16 кГц, то передискретизация, описанная в пункте 7.6 G.718, повторяется, и если fs=32 или 48 кГц, то используются дополнительные фильтры с конечной импульсной характеристикой (FIR);
вычисление параметров "порогового шумоподавителя" (этап 308), которое предпочтительно выполняется, как описано в пункте 7.14.3 G.718.
В вариантах, которые могут реализовываться для изобретения, операции пост-обработки, применяемые к возбуждению могут изменяться (например, дисперсия фазы может увеличиваться) или данные операции пост-обработки могут быть расширены (например, может реализовываться снижение перекрестных гармонических помех), не влияя на характер расширения диапазона. В данной заявке не описывается случай декодирования нижнего диапазона, когда теряется текущий кадр (bfi=1), который является информативным в стандарте 3GPP AMR-WB; в целом, любо имеют дело с декодером AMR-WB, либо декодером общего вида, опирающимся на модель входного фильтра, он, как правило, связан с наилучшими оценками возбуждения LPC и коэффициентами синтезирующего фильтра LPC таким образом, чтобы восстанавливать потерянный сигнал при сохранении модели входного фильтра. При bfi=1 считается, что расширение диапазона (блок 309) может работать как в случае bfi=0 и скорости цифрового потока <23,85 кбит/с; таким образом, описание настоящего изобретения будет в дальнейшем предполагать, без потери общности, что bfi=0.
Следует отметить, что использование блоков 306, 308, 314 не является обязательным.
Кроме того, следует отметить, что декодирование нижнего диапазона, описанное выше, предполагает так называемый "активный" текущий кадр со скоростью цифрового потока от 6,6 до 23,85 кбит/с. Фактически, когда режим DTX активируется, определенные кадры могут кодироваться как "неактивные", и в этом случае можно либо передать дескриптор паузы (по 35 бит), либо не передавать ничего. В частности, следует напомнить о том, что кадр SID кодера AMR-WB описывает несколько параметров: параметры ISF, усредненные по 8 кадрам, среднюю энергии по 8 кадрам, "флаг сглаживания" для восстановления нестационарного шума. Во всех случаях в декодере используется такая же модель декодирования, как и для активного кадра, с восстановлением возбуждения и фильтра LPC для текущего кадра, что дает возможность применять настоящее изобретение даже к неактивным кадрам. То же самое замечание относится к декодированию "потерянных кадров" (или FEC, PLC), в которых применяется LPC модель.
Данный примерный декодер работает в области возбуждения и, следовательно, содержит этап декодирования сигнала возбуждения нижнего диапазона. Устройство расширения диапазона и способ расширения диапазона в понимании настоящего изобретения также работают в области, отличной от области возбуждения и, в частности, с декодированным прямым сигналом нижнего диапазона или сигналом, взвешенным фильтром, учитывающим восприятие.
В отличие от декодирования AMR-WB или G.718, описанный декодер позволяет расширить декодированный нижний диапазон (50-6400 Гц с учетом 50 Гц фильтрации верхних частот в декодере, 0-6400 Гц в общем случае) до расширенного диапазона, ширина которого изменяется в диапазоне приблизительно от 50-6900 Гц до 50-7700 Гц, в зависимости от режима, реализованного в текущем кадре. Таким образом, его можно отнести к первому диапазону частот от 0 до 6400 Гц и второму диапазону частот от 6400 до 8000 Гц. Действительно, в пользующемся преимуществом варианте осуществления возбуждение для высоких частот и генерируется в частотной области в диапазоне от 5000 до 8000 Гц, чтобы обеспечить полосовую фильтрацию шириной от 6000 до 6900 или 7700 Гц, наклон которой не слишком крутой в заграждаемом верхнем диапазоне.
Синтезирующую часть верхнего диапазона получают в блоке 309, представляющем устройство расширения диапазона в соответствии с настоящим изобретением, и которое подробно изображено на фиг. 5 в варианте осуществления.
В целях совмещения декодированных нижних и верхних диапазонов, вводится задержка (блок 310) для синхронизации выходных сигналов блоков 306 и 309, и верхний диапазон, синтезируемый на частоте 16 кГц, подвергается передискретизации из 16 кГц в частоту fs (выходной сигнал блока 311). Значение задержки T должно быть адаптировано для других случаев (fs=32, 48 кГц) в зависимости от реализуемых операций обработки. Следует напомнить, что при fs=8 кГц не нужно применять блоки 309-311, потому что диапазон сигнала на выходе декодера ограничивается значениями 0-4000 Гц.
Следует отметить, что способ расширения согласно изобретению, реализованный в блоке 309 в соответствии с первым вариантом осуществления, предпочтительно не вносит никакой дополнительной задержки относительно нижнего диапазона восстановленного на 12,8 кГц; тем не менее, в вариантах осуществления настоящего изобретения (например, за счет использования преобразования время/часта с перекрытием), может быть внесена задержка. Таким образом, в целом, значение Т в блоке 310 должно регулироваться в соответствии с конкретной реализацией. Например, в том случае, когда последующая обработка низких частот (блок 306) не используется, задержка, вносимая для fs=16 кГц, может быть зафиксирована на T=15.
Затем нижние и верхние диапазоны объединяются (складываются) в блоке 312 и полученный синтез подвергается пост-обработке посредством высокочастотной фильтрации (типа IIR) 50 Гц порядка 2, коэффициенты которой зависят от частоты fs (блок 313) и выходной пост-обработки с необязательным применением "порогового шумоподавителя" способом, подобным G.718 (блок 314).
Устройство расширения диапазона согласно настоящему изобретению, проиллюстрированное блоком 309 в соответствии с вариантом осуществления декодера на фиг. 5, реализует способ расширения диапазона (в широком смысле), описанный теперь со ссылкой на фиг. 4.
Данное устройство расширения также может быть независимым от декодера и может реализовывать способ, описанный на фиг. 4, чтобы выполнить расширение диапазона существующего звукового сигнала, хранящегося или передающегося в устройство с анализом звукового сигнала, чтобы извлечь из него, например, возбуждение и фильтр LPC.
Данное устройство принимает декодированный сигнал в качестве входного в первом диапазоне частот, называемым нижним диапазоном , который может находиться в области возбуждения либо сигнала. В варианте осуществления, описанном в данной заявке, этап декомпозиции поддиапазона (E401b) посредством преобразования время-частота или блока фильтров применяется к декодированному сигналу нижнего диапазона для получения спектра декодированного сигнала нижнего диапазона для реализации в частотной области.
Этап E401a расширения декодированного сигнала нижнего диапазона во втором диапазоне частот, находящемся выше, чем первый диапазон частот, для того чтобы получить расширенный декодированный сигнал нижнего диапазона, может быть выполнен на этом декодированном сигнале нижнего диапазона до или после этапа анализа (декомпозиции на поддиапазоны). Данный этап расширения может включать одновременно этап передискретизации и этап расширения или просто этап транспонирования или транспозиции частоты в зависимости от сигнала, полученного на входе. Следует отметить, что в вариантах этап E401a может быть выполнен в конце обработки, описанной на фиг. 4, то есть на объединенном сигнале, при этом данная обработка осуществляется в основном на сигнале нижнего диапазона перед расширением, причем результат является равноценным.
Данный этап подробно описан далее в варианте осуществления, описанном со ссылкой на фиг. 5.
Этап E402 извлечения сигнала окружения () и тональных составляющих (y(k)) осуществляется на основании декодированного сигнала нижнего диапазона () или декодированного и расширенного сигнала нижнего диапазона (). При этом окружение определяется как остаточный сигнал, который получается посредством удаления основных (или преобладающих) гармоник (или тональных составляющих) из существующего сигнала.
В большинстве широкополосных сигналов (дискретизированных на частоте 16 кГц), высокая частота (> 6 кГц) содержит информацию, которая в целом аналогична той, что присутствует в нижнем диапазоне.
Этап извлечения тональных составляющих и сигнала окружения включает, например, следующие этапы:
- обнаружение преобладающих тональных составляющих декодированного (или декодированного и расширенного) сигнала нижнего диапазона в частотной области; и
- вычисление остаточного сигнала посредством извлечения преобладающих тональных составляющих, чтобы получить сигнал окружения.
Этот этап также может быть получен посредством:
- получения сигнала окружения посредством вычисления среднего значения декодированного (или декодированного и расширенного) сигнала нижнего диапазона; и
- получения тональных составляющих посредством вычитания вычисленного сигнала окружения из декодированного или декодированного и расширенного сигнала нижнего диапазона.
Тональные составляющие и сигнал окружения затем объединяются адаптивным образом посредством коэффициентов регулирования уровня энергии на этапе E403, чтобы получить так называемый объединенный сигнал (). Затем может быть реализован этап E401a расширения, если он еще не был выполнен на декодированном сигнале нижнего диапазона.
Таким образом, объединение этих двух типов сигналов позволяет получить объединенный сигнал с характеристиками, которые являются более подходящими для определенных типов сигналов, таких как музыкальные сигналы, и более богатых по частотному составу и в расширенном диапазоне частот, соответствующем всему диапазону частот, включающему первый и второй диапазон частот.
Расширение диапазона в соответствии со способом, улучшает качество сигналов этого типа в отношении расширения, описанного в стандарте AMR-WB.
Использование объединения сигнала окружения и тональных составляющих позволяет обогатить данный сигнал расширения, для того чтобы сделать его ближе к характеристикам подлинного сигнала, а не искусственного сигнала.
Данный этап объединения будет детально описан далее со ссылкой на фиг. 5.
Этап синтеза, который соответствует анализу в 401b, выполняется в E404b для восстановления сигнала во временной области.
При необходимости этап регулирования уровня энергии сигнала верхнего диапазона может быть выполнен в E404a до и/или после этапа синтеза посредством применения коэффициента усиления и/или посредством соответствующей фильтрации. Этот этап будет пояснен более подробно в варианте осуществления, описанном на фиг. 5, для блоков 501-507.
В примерном варианте осуществления устройство 500 расширения диапазона в данный момент описывается со ссылкой на фиг. 5, иллюстрирующей одновременно и это устройство, но также и модули обработки, подходящие для реализации в декодере функционально совместимого типа с кодированием AMR-WB. Данное устройство 500 реализует способ расширения диапазона, описанный выше со ссылкой на фиг. 4.
Таким образом, блок 510 обработки принимает декодированный сигнал нижнего диапазона (). В конкретном варианте осуществления расширение диапазона использует декодированное возбуждение на 12,8 кГц (exc2 или ) в качестве выходного сигнала посредством блока 302, показанного на фиг. 3.
Этот сигнал подвергается декомпозиции на частотные поддиапазоны модулем 510 декомпозиции поддиапазона (который реализует этап E401b на фиг. 4), который в общем случае осуществляет преобразование или применяет блок фильтров, чтобы получить декомпозицию на поддиапазоны сигнала .
В конкретном варианте осуществления преобразование типа DCT-IV ("дискретное косинусное преобразование" -IV типа) (блок 510) применяется к текущему кадру, оставляющему 20 мс (256 дискретных значений), без обработки методом окна, что сводится к непосредственному преобразованию при в соответствии со следующей формулой:
Возможно преобразование без обработки методом окна (или, что тоже самое, с неявным прямоугольным окном длины кадра), когда обработка выполняется в области возбуждения, а не в области сигнала. В этом случае не слышен артефакт (межблоковые эффекты), что представляет собой значительное преимущество данного варианта осуществления настоящего изобретения.
В данном варианте осуществления преобразование DCT-IV реализуется посредством FFT в соответствии с так называемым "Evolved DCT (EDCT) " алгоритмом, описанным в статье D.M. Zhang, H.T. Li, A Low Complexity Transform - Evolved DCT, IEEE 14th International Conference on Computational Science and Engineering (CSE), Aug. 2011, pp. 144-149, и реализованным в стандартах ITU-T G.718 Приложение B и G.729.1 Приложение E.
В вариантах изобретения, и без потери общности, преобразование DCT-IV сможет быть заменено другими кратковременными преобразованиями время-частота той же длины в области возбуждения или в области сигнала, такими как FFT ("быстрое преобразование Фурье") или DCT-II (дискретное косинусное преобразование II типа). В альтернативном варианте возможна замена DCT-IV в кадре на преобразование с перекрытием-сложением и применением окна с длиной, большей, чем длина текущего кадра, например с помощью MDCT ("модифицированного дискретного косинусного преобразования"). В этом случае задержка T в блоке 310, показанном на фиг. 3, должна быть должным образом отрегулирована (уменьшена) в зависимости от дополнительной задержки из-за анализа/синтеза посредством данного преобразования.
В другом варианте осуществления изобретения декомпозиция поддиапазона выполняется посредством применения блока действительных или комплексных фильтров, например, типа PQMF (псевдо-QMF). Для некоторых блоков фильтров для каждого поддиапазона в данном кадре, получается не спектральное значение, а ряд временных значений, связанных с поддиапазоном; в данном случае вариант осуществления, пользующийся преимуществом в данном изобретении, может быть применен при проведении, например, преобразования каждого поддиапазона и посредством вычисления сигнала окружения в области абсолютных значений, при этом тональные составляющие, по-прежнему получаются посредством вычисления разности между сигналом (по абсолютной величине) и сигнала окружения. В случае блока комплексных фильтров, комплексный модуль дискретных значений заменит абсолютное значение.
В других вариантах осуществления настоящее изобретение будет применяться в системе, использующей два поддиапазона, при этом нижний диапазон анализируется посредством преобразования или посредством блока фильтров.
После этого в случае DCT спектр DCT 256 дискретных значений, охватывающих диапазон 0-6400 Гц (на 12,8 кГц), расширяется (блок 511) в спектр 320 дискретных значений, охватывающих диапазон 0-8000 Гц (на 16 кГц) в следующем виде:
где предпочтительно принимается, что start_band=160.
Блок 511 реализует этап E401a на фиг. 4, то есть расширение декодированного сигнала нижнего диапазона. Этот этап может также содержать передискретизацию из 12,8 в 16 кГц в частотной области посредством добавления ¼ дискретных значений () к спектру, при этом отношение 16 к 12,8 составляет 5/4.
В диапазоне частот, соответствующем дискретным значениям, лежащим от индексов 200 до 239, исходный спектр сохраняется для возможности применения к нему характеристики монотонно возрастающего затухания фильтра высоких частот в этом диапазоне частот, а также, чтобы не вносить слышимые дефекты на этапе добавления низкочастотного синтеза к высокочастотному синтезу.
Следует отметить, что в этом варианте осуществления генерация расширенного спектра с избыточной частотой дискретизации выполняется в диапазоне частот, находящемся от 5 до 8 кГц, следовательно, включающем второй диапазон частот (6,4-8 кГц), лежащий выше первого диапазона частот (0- 6,4 кГц).
Таким образом, расширение декодированного сигнала нижнего диапазона выполняется по меньшей мере на втором диапазоне частот, но и на части первого диапазона частот.
Очевидно, что значения, определяющие эти диапазоны частот, могут быть разными в зависимости от декодера или устройства обработки, в котором применяется изобретение.
Кроме того, блок 511 выполняет неявную высокочастотную фильтрацию в диапазоне 0-5000 Гц, так как первые 200 дискретных значений устанавливаются в нуль; как описано ниже, данная высокочастотная фильтрация также может быть дополнена частью монотонно возрастающего затухания спектральных значений индексов в диапазоне 5000-6400 Гц; это монотонно возрастающее затухание реализуется в блоке 501, но может быть выполнено отдельно за пределами блока 501. Равносильно тому, что и в вариантах настоящего изобретения, внедрение высокочастотной фильтрации, разделенной на блоки коэффициентов индекса , установленных в ноль, затухающих коэффициентов в преобразованной области, можно будет, в силу вышесказанного, выполнять в ходе одного этапа.
В этом примерном варианте осуществления и в соответствии с определением , следует отметить, что диапазон 5000-6000 Гц (что соответствует индексам ) копируется из диапазона 5000-6000 Гц . Данный подход позволяет сохранить исходный спектр в этом диапазоне и позволяет избежать введения искажения в диапазоне 5000-6000 Гц при сложении синтеза HF с синтезом LF, в частности, фаза сигнала (неявно представленная в обрасти DCT-IV) в данном диапазоне сохраняется.
Диапазон 6000-8000 Гц в данном случае определяется посредством копирования диапазона 4000-6000 Гц , поскольку значение start_band предпочтительно устанавливается равным 160.
В одном из вариантов варианта осуществления значение start_band будет иметь возможность быть адаптивным вблизи значения 160, не изменяя сущность изобретения. Подробности подстройки значения start_band в данном документе не описываются, потому что они выходят за рамки изобретения без изменения его объема.
В большинстве широкополосных сигналов (подвергнутых дискретизации с частотой 16 кГц) верхний диапазон (>6 кГц) содержит информацию окружения, которая естественным образом подобна той, что присутствует в нижнем диапазоне. При этом окружение определяется как остаточный сигнал, который получается посредством удаления основных (или преобладающих) гармоник из существующего сигнала. Уровень гармоничности в диапазоне 6000-8000 Гц, как правило, коррелирует с уровнем в более низкочастотных диапазонах.
Этот декодированный и расширенный сигнал нижнего диапазона предусматривается в качестве входного сигнала для устройства 500 расширения и, в частности, в качестве входного сигнала для модуля 512. Таким образом, блок 512 для извлечения тональных составляющих и сигнала окружения реализует этап E402, приведенный на фиг. 4, в частотной области. Таким образом, получается сигнал окружения U HBA(k) для (80 дискретных значений), для второго диапазона частот, так называемого высокочастотным, для того чтобы объединить его в дальнейшем адаптивным способом с извлеченными тональными составляющими y(k) в блоке 513 объединения.
В конкретном варианте осуществления извлечение тональных составляющих и сигнала окружения (в диапазоне 6000-8000 Гц) выполняется в соответствии со следующими операциями:
Вычисление окружения (по абсолютной величине), которое соответствует в данном случае среднему уровню спектра (спектральная линия за спектральной линией) и вычисление энергии преобладающих тональных частей (в высокочастотном спектре)
Это соответствует среднему уровню (по абсолютной величине) и, следовательно, представляет собой своего рода огибающую спектра. В данном варианте осуществления =80 и представляет длину спектра и индекс от 0 до соответствует индексам от 240 до 319, то есть спектру от 6 до 8 кГц.
В целом, и , однако первый и последний 7 индексы ( и ) требуют специальной обработки, и без потери общности, тогда определяем:
В вариантах осуществления изобретения среднее из , может быть заменено на медианное значение по тому же множеству значений, т.е.
Данный вариант имеет недостаток, являясь более сложным (с точки зрения количества вычислений), чем скользящее среднее. В других вариантах неравномерное взвешивание может быть применено к усредненным членам, или медианная фильтрация может быть заменена, например, другими нелинейными фильтрами типа "фильтров стека".
Также вычисляется остаточный сигнал:
что соответствует (приблизительно) тональным составляющим, если значение в данной спектральной линии является положительным (> 0).
Таким образом, это вычисление предполагает неявное обнаружение тональных составляющих. Тональные части, таким образом, обнаруживаются в неявном виде посредством промежуточного члена y(i), представляющего адаптивный порог. Причем условием обнаружения является то, что > 0. В вариантах изобретения это условие может быть изменено, например, посредством определения адаптивного порога в зависимости от локальной огибающей сигнала или в форме , где имеет предопределенное значение (например, =10 дБ).
Энергия преобладающих тональных частей определяется следующим уравнением:
Конечно, могут быть предусмотрены другие схемы для выделения сигнала окружения. Например, данный сигнал окружения может быть извлечен из низкочастотного сигнала или, при необходимости, из другого диапазона частот (или нескольких диапазонов частот).
Обнаружение тональных всплесков или составляющих может быть выполнено по-разному.
Извлечение данного сигнала окружения также может быть выполнено на декодированном, но не расширенном возбуждении, то есть до спектрального расширения или этапа транспонирования, то есть, например, на участке низкочастотного сигнала, а не непосредственно на высокочастотном сигнале.
В альтернативном варианте осуществления извлечение тональных составляющих и сигнала окружения выполняется в другом порядке и в соответствии со следующими этапами:
- обнаружение преобладающих тональных составляющих декодированного (или декодированного и расширенного) сигнала нижнего диапазона в частотной области;
- вычисление остаточного сигнала посредством извлечения преобладающих тональных составляющих, чтобы получить сигнал окружения.
Этот вариант может, например, быть осуществлен следующим образом: Всплеск (или тональная составляющая) обнаруживается в спектральной линии индекса в спектре амплитуды , если удовлетворяется следующий критерий:
для . Как только обнаруживается всплеск в спектральной линии индекса , применяется синусоидальная модель для того, чтобы оценить амплитуду, частоту и, при необходимости, фазовые параметры тональной составляющей, связанной с этим всплеском. Подробное описание этой оценки не представлено в данной заявке, но оценка частоты обычно может обратиться к параболической интерполяции по 3 точкам, для того чтобы найти максимум параболы, аппроксимирующей 3 точки амплитуды (выраженной в дБ), при этом оценка амплитуды получается посредством этой же интерполяции. Поскольку область преобразования, используемая в данном случае (DCT-IV), не позволяет получить фазу непосредственно, то в одном варианте осуществления можно будет пренебречь этим членом, но в вариантах можно будет применить квадратурное преобразования типа DST для оценки фазовой составляющей. Начальное значение устанавливается равным нулю для . При этом оцениваются синусоидальные параметры (частота, амплитуда и, при необходимости, фаза) каждой тональной составляющей, затем вычисляется член как сумма предопределенных прототипов (спектров) чистых синусоид, преобразованных в область DCT-IV (или другую область, если используется какая-либо другая декомпозиция поддиапазона) в соответствии с оцененными синусоидальными параметрами. Наконец, применяется абсолютное значение к членам для выражения области амплитудного спектра в виде абсолютных значений.
Возможны другие схемы определения тональных составляющих, например, также было бы можно вычислить огибающую сигнала посредством сплайн-интерполяции локальных максимальных значений (обнаруженных всплесков) , чтобы понизить эту огибающую на определенный уровень в дБ с целью обнаружить тональные составляющие в виде всплесков, которые превышают эту огибающую и определить как
В данном варианте вследствие этого получается окружение с помощью уравнения:
В других вариантах изобретения абсолютное значение спектральных значений будут заменены, например, квадратами спектральных значений, не изменяя принцип изобретения; в этом случае будет необходим квадратный корень для того, чтобы вернуться к области сигнала, причем это является более сложным для осуществления.
Модуль 513 объединения выполняет этап объединения посредством адаптивного микширования сигнала окружения и тональных составляющих. Соответственно, коэффициент регулирования уровня окружения определяется следующим уравнением:
Для получения расширенного сигнала сначала получают объединенный сигнал в абсолютных значениях для :
По определению коэффициент >1. Тональные составляющие, обнаруженная спектральная линия за спектральной линией посредством условия , уменьшаются коэффициентом ; средний уровень усиливается с коэффициентом .
В блоке 513 адаптивного микширования, коэффициент регулирования уровня энергии вычисляется в зависимости от полной энергии декодированного (или декодированного и расширенного) сигнала нижнего диапазона и тональных составляющих.
В предпочтительном варианте осуществления адаптивного микширования, регулирование энергии осуществляется следующим образом:
Коэффициент регулирования определяется следующим уравнением:
где позволяет избежать завышения энергии. В примерном варианте осуществления, вычисляют таким образом, чтобы сохранить тот же уровень сигнала окружения по отношению к энергии тональных составляющих в следующих друг за другом диапазонах сигнала. Вычисляют энергию тональных составляющих в трех диапазонах: 2000-4000 Гц, 4000-6000 Гц и 6000-8000 Гц, с
где
и где - множество индексов , для которых коэффициент индекса классифицируется как связанный с тональными составляющими. Это множество может быть получено, например, посредством определения локальных всплесков в , удовлетворяющих , или вычисляется как среднее значение уровня спектра спектральная линия за спектральной линией.
Следует отметить, что возможны другие схемы для вычисления энергии тональных составляющих, например, посредством принятия медианного значения спектра в рассматриваемом диапазоне.
Зафиксируем таким образом, чтобы отношение энергии тональных составляющих в диапазонах 4-6 кГц и 6-8 кГц было таким же, как между диапазонами 2-4 кГц и 4-6 кГц:
где
и max(.,.)-функция, которая дает максимум двух аргументов.
В вариантах изобретения вычисление может быть заменено другими схемами. Например, в варианте можно будет извлечь (вычислить) различные параметры (или "признаки"), характеризующие сигнал нижнего диапазона, включая параметр "наклона", подобный тому, который вычисляется в кодеке AMR-WB, и коэффициент будет оцениваться в зависимости от линейной регрессии на основе этих различных параметров, ограничивая его значение в диапазоне от 0 до 1. Линейная регрессия, например, сможет быть оценена контролируемым образом посредством оценки коэффициента , учитывая исходный верхний диапазон в обучающей базе. Следует отметить, что то, каким образом вычисляется , не ограничивает сущность изобретения.
После этого параметр может быть использован для вычисления , принимая во внимание тот факт, что сигнал с сигналом окружения, добавленным в заданном диапазоне, в общем случае воспринимается как более сильный, чем гармонический сигнал с той же энергией в том же диапазоне. Если определяют , часть сигналов окружения добавляется к гармоническому сигналу:
можно будет вычислить как убывающую функцию , например , , и , ограниченную от 0,3 до 1. При этом в рамках данного изобретения опять же возможны другие определения и .
На выходе устройства 500 расширения диапазона блок 501 в конкретном варианте осуществления осуществляет при необходимости двойственную операцию применения частотной характеристики полосового фильтра и фильтрации предыскажений (или частотной пост-коррекции) в частотной области.
В одном варианте изобретения фильтрация предыскажений может выполняться во временной области после блока 502 до блока 510; однако, в этом случае полосовая фильтрация, выполняемая в блоке 501, может оставить определенные низкочастотные компоненты очень низких уровней, которые усиливаются посредством компенсации предыскажений, что может несущественно изменять декодированный нижний диапазон. По этой причине, в данном случае предпочтительно выполнять компенсацию предыскажений в частотной области. В предпочтительном варианте осуществления коэффициенты индекса устанавливаются равными нулю, таким образом, компенсация предыскажений ограничивается старшими коэффициентами.
Сначала компенсируются предыскажения возбуждения в соответствии со следующем уравнением:
где - частотная характеристика фильтра в ограниченном дискретном диапазоне частот. Принимая во внимание дискретные (нечетные) частоты DCT-IV, определяется в данном случае как:
где
В случае, когда применяется преобразование, отличное от DCT-IV, определение можно регулировать (например, для четных частот).
Следует отметить, что компенсация предыскажений применяется в два этапа для , соответствующих диапазону частот 5000-6400 Гц, где характеристика применяется как на частоте 12,8 кГц, и , соответствующий диапазону частот 6400-8000 Гц, где характеристика расширяется от частоты 16 кГц до постоянного значения в диапазоне 6,4-8 кГц.
Следует отметить, что в кодеке AMR-WB для HF синтеза не компенсируются предыскажения.
В варианте осуществления, представленном здесь, для высокочастотного сигнала, наоборот, компенсируются предыскажения для того, чтобы вернуть его в область, согласованную с низкочастотным сигналом (0-6,4 кГц), который выходит из блока 305, приведенного на фиг. 3. Это важно для оценки и последующей регулировки энергии синтеза HF.
В одном варианте варианта осуществления с целью уменьшения сложности можно установить равным постоянному значению, независимому от , принимая, например, , что примерно соответствует среднему значению для в условиях описанного выше варианта осуществления.
В другом варианте варианта осуществления декодера компенсация предыскажений может быть проведена аналогичным образом во временной области после обратного DCT.
В дополнение к компенсации предыскажений применяется полосовая фильтрация с двумя отдельными частями: одна - фиксированная высокочастотная, другая - адаптивная низкочастотная (функция скорости цифрового потока).
Данная фильтрация выполняется в частотной области.
В предпочтительном варианте осуществления частичная характеристика фильтра низких частот вычисляется в частотной области следующим образом:
где = 60 при скорости 6,6 кбит/с, 40 при скорости 8,85 кбит/с и 20 при скоростях цифрового потока > 8,85 бит/с.
Затем полосовой фильтр применяется в виде:
Таблица 1
K | g hp (k) | K | g hp (k) | K | g hp (k) | K | g hp (k) |
0 | 0,001622428 | 14 | 0,114057967 | 28 | 0,403990611 | 42 | 0,776551214 |
1 | 0,004717458 | 15 | 0,128865425 | 29 | 0,430149896 | 43 | 0,800503267 |
2 | 0,008410494 | 16 | 0,144662643 | 30 | 0,456722014 | 44 | 0,823611104 |
3 | 0,012747280 | 17 | 0,161445005 | 31 | 0,483628433 | 45 | 0,845788355 |
4 | 0,017772424 | 18 | 0,179202219 | 32 | 0,510787115 | 46 | 0,866951597 |
5 | 0,023528982 | 19 | 0,197918220 | 33 | 0,538112915 | 47 | 0,887020781 |
6 | 0,030058032 | 20 | 0,217571104 | 34 | 0,565518011 | 48 | 0,905919644 |
7 | 0,037398264 | 21 | 0,238133114 | 35 | 0,592912340 | 49 | 0,923576092 |
8 | 0,045585564 | 22 | 0,259570657 | 36 | 0,620204057 | 50 | 0,939922577 |
9 | 0,054652620 | 23 | 0,281844373 | 37 | 0,647300005 | 51 | 0,954896429 |
10 | 0,064628539 | 24 | 0,304909235 | 38 | 0,674106188 | 52 | 0,968440179 |
11 | 0,075538482 | 25 | 0,328714699 | 39 | 0,700528260 | 53 | 0,980501849 |
12 | 0,087403328 | 26 | 0,353204886 | 40 | 0,726472003 | 54 | 0,991035206 |
13 | 0,100239356 | 27 | 0,378318805 | 41 | 0,751843820 | 55 | 1,000000000 |
Следует отметить, что в вариантах изобретения значения могут изменяться при сохранении монотонно возрастающего затухания. Аналогичным образом, низкочастотная фильтрация с переменной полосой пропускания может регулироваться с помощью значений или частотной поддержки, которые отличаются, не изменяя принцип этого этапа фильтрации.
Кроме того, следует отметить, что полосовая фильтрация может адаптироваться посредством определения единого этапа фильтрации, объединяющего высокочастотную и низкочастотную фильтрацию.
В другом варианте осуществления полосовая фильтрация может выполняться равноценным образом во временной области (как и в блоке 112 на фиг. 1) с различными коэффициентами фильтра в соответствии со скоростью цифрового потока после этапа обратного DCT. Тем не менее, следует отметить, что предпочтительно выполнить этот этап непосредственно в частотной области, так как фильтрация выполняется в области возбуждения LPC и, следовательно, проблемы циклической свертки и краевых эффектов очень ограничены в этой области.
Блок 502 обратного преобразования выполняет обратное DCT на 320 дискретных значениях, чтобы найти высокочастотное возбуждение, подвергнутое дискретизации с частотой 16 кГц. Его реализация идентична блоку 510, потому что DCT-IV является ортонормированным, за исключением того, что длина преобразования составляет 320 вместо 256, и получается следующее:
В том случае, когда блок 510 не является DCT, а некоторым другим преобразованием или декомпозицией на поддиапазоны, блок 502 осуществляет синтез, соответствующий анализу, осуществленному в блоке 510.
Сигнал, подвергнутый дискретизации с частотой 16 кГц, после этого при необходимости масштабируется коэффициентами усиления, определенными в расчете на подкадр из 80 дискретных значений (блок 504).
В предпочтительном варианте осуществления коэффициент усиления gHB1(m) сначала вычисляется (блок 503) в расчете на подкадр посредством отношения энергии подкадров таким образом, что в каждом подкадре индекса m=0, 1, 2 или 3 текущего кадра:
где
что показывает, что в сигнале обеспечивается такое же отношение энергии на подкадр и энергии на кадр, как в сигнале .
Блок 504 выполняет масштабирование объединенного сигнала (включенного на этапе E404a фиг.4) в соответствии со следующим уравнением:
Следует отметить, что реализация блока 503 отличается от блока 101, приведенного на фиг.1, так как энергия на текущем уровне кадра учитывается в дополнение к этому подкадру. Это обеспечивает отношение энергии каждого подкадра в зависимости от энергии кадра. Следовательно, сравниваются отношения энергии (или относительные энергии), а не абсолютные энергии нижнего диапазона и верхнего диапазона.
Таким образом, данный этап масштабирования позволяет сохранять в верхнем диапазоне отношение энергии подкадра и кадра таким же образом, как в нижнем диапазоне.
Затем при необходимости блок 506 выполняет масштабирование сигнала (включенного на этапе E404a фиг.4) в соответствии со следующим уравнением:
где коэффициент усиления получается из блока 505 путем выполнения блоков 103, 104 и 105 кодека AMR-WB (при этом входной сигнал блока 103 представляет собой возбуждение, декодированное в нижнем диапазоне, ). Блоки 505 и 506 могут быть использованы для регулирования уровня синтезирующего фильтра LPC (блок 507), в данном случае в зависимости от наклона сигнала. Возможны другие схемы для вычисления коэффициента усиления , не изменяя сущность изобретения.
В заключение, сигнал или фильтруется посредством модуля 507 фильтрации, который может быть воплощен в данном случае, посредством принятия в качестве передаточной функции , где =0,9 при 6,6 кбит/с и =0,6 при других скоростях цифрового потока, тем самым ограничивая порядок фильтра до порядка 16.
В одном варианте этот фильтр можно будет выполнять таким же образом, как описано для блока 111 на фиг. 1 AMR-WB декодера, но порядок фильтра изменятся до 20 при скорости цифрового потока 6,6, что не существенно меняет качество синтезированного сигнала. В другом варианте возможно выполнение синтезирующей фильтрации LPC в частотной области после вычисления частотной характеристики фильтра, реализованного в блоке 507.
В альтернативных вариантах осуществления настоящего изобретения кодирование нижнего диапазона (0-6,4 кГц) может заменяться кодером CELP, отличающимся от того, что используется в AMR-WB, таким как, например, кодер CELP в G.718 при скорости 8 кбит/с. Без потери общности могли бы применяться другие широкополосные кодеры или кодеры, работающие на частотах выше 16 кГц, в которых кодирование нижнего диапазона производится на внутренней частоте 12,8 кГц. Кроме того, очевидно, что изобретение может быть адаптировано к частотами дискретизации, отличающимся от частоты 12,8 кГц, когда низкочастотный кодер работает с частотой дискретизации ниже, чем у исходного или восстановленного сигнала. Когда при низкочастотном декодировании не используется линейное предсказание, отсутствует сигнал возбуждения для расширения, в этом случае возможно выполнение анализа LPC сигнала, восстановленного в текущем кадре, и возбуждение LPC будет вычисляться таким образом, чтобы была возможность применения изобретения.
Наконец, в другом варианте изобретения возбуждение или сигнал нижнего диапазона () подвергается передискретизации, например посредством линейной интерполяции или кубической "сплайн"-интерполяции из 12,8 в 16 кГц перед преобразованием (например, DCT-IV) длины 320. Этот вариант имеет недостаток, что является более сложным, так как преобразование (DCT-IV) возбуждения или сигнала вычисляется в дальнейшем по большей длине и передискретизация не выполняется в области преобразования.
Кроме того, в вариантах изобретения все вычисления, необходимые для оценки коэффициентов усиления (, , , ,...) могут выполняться в логарифмической области.
На фиг. 6 представлен примерный физический вариант осуществления устройства 600 расширения диапазона в соответствии с настоящим изобретением. Последнее может быть неотъемлемой частью декодера сигнала звуковой частоты или единицы оборудования, принимающей сигналы звуковой частоты, декодируемые или нет.
Данный тип устройства содержит процессор PROC, взаимодействующий с блоком памяти BM, содержащим запоминающее и/или оперативное запоминающее устройство MEM.
Такое устройство содержит модуль ввода Е, способный принимать декодированный или извлеченный звуковой сигнал в первом диапазоне частот, называемом нижним диапазоном частот, восстановленным в частотной области (). Оно содержит модуль вывода S, способный передавать сигнал расширения во втором диапазоне частот (), например, к модулю 501 фильтрации, приведенному на фиг. 5.
Блок памяти может преимущественно содержать компьютерную программу, содержащую команды программного кода для выполнения этапов способа расширения диапазона в понимании настоящего изобретения, при выполнении этих команд процессором PROC, и, в частности, этапов извлечения (E402) тональных составляющих и сигнала окружения из сигнала, возникающего из декодированного сигнала нижнего диапазона (), объединения (E403) тональных составляющих (y(k)) и сигнала окружения () посредством адаптивного микширования с использованием коэффициентов регулирования уровня энергии для получения звукового сигнала, называемого объединенным сигналом (), расширения (E401a) на по меньшей мере одном втором диапазоне частот, находящемся выше, чем первый диапазон частот, декодированного сигнала нижнего диапазона перед этапом извлечения или объединенного сигнала после этапа объединения.
Как правило, описание на фиг. 4 повторяет этапы алгоритма такой компьютерной программы. Компьютерная программа также может храниться в системе памяти, которая может считываться считывателем устройства или которая может загружаться в его пространство памяти.
Память MEM хранит, как правило, все данные, необходимые для реализации способа.
В одном возможном варианте осуществления устройство, описанное таким образом, может также содержать функции низкочастотного декодирования и другие функции обработки, описанные, например, на фиг. 5 и 3, в дополнение к функциям расширения диапазона в соответствии с изобретением.
Claims (31)
1. Способ расширения диапазона частот сигнала звуковой частоты во время процесса декодирования, включающий этапы:
получения сигнала, декодированного в первом диапазоне частот, называемом нижним диапазоном;
извлечения тональных составляющих и сигнала окружения из сигнала, возникающего из декодированного сигнала нижнего диапазона;
объединение тональных составляющих и сигнала окружения посредством адаптивного микширования с использованием коэффициентов регулирования уровня энергии для получения звукового сигнала, называемого объединенным сигналом; и
расширение декодированного сигнала нижнего диапазона по меньшей мере на по меньшей мере одном втором диапазоне частот, находящемся выше, чем первый диапазон частот перед этапом извлечения, формирующего расширенный декодированный сигнал нижнего диапазона UHB1(k),
причем извлечение содержит следующие операции:
(a) вычисление тональной энергии расширенного декодированного сигнала нижнего диапазона;
(b) вычисление сигнала окружения в абсолютном значении, соответствующем среднему значению уровня спектра спектральная линия за спектральной линией, и вычисление энергии преобладающих тональных составляющих декодированного в верхнем диапазоне спектра.
2. Способ по п. 1, в котором операция вычисления (a) тональной энергии расширенного декодированного сигнала нижнего диапазона включает в себя вычисление:
3. Способ по одному из пп. 1 или 2, отличающийся тем, что среднее значение уровня спектра спектральная линия за спектральной линией получают с использованием уравнения:
4. Способ по одному из пп. 1, или 2, или 3, отличающийся тем, что вычисление энергии преобладающих тональных составляющих включает в себя вычисление остаточного сигнала:
5. Способ по п.4, дополнительно содержащий этап обнаружения тональных составляющих на основе условия обнаружения остаточного сигнала.
7. Способ по п. 6, в котором энергия преобладающих тональных частей определяется следующим уравнением:
8. Устройство для расширения диапазона частот сигнала звуковой частоты, при этом сигнал декодирован в первом диапазоне частот, называемом нижним диапазоном частот, отличающееся тем, что содержит:
считываемую компьютером память, содержащую сохраненные на ней команды;
процессор, выполненный с возможностью выполнения действий под управлением команд, содержащих:
получение сигнала, декодированного в первом диапазоне частот, называемом нижним диапазоном;
извлечение тональных составляющих и сигнала окружения из сигнала, возникающего из декодированного сигнала нижнего диапазона;
объединение тональных составляющих и сигнала окружения посредством адаптивного микширования с использованием коэффициентов регулирования уровня энергии для получения звукового сигнала, называемого объединенным сигналом; и
расширение декодированного сигнала нижнего диапазона по меньшей мере на по меньшей мере одном втором диапазоне частот, находящемся выше, чем первый диапазон частот перед этапом извлечения, формирующего расширенный декодированный сигнал нижнего диапазона UHB1(k),
причем извлечение содержит следующие операции:
(a) вычисление тональной энергии расширенного декодированного сигнала нижнего диапазона;
(b) вычисление сигнала окружения в абсолютном значении, соответствующем среднему значению уровня спектра спектральная линия за спектральной линией, и вычисление энергии преобладающих тональных составляющих декодированного в верхнем диапазоне спектра.
9. Декодер сигнала звуковой частоты, отличающийся тем, что содержит устройство для расширения диапазона частот по п. 8.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1450969A FR3017484A1 (fr) | 2014-02-07 | 2014-02-07 | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
FR1450969 | 2014-02-07 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016136008A Division RU2682923C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2017144521A RU2017144521A (ru) | 2019-02-18 |
RU2017144521A3 RU2017144521A3 (ru) | 2021-04-01 |
RU2763848C2 true RU2763848C2 (ru) | 2022-01-11 |
Family
ID=51014390
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016136008A RU2682923C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
RU2017144523A RU2763547C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
RU2017144522A RU2763481C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
RU2017144521A RU2763848C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016136008A RU2682923C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
RU2017144523A RU2763547C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
RU2017144522A RU2763481C2 (ru) | 2014-02-07 | 2015-02-04 | Улучшенное расширение диапазона частот в декодере звукового сигнала |
Country Status (21)
Country | Link |
---|---|
US (5) | US10043525B2 (ru) |
EP (4) | EP3330966B1 (ru) |
JP (4) | JP6625544B2 (ru) |
KR (5) | KR102380487B1 (ru) |
CN (4) | CN108022599B (ru) |
BR (2) | BR122017027991B1 (ru) |
DK (2) | DK3103116T3 (ru) |
ES (2) | ES2878401T3 (ru) |
FI (1) | FI3330966T3 (ru) |
FR (1) | FR3017484A1 (ru) |
HR (2) | HRP20231164T1 (ru) |
HU (2) | HUE062979T2 (ru) |
LT (2) | LT3103116T (ru) |
MX (1) | MX363675B (ru) |
PL (4) | PL3330967T3 (ru) |
PT (2) | PT3330966T (ru) |
RS (2) | RS64614B1 (ru) |
RU (4) | RU2682923C2 (ru) |
SI (2) | SI3330966T1 (ru) |
WO (1) | WO2015118260A1 (ru) |
ZA (3) | ZA201606173B (ru) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL2951819T3 (pl) * | 2013-01-29 | 2017-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Urządzenie, sposób i nośnik komputerowy do syntetyzowania sygnału audio |
FR3017484A1 (fr) | 2014-02-07 | 2015-08-14 | Orange | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
EP2980794A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
EP3382702A1 (en) * | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for determining a predetermined characteristic related to an artificial bandwidth limitation processing of an audio signal |
CN109688531B (zh) * | 2017-10-18 | 2021-01-26 | 宏达国际电子股份有限公司 | 获取高音质音频变换信息的方法、电子装置及记录介质 |
EP3518562A1 (en) | 2018-01-29 | 2019-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels |
EP3903309B1 (en) * | 2019-01-13 | 2024-04-24 | Huawei Technologies Co., Ltd. | High resolution audio coding |
KR102308077B1 (ko) * | 2019-09-19 | 2021-10-01 | 에스케이텔레콤 주식회사 | 학습 모델 기반의 인공 대역 변환장치 및 방법 |
CN113192517B (zh) * | 2020-01-13 | 2024-04-26 | 华为技术有限公司 | 一种音频编解码方法和音频编解码设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090048846A1 (en) * | 2007-08-13 | 2009-02-19 | Paris Smaragdis | Method for Expanding Audio Signal Bandwidth |
US20100063824A1 (en) * | 2005-06-08 | 2010-03-11 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for widening audio signal band |
US20100292994A1 (en) * | 2007-12-18 | 2010-11-18 | Lee Hyun Kook | method and an apparatus for processing an audio signal |
US20120128177A1 (en) * | 2002-03-28 | 2012-05-24 | Dolby Laboratories Licensing Corporation | Circular Frequency Translation with Noise Blending |
RU2452044C1 (ru) * | 2009-04-02 | 2012-05-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4307557B2 (ja) | 1996-07-03 | 2009-08-05 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 音声活性度検出器 |
SE9700772D0 (sv) * | 1997-03-03 | 1997-03-03 | Ericsson Telefon Ab L M | A high resolution post processing method for a speech decoder |
TW430778B (en) * | 1998-06-15 | 2001-04-21 | Yamaha Corp | Voice converter with extraction and modification of attribute data |
JP4135240B2 (ja) * | 1998-12-14 | 2008-08-20 | ソニー株式会社 | 受信装置及び方法、通信装置及び方法 |
US6226616B1 (en) * | 1999-06-21 | 2001-05-01 | Digital Theater Systems, Inc. | Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility |
JP4792613B2 (ja) * | 1999-09-29 | 2011-10-12 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
US6704711B2 (en) * | 2000-01-28 | 2004-03-09 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for modifying speech signals |
DE10041512B4 (de) * | 2000-08-24 | 2005-05-04 | Infineon Technologies Ag | Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen |
WO2003003345A1 (fr) * | 2001-06-29 | 2003-01-09 | Kabushiki Kaisha Kenwood | Dispositif et procede d'interpolation des composantes de frequence d'un signal |
DE60214027T2 (de) * | 2001-11-14 | 2007-02-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Kodiervorrichtung und dekodiervorrichtung |
ATE331280T1 (de) * | 2001-11-23 | 2006-07-15 | Koninkl Philips Electronics Nv | Bandbreitenvergrösserung für audiosignale |
AU2002319903A1 (en) * | 2002-06-28 | 2004-01-19 | Pirelli Pneumatici S.P.A. | System and monitoring characteristic parameters of a tyre |
US6845360B2 (en) * | 2002-11-22 | 2005-01-18 | Arbitron Inc. | Encoding multiple messages in audio data and detecting same |
CA2603246C (en) * | 2005-04-01 | 2012-07-17 | Qualcomm Incorporated | Systems, methods, and apparatus for anti-sparseness filtering |
FR2888699A1 (fr) * | 2005-07-13 | 2007-01-19 | France Telecom | Dispositif de codage/decodage hierachique |
US7546237B2 (en) * | 2005-12-23 | 2009-06-09 | Qnx Software Systems (Wavemakers), Inc. | Bandwidth extension of narrowband speech |
CN101089951B (zh) * | 2006-06-16 | 2011-08-31 | 北京天籁传音数字技术有限公司 | 频带扩展编码方法及装置和解码方法及装置 |
JP5141180B2 (ja) * | 2006-11-09 | 2013-02-13 | ソニー株式会社 | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
KR101379263B1 (ko) * | 2007-01-12 | 2014-03-28 | 삼성전자주식회사 | 대역폭 확장 복호화 방법 및 장치 |
US8229106B2 (en) * | 2007-01-22 | 2012-07-24 | D.S.P. Group, Ltd. | Apparatus and methods for enhancement of speech |
US8489396B2 (en) * | 2007-07-25 | 2013-07-16 | Qnx Software Systems Limited | Noise reduction with integrated tonal noise reduction |
EP2186087B1 (en) * | 2007-08-27 | 2011-11-30 | Telefonaktiebolaget L M Ericsson (PUBL) | Improved transform coding of speech and audio signals |
US8588427B2 (en) * | 2007-09-26 | 2013-11-19 | Frauhnhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program |
US8688441B2 (en) * | 2007-11-29 | 2014-04-01 | Motorola Mobility Llc | Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content |
EP2077550B8 (en) * | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
US8554551B2 (en) * | 2008-01-28 | 2013-10-08 | Qualcomm Incorporated | Systems, methods, and apparatus for context replacement by audio level |
DE102008015702B4 (de) * | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
US8831936B2 (en) * | 2008-05-29 | 2014-09-09 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement |
KR101381513B1 (ko) * | 2008-07-14 | 2014-04-07 | 광운대학교 산학협력단 | 음성/음악 통합 신호의 부호화/복호화 장치 |
WO2010028292A1 (en) * | 2008-09-06 | 2010-03-11 | Huawei Technologies Co., Ltd. | Adaptive frequency prediction |
US8352279B2 (en) * | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
TR201808500T4 (tr) * | 2008-12-15 | 2018-07-23 | Fraunhofer Ges Forschung | Ses kodlayıcısı ve bant-genişliği genişletme kod-çözücüsü. |
US8463599B2 (en) * | 2009-02-04 | 2013-06-11 | Motorola Mobility Llc | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder |
CN101990253A (zh) * | 2009-07-31 | 2011-03-23 | 数维科技(北京)有限公司 | 一种带宽扩展方法及其装置 |
JP5493655B2 (ja) | 2009-09-29 | 2014-05-14 | 沖電気工業株式会社 | 音声帯域拡張装置および音声帯域拡張プログラム |
RU2568278C2 (ru) * | 2009-11-19 | 2015-11-20 | Телефонактиеболагет Лм Эрикссон (Пабл) | Расширение полосы пропускания звукового сигнала нижней полосы |
JP5589631B2 (ja) * | 2010-07-15 | 2014-09-17 | 富士通株式会社 | 音声処理装置、音声処理方法および電話装置 |
US9047875B2 (en) * | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
KR101826331B1 (ko) * | 2010-09-15 | 2018-03-22 | 삼성전자주식회사 | 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법 |
CA2903681C (en) * | 2011-02-14 | 2017-03-28 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Audio codec using noise synthesis during inactive phases |
US20140019125A1 (en) * | 2011-03-31 | 2014-01-16 | Nokia Corporation | Low band bandwidth extended |
WO2013066238A2 (en) | 2011-11-02 | 2013-05-10 | Telefonaktiebolaget L M Ericsson (Publ) | Generation of a high band extension of a bandwidth extended audio signal |
CN104321815B (zh) * | 2012-03-21 | 2018-10-16 | 三星电子株式会社 | 用于带宽扩展的高频编码/高频解码方法和设备 |
US9228916B2 (en) * | 2012-04-13 | 2016-01-05 | The Regents Of The University Of California | Self calibrating micro-fabricated load cells |
KR101897455B1 (ko) * | 2012-04-16 | 2018-10-04 | 삼성전자주식회사 | 음질 향상 장치 및 방법 |
US9666202B2 (en) * | 2013-09-10 | 2017-05-30 | Huawei Technologies Co., Ltd. | Adaptive bandwidth extension and apparatus for the same |
FR3017484A1 (fr) * | 2014-02-07 | 2015-08-14 | Orange | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
-
2014
- 2014-02-07 FR FR1450969A patent/FR3017484A1/fr active Pending
-
2015
- 2015-02-04 CN CN201711459701.1A patent/CN108022599B/zh active Active
- 2015-02-04 JP JP2016549732A patent/JP6625544B2/ja active Active
- 2015-02-04 RS RS20230844A patent/RS64614B1/sr unknown
- 2015-02-04 PL PL17206567.4T patent/PL3330967T3/pl unknown
- 2015-02-04 EP EP17206563.3A patent/EP3330966B1/fr active Active
- 2015-02-04 FI FIEP17206563.3T patent/FI3330966T3/fi active
- 2015-02-04 PT PT172065633T patent/PT3330966T/pt unknown
- 2015-02-04 US US15/117,100 patent/US10043525B2/en active Active
- 2015-02-04 RU RU2016136008A patent/RU2682923C2/ru active
- 2015-02-04 SI SI201531958T patent/SI3330966T1/sl unknown
- 2015-02-04 HU HUE17206563A patent/HUE062979T2/hu unknown
- 2015-02-04 LT LTEP15705687.0T patent/LT3103116T/lt unknown
- 2015-02-04 EP EP17206569.0A patent/EP3327722B1/fr active Active
- 2015-02-04 EP EP15705687.0A patent/EP3103116B1/fr active Active
- 2015-02-04 KR KR1020177037706A patent/KR102380487B1/ko active IP Right Grant
- 2015-02-04 CN CN201711459702.6A patent/CN107993667B/zh active Active
- 2015-02-04 SI SI201531646T patent/SI3103116T1/sl unknown
- 2015-02-04 WO PCT/FR2015/050257 patent/WO2015118260A1/fr active Application Filing
- 2015-02-04 ES ES15705687T patent/ES2878401T3/es active Active
- 2015-02-04 MX MX2016010214A patent/MX363675B/es unknown
- 2015-02-04 RU RU2017144523A patent/RU2763547C2/ru active
- 2015-02-04 KR KR1020167024350A patent/KR102380205B1/ko active IP Right Grant
- 2015-02-04 ES ES17206563T patent/ES2955964T3/es active Active
- 2015-02-04 KR KR1020227007471A patent/KR102510685B1/ko active IP Right Grant
- 2015-02-04 PL PL17206569.0T patent/PL3327722T3/pl unknown
- 2015-02-04 CN CN201580007250.0A patent/CN105960675B/zh active Active
- 2015-02-04 HU HUE15705687A patent/HUE055111T2/hu unknown
- 2015-02-04 CN CN201711459695.XA patent/CN108109632B/zh active Active
- 2015-02-04 PT PT157056870T patent/PT3103116T/pt unknown
- 2015-02-04 DK DK15705687.0T patent/DK3103116T3/da active
- 2015-02-04 KR KR1020177037700A patent/KR20180002906A/ko not_active IP Right Cessation
- 2015-02-04 KR KR1020177037710A patent/KR102426029B1/ko active IP Right Grant
- 2015-02-04 EP EP17206567.4A patent/EP3330967B1/fr active Active
- 2015-02-04 DK DK17206563.3T patent/DK3330966T3/da active
- 2015-02-04 RU RU2017144522A patent/RU2763481C2/ru active
- 2015-02-04 HR HRP20231164TT patent/HRP20231164T1/hr unknown
- 2015-02-04 PL PL17206563.3T patent/PL3330966T3/pl unknown
- 2015-02-04 PL PL15705687T patent/PL3103116T3/pl unknown
- 2015-02-04 BR BR122017027991-2A patent/BR122017027991B1/pt active IP Right Grant
- 2015-02-04 BR BR112016017616-2A patent/BR112016017616B1/pt active IP Right Grant
- 2015-02-04 RS RS20210945A patent/RS62160B1/sr unknown
- 2015-02-04 LT LTEP17206563.3T patent/LT3330966T/lt unknown
- 2015-02-04 RU RU2017144521A patent/RU2763848C2/ru active
-
2016
- 2016-09-06 ZA ZA2016/06173A patent/ZA201606173B/en unknown
-
2017
- 2017-12-11 ZA ZA2017/08366A patent/ZA201708366B/en unknown
- 2017-12-11 ZA ZA2017/08368A patent/ZA201708368B/en unknown
-
2018
- 2018-01-12 US US15/869,560 patent/US10668760B2/en active Active
- 2018-06-18 US US16/011,153 patent/US10730329B2/en active Active
-
2019
- 2019-06-07 JP JP2019107009A patent/JP6775065B2/ja active Active
- 2019-06-07 JP JP2019107007A patent/JP6775063B2/ja active Active
- 2019-06-07 JP JP2019107008A patent/JP6775064B2/ja active Active
-
2020
- 2020-07-13 US US16/926,818 patent/US11312164B2/en active Active
- 2020-07-27 US US16/939,104 patent/US11325407B2/en active Active
-
2021
- 2021-07-23 HR HRP20211187TT patent/HRP20211187T1/hr unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120128177A1 (en) * | 2002-03-28 | 2012-05-24 | Dolby Laboratories Licensing Corporation | Circular Frequency Translation with Noise Blending |
US20100063824A1 (en) * | 2005-06-08 | 2010-03-11 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for widening audio signal band |
US20090048846A1 (en) * | 2007-08-13 | 2009-02-19 | Paris Smaragdis | Method for Expanding Audio Signal Bandwidth |
US20100292994A1 (en) * | 2007-12-18 | 2010-11-18 | Lee Hyun Kook | method and an apparatus for processing an audio signal |
RU2452044C1 (ru) * | 2009-04-02 | 2012-05-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10783895B2 (en) | Optimized scale factor for frequency band extension in an audio frequency signal decoder | |
RU2763848C2 (ru) | Улучшенное расширение диапазона частот в декодере звукового сигнала | |
US9911432B2 (en) | Frequency band extension in an audio signal decoder |