RU2531846C2 - Встраивание и извлечение служебных данных - Google Patents
Встраивание и извлечение служебных данных Download PDFInfo
- Publication number
- RU2531846C2 RU2531846C2 RU2011141451/28A RU2011141451A RU2531846C2 RU 2531846 C2 RU2531846 C2 RU 2531846C2 RU 2011141451/28 A RU2011141451/28 A RU 2011141451/28A RU 2011141451 A RU2011141451 A RU 2011141451A RU 2531846 C2 RU2531846 C2 RU 2531846C2
- Authority
- RU
- Russia
- Prior art keywords
- data
- audio signal
- compressed audio
- overhead
- bits
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
Abstract
Изобретение относится к встраиванию служебных данных в аудиосигналах. Согласно способу встраивания служебных данных служебные данные встраиваются в сжатый аудиосигнал посредством замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудиосигнала на служебные данные. Сжатый аудиосигнал является понижающим микшированием многоканального сигнала, а служебные данные содержат пространственные аудиоданные, которые должны использоваться для обработки декодированной версии сжатого аудиосигнала. Технический результат - улучшение качества звуковоспроизведения в декодере. 5 н. и 8 з.п. ф-лы, 6 ил.
Description
Область техники, к которой относится изобретение
Изобретение относится к встраиванию служебных данных. Изобретение также относится к извлечению служебных данных.
Уровень техники
Объемное звучание MPEG, как указанно в ISO/IEC 23003-1:2007, "MPEG Surround", является схемой многоканального кодирования аудио, использующей параметрическое представление пространственного изображения. Вследствие своей высокой эффективности кодирования объемное звучание MPEG может использоваться для того, чтобы обратно совместимым способом расширять моно/стереокодер до многоканального режима, требующего только низкой дополнительной скорости передачи битов. Данные объемного звучания MPEG могут сохраняться или передаваться в качестве отдельного потока или встраиваться в часть служебных данных для данных понижающего микширования. Чтобы транспортировать данные объемного звучания MPEG в качестве части потока битов базового кодера, базовый кодер должен поддерживать встраивание служебных данных. Тем не менее существует много кодеров понижающего микширования, таких как, например, по схеме подполосного кодирования (SBC), которые являются обязательными для потоковой передачи высококачественного аудио по Bluetooth A2DP, которые не имеют возможности сохранять служебные данные в потоке битов. Технические требования объемного звучания MPEG в разделе 7.3 указывают, как технология, называемая "скрытыми данными", может использоваться для того, чтобы транспортировать данные объемного звучания MPEG в потоке битов. Тем не менее эта технология может применяться только к понижающему микшированию, кодированному как PCM. Технология основывается на допущении, что биты в потоке битов совместно используются между данными PCM и данными объемного звучания MPEG. Выделение большего числа битов для данных объемного звучания MPEG приводит к более низкому качеству звучания, поскольку меньшее число битов доступно для кодирования аудиосигнала. Технология "скрытых данных" имеет в качестве недостатка то, что она не может использоваться для сжатого аудиосигнала.
Раскрытие изобретения
Цель настоящего изобретения заключается в том, чтобы обеспечить встраивание служебных данных в сжатый аудиосигнал и извлечение служебных данных из сжатого аудиосигнала. Изобретение задается посредством независимых пунктов формулы изобретения. Зависимые пункты формулы изобретения задают преимущественные варианты осуществления.
Один аспект изобретения предлагает способ встраивания служебных данных в сжатый аудиосигнал. Это достигается посредством замены младших битов (LSB), по меньшей мере, в одной подполосе частот сжатого аудиосигнала на служебные данные.
При замене LSB-битов сжатых подполосных сигналов на служебные данные подполосный сигнал эффективно модифицируется, приводя к другому декодированному выходному сигналу. Заменяемые LSB-биты, соответствующие служебным данным, передаются в качестве части потока битов и могут быть легко извлечены в декодере. Таким образом, декодер получает служебные данные, которые могут использоваться для улучшенного звуковоспроизведения в декодере. Само сжатое аудио поддерживает хорошее качество звучания несмотря на замену LSB-битов подполосы частот, поскольку LSB-биты меньше всего способствуют потенциальным слышимым артефактам.
В варианте осуществления LSB-биты, которые должны заменяться на служебные данные, определяются на основе психоакустического критерия. Субъективное влияние, вызываемое посредством отличия в выходном сигнале в результате модификации LSB, минимизируется посредством применения психоакустического критерия, управляющего как местоположением, так и числом LSB-битов, которые могут модифицироваться. Само сжатое аудио в таком случае поддерживает хорошее качество звучания несмотря на замену LSB-битов подполосы частот, поскольку эти выбранные LSB-биты не способствуют слышимым артефактам. Выделение LSB-битов определяется неявно в декодере посредством использования критерия, идентичного критерию, используемому в кодере. Подобие выделения LSB-битов на стороне декодера может быть оценено в кодере заранее. Следовательно, дополнительная информация индикатора для выделения LSB-битов не требуется либо требуется только ограниченная дополнительная информация индикатора в случае отличий между выделением, используемым в кодере, и ожидаемым выделением в декодере, чтобы указывать эти отличия.
В дополнительном варианте осуществления выделение LSB-битов, которые должны заменяться на служебные данные, указывается посредством информации индикатора, встраиваемой в LSB-биты. На стороне декодера требуется информация индикатора, чтобы идентифицировать местоположение и число LSB-битов, которые составляют служебные данные. Фиксированное число LSB-битов, которое выделяется по умолчанию конкретным подполосам частот, используется для того, чтобы передавать эту информацию индикатора. Эти биты выделяются для каждого кадра.
В дополнительном варианте осуществления сжатый аудиосигнал получается с использованием SBC-кодирования. SBC-кодирование не имеет внутренней поддержки служебных данных. SBC-кодирование может модифицироваться, чтобы принимать служебные данные, которые должны быть переданы в LSB-битах одного или более подполосных сигналов. Другими словами, замена LSB-битов на служебные данные становится частью сжатия аудио. Таким образом, SBC-кодер может создавать поток битов, который хранит служебные данные. Выделение LSB-битов может варьироваться со временем, чтобы эффективно использовать подполосы частот так, что выделенные LSB-биты не способствуют потенциальным слышимым артефактам. Альтернативно, замена LSB-битов на служебные данные может выполняться в качестве этапа постобработки после кодирования. Должно быть очевидным, что результирующие потоки SBC-битов являются совместимыми с существующими SBC-декодерами.
В дополнительном предпочтительном варианте осуществления служебные данные содержат данные, которые должны использоваться для обработки декодированного сжатого аудиосигнала. Это дает возможность дополнительной обработки, к примеру, постобработки декодированного сжатого аудиосигнала, чтобы изменять характеристики аудиосигнала, например, обработки виртуализации с параметрическим управлением.
В дополнительном варианте осуществления служебные данные содержат данные объемного звучания MPEG.
Понижающее микширование на основе объемного звучания MPEG кодируется с использованием, например, SBC-кодера. Данные объемного звучания MPEG также вводятся в SBC-кодер и передаются в LSB-битах одного или более подполосных сигналов SBC-кодированного сигнала понижающего микширования. После передачи и/или сохранения результирующего потока битов SBC-декодер декодирует стереофоническое понижающее микширование и извлекает данные объемного звучания MPEG. Декодер на основе объемного звучания MPEG комбинирует стереофоническое понижающее микширование и данные объемного звучания MPEG в многоканальный аудиосигнал.
Другой аспект изобретения предоставляет способ извлечения служебных данных из входного сжатого аудиосигнала. Следует понимать, что признаки, преимущества, комментарии и т.д., описанные выше, в равной степени применимы к этому аспекту изобретения.
Изобретение дополнительно предоставляет устройство встраивания и устройство извлечения, а также декодер, содержащий устройство извлечения согласно изобретению.
Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.
Краткое описание чертежей
Фиг.1 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал согласно изобретению;
фиг.2 показывает пример замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные;
фиг.3 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал, модифицированный так, что он указывает выделение LSB-битов, которые должны заменяться на служебные данные, посредством информации индикатора, встраиваемой в LSB-биты;
фиг.4 схематично показывает пример устройства встраивания для встраивания служебных данных в сжатый аудиосигнал согласно изобретению;
фиг.5 схематично показывает пример устройства извлечения для извлечения служебных данных из входного сжатого аудиосигнала;
фиг.6 показывает пример декодера для декодирования входного сжатого аудиосигнала, содержащего устройство извлечения согласно изобретению.
Осуществление изобретения
Фиг.1 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал согласно изобретению. Способ содержит этап 101 замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные. Сжатый аудиосигнал может получаться посредством SBC-, AAC-, MP3- или HE-AAC-кодеров. Сжатый аудиосигнал содержит, по меньшей мере, одну подполосу частот. Здесь, подполоса частот относится как к представлению по подполосам частот для гребенки фильтров в соответствии, например, с SBC, так и к представлению по преобразованию в соответствии, например, с AAC. Зачастую подполосы частот из подполосного фильтра упоминаются как субсигналы, в то время как подполосы частот из преобразования упоминаются как частотные коэффициенты. Следует отметить, что LSB-биты в обоих случаях означают биты квантованных спектральных коэффициентов. Служебные данные могут иметь любой тип. Тем не менее предпочтительно они должны содержать данные, связанные с пространственной аудиоинформацией, которая может использоваться для того, чтобы повышать качество пространственного звучания сжатого аудио. Примером таких служебных данных являются, например, данные объемного звучания MPEG, форматированные в структуру данных, аналогичную указываемой в разделе 7.3.2 ISO/IEC 23003-1:2007, "MPEG Surround". Альтернативно, служебные данные могут содержать, например, данные репликации полос спектра, параметрические стереоданные, метаданные, к примеру информацию синхронизации или уровни громкости либо данные кодирования пространственных аудиообъектов, предоставляя возможность интерактивного микширования на стороне декодирования.
Фиг.2 показывает пример замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные. На фиг.2 проиллюстрирован пример сжатого аудиосигнала. Такой сжатый аудиосигнал может получаться посредством SBC-кодера со следующими конфигурационными параметрами: частота дискретизации в 48 кГц, стереоканальный режим, 8 подполос частот и длина блока, равная 4. График 110 соответствует аудио для левого канала, в то время как график 120 соответствует аудио для правого канала. Для каждого из каналов шесть подполос частот проиллюстрированы как 111-116 и 121-126 для левого канала и правого канала, соответственно. Только эти шесть подполос частот проиллюстрированы (вместо восьми предписанных подполос частот) по причинам понятности представления, поскольку в настоящем примере не выделены биты оставшимся подполосам частот. Сжатый аудиосигнал для первой подполосы 111 частот аудио 110 для левого канала требует предписанной длины блока в 4 бита и ширины блока в 5 битов, приводя к 20 битам. Следует отметить, что длина блока соответствует числу подполосных выборок в подполосе частот. Подполоса 112 частот требует предписанной длины блока в 4 бита и ширины блока в 4 бита, приводя к 16 битам. При этом 12 битов, 8 битов и 8 битов требуются для подполос 113, 114 и 115 частот, соответственно. Аналогично, для правого аудиоканала 120, 16 битов, 16 битов, 8 битов, 8 битов и 8 битов требуются для подполос 121, 122, 123, 124, 125 частот, соответственно. Как установлено посредством изобретения, LSB-биты некоторых подполос частот могут использоваться для встраивания служебных данных. Эти биты отмечаются серым цветом на фиг.2. Следовательно, восемь LSB-битов в подполосе частот 111, четыре LSB-бита в подполосе 112 частот, четыре LSB-бита в подполосе 113 частот и четыре LSB-бита в подполосе 114 частот используются для встраивания служебных данных. Встраивание служебных данных означает здесь замену указываемых LSB-битов на служебные данные. Несмотря на то, что выделение LSB-битов, которые должны заменяться на служебные данные, варьируется в подполосах частот, также можно использовать фиксированное выделение LSB-битов. Преимущество варьирования выделения LSB-битов состоит в том, что выделение битов может быть приспособлено к фактическому аудиосодержимому в сжатом аудио, чтобы не ухудшать качество звучания. Посредством варьирования выделения LSB-битов по подполосам частот может управляться искажение, созданное посредством заменяемых LSB-битов в подполосах частот. Управление выделением LSB-битов дает возможность формирования искажения в спектральной области так, что искажение остается маскированным.
В варианте осуществления LSB-биты, которые должны заменяться на служебные данные, определяются на основе психоакустического критерия. Этот психоакустический критерий имеет в качестве цели выбор подполос частот и LSB-битов для замены на служебные данные, для которых ожидается наименьшее влияние на восприятие. Психоакустический критерий, например, может быть реализован посредством определения кривой маскирования исходного аудиосигнала на сетке представления по подполосам частот. Такая кривая маскирования указывает, сколько шума может добавляться в каждой полосе частот. Полосы частот, в которых может добавляться большая часть шума, например, выбираются для встраивания служебных данных. Альтернативно, этот критерий может быть дополнительно улучшен посредством сравнения искажения сжатого аудиосигнала, кодированного с использованием, например, SBC-кодирования, с определенной кривой маскирования. Следовательно, LSB-биты, которые должны заменяться на служебные данные, могут выбираться так, что полное искажение (содержащее как квантование посредством SBC-кодирования, так и встраивание служебных данных в LSB-биты подполос частот) приблизительно равно по всем подполосам частот по сравнению с кривой маскирования. Комбинирование SBC-кодирования со встраиванием служебных данных является преимущественным, поскольку оно дает возможность минимизации влияния встраивания служебных данных на воспринимаемое качество звучания. Если сжатый аудиосигнал является предварительно кодированным сигналом, например потоком SBC-битов, более высокие частоты уже приблизительно квантованы, оставляя мало пространства для встраивания служебных данных. Тем не менее, если встраивание служебных данных комбинируется со сжатием аудиосигнала с использованием, например, SBC-кодирования, существует пространство для встраивания служебных данных, которое предпочтительно управляется посредством параметров кодирования и встраивания.
Фиг.3 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал, модифицированный так, что он указывает выделение LSB-битов, которые должны заменяться на служебные данные, посредством информации индикатора, встраиваемой в LSB-биты. Способ содержит этап 101 замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные. Этап 102 содержит встраивание информации индикатора, чтобы указывать выделение LSB-битов, которые должны заменяться на служебные данные в сжатом аудиосигнале. Эта информация индикатора является аналогичной служебным данным, встраиваемым в LSB-биты сжатого аудиосигнала. Несмотря на то, что этап 102 следует после этапа 101, последовательность этих двух этапов может переставляться.
Информация индикатора может содержаться в предварительно определенном фиксированном местоположении, например, в предварительно определенном числе, к примеру, 16 битах, из LSB-битов первой подполосы частот в кадре. Альтернативно, способ, описанный в разделе 7.3.2 ISO/IEC 23003-1:2007, "MPEG Surround", может приспосабливаться, чтобы указывать информацию индикатора в потоке битов, содержащем сжатый аудиосигнал со встроенными служебными данными.
В дополнительном варианте осуществления сжатое аудио получается с использованием SBC-кодирования. SBC-кодирование предлагает возможность относительной высокой скорости передачи битов, тем самым предоставляя больше пространства для встраивания служебных данных. Кроме того, для SBC-кодирования меньше внимание следует уделять для того, чтобы удостоверяться, что слышимые артефакты не возникают (например, упрощенная психоакустическая модель может использоваться). SBC также становится все более и более популярным в качестве кодека связи между различными устройствами связи (например, телефонами или автомобильными радиоприемниками).
Тем не менее, помимо SBC-кодирования, любое другое преобразование или подполосное кодирование могут использоваться. В частности, технологии кодирования, принадлежащие этому классу, которые не поддерживают служебные данные, могут извлекать выгоду из встраивания служебных данных согласно изобретению.
Служебные данные содержат данные, которые должны использоваться для обработки декодированного сжатого аудиосигнала. Как указано выше, служебные данные предпочтительно должны содержать данные, связанные с пространственной аудиоинформацией, которая может использоваться для того, чтобы повышать качество пространственного звучания сжатого аудио. Примером таких служебных данных являются, например, данные объемного звучания MPEG, форматированные в структуру данных, аналогичную указываемой в разделе 7.3.2 ISO/IEC 23003-1:2007, "MPEG Surround". Раздел 6 этих технических требований описывает, как данные объемного звучания MPEG используются для того, чтобы создавать многоканальный или бинауральный аудиосигнал из сигнала монофонического или стереофонического понижающего микширования и данных объемного звучания MPEG.
В случае встраивания служебных данных, содержащих данные объемного звучания MPEG, в сжатый аудиосигнал, содержащий SBC-кодированные PCM-аудиовыборки, определенное число SBC-кадров требуется для встраивания данных объемного звучания MPEG, содержащихся в одном кадре объемного звучания MPEG. Допустим, что используется конфигурация SBC, как описано для фиг.2, за исключением того, что длина блока равняется теперь 16. Это приводит к длине SBC-кадра 8х16 (=128) подполосных выборок, где 8 - это число подполос частот, а 16 - это длина блока. Длина кадра данных объемного звучания MPEG составляет 1024 PCM-выборок, что соответствует 1024 подполосным выборкам SBC-кадров. Допустим, что 1024 PCM-кадра, кодированные согласно стандарту объемного звучания MPEG, приводят к 888 битам. Кроме того, допустим, что 72 бита требуются для кодирования информации индикатора. Следовательно, 8 SBC-кадров необходимы, чтобы приспосабливать 888 битов служебных данных и 72 бита информации индикатора. Чтобы эффективно использовать доступные биты, эти 8 SBC-кадров группируются в 4 группы из 2 SBC-кадров. Для каждой группы из 2 кадров используется информация индикатора. Следовательно, для двух каналов и 4 групп для каждого из каналов используется всего 8 единиц информации индикатора. Для подполос частот, имеющих меньшее число доступных битов для подполосных выборок, чем число, указываемое в информации индикатора, минимум из этих двух значений используется для фактического встраивания служебных данных в подполосе частот. Допустим, что подполосные выборки, как проиллюстрировано на фиг.2, используются для этих 8 SBC-кадров для каждого из каналов. Дополнительно, допустим, что выделение 2, 1, 0 и 1 битов используется для левого канала и выделение 1, 0, 1 и 0 битов используется для правого канала. Выделение 2 битов для левого канала означает, что для первой группы из двух SBC-кадров 2 бита в расчете на каждую подполосу частот выделяются служебным данным. Это приводит к 2 (для 2 SBC-кадров)х5 (для 5 подполос частот)х16 (для длины блока)х2 (для выделенных битов в каждой из подполос частот)=320 битам, доступным для служебных данных. Затем выделение 1 бита в расчете на один канал приводит к 160 битам, доступным для служебных данных.
Это, в свою очередь, для выделения 2, 1, 0, 1 битов для левого канала и выделения 1, 0, 1, 0 битов для правого канала приводит всего к 960 битам, что достаточно для того, чтобы приспосабливать фактически требуемые 888 битов служебных данных.
Фиг.4 схематично показывает пример устройства 200 встраивания для встраивания служебных данных 202 в сжатый аудиосигнал 201 согласно изобретению. Устройство 200 встраивания содержит схему 210 выделения для определения выделения LSB-битов для замены на служебные данные на основе психоакустического критерия 203, предоставленного в схему 210. Примером такого критерия 203 является минимизация энергии встроенных данных относительно порогового значения маскирования по всем подполосам частот. Устройство 200 встраивания дополнительно содержит схему 220 замены, которая заменяет LSB-биты, выделяемые посредством схемы 210 выделения в сжатом аудиосигнале 201, на служебные данные 202, приводя к выходному сжатому аудиосигналу 204.
Должно быть очевидным, что когда выделение LSB-битов является фиксированным, схема 210 выделения является избыточной и необязательно должна содержаться в устройстве 200 встраивания. Тем не менее в таком случае это фиксированное выделение LSB-битов должно передаваться на сторону декодера, чтобы предоставлять надлежащее извлечение служебных данных 202 из сжатого аудиосигнала 204 на стороне декодера.
Дополнительный аспект изобретения заключается в способе извлечения служебных данных из входного сжатого аудиосигнала, отличающемся тем, что служебные данные извлекаются из LSB-битов, по меньшей мере, одной подполосы частот входного сжатого аудио. В основном, способ извлечения является обратным способом для способа встраивания. На основе выделения LSB-битов, фиксированного или адаптивного, служебным данным служебные данные обнаруживаются и извлекаются из входного сжатого аудио, в которое служебные данные встроены согласно настоящему изобретению.
Предпочтительные варианты осуществления для способа встраивания служебных данных в сжатый аудиосигнал также являются применимыми к способу извлечения служебных данных из входного сжатого аудиосигнала.
Фиг.5 схематично показывает пример устройства 300 извлечения для извлечения служебных данных 302 из входного сжатого аудиосигнала 304. Входной сжатый аудиосигнал 304 соответствует сжатому аудиосигналу 204, который модифицируется так, что он имеет служебные данные 202, встраиваемые в LSB-биты, по меньшей мере, в одной подполосе частот сжатого аудиосигнала 201. Устройство 300 извлечения содержит схему 310 извлечения выделения для извлечения выделения LSB-битов служебным данным 302. Выделение, определенное посредством схемы 310 извлечения выделения, предоставляется в схему 320 извлечения, которая извлекает на основе этого выделения служебные данные 302 из входного сжатого аудиосигнала 304.
Должно быть очевидным, что когда выделение LSB-битов является фиксированным, схема 310 извлечения выделения является избыточной и необязательно должна содержаться в устройстве 300 извлечения. Тем не менее в таком случае это фиксированное выделение LSB-битов должно передаваться на сторону устройства извлечения, чтобы предоставлять надлежащее извлечение служебных данных 302 из входного сжатого аудиосигнала 304.
Фиг.6 показывает пример декодера 700 для декодирования входного сжатого аудиосигнала 304, содержащего устройство извлечения согласно изобретению. Декодер 700 содержит устройство 300 извлечения для извлечения служебных данных. Дополнительно, декодер 700 содержит первый декодер 400 для декодирования входного сжатого аудиосигнала и схему 500 обработки для комбинирования выходного сигнала 301 первого декодера 400 и служебных данных 302. В частности, схема 500 обработки может содержать второй декодер, который декодирует выходной сигнал 301 первого декодера 400 и служебные данные 302 в многоканальный аудиосигнал, бинауральный аудиосигнал или любой другой подходящий аудиосигнал. Примером первого декодера 400 является SBC-декодер. Примером второго декодера 500 является декодер на основе объемного звучания MPEG. Второй декодер принимает моно- или стереосигнал 301 и данные 302 объемного звучания MPEG. Он затем подготавливает посредством рендеринга моно- или стереосигнал 301 в многоканальный сигнал 620 или бинауральный аудиосигнал 610, как установлено посредством данных объемного звучания MPEG. Данные объемного звучания MPEG предпочтительно рандомизируются перед встраиванием в качестве служебных данных в сжатый аудиосигнал. Рандомизация данных объемного звучания MPEG предписывается в разделе 7.3.4.2 ISO/IEC 23003-1:2007, "MPEG Surround".
Настоящее изобретение также может применяться к транскодированию, например, транскодированию из HE-AAC/объемного звучания MPEG, при котором данные объемного звучания MPEG встраиваются в поток битов с использованием так называемого канала служебных данных, в SBC/объемное звучание MPEG, при этом данные объемного звучания MPEG встраиваются с использованием настоящего изобретения.
Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не имеет намерение быть ограниченным конкретной изложенной в данном документе формой. Вместо этого объем настоящего изобретения ограничен только посредством прилагаемой формулы изобретения. Дополнительно, хотя предположительно признак описывается в данном документе в связи с конкретными вариантами осуществления, специалисты в данной области техники должны признавать, что различные признаки описанных вариантов осуществления могут быть комбинированы в соответствии с изобретением. В формуле изобретения термин "содержащий" не исключает наличия других элементов или этапов.
Более того, хотя перечислены по отдельности, множество схем, элементов или этапов способа могут быть реализованы посредством, к примеру, одного блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть преимущественно комбинированы, и их включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков является невыполнимой и/или преимущественной. Также включение признака в одну категорию пунктов формулы изобретения не налагает ограничение на эту категорию, а вместо этого указывает то, что признак в равной степени применим к другим категориям пунктов формулы изобретения по мере необходимости. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, ссылки на "первый", "второй" и т.д. не исключают множественность. Номера ссылок в формуле изобретения предоставлены просто в качестве поясняющего примера и не должны истолковываться как ограничивающие объем формулы изобретения каким-либо образом. Изобретение может быть реализовано посредством схемы аппаратных средств, содержащих несколько различных элементов, и посредством схемы надлежащим образом запрограммированного компьютера или другого программируемого устройства.
Claims (13)
1. Способ встраивания служебных данных (202) в сжатый аудиосигнал (201) посредством замены LSB-битов, по меньшей мере, в одной подполосе (111, 112, 113,...) частот сжатого аудиосигнала на служебные данные, причем способ отличается тем, что сжатый аудиосигнал является понижающим микшированием многоканального сигнала и служебные данные (202) содержат пространственные аудиоданные, которые должны использоваться для обработки декодированной версии сжатого аудиосигнала.
2. Способ по п.1, в котором LSB-биты, которые должны заменяться на служебные данные (202), определяются на основе психоакустического критерия.
3. Способ по п.1, в котором выделение LSB-битов, заменяемых на служебные данные (202), указывается посредством информации индикатора, встраиваемой в LSB-биты.
4. Способ по п.1, в котором сжатый аудиосигнал (201) получается с использованием подполосного кодирования.
5. Способ по п.1, в котором служебные данные содержат данные объемного звучания MPEG.
6. Устройство (200) встраивания для встраивания служебных данных (202) в сжатый аудиосигнал (201), при этом устройство встраивания содержит схему (220) замены для формирования выходного сжатого аудиосигнала, в котором LSB-биты, по меньшей мере, в одной подполосе частот сжатого аудиосигнала заменяются на служебные данные, причем устройство отличается тем, что сжатый аудиосигнал является понижающим микшированием многоканального сигнала и служебные данные (202) содержат пространственные аудиоданные, которые должны использоваться для обработки декодированной версии сжатого аудиосигнала.
7. Способ извлечения служебных данных (302) из входного сжатого аудиосигнала (304), при этом служебные данные извлекаются из LSB-битов, по меньшей мере, одной подполосы частот входного сжатого аудиосигнала, причем способ отличается тем, что служебные данные (202) содержат пространственные аудиоданные, которые должны использоваться для обработки декодированной версии сжатого аудиосигнала.
8. Способ по п.7, в котором выделение служебных данных (302) в LSB-битах указывается посредством информации индикатора, встраиваемой в LSB-биты.
9. Способ по п.7, в котором служебные данные (302) содержат данные, которые должны использоваться для обработки декодированного сжатого аудиосигнала.
10. Способ по п.9, в котором служебные данные (302) содержат данные объемного звучания MPEG.
11. Устройство (300) извлечения для извлечения служебных данных (302) из входного сжатого аудиосигнала (304), при этом устройство извлечения содержит схему (320) извлечения для извлечения служебных данных из LSB-битов, по меньшей мере, одной подполосы частот входного сжатого аудиосигнала, причем устройство извлечения отличается тем, что служебные данные (202) содержат пространственные аудиоданные, которые должны использоваться для обработки декодированной версии сжатого аудиосигнала.
12. Декодер (700) для декодирования входного сжатого аудиосигнала (304), причем декодер (700) содержит:
устройство (300) извлечения по п.11 для извлечения служебных данных;
первый декодер (400) для декодирования входного сжатого аудиосигнала; и
схему (500) обработки для комбинирования выходного сигнала первого декодера и служебных данных.
устройство (300) извлечения по п.11 для извлечения служебных данных;
первый декодер (400) для декодирования входного сжатого аудиосигнала; и
схему (500) обработки для комбинирования выходного сигнала первого декодера и служебных данных.
13. Декодер (700) по п.12, в котором схема (500) обработки содержит второй декодер для декодирования выходного сигнала первого декодера и служебных данных в многоканальный аудиосигнал или бинауральный аудиосигнал.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09155086 | 2009-03-13 | ||
EP09155086.3 | 2009-03-13 | ||
PCT/IB2010/050955 WO2010103442A1 (en) | 2009-03-13 | 2010-03-05 | Embedding and extracting ancillary data |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2011141451A RU2011141451A (ru) | 2013-04-20 |
RU2531846C2 true RU2531846C2 (ru) | 2014-10-27 |
Family
ID=42106066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2011141451/28A RU2531846C2 (ru) | 2009-03-13 | 2010-03-05 | Встраивание и извлечение служебных данных |
Country Status (8)
Country | Link |
---|---|
US (1) | US20110311063A1 (ru) |
EP (1) | EP2406789A1 (ru) |
JP (1) | JP2012520481A (ru) |
KR (1) | KR20110138367A (ru) |
CN (1) | CN102369573A (ru) |
RU (1) | RU2531846C2 (ru) |
TW (1) | TWI501220B (ru) |
WO (1) | WO2010103442A1 (ru) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9191516B2 (en) * | 2013-02-20 | 2015-11-17 | Qualcomm Incorporated | Teleconferencing using steganographically-embedded audio data |
KR101427756B1 (ko) * | 2013-04-26 | 2014-08-08 | 주식회사 코아로직 | 멀티 채널의 오디오 신호 전송 방법 및 장치 |
WO2017150746A1 (ko) * | 2016-02-29 | 2017-09-08 | 주식회사 트리니티랩 | 가청 주파수 대역 오디오 신호의 저전력용 정보 제공 및 스마트 기기 원격 제어 방법 |
CN110166784B (zh) * | 2018-01-17 | 2021-11-23 | 重庆邮电大学 | 一种基于像素块的自适应图像纹理区隐写方法 |
US11159885B2 (en) * | 2020-03-20 | 2021-10-26 | Google Llc | Optimized audio forwarding |
WO2024024468A1 (ja) * | 2022-07-25 | 2024-02-01 | ソニーグループ株式会社 | 情報処理装置および方法、符号化装置、音声再生装置、並びにプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4430864A1 (de) * | 1994-08-31 | 1996-03-07 | Corporate Computer Systems Eur | Verfahren zum unbemerktem Übertragen und/oder Speichern von Zusatzinformationen innerhalb eines quellencodierten, datenreduzierten Audiosignals |
JP2003316356A (ja) * | 2002-04-23 | 2003-11-07 | Yamaha Corp | デジタルオーディオデータに演奏データを重畳し、またはデジタルオーディオデータから演奏データを抽出する方法および装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE184140T1 (de) * | 1996-03-07 | 1999-09-15 | Fraunhofer Ges Forschung | Codierverfahren zur einbringung eines nicht hörbaren datensignals in ein audiosignal, decodierverfahren, codierer und decodierer |
GB2340351B (en) * | 1998-07-29 | 2004-06-09 | British Broadcasting Corp | Data transmission |
JP4000543B2 (ja) * | 1998-08-03 | 2007-10-31 | ソニー株式会社 | 信号処理装置及び信号処理方法 |
EP1030290A3 (de) * | 1999-02-17 | 2002-12-11 | Frank Kurth | Verfahren zum unbemerkten übertragen und/oder Speichern von Zusatzinformationen innerhalb eines Signals, insbesondere Audiosignals |
DE19938095A1 (de) * | 1999-08-12 | 2001-03-01 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Einbringen von Informationen in ein Audiosignal und Verfahren und Vorrichtung zum Ermitteln von in einem Audiosignal eingebrachten Informationen |
US7188186B1 (en) * | 1999-09-03 | 2007-03-06 | Meyer Thomas W | Process of and system for seamlessly embedding executable program code into media file formats such as MP3 and the like for execution by digital media player and viewing systems |
US6748362B1 (en) * | 1999-09-03 | 2004-06-08 | Thomas W. Meyer | Process, system, and apparatus for embedding data in compressed audio, image video and other media files and the like |
EP1157382A1 (en) * | 1999-12-21 | 2001-11-28 | Koninklijke Philips Electronics N.V. | Embedding a first digital information signal into a second digital information signal for transmission via a transmission medium |
GB0119569D0 (en) * | 2001-08-13 | 2001-10-03 | Radioscape Ltd | Data hiding in digital audio broadcasting (DAB) |
US7047187B2 (en) * | 2002-02-27 | 2006-05-16 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for audio error concealment using data hiding |
DE10321983A1 (de) * | 2003-05-15 | 2004-12-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Einbetten einer binären Nutzinformation in ein Trägersignal |
DE102004046746B4 (de) * | 2004-09-27 | 2007-03-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten |
SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
DE102005014477A1 (de) * | 2005-03-30 | 2006-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung |
EP1905004A2 (en) * | 2005-05-26 | 2008-04-02 | LG Electronics Inc. | Method of encoding and decoding an audio signal |
TWI467979B (zh) * | 2006-07-31 | 2015-01-01 | Qualcomm Inc | 用於信號改變偵測之系統、方法及裝置 |
EP2144230A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
-
2010
- 2010-03-05 KR KR1020117023854A patent/KR20110138367A/ko not_active Application Discontinuation
- 2010-03-05 US US13/256,229 patent/US20110311063A1/en not_active Abandoned
- 2010-03-05 JP JP2011553573A patent/JP2012520481A/ja not_active Ceased
- 2010-03-05 EP EP10710645A patent/EP2406789A1/en not_active Withdrawn
- 2010-03-05 CN CN2010800116173A patent/CN102369573A/zh active Pending
- 2010-03-05 WO PCT/IB2010/050955 patent/WO2010103442A1/en active Application Filing
- 2010-03-05 RU RU2011141451/28A patent/RU2531846C2/ru not_active IP Right Cessation
- 2010-03-10 TW TW099107000A patent/TWI501220B/zh not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4430864A1 (de) * | 1994-08-31 | 1996-03-07 | Corporate Computer Systems Eur | Verfahren zum unbemerktem Übertragen und/oder Speichern von Zusatzinformationen innerhalb eines quellencodierten, datenreduzierten Audiosignals |
JP2003316356A (ja) * | 2002-04-23 | 2003-11-07 | Yamaha Corp | デジタルオーディオデータに演奏データを重畳し、またはデジタルオーディオデータから演奏データを抽出する方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2012520481A (ja) | 2012-09-06 |
RU2011141451A (ru) | 2013-04-20 |
KR20110138367A (ko) | 2011-12-27 |
TW201040941A (en) | 2010-11-16 |
CN102369573A (zh) | 2012-03-07 |
WO2010103442A1 (en) | 2010-09-16 |
US20110311063A1 (en) | 2011-12-22 |
EP2406789A1 (en) | 2012-01-18 |
TWI501220B (zh) | 2015-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7122076B2 (ja) | マルチチャネル符号化におけるステレオ充填装置及び方法 | |
US8504377B2 (en) | Method and an apparatus for processing a signal using length-adjusted window | |
US7761290B2 (en) | Flexible frequency and time partitioning in perceptual transform coding of audio | |
US7774205B2 (en) | Coding of sparse digital media spectral data | |
US20150213804A1 (en) | Bitstream syntax for multi-process audio decoding | |
KR101449434B1 (ko) | 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치 | |
US20060013405A1 (en) | Multichannel audio data encoding/decoding method and apparatus | |
US9570082B2 (en) | Method, medium, and apparatus encoding and/or decoding multichannel audio signals | |
KR20100087661A (ko) | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 | |
RU2531846C2 (ru) | Встраивание и извлечение служебных данных | |
IL295809B1 (en) | Decoding bitstreams with a spectral band duplication meta-method enhanced by at least one filler element | |
TWI521502B (zh) | 多聲道音訊的較高頻率和降混低頻率內容的混合編碼 | |
WO2009048239A2 (en) | Encoding and decoding method using variable subband analysis and apparatus thereof | |
KR20190085144A (ko) | 오디오 신호의 고주파 재구성을 위한 하모닉 트랜스포저의 하위호환형 통합 | |
JP2020534582A (ja) | Celpコーデックにおいてサブフレーム間にビット配分を割り振るための方法およびデバイス | |
KR100891666B1 (ko) | 믹스 신호의 처리 방법 및 장치 | |
WO2009129822A1 (en) | Efficient encoding and decoding for multi-channel signals | |
RU2404507C2 (ru) | Способ и устройство для обработки звукового сигнала | |
WO2024052450A1 (en) | Encoder and encoding method for discontinuous transmission of parametrically coded independent streams with metadata |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160306 |