UA127896C2 - Способи, апарати і системи для розширення трьох ступенів свободи (3dof+) mpeg-h 3d audio - Google Patents

Abstract

Описаний спосіб обробки інформації про положення, яка вказує на положення об'єкта для звукового об'єкта, причому положення об'єкта використовують для рендерингу звукового об'єкта, який включає: отримання інформації про орієнтацію слухача, яка вказує на орієнтацію голови слухача; отримання інформації про зміщення слухача, яка вказує на зміщення голови слухача; визначення положення об'єкта з інформації про положення; модифікацію положення об'єкта на основі інформації про зміщення слухача завдяки застосуванню поступального переміщення до положення об'єкта; і додаткову модифікацію модифікованого положення об'єкта на основі інформації про орієнтацію слухача. Додатково описаний відповідний апарат для обробки інформації про положення, яка вказує на положення об'єкта для звукового об'єкта, причому положення об'єкта використане для рендерингу звукового об'єкта.

Description

вл

НИ х з» !

В Н

У 01 Орнмання інформації про врнтаніх слуката, ї щовкасує на зожнтапно голови слухача

Х.сеєєєнесесскктессескчкккккксссскітесссккчечрссєкчессссск«ехссссєесссекттеессссєєкєєсєєєєтся

ОБО ну плн я я і. 1 Отримання шнормани поз зміщення стукав. що

З вЕзІЕ назмишення голови слухата. сь ги ех Ек і 830, те " т ? те і. 1 Визначення положення аб єкта зінфермаці про і попаження

ЩЕ Вбсляфіювець пеложення об єкта на соснові

Я - - : і форма ну про зміщення слухана зе

ОМ ну Попатисвя долсповив нія с кет пЕртрржовятв - |Дюодаткова молифеканія молифікованого положення об'єкютана основі формації про оржнтацію

Фіг. 5

Перехресне посилання на споріднені заявки

Дана заявка претендує на пріоритет наступних пріоритетних заявок: попередня заявка США 62/654915 (посилання: 01804505Р1), подана 09 квітня 2018 р.; попередня заявка США 62/695446 (посилання: 01804505Р2), подана 09 липня 2018 р., і попередня заявка США 62/823159 (посилання: 0О1804505Р3), подана 25 березня 2019 р., які включені в дану заявку за допомогою посилання.

Галузь техніки

Цей винахід відноситься до способів і апарату для обробки інформації про положення, яка вказує положення звукового об'єкта, та інформації, яка вказує на зміщення положення голови слухача.

Передумови винаходу

У першому виданні (15 жовтня 2015 р.) і редакціях 1-4 стандарту ІЗОЛЕС 23008-3 МРЕС-Н

ЗО Ацаїо не представлене забезпечення невеликих поступальних рухів голови користувача в середовищі трьох ступенів свободи (Тпгее Юедгеез ої Егеедот, ЗООБ).

Стислий опис сутності винаходу

У першому виданні (15 жовтня 2015 р.) і редакціях 1-4 стандарту ІЗОЛЕС 23008-3 МРЕС-Н

ЗО Айцаїо представлена функціональність для можливості середовища ЗОоОЕ, де користувач (слухач) виконує дії повороту голови. Однак така функціональність у кращому випадку підтримує лише передачу сигналу про поворотне зміщення сцени і відповідний рендеринг. Це означає, що звукова сцена може залишатися нерухомою у просторі при зміні орієнтації голови слухача, що відповідає властивості ЗОРЕ. Однак відсутня можливість врахування невеликого поступального руху голови користувача всередині даної екосистеми МРЕС-Н 30 Ацайо.

Таким чином, існує необхідність у способах і апараті для обробки інформації про положення звукових об'єктів, які можуть враховувати невеликий поступальний рух голови користувача потенційно у поєднанні з поворотним рухом голови користувача.

У цьому винаході представлені апарат і системи для обробки інформації про положення, що мають ознаки відповідних незалежних і залежних пунктів формули винаходу.

Згідно з одним аспектом даного винаходу описаний спосіб обробки інформації про положення, яка вказує положення звукового об'єкта, причому обробка може бути сумісна зі стандартом "МРЕС-Н 30 Айцаїо". Положення об'єкта може бути використане для рендерингу звукового об'єкта. Звуковий об'єкт може бути включений у звуковий вміст на основі об'єктів разом з інформацією про його положення. Інформація про положення може являти собою (частину) метадані для звукового об'єкта. Звуковий вміст (наприклад, звуковий об'єкт разом з інформацією про його положення) може бути переданий в кодованому звуковому бітовому потоці. Спосіб може включати прийом звукового вмісту (наприклад, кодованого звукового бітового потоку). Спосіб може включати отримання інформації про орієнтацію слухача, яка вказує на орієнтацію голови слухача. Слухача можуть називати користувачем, наприклад, декодера, який виконує спосіб. Орієнтація голови слухача (орієнтація слухача) може являти собою орієнтацію голови слухача відносно номінальної орієнтації. Спосіб може додатково включати отримання інформації про зміщення слухача, яка вказує зміщення голови слухача.

Зміщення голови слухача може являти собою зміщення відносно номінального положення прослуховування. Номінальне положення прослуховування (або номінальне положення слухача) може являти собою положення за замовчуванням (наприклад, задане положення, очікуване положення для голови слухача або зону найкращого сприйняття при розташуванні динаміків). Інформація про орієнтацію слухача і інформація про зміщення слухача можуть бути отримані за допомогою вхідного інтерфейсу декодера МРЕС-Н 30 Апмцаїйо. Інформація про орієнтацію слухача і інформація про зміщення слухача можуть бути виведені на основі інформації від датчиків. Поєднання інформації про орієнтацію і інформації про положення можуть називати інформацією про позицію. Спосіб може додатково включати визначення положення об'єкта з інформації про положення. Наприклад, положення об'єкта може бути добуте з інформації про положення. Визначення (наприклад, добування) положення об'єкта може додатково базуватися на інформації відносно геометрії розташування динаміків одного або більше динаміків у середовищі прослуховування. Положення об'єкта також можуть називати положенням каналу звукового об'єкта. Спосіб може додатково включати модифікацію положення об'єкта на основі інформації про зміщення слухача завдяки застосуванню поступального переміщення до положення об'єкта. Модифікація положення об'єкта може відноситись до коректування положення об'єкта для зміщення голови слухача з номінального положення прослуховування. Інакше кажучи, модифікація положення об'єкта може відноситись до застосування компенсації зміщення положення до положення об'єкта. Спосіб може також 60 додатково включати додаткову модифікацію модифікованого положення об'єкта на основі інформації про орієнтацію слухача, наприклад, за допомогою застосування поворотного перетворення до модифікованого положення об'єкта (наприклад, поворот відносно голови слухача або номінального положення прослуховування). Додаткова модифікація модифікованого положення об'єкта для рендерингу звукового об'єкта може включати поворотне зміщення звукової сцени.

Запропонований спосіб, пристосований так, як описано вище, надає більш реалістичне відчуття від прослуховування, особливо для звукових об'єктів, які знаходяться поблизу голови слухача. На додаток до трьох (поворотних) ступенів свободи, що зазвичай пропонуються слухачу в середовищі ЗО, у запропонованому способі також можуть враховуватися поступальні рухи голови слухача. Це дозволяє слухачу досягати близьких звукових об'єктів з різних кутів і навіть сторін. Наприклад, слухач може слухати звуковий об'єкт "комар", який розташований поблизу голови слухача, з різних кутів завдяки невеликому переміщенню своєї голови, можливо на додаток до повороту своєї голови. У результаті, запропонований спосіб може забезпечити покращене, більш реалістичне, занурювальне відчуття від прослуховування для слухача.

У деяких варіантах здійснення модифікація положення об'єкта і додаткова модифікація модифікованого положення об'єкта можуть бути виконані таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до додаткового модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення, відносно номінального положення прослуховування незалежно від зміщення голови слухача з номінального положення прослуховування і орієнтації голови слухача відносно номінальної орієнтації. Відповідно, звуковий об'єкт можуть сприймати як такий, що переміщується відносно голови слухача, коли голова слухача виконує зміщення з номінального положення прослуховування. Подібним чином, звуковий об'єкт можуть сприймати як такий, що повертається відносно голови слухача, коли голова слухача виконує зміну орієнтації з номінальної орієнтації. Один або більше динаміків можуть являти собою, наприклад, частину гарнітури або можуть являти собою частину композиції динаміків (наприклад, композиції динаміків 2.1, 5.1, 7.1 тощо).

У деяких варіантах здійснення модифікація положення об'єкта на основі інформації про зміщення слухача може бути виконана за допомогою поступального переміщення положення об'єкта із використанням вектора, який позитивно корелює з амплітудою і негативно корелює з напрямком вектора зміщення голови слухача з номінального положення прослуховування.

Таким чином, забезпечують, що близькі звукові об'єкти сприймаються слухачем як такі, що переміщуються відповідно до руху його голови. Це сприяє більш реалістичному відчуттю від прослуховування цих звукових об'єктів.

У деяких варіантах здійснення інформація про зміщення слухача може вказувати на зміщення голови слухача з номінального положення прослуховування внаслідок невеликого зміщення положення. Наприклад, абсолютне значення зміщення може становити не більше 0,5 м. Зміщення може бути виражене в декартових координатах (наприклад, х, у, 7) або сферичних координатах (наприклад, азимут, кут підйому, радіус).

У деяких варіантах здійснення інформація про зміщення слухача може вказувати на зміщення голови слухача з номінального положення прослуховування, яке може бути досягнуте за допомогою руху верхньою частиною тіла та/або головою слухача. Таким чином, слухач може здійснювати зміщення без руху нижньою частиною тіла. Наприклад, зміщення голови слухача може бути здійснене, коли слухач сидить на стільці.

У деяких варіантах здійснення інформація про положення може містити указання відстані від звукового об'єкта до номінального положення прослуховування. Відстань (радіус) може бути менше 0,5 м. Наприклад, відстань може становити менше 1 см. Альтернативно відстань від звукового об'єкта до номінального положення прослуховування може бути встановлене на значення за замовчуванням за допомогою декодера.

У деяких варіантах здійснення інформація про орієнтацію слухача може містити інформацію про рискання, тангаж і крен голови слухача. Рискання, тангаж, крен можуть бути надані відносно номінальної орієнтації (наприклад, початкової орієнтації) голови слухача.

У деяких варіантах здійснення інформація про зміщення слухача може містити інформацію про зміщення голови слухача з номінального положення прослуховування, виражену в декартових координатах або сферичних координатах. Таким чином, зміщення може бути виражене в рамках координат х, у, 7 для декартових координат і в рамках координат азимута, кута підйому, радіуса для сферичних координат.

У деяких варіантах здійснення спосіб може додатково включати виявлення орієнтації голови 60 слухача за допомогою обладнання, придатного для носіння, та/або стаціонарного обладнання.

Подібним чином, спосіб може додатково включати виявлення зміщення голови слухача з номінального положення прослуховування за допомогою обладнання, придатного для носіння, та/або стаціонарного обладнання. Обладнання, придатне для носіння, може являти собою, відповідати та/або включати, наприклад, гарнітуру або гарнітуру для доповненої реальності (апдтепіевй геаїйу, АК) / віртуальної реальності (міїца! геаійу, МК). Стаціонарне обладнання може являти собою, відповідати та/або містити, наприклад, датчики-камери. Це забезпечує отримання точної інформації про зміщення та/або орієнтацію голови слухача і, тим самим, забезпечує реалістичну обробку близьких звукових об'єктів згідно з орієнтацією та/або зміщенням.

У деяких варіантах здійснення спосіб може додатково включати рендеринг звукового об'єкта на одному або більше реальних або віртуальних динаміках відповідно до додатково модифікованого положення об'єкта. Наприклад, рендеринг звукового об'єкта може бути виконаний для лівого і правого динаміків гарнітури.

У деяких варіантах здійснення рендеринг можуть виконувати з урахуванням акустичного поглинання для невеликих відстаней від звукового об'єкта до голови слухача на основі функцій моделювання сприйняття звуку (пеай-геїаїей Ігапеїег Типсіп5, НКТЕ) для голови слухача.

Таким чином, рендеринг близьких звукових об'єктів буде сприйматися слухачем як ще більш реалістичний.

У деяких варіантах здійснення додатково модифіковане положення об'єкта можуть відрегулювати для формату введення, що використовується модулем рендерингу МРЕОЄ-Н 30

Ацаїйо. У деяких варіантах здійснення рендеринг можуть виконувати з використанням модуля рендерингу МРЕС-Н ЗО Айцаїйо. У деяких варіантах здійснення обробку можуть виконувати з використанням декодера МРЕС-Н 30 Апцаїо. У деяких варіантах здійснення обробку можуть виконувати за допомогою блока зміщення сцени декодера МРЕС-Н 30 Апцаїйо. Відповідно, запропонований спосіб забезпечує реалізацію обмеженого відчуття шести ступенів свободи (5іх

Редгеез ої Егеедот, 6боБР) (тобто Због-) в рамках стандарту МРЕС-Н 30 Апйцаїо.

Згідно з іншим аспектом даного винаходу описаний додатковий спосіб обробки інформації про положення, яка вказує положення об'єкта для звукового об'єкта. Положення об'єкта може бути використане для рендерингу звукового об'єкта Спосіб може включати отримання інформації про зміщення слухача, що вказує зміщення голови слухача. Спосіб може додатково включати визначення положення об'єкта з інформації про положення. Спосіб може також додатково включати модифікацію положення об'єкта на основі інформації про зміщення слухача завдяки застосуванню поступального переміщення до положення об'єкта.

Запропонований спосіб, пристосований так, як описано вище, надає більш реалістичне відчуття від прослуховування, особливо для звукових об'єктів, які знаходяться поблизу голови слухача. Завдяки можливості врахування невеликих поступальних рухів голови слухача, запропонований спосіб дозволяє слухачу досягати близьких звукових об'єктів з різних кутів і навіть сторін. У результаті, запропонований спосіб може забезпечити покращене, більш реалістичне, занурювальне відчуття від прослуховування для слухача.

У деяких варіантах здійснення модифікація положення об'єкта на основі інформації про зміщення слухача може бути виконана таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення відносно номінального положення прослуховування незалежно від зміщення голови слухача з номінального положення прослуховування.

У деяких варіантах здійснення модифікація положення об'єкта на основі інформації про зміщення слухача може бути виконана за допомогою поступального переміщення положення об'єкта із використанням вектора, який позитивно корелює з амплітудою і негативно корелює з напрямком вектора зміщення голови слухача з номінального положення прослуховування.

Згідно з іншим аспектом даного винаходу описаний додатковий спосіб обробки інформації про положення, яка вказує положення об'єкта для звукового об'єкта. Положення об'єкта може бути використане для рендерингу звукового об'єкта Спосіб може включати отримання інформації про орієнтацію слухача, яка вказує на орієнтацію голови слухача. Спосіб може додатково включати визначення положення об'єкта з інформації про положення. Спосіб може також додатково включати модифікацію положення об'єкта на основі інформації про орієнтацію слухача, наприклад, за допомогою застосування поворотного перетворення до положення об'єкта (наприклад, поворот відносно голови слухача або номінального положення прослуховування).

Запропонований спосіб, пристосований так, як описано вище, може враховувати орієнтацію бо голови слухача для забезпечення слухачу більш реалістичного відчуття від прослуховування.

У деяких варіантах здійснення модифікація положення об'єкта на основі інформації про орієнтацію слухача може бути виконана таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення відносно номінального положення прослуховування незалежно від орієнтації голови слухача відносно номінальної орієнтації.

Згідно з іншим аспектом даного винаходу описаний апарат для обробки інформації про положення, яка вказує на положення об'єкта для звукового об'єкта. Положення об'єкта може бути використане для рендерингу звукового об'єкта. Апарат може містити процесор і запам'ятовувальний пристрій, з'єднаний з процесором. Процесор може бути пристосований для отримання інформації про орієнтацію слухача, яка вказує на орієнтацію голови слухача.

Процесор може бути додатково пристосований для отримання інформації про зміщення слухача, яка вказує на зміщення голови слухача. Процесор може бути додатково пристосований для визначення положення об'єкта з інформації про положення. Процесор може бути додатково пристосований для модифікації положення об'єкта на основі інформації про зміщення слухача за допомогою застосування поступального переміщення до положення об'єкта. Процесор може бути також додатково пристосований для додаткової модифікації модифікованого положення об'єкта на основі інформації про орієнтацію слухача, наприклад, за допомогою застосування поворотного перетворення до модифікованого положення об'єкта (наприклад, поворот відносно голови слухача або номінального положення прослуховування).

У деяких варіантах здійснення процесор може бути пристосований для модифікації положення об'єкта і додаткової модифікації модифікованого положення об'єкта таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до додаткового модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення відносно номінального положення прослуховування незалежно від зміщення голови слухача з номінального положення прослуховування і орієнтації голови слухача відносно номінальної орієнтації.

У деяких варіантах здійснення процесор може бути пристосований для модифікації положення об'єкта на основі інформації про зміщення слухача за допомогою поступального переміщення положення об'єкта з використанням вектора, який позитивно корелює з амплітудою і негативно корелює з напрямком вектора зміщення голови слухача з номінального положення прослуховування.

У деяких варіантах здійснення інформація про зміщення слухача може вказувати на зміщення голови слухача з номінального положення прослуховування внаслідок невеликого зміщення положення.

У деяких варіантах здійснення інформація про зміщення слухача може вказувати на зміщення голови слухача з номінального положення прослуховування, яке може бути досягнуте за допомогою руху верхньою частиною тіла та/або головою слухача.

У деяких варіантах здійснення інформація про положення може містити указання відстані від звукового об'єкта до номінального положення прослуховування.

У деяких варіантах здійснення інформація про орієнтацію слухача може містити інформацію про рискання, тангаж і крен голови слухача.

У деяких варіантах здійснення інформація про зміщення слухача може містити інформацію про зміщення голови слухача з номінального положення прослуховування, виражену в декартових координатах або сферичних координатах.

У деяких варіантах здійснення апарат може додатково містити обладнання, придатне для носіння, та/або стаціонарне обладнання для виявлення орієнтації голови слухача. У деяких варіантах здійснення апарат може додатково містити обладнання, придатне для носіння, та/або стаціонарне обладнання для виявлення зміщення голови слухача з номінального положення прослуховування.

У деяких варіантах здійснення процесор може бути додатково пристосований для виконання рендерингу звукового об'єкта на одному або більше реальних або віртуальних динаміках відповідно до додатково модифікованого положення об'єкта.

У деяких варіантах здійснення процесор може бути пристосований для виконання рендерингу з урахуванням акустичного поглинання для невеликих відстаней від звукового об'єкта до голови слухача на основі НЕКТЕ для голови слухача.

У деяких варіантах здійснення процесор може бути пристосований для регулювання додатково модифікованого положення об'єкта для формату введення, що використовується модулем рендерингу МРЕС-Н ЗО Айцаїйо. У деяких варіантах здійснення рендеринг можуть бо виконувати з використанням модуля рендерингу МРЕС-Н ЗО Ацдіо. Тобто, процесор може реалізовувати модуль рендерингу МРЕС-Н 30 Апцаїйо. У деяких варіантах здійснення процесор може бути пристосований для реалізації декодера МРЕС-Н 30 Айцайо. У деяких варіантах здійснення процесор може бути пристосований для реалізації блока зміщення сцени декодера

МРЕС-Н 30 Ацаїо.

Згідно з іншим аспектом даного винаходу описаний додатковий апарат для обробки інформації про положення, яка вказує положення об'єкта для звукового об'єкта. Положення об'єкта може бути використане для рендерингу звукового об'єкта. Апарат може містити процесор і запам'ятовувальний пристрій, з'єднаний з процесором. Процесор може бути пристосований для отримання інформації про зміщення слухача, яка вказує на зміщення голови слухача. Процесор може бути додатково пристосований для визначення положення об'єкта з інформації про положення. Процесор може бути додатково пристосований для модифікації положення об'єкта на основі інформації про зміщення слухача за допомогою застосування поступального переміщення до положення об'єкта.

У деяких варіантах здійснення процесор може бути пристосований для модифікації положення об'єкта на основі інформації про зміщення слухача таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення відносно номінального положення прослуховування незалежно від зміщення голови слухача з номінального положення прослуховування.

У деяких варіантах здійснення процесор може бути пристосований для модифікації положення об'єкта на основі інформації про зміщення слухача за допомогою поступального переміщення положення об'єкта з використанням вектора, який позитивно корелює з амплітудою і негативно корелює з напрямком вектора зміщення голови слухача з номінального положення прослуховування.

Згідно з іншим аспектом даного винаходу описаний додатковий апарат для обробки інформації про положення, яка вказує на положення об'єкта для звукового об'єкта. Положення об'єкта може бути використане для рендерингу звукового об'єкта. Апарат може містити процесор і запам'ятовувальний пристрій, з'єднаний з процесором. Процесор може бути пристосований для отримання інформації про орієнтацію слухача, яка вказує на орієнтацію голови слухача. Процесор може бути додатково пристосований для визначення положення об'єкта з інформації про положення. Процесор може бути також додатково пристосований для модифікації положення об'єкта на основі інформації про орієнтацію слухача, наприклад, за допомогою застосування поворотного перетворення до модифікованого положення об'єкта (наприклад, поворот відносно голови слухача або номінального положення прослуховування).

У деяких варіантах здійснення процесор може бути пристосований для модифікації положення об'єкта на основі інформації про орієнтацію слухача таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення, відносно номінального положення прослуховування незалежно від орієнтації голови слухача відносно номінальної орієнтації.

Згідно з ще одним аспектом описана система. Система може містити апарат згідно з будь- яким з вищенаведених аспектів і обладнання, придатне для носіння, та/або стаціонарне обладнання, здатне виявити орієнтацію голови слухача і виявити зміщення голови слухача.

Слід розуміти, що етапи способу і характерні ознаки апарата можна взаємно заміняти різними способами. Зокрема, деталі розкритого способу можуть бути реалізовані у вигляді апарату, пристосованого для виконання деяких або всіх етапів способу, і навпаки, як буде зрозуміло фахівцю. Зокрема, слід розуміти, що апарат згідно з даним винаходом може відноситись до апарату для реалізації або здійснення способів згідно з вищенаведеними варіантами здійснення та їхніми варіаціями, і що відповідні твердження, зроблені відносно способів, аналогічним образом застосовуються для відповідного апарата. Подібним чином, слід розуміти, що способи згідно з даним винаходом можуть відноситись до способів роботи з апаратом згідно з вищенаведеними варіантами здійснення та їхніми варіаціями і що відповідні твердження, зроблені відносно апарата, аналогічним чином застосовуються для відповідних способів.

Стислий опис фігур

Нижче винахід пояснюється ілюстративним чином із посиланням на супровідні графічні матеріали, на яких: на фіг. 1 схематично показаний приклад системи МРЕС-Н 30 Ацаїо; на фіг. 2 схематично показаний приклад системи МРЕС-Н 30 Ацаїйо згідно з цим винаходом; бо на фіг. З схематично показаний приклад системи рендерингу звуку згідно з цим винаходом;

на фіг. 4 схематично показана наведена як приклад система осей декартових координат і їхнє відношення до сферичних координат; і на фіг 5 показана блок-схема, яка схематично ілюструє приклад способу обробки інформації про положення для звукового об'єкта згідно з цим винаходом.

Докладний опис винаходу

У контексті даного документа ЗООЕ зазвичай є системою, яка може правильно обробляти рух голови користувача, зокрема поворот голови, який характеризується трьома параметрами (наприклад, рискання, тангаж, крен). Такі системи часто доступні в різних ігрових системах, таких як системи віртуальної реальності (МК) / доповненої реальності (АК) / змішаної реальності (Міхеа Кеаїйу, МЕ), або в інших звукових середовищах такого типу.

У контексті даного документа користувача (наприклад, декодера звуку або системи відтворення, яка містить декодер звуку) можуть також називати "слухачем".

У контексті даного документа ЗОобж- повинно означати, що на додаток до руху голови користувача, який може бути правильно оброблений за допомогою системи ЗбОЕ, також повинні бути оброблені поступальні рухи.

У контексті даного документа вираз "невеликий" повинен вказувати, що рухи обмежені пороговим значенням, яке, як правило, становить 0,5 метра. Це означає, що рухи не перевищують 0,5 метра від початкового положення голови користувача. Наприклад, рухи користувача обмежені внаслідок того, що він сидить на стільці.

У контексті даного документа термін "МРЕС-Н ЗО Апйаіо" відноситься до технічного опису, вказаного в стандарті ІЗОЛЕС 23008-3 та/або в будь-яких майбутніх редакціях, виданнях або інших версіях стандарту ІБОЛЕС 23008-3.

В контексті стандартів звуку, наданих організацією МРЕС, різниця між ЗОоОЕ і ЗОог- може бути визначена наступним чином: - ЗроОг: дозволяє користувачу відчувати рух рискання, тангажу, крену (наприклад, голови користувача); - Збобж-: дозволяє користувачу відчувати рух рискання, тангажу, крену і обмежений поступальний рух (наприклад, голови користувача), наприклад, під час сидіння в кріслі.

Обмежені (невеликі) поступальні рухи голови можуть являти собою рухи, обмежені конкретним радіусом руху. Наприклад, рухи можуть бути обмежені внаслідок сидячого положення користувача, наприклад, без використання нижньої частини тіла. Невеликі поступальні рухи голови можуть відноситись або відповідати зміщенню голови користувача відносно номінального положення прослуховування. Номінальне положення прослуховування (або номінальне положення слухача) може являти собою положення за замовчуванням (таке як, наприклад, задане положення, очікуване положення для голови слухача або зона найкращого сприйняття при розташуванні динаміків).

Сприйняття Због-- можна порівняти з обмеженим сприйняттям 60ОЕ, при якому поступальні рухи можуть бути описані як обмежені або невеликі рухи головою. В одному прикладі також виконують рендеринг звуку на основі положення і орієнтації голови користувача, включаючи можливе акустичне поглинання. Рендеринг може бути виконаний з урахуванням акустичного поглинання для невеликих відстаней від звукового об'єкта до голови слухача, наприклад, на основі функцій моделювання сприйняття звуку (НКТЕ) для голови слухача.

Відносно способів, систем, апаратів та інших пристроїв, сумісних з функціональними можливостями, встановленими за допомогою стандарту МРЕС-Н 30 Апаїйо, які можуть означати, що ЗбоЕ- підтримується для будь-якої майбутньої версії (версій) стандартів МРЕС, таких як майбутні версії всеспрямованого мультимедійного формату (наприклад, стандартизованого в майбутніх версіях МРЕС-Ї), та/або в будь-яких оновленнях для МРЕО-Н

Ацаїо (наприклад, редакціях або більш нових стандартах на основі стандарту МРЕС-Н 30

Ацаїйо), або будь-яких пов'язаних або опорних стандартах, які можуть потребувати оновлення (наприклад, стандарти, в яких уточнюють конкретні типи метаданих і повідомлень 5ЕЇ).

Наприклад, функціональність модуля рендерингу звуку, який є нормативним для стандарту звуку, встановленого в описі МРЕС-Н 30 Айцаїйо, може бути розширена, щоб включати рендеринг звукової сцени для точного врахування взаємодії користувача зі звуковою сценою, наприклад, коли користувач рухає своєю головою трохи в сторони.

Цей винахід надає різні технічні переваги, включаючи перевагу надання МРЕС-Н 30 Апцайо, здатного обробляти варіанти використання ЗОоЕж. У цьому винаході розширюють стандарт

МРЕС-Н 30 Айцаїйо для підтримки функціональних можливостей ЗОбогк.

Для підтримки функціональних можливостей ЗЮоЕя- система рендерингу звуку повинна враховувати обмежені/невеликі зміщення положення голови користувача/слухача. Зміщення 60 положення повинні визначати на основі відносного відхилення від початкового положення

(тобто положення за замовчуванням / номінального положення прослуховування). В одному прикладі амплітуда цього відхилення (наприклад, відхилення радіуса, яке може бути визначене на основі Гонсе-||Ро-Р||), де Ро являє собою номінальне положення прослуховування, а Р: являє собою зміщене положення голови слухача) максимально становить приблизно 0,5 м. В іншому прикладі амплітуда відхилення обмежена тим, що являє собою відхилення, отримуване лише тоді, коли користувач сидить на стільці і не виконує рухи нижньою частиною тіла (однак його голова рухається відносно його тіла). Ця (невелика) відстань відхилення забезпечує дуже невеликий (що сприймається) рівень і різницю панорамування для віддалених звукових об'єктів.

Однак для близьких об'єктів така невелика відстань відхилення може стати значущою для сприйняття. Звичайно, рух голови слухача може чинити вплив на сприйняття того, де знаходиться точна локалізація звукового об'єкта. Цей ефект сприйняття може залишатися важливим (тобто бути помітним для сприйняття користувача/слухача) за умови, що відношення між () зміщенням голови користувача (наприклад, Гонзе-||Ро-Р:|Ї)) Її відстанню до звукового об'єкта (наприклад, г) тригонометрично забезпечує кути, які знаходяться в діапазоні психоакустичної здатності користувачів виявляти напрямок звуку. Такий діапазон може змінюватися для різних налаштувань модуля рендерингу звуку, звукового матеріалу і конфігурації програвання. Наприклад, припускаючи, що діапазон точності локалізації становить, наприклад, ж/-37 зі свободою руху голови слухача зі сторони в сторону я/-0,25 м, це буде відповідати «-5 м відстані до об'єкта.

Для об'єктів, які розташовані поблизу слухача, (наприклад, об'єктів на відстані менше 1 м від користувача), належна обробка зміщення положення голови слухача є важливою для сценаріїв зро, оскільки як під час панорамування, так і під час змін рівня присутні значні ефекти сприйняття.

Одним прикладом обробки об'єктів поблизу слухачів, наприклад, є випадок, коли звуковий об'єкт (наприклад, комар) розташований дуже близько до обличчя слухача. Звукова система, така як звукова система, що забезпечує можливості МА/АК/МЕ, повинна дозволяти користувачу сприймати цей звуковий об'єкт з усіх боків і під усіма кутами, навіть коли користувач виконує невеликі поступальні рухи головою. Наприклад, користувач повинен мати можливість точно сприймати об'єкт (наприклад, комара), навіть коли користувач переміщує свою голову, не рухаючи нижньою частиною тіла.

Однак система, сумісна з поточною версією МРЕС-Н ЗО Ацаїйо, не може в даний час це коректно обробляти. Замість цього, застосування системи, сумісної із системою МРЕС-Н 30

Ацаїйо, призводить до сприйняття "комара" з невірного положення відносно користувача. В сценаріях, які включають виконання ЗОбоОЕ-, невеликі поступальні рухи повинні призводити до значної різниці у сприйнятті звукового об'єкта (наприклад, під час руху головою вліво звуковий об'єкт "комар" повинен сприйматися з правої сторони відносно голови користувача тощо).

Стандарт МРЕС-Н 30 Айцаїйо містить синтаксис бітового потоку, який забезпечує передачу інформації про відстань до об'єкта за допомогою синтаксису бітового потоку, наприклад, за допомогою елемента синтаксису оБіесі теїадага(д (починаючи з 0,5 м).

Елемент синтаксису ргоаМеїадагасСопід(О) може бути введений у бітовий потік, наданий стандартом МРЕС-Н 30 Айцай, який може бути використаний для сповіщення, що об'єкт знаходиться на дуже близьких відстанях від слухача. Наприклад, синтаксис ргоаМеїадагасСопідоО) може сповіщувати, що відстань між користувачем і об'єктом становить менше конкретної порогової відстані (наприклад, менше 1 см).

На фіг. 1 ії фіг. 2 показано цей винахід на основі рендерингу в навушниках (тобто, коли динаміки рухаються разом з головою слухача).

На фіг. 1 показаний приклад поведінки 100 системи, яка сумісна з системою МРЕС-Н 30

Ацаїо. У цьому прикладі припускають, що голова слухача розташована в положенні Ро 103 в момент Її і переміщується в положення Рі 104 в момент її » їю. Пунктирні кола навколо положень РО і РІ вказують допустиму ділянка руху ЗОоЕ- (наприклад, з радіусом 0,5 м).

Положення А 101 указує передане положення об'єкта (в момент їо і момент її, тобто припускають, що передане положення об'єкта є постійним протягом деякого часу). Положення А також указує положення об'єкта, рендеринг якого виконують за допомогою модуля рендерингу

МРЕС-Н ЗО Айцаїйо в момент іо. Положення В 102 указує положення об'єкта, рендеринг якого виконують за допомогою МРЕС-Н 30 Ацайо в момент їх. Вертикальні лінії, що проходять уверх від положень Ро їі Рі, вказують відповідні орієнтації (наприклад, напрямки огляду) голови слухача в моменти йо і їх. Зміщення голови користувача між положенням Ро і положенням Рі може бути представлене за допомогою Гокзеє-||Ро-Р:|| 106. Якщо слухач знаходиться в положенні за замовчуванням (номінальне положення прослуховування) Ро 103 в момент юю, він буде бо сприймати звуковий об'єкт (наприклад, комара) у коректному положенні А 101. Якщо користувач переміститься в положення Рі 104 в момент її, він буде сприймати звуковий об'єкт в положенні

В 102, якщо обробку МРЕС-Н 30 Айцадіо застосовують як поточний стандарт, що вводить показану помилку блв 105. Тобто, незважаючи на рух голови слухача, звуковий об'єкт (наприклад, комар) все ще буде сприйматися як розташований безпосередньо перед головою слухача (тобто як по суті такий, що переміщується разом з головою слухача). Слід зазначити, що введена помилка бдв 105 виникає незалежно від орієнтації голови слухача.

На фіг. 2 показаний приклад поведінки системи відносно системи 200 МРЕС-Н ЗО Ацаїйо згідно з цим винаходом. На фіг. 2 голова слухача знаходиться в положенні Ро 203 в момент о і переміщується в положення Рі 204 в момент ї: » їю. Знов таки, пунктирні кола навколо положень

Ро і Рі вказують допустиму ділянку руху ЗОог- (наприклад, з радіусом 0,5 м). В пункті 201 показано, що положення А-В, що означає, що передане положення об'єкта (в момент іо і момент її, тобто припускають, що передане положення об'єкта) є постійним протягом деякого часу. Положення А-В 201 також указує положення об'єкта, рендеринг якого виконують за допомогою МРЕС-Н ЗО Айцаїйо в момент іо і момент ії. Вертикальні стрілки, що проходять уверх від положень Ро 203 і Р; 204, вказують відповідні орієнтації (наприклад, напрямки огляду) голови слухача в моменти іо і її. Якщо слухач знаходиться в початковому положенні / положенні за замовчуванням (номінальне положення прослуховування) Ро 203 в момент іо, він буде сприймати звуковий об'єкт (наприклад, комара) в коректному положенні А 201. Якщо користувач переміститься в положення Рі 203 в момент її, він все ще буде сприймати звуковий об'єкт в положенні В 201, яке подібне (наприклад, по суті збігається 3) положенню А 201 згідно з цим винаходом. Таким чином, цей винахід забезпечує зміну положення користувача з плином часу (наприклад, з положення Ро 203 в положення Рі 204), в той самий час забезпечуючи сприйняття звуку з тієї самої (просторово зафіксованої) локації (наприклад, положення А-В 201 тощо).

Інакше кажучи, звуковий об'єкт (наприклад, комар) рухається відносно голови слухача відповідно до переміщення (наприклад, негативно корелюючи 3) голови слухача. Це дозволяє користувачу рухатись навколо звукового об'єкта (наприклад, комара) і сприймати звуковий об'єкт під різними кутами або навіть з різних боків. Зміщення голови користувача між положенням Ро і положенням Рі може бути представлене як Гонзеє-||Ро-Р|| 206.

На фіг. З показаний приклад системи 300 рендерингу звуку згідно з цим винаходом. Система 300 рендерингу звуку може відповідати або містити декодер, такий як, наприклад, декодер

МРЕС-Н 30 ацйадіо. Система 300 рендерингу звуку може містити блок 310 зміщення звукової сцени з відповідним інтерфейсом обробки зміщення звукової сцени (наприклад, інтерфейсом для даних зміщення сцени згідно зі стандартом МРЕС-Н 30 Апцайо). Блок 310 зміщення звукової сцени може виводити положення 321 об'єкта для рендерингу відповідних звукових об'єктів.

Наприклад, блок зміщення сцени може виводити метадані положення об'єкта для рендерингу відповідних звукових об'єктів.

Система 300 рендерингу звуку може додатково містити модуль 320 рендерингу звукового об'єкта. Наприклад, модуль рендерингу може складатися з апаратного забезпечення, програмного забезпечення та/або будь-якої часткової або повної обробки, виконаної за допомогою хмарних обчислень, включаючи різні сервіси, такі як платформи розробки програмного забезпечення, сервери, сховища і програмне забезпечення, через інтернет, що часто називаються "хмарою", які сумісні з описом, встановленим стандартом МРЕО-Н 30 Ацайїо.

Модуль 320 рендерингу звукового об'єкта може виконувати рендеринг звукових об'єктів для одного або більше (реальних або віртуальних) динаміків відповідно до відповідних положень об'єкта (ці положення об'єкта можуть бути модифікованими або додатково модифікованими положеннями об'єкта, описаними нижче). Модуль 320 рендерингу звукового об'єкта може виконувати рендеринг звукових об'єктів для навушників та/або гучномовців. Тобто, модуль 320 рендерингу звукового об'єкта може генерувати форми хвилі об'єкта згідно із заданим форматом відтворення. З цією метою модуль 320 рендерингу звукового об'єкта може використовувати стиснуті метадані об'єкта. Рендеринг кожного об'єкта може бути виконаний для конкретних вихідних каналів відповідно до його положення об'єкта (наприклад, модифікованим положенням об'єкта або додатково модифікованим положенням об'єкта). Отже, положення об'єкта також можуть називатися положеннями каналу їхніх звукових об'єктів. Положення 321 звукового об'єкта можуть бути включені у вихідну інформацію метаданих положення об'єкта або метаданих зміщення сцени за допомогою блока 310 зміщення сцени.

Обробка згідно з цим винаходом може бути сумісна зі стандартом МРЕС-Н 30 Ацаїйо. Таким чином, вона може бути виконана за допомогою декодера МРЕС-Н 30 Апцайо або, більш конкретно, за допомогою блока зміщення сцени МРЕС-Н та/або модуля рендерингу МРЕС-Н 30

Ацаїйо. Відповідно, система 300 рендерингу звуку за фіг. З може відповідати або містити декодер 60 МРЕС-Н 30 Айаіо (тобто декодер, сумісний з описом, встановленим стандартом МРЕС-Н 30

Ацаіїо). В одному прикладі система 300 рендерингу звуку може являти собою апарат, який містить процесор і запам'ятовувальний пристрій, з'єднаний з процесором, при цьому процесор адаптований для реалізації декодера МРЕС-Н 30 Апцаїо. Зокрема, процесор може бути пристосований для реалізації блока зміщення сцени МРЕС-Н та/або модуля рендерингу МРЕС-

Н 30 Айаїйо. Таким чином, процесор може бути пристосований для виконання етапів обробки, описаних у цьому винаході (наприклад, етапи 5510-5560 способу 500, описаного з посиланням на фіг. 5). В іншому прикладі, система обробки або система 300 рендерингу звуку може бути виконана у хмарі.

Система 300 рендерингу звуку може отримувати (наприклад, приймати) дані 301 локації прослуховування. Система 300 рендерингу звуку може отримувати дані 301 локації прослуховування за допомогою вхідного інтерфейсу декодера МРЕС-Н 30 Ацайїо.

Дані 301 локації прослуховування можуть указувати на орієнтацію та/або положення (наприклад, зміщення) голови слухача. Таким чином, дані 301 локації прослуховування (які також можуть називати інформацією про позицію) можуть містити інформацію про орієнтацію слухача та/або інформацію про зміщення слухача.

Інформація про зміщення слухача може вказувати на зміщення голови слухача (наприклад, з номінального положення прослуховування). Інформація про зміщення слухача може відповідати або містити указання амплітуди зміщення голови слухача з номінального положення прослуховування, Гонее--||Ро-Ря|| 206, як показано на фіг. 2. В контексті цього винаходу інформація про зміщення слухача указує невелике зміщення положення голови слухача з номінального положення прослуховування. Наприклад, абсолютне значення зміщення може становити не більше 0,5 м. Як правило, це являє собою зміщення голови слухача з номінального положення прослуховування, яке може бути досягнуте за допомогою руху верхньою частиною тіла та/або головою слухача. Тобто, слухач може здійснити зміщення без руху нижньою частиною тіла. Наприклад, зміщення голови слухача може бути здійснене, коли слухач сидить на стільці, як вказано вище. Зміщення може бути виражене за допомогою різних систем координат, таких як, наприклад, декартові координати (наприклад, у рамках х, у, 7) або сферичні координати (наприклад, в рамках азимута, кута підйому, радіуса). Альтернативні системи координат для вираження зміщення голови слухача також можливі і, як слід розуміти, охоплені цим винаходом.

Інформація про орієнтацію слухача може вказувати на орієнтацію голови слухача (наприклад, орієнтацію голови слухача відносно номінальної орієнтації/початкової орієнтації голови слухача). Наприклад, інформація про орієнтацію слухача може містити інформацію про рискання, тангаж і крен голови слухача. У даному документі рискання, тангаж і крен можуть бути задані відносно номінальної орієнтації.

Дані 301 локації прослуховування можуть безперервно збирати з приймача, який може надавати інформацію відносно поступальних рухів користувача. Наприклад, дані 301 локації прослуховування, які використовуються в конкретному випадку у часі, могли бути нещодавно зібрані з приймача. Дані локації прослуховування можуть бути отримані/зібрані/згенеровані на основі інформації від датчиків. Наприклад, дані 301 локації прослуховування можуть бути отримані/зібрані/згенеровані за допомогою обладнання, придатного для носіння, та/або стаціонарного обладнання, яке має придатні датчики. Тобто орієнтація голови слухача може бути виявлена за допомогою обладнання, придатного для носіння, та/або стаціонарного обладнання. Подібним чином, зміщення голови слухача (наприклад, з номінального положення прослуховування) може бути виявлено за допомогою обладнання, придатного для носіння, та/або стаціонарного обладнання. Обладнання, придатне для носіння, може являти собою, відповідати та/або включати, наприклад, гарнітуру (наприклад, гарнітуру АКЛ/К). Стаціонарне обладнання може являти собою, відповідати та/або містити, наприклад, датчики-камери.

Стаціонарне обладнання може бути вбудоване, наприклад, у телевізор або телевізійну приставку. У деяких варіантах здійснення дані 301 локації прослуховування можуть бути прийняті від звукового кодера (наприклад, МРЕС-Н ЗО Апцайо-сумісного кодера), який міг отримати (наприклад, прийняти) інформацію від датчиків.

В одному прикладі обладнання, придатне для носіння, та/або стаціонарне обладнання для виявлення даних 301 локації прослуховування можуть називати відстежувальними пристроями які підтримують оцінку/виявлення положення голови та/або оцінку/виявлення орієнтації голови.

Існують різні рішення, які дозволяють точне відстежування рухів голови користувача з використанням камер комп'ютера або смартфона (наприклад, на основі розпізнавання і відстежування обличчя "РасеТгаскМої!к", "орепігаск"). Також декілька систем віртуальної реальності для наголовного дисплея (Неад-Моипієй Оізріау, НМО) (наприклад, НТС МІМЕ, бо Осши5 Кі) мають вбудовану технологію відстеження положення голови користувача. Будь-яке з цих рішень може бути використане в контексті цього винаходу.

Також важливо зазначити, що відстань зміщення голови в реальних умах не повинна відповідати один до одного зміщенню, вказаному даними 301 локації прослуховування. Для досягнення гіперреалістичного ефекту (наприклад, надто посиленого паралакс-ефекту руху користувача) у конкретних застосуваннях можуть використовувати різні налаштування калібрування датчиків або задавати різні відображення між рухом у реальному і віртуальному просторах. Отже, можна очікувати, що невеликий фізичний рух призведе до більшого зміщення у віртуальній реальності у деяких випадках використання. У будь-якому випадку, можна сказати, що амплітуди зміщення в реальних умовах і у віртуальній реальності (тобто зміщення, указане даними 301 локації прослуховування) позитивно корелюють. Подібним чином, напрямки зміщення в реальних умовах і у віртуальній реальності позитивно корелюють.

Система 300 рендерингу звуку може додатково приймати (об'єкту інформацію 302 про положення (наприклад, дані про положення об'єкта) і звукові дані 322. Звукові дані 322 можуть містити один або більше звукових об'єктів. Інформація 302 про положення може являти собою частину метаданих для звукових даних 322. Інформація 302 про положення може вказувати на відповідні положення об'єкта для одного або більше звукових об'єктів. Наприклад, інформація 302 про положення може містити указання відстані до відповідних звукових об'єктів відносно номінального положення прослуховування користувача/слухача. Відстань (радіус) може становити менше 0,5 м. Наприклад, відстань може становити менше 1 см. Якщо інформація 302 про положення не містить указання відстані від заданого звукового об'єкта до номінального положення прослуховування, система рендерингу звуку може встановлювати відстань від цього звукового об'єкта до номінального положення прослуховування на значення за замовчуванням (наприклад, 1 м). Інформація 302 про положення може додатково містити указання кута підйому та/або азимута відповідних звукових об'єктів.

Кожне положення об'єкта може використане для рендерингу його відповідного звукового об'єкта. Відповідно, інформація 302 про положення і звукові дані 322 можуть міститися в звуковому вмісті на основі об'єктів або утворювати його. Звуковий вміст (наприклад, звукові об'єкти/звукові дані 322 разом з інформацією 302 про їхнє положення) може бути переданий в кодованому звуковому бітовому потоці. Наприклад, звуковий вміст може знаходитись у форматі бітового потоку, прийнятого за допомогою передачі по мережі. В цьому випадку, як визначено, система рендерингу звуку може приймати звуковий вміст (наприклад, з кодованого звукового бітового потоку).

В одному прикладі цього винаходу параметри метаданих можуть бути використані для виправлення обробки варіантів використання з обернено сумісним покращенням для З0ОБЕ і

ЗБог. Метадані можуть містити інформацію про зміщення слухача на додаток до інформації про орієнтацію слухача. Такі параметри метаданих можуть бути використані системами, показаними на фіг. 2 і 3, а також будь-якими іншими варіантами здійснення цього винаходу.

Обернено сумісне покращення може забезпечити коректування обробки варіантів використання (наприклад, реалізацій цього винаходу) на основі нормативного інтерфейсу зміщення сцени МРЕС-Н ЗО Аєцаїйо. Це означає, що застарілий декодер/модуль рендерингу

МРЕС-Н 30 Ає!йайо все ще буде забезпечувати виведення, нехай навіть некоректне. Однак покращений декодер/модуль рендерингу МРЕС-Н 30 Айцаїйо згідно з цим винаходом буде коректно застосовувати дані розширення (наприклад, метадані розширення) і обробку, і, отже, може керувати сценарієм об'єктів, розташованих поблизу слухача, коректним чином.

В одному прикладі цей винахід відноситься до надання даних для невеликих поступальних рухів голови користувача у форматах, які відрізняються від тих, що зазначені нижче, і формули можуть бути адаптовані відповідним чином. Наприклад, дані можуть бути наведені у форматі, такому як координати х, у, 7 («у системі декартових координат) замість азимута, кута підйому і радіуса (в системі сферичних координат). Приклад цих систем координат відносно одна одної показаний на фіг. 4.

В одному прикладі, цей винахід відноситься до надання метаданих (наприклад, інформація про зміщення слухача включена в дані 301 локації прослуховування, показані на фіг. 3) для введення поступального руху голови слухача. Метадані можуть бути використані, наприклад, для інтерфейсу для даних зміщення сцени. Метадані (наприклад, інформація про зміщення слухача) можуть бути отримані за допомогою використання відстежувального пристрою, який підтримує відстежування ЗОбог-- або бок.

В одному прикладі метадані (наприклад, інформація про зміщення слухача, зокрема зміщення голови слухача, або, еквівалентно, зміщення сцени) можуть бути представлені за допомогою наступних трьох параметрів: за агітшй, 54 еїемайоп і 54 гадісив, які відносяться до бо азимута, кута підйому і радіуса (сферичні координати) зміщення голови слухача (або зміщення сцени).

Синтаксис для цих параметрів представлений в наступній таблиці.

Таблиця 264р синтаксис тредпЗааРозййопа!Єсепебізріасетепіба!ад) отреопЗдаРозійопаіЗсепеОівріасетепідавдї //-/:/ 17777711 Її пнннннІ"нНІІЯХЙЬООІЬОООИХОВВІМИТВОЛООООООЛВОВОВОВОВОВОВОВОВОВОЛВОЛВОВОВОВЛВЛОВЛОВЛВЛВОВОВОТВОВИЬО СВО ОЛОВО ва алітий; ///77777111111111111111111111111111111111111111111111178 1111 Оітво ва ервемайоп;ї ///77777777111111111111111111111111111111111111111111611111 | Оітво нннн"""?фииинининининннишиннн шини за алітшй це поле означає положення азимута зміщення сцени. Це поле може мати значення від -180 до 180. а? онвес - (54 агітий-128) 1,5 а? онвеє-тіп(тах(а? онзеї, -180), 180) 5а еїІемайоп це поле означає положення кута підйому зміщення сцени. Це поле може мати значення від -90 до 90.

ЄЇ онсеі - (50. еіІемайоп-32) 3,0

ОЇ онвеї - тіп(тах(еї онвеї, -90), 90) за гадіи5 це поле означає радіус зміщення сцени. Це поле може мати значення від 0,015626 до 0,25.

Г ойве - (50 гадіиб--1) /16

В іншому прикладі метадані (наприклад, інформація про зміщення слухача) можуть бути представлені наступними трьома параметрами 54 х, за у і 50 72 в декартових координатах, завдяки чому знизиться обробка даних зі сферичних координат до декартових координат.

Метадані можуть базуватися на наступному синтаксисі: отреопЗдаРозійопаіЗсепеОівріасетепірайаталєдї Її Ї1111111 пнннннІ"фннІЇВВОООВОВОВОВИІАЦЕЗ8ВВВМТИІВІВІВОВВВЛВЛВЛВЛВЛВЛВЛВЛОВОВОТВОТВОВО ШИЯ вах 111111111111111111111111111111111111716 1 шітв ву 11111111111111111111111171111111716 11 цтво вай: 1111111111111111111111111111171111111716 1 цтво нннн"""?фииинининининннишиннн шини

Як описано вище, вищенаведений синтаксис або еквіваленти цього синтаксису можуть сигнально передавати інформацію, яка відноситься до поворотів навколо осі х, у, 7.

В одному прикладі цього винаходу обробка кутів зміщення сцени для каналів і об'єктів може бути покращена завдяки розширенню рівнянь, які враховують зміни положення голови користувача. Тобто, під час обробки положень об'єкта можуть враховувати (наприклад, можуть базуватися, щонайменше частково) інформацію про зміщення слухача.

Приклад способу 500 обробки інформації про положення, яка вказує на положення об'єкта для звукового об'єкта, продемонстрований на блок-схемі на фіг. 5. Цей спосіб може бути виконаний за допомогою декодера, такого як декодер МРЕС-Н 30 ацйаіо. Система 300 рендерингу звуку за фіг. З може виступати як приклад такого декодера.

На першому етапі (не показаний на фіг. 5) приймають звуковий вміст, який включає звуковий об'єкт і відповідну інформацію про положення, наприклад, з бітового потоку кодованого звуку.

Потім спосіб може додатково включати декодування кодованого звукового вмісту для отримання звукового об'єкта і інформації про положення.

На етапі 5510 отримують (наприклад, приймають) інформацію про орієнтацію слухача.

Інформація про орієнтацію слухача може вказувати на орієнтацію голови слухача.

На етапі 5520 отримують (наприклад, приймають) інформацію про зміщення слухача.

Інформація про зміщення слухача може вказувати на зміщення голови слухача.

На етапі 5530 визначають положення об'єкта з інформації про положення. Наприклад, положення об'єкта (наприклад, в рамках азимута, кута підйому, радіуса або х, у, 7 або їхніх еквівалентів) можуть добути з інформації про положення. Визначення положення об'єкта також може базуватися, щонайменше частково, на інформації відносно геометрії розташування динаміків одного або більше (реальних або віртуальних) динаміків у середовищі прослуховування. Якщо радіус не включений в інформацію про положення для цього звукового об'єкта, декодер може встановлювати значення радіуса за замовчуванням (наприклад, 1 м). У деяких варіантах здійснення значення за замовчуванням може залежати від геометрії розташування динаміків.

Слід зазначити, що етапи 5510, 5520 і 5520 можуть бути виконані в будь-якому порядку.

На етапі 5540 положення об'єкта, визначене на етапі 5530, модифікують на основі інформації про зміщення слухача. Це можуть виконувати за допомогою застосування поступального переміщення до положення об'єкта відповідно до інформації про зміщення (наприклад, відповідно до зміщення голови слухача). Таким чином, як визначено, модифікацію положення об'єкта можуть відносити до коректування положення об'єкта для зміщення голови слухача (наприклад, зміщення з номінального положення прослуховування). Зокрема, модифікація положення об'єкта на основі інформації про зміщення слухача може бути виконана за допомогою поступального переміщення положення об'єкта з використанням вектора, який позитивно корелює з амплітудою і негативно корелює з напрямком вектора зміщення голови слухача з номінального положення прослуховування. Приклад такого поступального переміщення схематично проілюстрований на фіг. 2.

На етапі 5550 модифіковане положення об'єкта, отримане на етапі 5540, додатково модифікують на основі інформації про орієнтацію слухача. Наприклад, це можуть здійснювати за допомогою застосування поворотного перетворення до модифікованого положення об'єкта відповідно до інформації про орієнтацію слухача. Цей поворот може являти собою, наприклад, поворот відносно голови слухача або номінального положення прослуховування. Поворотне перетворення може бути виконане за допомогою алгоритму зміщення сцени.

Як зазначено вище, компенсацію відхилення користувача (тобто модифікацію положення об'єкта на основі інформації про зміщення слухача) приймають до уваги під час застосування поворотного перетворення. Наприклад, застосування поворотного перетворення може включати: - обчислення матриці поворотного перетворення (на основі орієнтації користувача, наприклад, інформації про орієнтацію слухача); - конвертування положення об'єкта зі сферичних в декартові координати; - застосування поворотного перетворення до звукових об'єктів, що компенсують відхилення положення користувача (тобто до модифікованого положення об'єкта); і - конвертування положення об'єкта після поворотного перетворення назад з декартових в сферичні координати.

На наступному етапі 5560 (не показаний на фіг. 5) спосіб 500 може включати рендеринг звукового об'єкта на одному або більше реальних або віртуальних динаміках відповідно до додатково модифікованого положення об'єкта. З цією метою додатково модифіковане положення об'єкта можуть відрегулювати для формату введення, що використовується модулем рендерингу МРЕС-Н 30 Ацаїйо (наприклад, модулем 320 рендерингу звукового об'єкта, описаним вище). Вищезгадані один або більше (реальних або віртуальних) динаміків можуть являти собою, наприклад, частину гарнітури або можуть являти собою частину композиції динаміків (наприклад, композиції динаміків 2.1, композиції динаміків 5.1, композиції динаміків 7.1 тощо). У деяких варіантах здійснення рендеринг звукового об'єкта можуть виконувати, наприклад, для лівого і правого динаміків гарнітури.

Мета етапів 5540 і 5550, описаних вище, полягає в наступному. А саме, модифікацію положення об'єкта і додаткову модифікацію модифікованого положення об'єкта виконують таким чином, що звуковий об'єкт після рендерингу на одному або більше (реальних або віртуальних) динаміках відповідно до додатково модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення відносно номінального положення прослуховування. Це фіксоване положення звукового об'єкта повинно психоакустично сприйматися незалежно від зміщення голови слухача з номінального положення прослуховування і незалежно від орієнтації голови слухача відносно номінальної орієнтації. Інакше кажучи, звуковий об'єкт можуть сприймати як такий, що переміщується (поступально) відносно голови слухача, коли голова слухача виконує зміщення з номінального положення прослуховування. Подібнім образом, звуковий об'єкт можуть сприймати як такий що переміщується (повертається) відносно голови слухача, коли голова слухача виконує зміну орієнтації з номінальної орієнтації. Таким чином, слухач може сприймати близький звуковий об'єкт під різними кутами і з різних відстаней за допомогою руху його голови. бо Модифікацію положення об'єкта і додаткову модифікацію модифікованого положення об'єкта на етапах 5540 і 5550 відповідно можуть виконувати в контексті (поворотного/поступального) зміщення звукової сцени, наприклад, за допомогою блока 310 зміщення звукової сцени, описаного вище.

Слід зазначити, що конкретні етапи можуть бути пропущені залежно від даного певного випадку використання. Наприклад, якщо дані 301 локації прослуховування містять лише інформацію про зміщення слухача (але не містять інформацію про орієнтацію слухача, або лише інформацію про орієнтацію слухача, що вказує, що відсутнє відхилення орієнтації голови слухача від номінальної орієнтації), етап 5550 можуть пропустити. Потім, рендеринг на етапі 5560 будуть виконувати відповідно до модифікованого положення об'єкта, визначеного на етапі 5540. Подібним чином, якщо дані 301 локації прослуховування містять лише інформацію про орієнтацію слухача (але не містять інформацію про зміщення слухача, або лише інформацію про зміщення слухача, що вказує, що відсутнє відхилення положення голови слухача від номінального положення прослуховування), етап 5540 можуть пропустити. Потім, етап 5550 буде відноситись до модифікації положення об'єкта, визначеного на етапі 5530, на основі інформації про орієнтацію слухача. Рендеринг на етапі 5560 будуть виконувати відповідно до модифікованого положення, визначеного на етапі 5550.

У цілому, у цьому винаході запропоноване оновлення положення для положень об'єктів, отриманих як частина звукового вмісту на основі об'єктів (наприклад, інформації 302 про положення разом зі звуковими даними 322), на основі даних 301 локації прослуховування для слухача.

По-перше, визначають положення об'єкта (або положення каналу) р-(ал, єї, У. Це можуть виконувати в контексті (наприклад, як частину) етапу 530 способу 500.

Для сигналів на основі каналів радіус 7 можуть визначати наступним чином: - якщо припустимий гучномовець (каналу для вхідного сигналу на основі каналу) існує в компонуванні гучномовців відтворення і відстань до компонування відтворення відома, радіус г встановлений на відстань до гучномовця (наприклад, в см); - якщо припустимий гучномовець не існує в компонуванні гучномовців відтворення, але відстань до гучномовців відтворення (наприклад, від номінального положення прослуховування) відома, радіус г встановлений на максимальну відстань до гучномовця відтворення; - якщо припустимий гучномовець не існує в компонуванні гучномовців відтворення і відстань до гучномовця відтворення не відома, радіус встановлений на значення за замовчуванням (наприклад, 1023 см).

Для сигналів на основі об'єктів радіус 7 визначають наступним чином: - якщо відстань до об'єкта відома (наприклад, від виробничих засобів і з виробничих форматів і передано в ргоамеїадаїасСопіідО), радіус г встановлюють на відому відстань до об'єкта (наприклад, передане через доа рзОбБіесібівсїапсе|| (у см) згідно з таблицею АМО5.7 стандарту МРЕС-Н 30 Айцдаіо);

Таблиця АМО5.7 синтаксис доа Ргодисіоп Меїадава ) доа Ргодисіоп Меїадаад Г////771111111111111111111111111Ї11111Ї11 пнннн"шнкЕиЕИИОВВОЛЕШИИНИИИЬЛИОТООООИОИОИВИТИЯИЛТИИИТИТИВИТ СХВОВХЛЛЬООІОЛЛТЛТОТВИЮОНООЯ ОО

КОНФІГУРАЦІЯ ЕКСПЛУАТАЦІ МЕТАДАНИХ"УЇ -/:/ ЇЇ 77777777 Її іб(доа павОбіесібівапсе)(. 71111111 Ї11 бог(о-0;о«доа питрегОшіршОріесівтонї ////777777111111Ї11111111111Ї11 доа реОріесібівїапсео|Ї 77777711 111181 Оітвої нІ?ннИиИНииниинининннишншшш нІнИиІШЙЬИООВОВОВОВОВОИВОВОИВШВВТВВВО НЯ ннн";фГИИТИИИШИВИОВВН;ВЕОЛОЬИОИОЛОЛОВВВВВЛОЛВОЛОЛОЛТІОЛОЛВОЛЛМІЛОТОТЛОЛІІИІВНВІТШТІ ШИТИ НИ - якщо відстань до об'єкта відома з інформації про положення (наприклад, з метаданих об'єкта і передана в обіесі теїадаа0), радіус г встановлений на відстань до об'єкта, передану в інформації про положення (наприклад, на радіусі(| (у см), переданий з метаданими об'єктів).

Радіус г може бути переданий відповідно до розділів: "масштабування метаданих об'єкта" і "обмеження метаданих об'єкта", представленими нижче.

Масштабування метаданих об'єкта

Як необов'язковий етап в контексті визначення положення об'єкта положення об'єкта р-(а?, еі, у), визначене з інформації про положення, може бути масштабовано. Це може включати застосування коефіцієнта масштабування для відміни масштабування кодера вхідних даних для кожного компонента. Це може бути виконано для кожного об'єкта. Фактичне масштабування положення об'єкта може бути реалізовано разом із псевдокодом, представленим нижче: дезсаіє тийіаагїа() і

Тог (0-0; 0 « пит обіесів; о--) агітицніо| - агітийІо1 71,5;

Тог (0-0; 0 « пит обіесів; о--) еіємайопіо| - еіемайопіо| " 5,0;

Тог (0-0; 0 « пит обіесів; о--) гадіийв(о| - ром2,0О, (гадіив(о) / 3,0)) / 2,0;

Тог (0-0; 0 « пит обіесів; о--) даїпої| - ром(10,0, (даїпцо| - 32,0) / 40,0); її (Опїоит 5ргеаай -- 1)

І

Тог (0-0; 0 « пит обіесів; о--) 5ргеад(о| - зргеад(о| "1,5; ) вібве

І

Тог (0-0; 0 « пит обіесів; о--) вргеайд мідної - зргеай м/атіо| "1,5;

Тог (0-0; 0 « пит обіесів; о--) вргеад ПеїдніЦої| - зргеай ПеїднЦої " 3,0;

Тог (0-0; 0 « пит обіесів; о--) вргеайд дерійіо| - (ром(2,0, (вргеад аерійіої / 3,0)) / 2,0) - 0,5; )

Тог (0-0; 0 « пит обіесів; о--) дупатіс обієсї ргіогпу(о| - дупатіс обіесі ргіогйуцо); зо І

Обмеження метаданих об'єкта

Як необов'язковий етап у контексті визначення положення об'єкта (можливо масштабоване) положення об'єкта р-(а?, єї, 7), визначене з інформації про положення, може бути обмежене. Це може включати застосування обмеження декодованих значень для кожного компонента для утримування значень в допустимому діапазоні. Це може бути виконано для кожного об'єкта.

Фактичне обмеження положення об'єкта може бути реалізовано відповідно до функціональних можливостей псевдокоду, представленого нижче: тії капає) і тіпмаї! - -180; тахма!-180;

Тог (0-0; 0 « пит обіесів; о--) агітицН(о| - МІМІМАХ(агітиНіо|, тіпмаї!), тахмаї); тіпмаї! - -90; тахма!-90;

Тог (0-0; 0 « пит обіесів; о--) еіємайноп(о| - МІЩМ(МАХ (еІемайіоп(о|, тіпма!), тахмаї); тіпма!-0,5; тахма!-16;

Тог (0-0; 0 « пит обіесів; о--) гадіив(о| - МІМ МАХ (гадійи5(о|, тіпмаї), тахмаї); тіпма!-0,004; тахма!-5,957;

Тог (0-0; 0 « пит обіесів; о--) даїіп(о| - МІМІМАХ (даїіп(о|, тіпмаї), тахма)); її (цпіоит з5ргєай -- 1) і тіпма!-0; тахма!-180; бо Тог (0-0; 0 « пит обіесів; о--)

вргеадіо| - МІЩМ МАХ (зргеадіо|, тіпмаї), тахмаї)); ) віве і тіпма!-0; тахма!-180;

Тог (0-0; 0 « пит обіесів; о--) в5ргєеай м/ідіно| - МІМІМАХ(зргеай лані), тіпма!), тахмаї); тіпма!-0; тахма!-90;

Тог (0-0; 0 « пит обіесів; о--) в5ргєад ПпеіднЦо| - МІМ(ІМАХ (з5ргєай Неідн(Цо|, тіпмаї), тахмаї); тіпма!-0; тахма!-15,5;

Тог (0-0; 0 « пит обіесів; о--) вргеад дерійо| - МІМІ(МАХ(зргєайа аерін(о|, тіпмаї), тахма)); ) тіпма!-0; тахма!-7;

Тог (0-0; 0 « пит обіесів; о--) дупатіс обБіесії ргіопу(о| - МІМММАХ(дупатіс обієсї ріопу(о|, тіпма)), тахмаї); ) після цього, визначене (і необов'язково масштабоване та/або обмежене) положення об'єкта р-Сал, єї, у) може бути конвертовано в заданій системі координат, такій як, наприклад, система координат відповідно до "звичайної угоди", за якої азимут 0" знаходиться на правому вусі (позитивні значення йдуть проти годинникової стрілки) і кут підйому 0" знаходиться зверху голови (позитивні значення йдуть у напрямку до низу). Таким чином, положення об'єкта р може бути конвертовано в положення р' відповідно до "звичайної" угоди. Це забезпечує положення зо об'єктар' з р'-са?,е!!") аг -аг9о" е!/-907-еї з незмінним радіусом г.

У той самий час зміщення голови слухача, указане за допомогою інформації про зміщення слухача (ал онее, Є! ойве, ГГ ойїзе), МОЖе бути конвертовано в задану систему координат. З використанням "звичайної угоди" це становить аг онвеі-а2 ойвен- 907 еГонсеє:907 -- ЄІонвеї з незмінним радіусом г онйвеї.

Слід зазначити, що конвертування в задану систему координат як для положення об'єкта, так і для зміщення голови слухача може бути виконано в контексті етапу 5530 або етапу 5540.

Оновлення фактичного положення може бути виконано в контексті (наприклад, як частина) етапу 5540 способу 500. Оновлення положення може включати наступні етапи.

Як перший етап положення р або, якщо був виконаний перенос в задану систему координат, положення р', переносять в декартові координати (х, у, 7). Далі без припустимого обмеження процес буде описаний для положення р' в заданій системі координат. Також без припустимого обмеження наступну орієнтацію/напрямок осей координат можна припускати наступним чином: вісь х вказує вправо (показана від голови слухача в номінальній орієнтації), вісь у вказує напрямок прямо вперед і ось 7 вказує прямо уверх. У той же час, зміщення голови слухача, вказане за допомогою інформації про зміщення слухача (агонее, ЄГойвеї, Гоїзеє), КОНВертовано в декартові координати.

Як другий етап положення об'єкта в декартових координатах зсувають (поступально переміщують) відповідно до зміщення голови слухача (зміщенням сцени) таким чином, як описано вище. Це можуть виконувати за допомогою х-г. віп(е!) - сов(аз У я гонвеї- ЗІпП(ЄГонвеї) - у-т.- віп(е! У - віп (аг я Гонвек«БІП(еГ онве) - ІП 7-ї- со5 (І) - Гонве:- СО5

Вищевказане поступальне переміщення являє собою приклад модифікації положення об'єкта на основі інформації про зміщення слухача на етапі 5540 способу 500.

Зсунуте положення об'єкта в декартових координатах конвертують в сферичні координати і можуть називати р". Зсунуте положення об'єкта можуть виражати в заданій системі координат відповідно до звичайної угоди як р"- (аг", є!" г).

Коли присутні зміщення голови слухача, які забезпечують невелику зміну параметра радіуса (тобто г г, модифіковане положення р" об'єкта може бути повторно визначене як р"- (а?", е!", г).

В іншому прикладі, коли присутні великі зміщення голови слухача, які можуть забезпечити значну зміну параметра радіуса (тобто г»), модифіковане положення р" об'єкта також може бути визначене як р"-(а?"а!",") замість р"-(а" а") з модифікованим параметром радіуса г.

Відповідне значення модифікованого параметра радіуса " можуть отримати з відстані зміщення голови слухача (тобто гонвзеі-||Ро-Р||) ії початкового параметра радіуса (тобто г-||Ро-А||), (див., наприклад, фіг. 1 і 2). Наприклад, модифікований параметр радіуса г можуть визначити на основі наступного тригонометричного відношення: 1 ' е г - (Є вн)

Відображення цього модифікованого параметра радіуса г на посилення об'єкта/каналу та їхнє застосування для наступного рендерингу звуку може значно покращити ефекти сприйняття зміни рівня внаслідок рухів користувача. Завдяки забезпеченню такої модифікації параметра радіуса г забезпечується "адаптивна зона найкращого сприйняття". Це буде означати, що система рендерингу МРЕС динамічно регулює положення зони найкращого сприйняття відповідно до поточної локації слухача. Загалом, рендеринг звукового об'єкта відповідно до модифікованих (або додатково модифікованих) положень об'єкта може базуватися на модифікованому параметрі радіуса "г. Зокрема, посилення об'єкта/уканалу для рендерингу звукового об'єкта можуть базуватися на (наприклад, модифіковані на основі) модифікованому параметрі радіуса г.

В іншому прикладі під час установки і рендерингу гучномовця відтворення (наприклад, на етапі 5560, наведеному вище), зміщення сцени може бути відключене. Однак доступне необов'язкове включення зміщення сцени. Це забезпечує створення модулем рендерингу

Зрог- динамічно регульованої зони найкращого сприйняття відповідно до поточної локації та орієнтації слухача.

Слід зазначити, що етап конвертування положення об'єкта і зміщення голови слухача в декартові координати є необов'язковим, і поступальне переміщення / зсув (модифікацію) відповідно до зміщення голови слухача (зміщення сцени) можуть виконувати в будь-якій придатній системі координат. Інакше кажучи, вибір декартових координат у вищенаведеному описі слід розуміти, як необмежувальний приклад.

У деяких варіантах здійснення обробка зміщення сцени (включаючи модифікацію положення об'єкта та/"або додаткову модифікацію модифікованого положення об'єкта) може бути включена або виключена за допомогою прапору (поле, елемент, установний біт) у бітовому потоці (наприклад, елемент изеТгаскіпдаМоде). Підпункти "17.3 Іпіенасе ог Іоса! ІопазреакКег зер апа гепаегіпд" і "17.4 Іпіегасе ог ріпашга! гоот ітриїзе гезропзез (ВКІК5)» в ІБОЛЕС 23008-3 містять описи елемента изеТгаскіпуМоде, що активує обробку зміщення сцени. В контексті цього винаходу елемент изеТгтаскіпдоМоде повинен визначати (підпункт 17.3), повинна або не повинна відбуватися обробка значень зміщення сцени, відправлених за допомогою інтерфейсів тредпЗаазсеперізріасетепібага() і тредпЗааРозйіопаІ!зсеперізріасетепібаїйас.

Альтернативно або додатково (підпункт 17.4) поле изеТгаскіпдаМоде повинно визначати, чи з'єднаний відстежувальний пристрій і чи повинен бути оброблений бінауральний рендеринг в особливому режимі відстежування положення голови користувача, що означає, що обробка значень зміщення сцени, відправлених за допомогою інтерфейсів тредпЗаазсеперізріасетепібаїа( і тредпЗзааРозйіопаІЗсеперізріасетепібаїа(, повинна бути здійснена.

Способи і системи, описані в даному документі, можуть бути реалізовані як програмне забезпечення, апаратно-програмне забезпечення та/(або апаратне забезпечення. Деякі компоненти можуть бути реалізовані, наприклад, як програмне забезпечення, що запускається на процесорі цифрової обробки сигналів або на мікропроцесорі. Інші компоненти можуть бути реалізовані, наприклад, як апаратне забезпечення або як інтегральні схеми спеціального призначення. Сигнали, які зустрічаються в описаних способах і системах, можна зберігати на носіях, таких як оперативний запам'ятовувальний пристрій або оптичні носії інформації. Вони можуть передаватися по мережам, таким як радіомережі, супутникові мережі, бездротові мережі або дротові мережі, наприклад, Інтернет. Типовими пристроями, що використовують способи і системи, описані в даному документі, є переносні електроні пристрої або інша побутова апаратура, яка використовується для зберігання та/або формування звукових сигналів.

Хоча в даному документі виконують посилання на МРЕС і, зокрема, МРЕС-Н 30 Айаїйо, цей винахід не повинен тлумачитися як обмежений цими стандартами. Навпаки, як стане зрозумілим фахівцям у даній галузі, цей винахід може знайти переважне застосування також в інших стандартах кодування звуку.

Окрім того, хоча в даному документі часто виконують посилання на невеликі зміщення положення голови слухача (наприклад, з номінального положення прослуховування), цей винахід не обмежений невеликими зміщеннями положення і може в цілому застосовуватися для довільного зміщення положення голови слухача.

Слід зазначити, що опис і графічні матеріали ілюструють лише принципи запропонованих способів, систем і апаратів. Фахівці в даній галузі будуть здатні реалізувати різні схеми, які, хоча явно не описані або показані в даному документі, здійснюють принципи даного винаходу і включені в його сутність і об'єм. Більше того, все приклади і варіант здійснення, викладені в даному документі, у першу чергу явним чином призначені для пояснювальних цілей, щоб допомо!їти читачу в розумінні принципів запропонованого способу. Крім того, все твердження в даному документі, що представляють принципи, аспекти і варіанти здійснення даного винаходу, а також їхні конкретні приклади, припускаються як такі, що охоплюють їхні еквіваленти.

На додаток до вищенаведеного, різні наведені як приклад реалізації та наведені як приклад варіанти здійснення даного винаходу стануть зрозумілі з пронумерованих прикладів варіантів здійснення (ППВ3З), перелічених нижче, які не є пунктами формули винаходу.

Перший ППВЗ відноситься до способу декодування кодованого бітового потоку звукового сигналу, причому вказаний спосіб включає: прийом апаратом 300 декодування звуку кодованого бітового потоку (302, 322) звукового сигналу, при цьому кодований бітовий потік звукового сигналу містить кодовані звукові дані (322) і метадані, що відповідають щонайменше одному звуковому сигналу (302) об'єкта; декодування апаратом (300) декодування звуку кодованого бітового потоку (302, 322) звукового сигналу для отримання представлення декількох звукових джерел; прийом апаратом (300) декодування звуку даних (301) локації прослуховування; генерування апаратом (300) декодування звуку даних (321) положень звукового об'єкта, причому в даних (321) положень звукового об'єкта описано декілька джерел звуку відносно локації прослуховування на основі даних (301) локації прослуховування.

Другий ППВЗ відноситься до способу згідно з першим ППВЗ, при цьому дані (301) локації прослуховування основані на першому наборі перших даних положення поступального переміщення і другому наборі других даних положення й орієнтації поступального переміщення.

Третій ППВЗ відноситься до способу згідно з другим ППВЗ, при цьому або перші дані положення поступального переміщення, або другі дані положення поступального переміщення основані на щонайменше одному з набору сферичних координат або набору декартових координат.

Четвертий ППВЗ відноситься до способу згідно з першим ППВЗ, при цьому дані (301) локації прослуховування отримані за допомогою вхідного інтерфейсу декодера МРЕС-Н ЗО Ацаїо.

П'ятий ППВЗ відноситься до способу згідно з першим ППВЗ, при цьому кодований бітовий потік звукового сигналу містить елементи синтаксису бітового потоку МРЕС-Н ЗО Айцаїо, і причому елементи синтаксису бітового потоку МРЕС-Н ЗО Айцаїйо містять кодовані звукові дані (322) і метадані, що відповідають щонайменше одному звуковому сигналу (302) об'єкта.

Шостий ППВЗ відноситься до способу згідно з першим ПІПВЗ3, який додатково включає рендеринг апаратом (300) декодування звуку на декількох гучномовцях декількох звукових джерел, при цьому процес рендерингу є сумісним зі щонайменше стандартом МРЕС-Н 30

Ацайо.

Сьомий ПІПВЗ відноситься до способу згідно з першим ППВЗ, який додатково включає конвертування апаратом (300) декодування звуку на основі трансляції даних (301) локації прослуховування положення , що відповідає щонайменше одному звуковому сигналу (302) об'єкта, у друге положення В, що відповідає положенням (321) звукового об'єкта.

Восьмий ППВЗ відноситься до способу згідно з сьомим ППВЗ, при цьому положення р" для положень звукового об'єкта в заданій системі координат (наприклад, відповідно до звичайної угоди) визначають на основі: р-(ає,е! ага" бо е!/-907-еї аг онвеі-а2 ойвен- 907 ее! онвеє: 90-61 онвеї причому а? відповідає першому параметру азимута, є! відповідає першому параметру кута підйому і г відповідає першому параметру радіуса, у даному документі а; відповідає другому з параметру азимута, 7 відповідає другому параметру кута підйому і "г відповідає другому параметру радіуса, причому агоке відповідає третьому параметру азимута, бЄонзес відповідає третьому параметру кута підйому, і при цьому а? окзес вВІДПОВіІдає четвертому параметру азимута, е! онеє ВІДПОВІДАЄ Четвертому параметру кута підйому.

Дев'ятий ППВЗ відноситься до способу згідно з восьмими ПІПВЗ3, причому зсунуте положення р" (321) звукового об'єкта для положення (302) звукового об'єкта визначене в декартових координатах (х, у, 7) на основі: х-. віп(е!) «со5(аг) ях Хонвеї у-т- віп(е!) - зіп(а?) ж Уонвеї 7-ї сОо5(ЄЇ) -- 2онвеї причому положення в декартових координатах (х, у, 7) містить параметри х, у і 7, і причому

Хонїкєеє ВІДНОСИТЬСЯ до першого параметра відхилення осі х, Уойїзеє ВІДНОСИТЬСЯ До першого параметра відхилення осі у і 2онсеє вВіДднОСИТЬСЯ До першого параметра відхилення осі 7.

Десятий ППВЗ відноситься до способу згідно з дев'ятим ППВЗ, де параметри Хосе, Уокве! і 7онвес ОСНОВНІ На

Хойвеї-Гойвеї " ЗІП(ЄЇ онвеї) СО5 (а

Уойвейс-Гонвеі " 5ІП(ЄГонсе) - ІП (а; 2 онвеі-Гойвеї" СО5 (2 онвеї)

Одинадцятий ППВЗ відноситься до способу згідно із сьомим ППВЗ, при цьому параметр а; ойїєєї азимута відноситься до положення азимута зміщення сцени та оснований на: ах онсе - (54 агітшій-128)-1,5 ах онсе-тіп(тах(ал онзе -180), 180) причому 50 аітшй являє собою параметр, який указує зміщення азимута сцени МРЕОС-Н

ЗОБА, причому параметр кута підйому єї окєег ВІДНОСИТЬСЯ До ПОЛОЖення кута підйому зміщення сцени і оснований на: еїЇ онсес - (50 єІемайоп-32). З еЇ онвег - тіп(тах(е! онвеї, -90), 90) причому 54 еїЇемайоп являє собою параметр метаданих кута підйому, який указує зміщення кута підйому сцени МРЕС-Н ЗОБА, причому параметр радіуса 7оне: відноситься до радіуса зміщення сцени і оснований на: 7онвеї - (50 гадіив--1)/16 причому 54 гадіих5 являє собою параметр метаданих радіуса, який указує зміщення радіуса сцени МРЕС-Н ЗБА, і причому параметри Х і У являють собою скалярні змінні.

Дванадцятий ППВЗ відноситься до способу згідно з десятим ППВЗ, при цьому параметр

Хонквеє ВІДНОСИТЬСЯ До Положення 50 х відхилення зміщення сцени в напрямку осі х; параметр

Уоїзеє ВІДНОСИТЬСЯ ДО ПолЛОЖення 54 у відхилення зміщення сцени в напрямку осі у; і параметр 7онве ВІДНОСИТЬСЯ ДО ПОЛОоження 54 2 відхилення зміщення сцени в напрямку осі 7.

Тринадцятий ППВЗ відноситься до способу згідно з першим ППВЗ, який додатково включає інтерполяцію апаратом декодування звуку перших даних положення, які відносяться до даних (301) локації прослуховування і звукового сигналу (102) об'єкта, зі швидкістю оновлення.

Чотирнадцятий ПІПВЗ відноситься до способу згідно з першим ППВЗ3, який додатково включає визначення апаратом 300 декодування звуку ефективного ентропійного кодування даних (301) локації прослуховування.

П'ятнадцятий ПІПВЗ відноситься до способу згідно з першим ПІПВЗ3, при цьому дані положення, які відносяться до локації (301) прослуховування, отримують на основі інформації від датчиків.

Claims (32)

ФОРМУЛА ВИНАХОДУ

1. Спосіб обробки інформації про положення, яка вказує на положення об'єкта для звукового об'єкта, причому обробку виконують з використанням декодера МРЕС-Н 30 Ацаїйо, причому положення об'єкта може бути використане для рендерингу звукового об'єкта, при цьому спосіб включає: отримання інформації про орієнтацію слухача, яка вказує на орієнтацію голови слухача; отримання інформації про зміщення слухача, яка вказує на зміщення голови слухача відносно номінального положення прослуховування за допомогою вхідного інтерфейсу декодера МРЕС- Н ЗО Ацаїйо; визначення положення об'єкта з інформації про положення; модифікацію положення об'єкта на основі інформації про зміщення слухача завдяки застосуванню поступального переміщення до положення об'єкта; і додаткову модифікацію модифікованого положення об'єкта на основі інформації про орієнтацію слухача, причому, коли інформація про зміщення слухача вказує на зміщення голови слухача з номінального положення прослуховування внаслідок невеликого зміщення положення, при цьому невелике зміщення положення має абсолютне значення, що становить 0,5 метра або менше ніж 0,5 метра, відстань між положенням звукового об'єкта і положенням прослуховування після зміщення голови слухача є рівною відстані між модифікованим положенням звукового об'єкта і номінальним положенням прослуховування.

2. Спосіб за п. 1, який відрізняється тим, що модифікацію положення об'єкта і додаткову модифікацію модифікованого положення об'єкта виконують таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до додаткового модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення відносно номінального положення прослуховування незалежно від зміщення голови слухача з номінального положення прослуховування і орієнтації голови слухача відносно номінальної орієнтації.

3. Спосіб за п. 1 або 2, який відрізняється тим, що модифікацію положення об'єкта на основі інформації про зміщення слухача виконують за допомогою поступального переміщення положення об'єкта, рівного зміщенню голови слухача з номінального положення прослуховування, але у протилежному напрямку.

4. Спосіб за будь-яким із пп. 1-3, який відрізняється тим, що інформація про зміщення слухача вказує на зміщення голови слухача з номінального положення прослуховування, яке може бути досягнуте за допомогою руху верхньою частиною тіла та/"або головою слухача.

5. Спосіб за будь-яким із пп. 1-4, який відрізняється тим, що інформація про положення містить вказівку відстані від звукового об'єкта до номінального положення прослуховування.

6. Спосіб за будь-яким із пп. 1-5, який відрізняється тим, що інформація про орієнтацію слухача містить інформацію про рискання, тангаж і крен голови слухача.

7. Спосіб за будь-яким із пп. 1-6, який відрізняється тим, що інформація про зміщення слухача містить інформацію про зміщення голови слухача з номінального положення прослуховування, виражену в декартових координатах або в сферичних координатах.

8. Спосіб за будь-яким із пп. 1-7, який відрізняється тим, що додатково включає виявлення орієнтації голови слухача за допомогою обладнання, придатного для носіння, та/або стаціонарного обладнання.

9. Спосіб за будь-яким із пп. 1-8, який відрізняється тим, що додатково включає: виявлення зміщення голови слухача з номінального положення прослуховування за допомогою обладнання, придатного для носіння, та/або стаціонарного обладнання.

10. Спосіб за будь-яким із пп. 1-9, який відрізняється тим, що відстань між модифікованим положенням звукового об'єкта і положенням прослуховування після зміщення відображається на коефіцієнтах підсилення для модифікації рівня звукового сигналу.

11. Спосіб за будь-яким із пп. 1-10, який відрізняється тим, що додатково включає рендеринг звукового об'єкта на одному або більше реальних або віртуальних динаміках відповідно до додатково модифікованого положення об'єкта.

12. Спосіб за п. 11, який відрізняється тим, що рендеринг виконують з урахуванням акустичного поглинання для невеликих відстаней від звукового об'єкта до голови слухача на основі функцій моделювання сприйняття звуку НЕТЕ для голови слухача.

13. Спосіб за п. 11 або 12, який відрізняється тим, що додатково модифіковане положення об'єкта регулюють для формату введення, що використовується модулем рендерингу МРЕС-Н 30 Ацаїо.

14. Спосіб за будь-яким із пп. 11-13, який відрізняється тим, що бо рендеринг виконують з використанням модуля рендерингу МРЕС-Н 30 Ацайїо.

15. Спосіб за будь-яким із пп. 1-14, який відрізняється тим, що обробку виконують за допомогою блока зміщення сцени декодера МРЕС-Н 30 Апйцаїо.

16. Спосіб за п. 15, який відрізняється тим, що під час відтворення через навушники та/або гучномовці включають блок зміщення сцени.

17. Декодер МРЕС-Н 30 Ацадіо для обробки інформації про положення, яка вказує на положення об'єкта для звукового об'єкта, причому положення об'єкта може бути використане для рендерингу звукового об'єкта, при цьому декодер містить процесор і запам'ятовувальний пристрій, з'єднаний з процесором, причому процесор пристосований для: отримання інформації про орієнтацію слухача, яка вказує на орієнтацію голови слухача; отримання інформації про зміщення слухача, яка вказує на зміщення голови слухача відносно номінального положення прослуховування за допомогою вхідного інтерфейсу декодера МРЕС- Н ЗО Ацаїйо; визначення положення об'єкта з інформації про положення; модифікації положення об'єкта на основі інформації про зміщення слухача завдяки застосуванню поступального переміщення до положення об'єкта; і додаткової модифікації модифікованого положення об'єкта на основі інформації про орієнтацію слухача, причому, коли інформація про зміщення слухача вказує на зміщення голови слухача з номінального положення прослуховування внаслідок невеликого зміщення положення, при цьому невелике зміщення положення має абсолютне значення, що становить 0,5 метра або менше ніж 0,5 метра, процесор виконаний з можливістю зрівняння відстані між положенням звукового об'єкта і положенням прослуховування після зміщення голови слухача і відстані між модифікованим положенням звукового об'єкта і номінальним положенням прослуховування.

18. Декодер за п. 17, який відрізняється тим, що процесор пристосований для модифікації положення об'єкта і додаткової модифікації модифікованого положення об'єкта таким чином, що звуковий об'єкт після рендерингу на одному або більше реальних або віртуальних динаміках відповідно до додаткового модифікованого положення об'єкта психоакустично сприймається слухачем як такий, що виникає з фіксованого положення відносно номінального положення прослуховування незалежно від зміщення голови слухача з номінального положення прослуховування і орієнтації голови слухача відносно номінальної орієнтації.

19. Декодер за п. 17 або 18, який відрізняється тим, що процесор пристосований для модифікації положення об'єкта на основі інформації про зміщення слухача за допомогою поступального переміщення положення об'єкта, рівного зміщенню голови слухача з номінального положення прослуховування, але у протилежному напрямку.

20. Декодер за будь-яким із пп. 17-19, який відрізняється тим, що інформація про зміщення слухача вказує на зміщення голови слухача з номінального положення прослуховування, яке може бути досягнуте за допомогою руху верхньою частиною тіла та/"або головою слухача.

21. Декодер за будь-яким із пп. 17-20, який відрізняється тим, що інформація про положення містить вказівку відстані від звукового об'єкта до номінального положення прослуховування.

22. Декодер за будь-яким із пп. 17-21, який відрізняється тим, що інформація про орієнтацію слухача містить інформацію про рискання, тангаж і крен голови слухача.

23. Декодер за будь-яким із пп. 17-22, який відрізняється тим, що інформація про зміщення слухача містить інформацію про зміщення голови слухача з номінального положення прослуховування, виражену в декартових координатах або в сферичних координатах.

24. Декодер за будь-яким із пп. 17-23, який відрізняється тим, що додатково містить обладнання, придатне для носіння, та/або стаціонарне обладнання для виявлення орієнтації голови слухача.

25. Декодер за будь-яким із пп. 17-24, який відрізняється тим, що додатково містить обладнання, придатне для носіння, та/або стаціонарне обладнання для виявлення зміщення голови слухача з номінального положення прослуховування.

26. Декодер за будь-яким із пп. 17-25, який відрізняється тим, що відстань між модифікованим положенням звукового об'єкта і положенням прослуховування після зміщення голови слухача відображається на коефіцієнтах підсилення для модифікації рівня звукового сигналу. 60

27. Декодер за будь-яким із пп. 17-26, який відрізняється тим, що процесор додатково пристосований для виконання рендерингу звукового об'єкта на одному або більше реальних або віртуальних динаміках відповідно до додатково модифікованого положення об'єкта.

28. Декодер за п. 27, який відрізняється тим, що процесор пристосований для виконання рендерингу з урахуванням акустичного поглинання для невеликих відстаней від звукового об'єкта до голови слухача на основі функцій моделювання сприйняття звуку НКТЕ для голови слухача.

29. Декодер за п. 27 або 28, який відрізняється тим, що процесор пристосований для регулювання додатково модифікованого положення об'єкта для формату введення, що використовується модулем рендерингу МРЕС-Н ЗО Ацаїо.

30. Декодер за будь-яким із пп. 27-29, який відрізняється тим, що рендеринг виконують з використанням модуля рендерингу МРЕС-Н 30 Ацайїо.

31. Декодер за будь-яким із пп. 17-30, який відрізняється тим, що процесор пристосований для реалізації блока зміщення сцени декодера МРЕС-Н 30 Ацайїо.

32. Машинозчитуваний носій інформації, що містить інструкції для викликання виконання процесором цифрової обробки сигналів або мікропроцесором будь-якого способу за пп. 1-16, під час виконання програмного забезпечення процесором цифрової обробки сигналів або мікропроцесором. Ов

А 1. ; не в и к шИ г 7 пт -ж й ! шк Я Ж 7 сх 7 х : : ЕЕ х - Є ТТ з : 7 Її «і че : 7 г з х : ' : 5 тт г ; : ї я пе 5 Х : : ни Є Кк й х я : с шт хо ре Ж додею Мовляв я Ти - шт 7 ще й гу 7 я . Гонсное ПТ РеиР | й, ще й У 106 ни на З 104

Фіг. 1 таких що : ж : о не ще ТК. о т х . ; Тх ще ю їх : , х - й Ко : : У І г Лк і х. щк х | Аж : т о - ООН дні й й - | я х т 7 ! я м 7 - то а 7 Ні ою і «7 х з. й у нки и Тх К : НК іх х ха : : 7 і х як ; У І ї к Є : у т х . : : вх с в . : : : Ки фр рент КР : : ї ї о с: І : : ї ол З Е и у . тт 7 Я У В 7 ух г: т « дет : т а у - Я й - т 7 киш За? Де ш : ан в сао Зм м ст он пи ж І и - ше х ет ще що м, й З тя й Ко яви Ох дик Рв в я я х Гора у Кто, й ,7 Ух теку, нят я ' , й т Ж юю сю жук хТ т пожия і - 206 203 204

Фіг. 2 зе Зо к ди У дитя шичше ші лш печі лише чілі очі по ші 0 2 шіо попі іще ще ше ще ще шесдя ші ща ше ето щу ху я - х і З10 :

, . ї « й т ' пек ; , сус їх ; ДА ЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕ КЕНЕ ЕЕ З т чи те і дод т ї . 321 -х ен Е 5 ши ї з Оу К х з Е й Е х сур : Е ої х Ше І т тен Ех т З Е ї к ї-ч З Е : х пппддддякллннКитттттнт 2202020 ОАоод ї : я о Е : похоті У и хо Я ї ї з ' опт ет етеннятетнтетннтнний : : , ї ї і 5 ї І з й х і їх 3 1 Ж й й те тА ЖЖ ЖМ Ж Ж ЖХ МА ЖЖ Ж ОЖА Ж Ж ОМ КО ЖО ЖОЖЖ Ж Ж КК Ж ХК Ж ЖЖ ох ЖЖ Ж КС ЖЖ Сх ХА Ж Ж А ЖЖ жо Ж А я

Фіг. З

Ко В, я і я р Її і ся я і ! с й і | Е А ! | х 7 ! : х їі . Шк ших т ух мех їх ї дет : і а Шу що ря -4 У У ї Бе КЕ: Я і ння ф нн нене о Вр: й схїр ї і и аа ні ше ші з почни с Н пжкжютк ТЕ у о З нтрнннння Ї У ажі | 4 х у і. : де я М Ж х ї соку жлжкаж ; сккмучАтя ; й - у В х Х фо збільшується б й а де х хо а ех по к шк ок ще я й

Фіг. 4 га У К-

5.1 Єтпимання Ійюомані пос орентанно слухача, хкуй г же їх Е 7 з ; п ВКЦТУЄ НЯ Ор Нв Голов слухав Зою вл лччкчкчччичи чи в вл'ж'жчлччк чити дра вл ''ж'жлклчкчк чити ча вл ''ж'клклк чл читача л'ж'жлклкчкчи чити а в ''ж'жлкллчччь в Б Ша: й зекнкекененененснесеенетенен сне скенететен сне сенен ен сне сенетенен сне сенетененссесенененснссесенне У 0 Втримання інформа про зминлення слухача, що Щ вказує на змицення голови слухача Моллі Я, шо Ух і Низначення положення об єкта з інформа про

З. ЖодЕФІанія положення об'єкта на основі - |Додяткова молифікація молифкованого положення - -ї - З ШИ . - не об'єкта на основі нНфОорманії ро оржмтанію

Фіг. 5