RU2801698C2 - Optimizing audio delivery for virtual reality applications - Google Patents
Optimizing audio delivery for virtual reality applications Download PDFInfo
- Publication number
- RU2801698C2 RU2801698C2 RU2022101458A RU2022101458A RU2801698C2 RU 2801698 C2 RU2801698 C2 RU 2801698C2 RU 2022101458 A RU2022101458 A RU 2022101458A RU 2022101458 A RU2022101458 A RU 2022101458A RU 2801698 C2 RU2801698 C2 RU 2801698C2
- Authority
- RU
- Russia
- Prior art keywords
- audio
- scene
- user
- streams
- stream
- Prior art date
Links
Images
Abstract
Description
В среде виртуальной реальности (VR), или также в средах дополненной реальности (AR) либо смешанной реальности (MR), или в средах панорамного (360 градусов) видео пользователь может визуализировать полный панорамный контент с использованием, например, наголовного дисплея (HMD) и слушать его через наушники (или также через громкоговорители, включая правильное выведение в зависимости от его положения).In a virtual reality (VR) environment, or also in augmented reality (AR) or mixed reality (MR) environments, or in 360 degree video environments, the user can visualize the full panoramic content using, for example, a head-mounted display (HMD) and listen to it through headphones (or also through loudspeakers, including the correct output depending on its position).
В простом варианте использования контент создается таким образом, что в некоторый момент времени воспроизводится только одна аудио/видеосцена (то есть панорамное видео). У аудио/видеосцены постоянное местоположение (например, сфера с пользователем в центре), и пользователь не может перемещаться по сцене, а может только поворачивать голову в различных направлениях (поворот, продольный крен, поперечный крен). В этом случае пользователю воспроизводится разное видео и аудио (отображаются разные поля видимости) на основе ориентации его головы.In a simple use case, content is created in such a way that only one audio/video scene (i.e. 360 video) is played at any given time. The audio/video scene has a fixed location (for example, a sphere with the user in the center), and the user cannot move around the scene, but can only turn their head in different directions (turn, roll, roll). In this case, different video and audio are played to the user (different fields of view are displayed) based on the orientation of their head.
Контент для аудио одинаков для всей сцены, тогда как контент для видео доставляется для всей панорамной сцены вместе с метаданными для описания процесса выведения (например, информация о сшивке, проекционное наложение и т.п.) и выбирается на основе текущего поля видимости пользователя. На основе метаданных аудиоконтент приспосабливается к текущему полю видимости пользователя (например, аудиообъект выводится по-разному на основе информации о поле видимости/ориентации пользователя). Следует отметить, что панорамный контент относится к любому типу контента, который содержит больше одного угла обзора в один и тот же момент времени, из которых пользователь может выбирать (например, с помощью ориентации головы или с использованием устройства дистанционного управления).The content for audio is the same for the entire scene, while the content for video is delivered for the entire panoramic scene, along with metadata to describe the inference process (eg, stitching information, projection overlay, etc.) and is selected based on the user's current field of view. Based on the metadata, the audio content adapts to the user's current field of view (eg, the audio object is rendered differently based on the user's field of view/orientation information). It should be noted that panoramic content refers to any type of content that contains more than one viewing angle at the same time, from which the user can choose (for example, using head orientation or using a remote control device).
В более сложном сценарии, когда пользователь может перемещаться по VR-сцене или "перепрыгивать" от одной сцены к следующей, аудиоконтент также мог бы меняться (например, аудиоисточники, которые не слышны в одной сцене, можно услышать в следующей сцене - "дверь открывается"). В существующих системах законченные аудиосцены могут кодироваться в один поток и, при необходимости, в дополнительные потоки (зависимые от главного потока). Такие системы известны как аудиосистемы следующего поколения (например, MPEG-H 3D Audio). Примеры таких вариантов использования могут содержать:In a more complex scenario, where the user can move around the VR scene or "jump" from one scene to the next, the audio content could also change (for example, audio sources that are not heard in one scene can be heard in the next scene - "door opens" ). In existing systems, complete audio scenes can be encoded into one stream and, if necessary, into additional streams (depending on the main stream). Such systems are known as next generation audio systems (eg MPEG-H 3D Audio). Examples of such use cases might include:
Пример 1: пользователь выбирает вход в новую комнату, и меняется вся аудио/видеосцена;Example 1: The user selects the entrance to a new room and the entire audio/video scene changes;
Пример 2: пользователь перемещается по VR-сцене, открывает дверь и проходит в нее, что предполагает необходимый переход аудио от одной сцены к следующей сцене.Example 2: The user navigates through a VR scene, opens a door, and walks through it, which implies the necessary audio transition from one scene to the next scene.
С целью описания этого сценария предлагается идея "дискретных точек наблюдения в пространстве" в качестве дискретного местоположения в пространстве (или в VR-среде), для которых доступен разный аудио/видеоконтент.In order to describe this scenario, the idea of "discrete viewpoints in space" is proposed as a discrete location in space (or in a VR environment) for which different audio/video content is available.
Решение "в лоб" состоит в наличии кодера в реальном масштабе времени, который меняет кодирование (число аудиоэлементов, пространственную информацию и т. д.) на основе обратной связи касательно положения/ориентации пользователя от воспроизводящего устройства. Это решение, например, в среде потоковой передачи подразумевало бы очень сложную связь между клиентом и сервером:The head-on solution is to have a real-time encoder that changes the encoding (number of audio elements, spatial information, etc.) based on user position/orientation feedback from the playback device. This solution, for example in a streaming environment, would imply a very complex communication between client and server:
- клиенту (который обычно предполагают использующим только простую логику) потребовались бы продвинутые механизмы для передачи не только запросов разных потоков, но также сложной информации о подробностях кодирования, которая обеспечила бы обработку правильного контента на основе положения пользователя;- the client (which is usually assumed to use only simple logic) would need advanced mechanisms to convey not only requests from different streams, but also complex information about the details of the encoding, which would ensure that the correct content is processed based on the position of the user;
- медиа-сервер обычно заранее заполняется разными потоками (форматированными определенным образом, что допускает "посегментную" доставку), и основная функция сервера - предоставлять информацию о доступных потоках и порождать их доставку при запросе. Чтобы обеспечить сценарии, которые допускают кодирование на основе обратной связи от воспроизводящего устройства, медиа-серверу потребовались бы развитые линии связи с несколькими медиа-кодерами прямого эфира и способность оперативно создавать всю сигнальную информацию (например, Описание представления мультимедиа), которая могла бы меняться в реальном масштабе времени.- the media server is usually pre-populated with different streams (formatted in a certain way to allow "hop by hop" delivery), and the main function of the server is to provide information about the available streams and generate their delivery when requested. To provide scenarios that allow encoding based on playback device feedback, a media server would need advanced links to multiple live media encoders and the ability to rapidly generate all signaling information (e.g., Media Presentation Description) that could change over time. real time.
Хотя и можно представить себе такую систему, ее сложность и вычислительные требования выходят за функциональные возможности и особенности оборудования и доступных сегодня систем или даже тех, что будут разработаны в следующих десятилетиях.While such a system is conceivable, its complexity and computational requirements are beyond the functionality and features of the hardware and systems available today, or even those that will be developed in the coming decades.
В качестве альтернативы всегда можно доставлять контент, представляющий собой законченную VR-среду ("совершенный мир"). Это решило бы проблему, но потребовало бы гигантской скорости передачи битов (битрейта), которая превышает пропускную способность доступных линий связи.Alternatively, it is always possible to deliver content that is a complete VR environment ("perfect world"). This would solve the problem, but would require a gigantic bit rate (bitrate) that exceeds the bandwidth of the available communication lines.
Это сложно для среды в реальном масштабе времени, и чтобы обеспечить такие варианты использования с использованием доступных систем, предлагаются альтернативные решения, которые обеспечивают эти функциональные возможности при низкой сложности.This is difficult in a real-time environment, and in order to provide such use cases using available systems, alternative solutions are provided that provide this functionality at low complexity.
Терминология и определенияTerminology and definitions
В данной области техники используется следующая терминология:The following terminology is used in the art:
- аудиоэлементы: аудиосигналы, которые можно представить, например, в виде аудиообъектов, аудиоканалов, сценового аудио (амбиофония высшего порядка - HOA) или любого их сочетания;- audio elements : audio signals that can be represented, for example, as audio objects, audio channels, stage audio (higher order ambiophony - HOA) or any combination thereof;
- видимая область (ROI): одна область видеоконтента (или отображенной либо имитированной среды), которая интересна пользователю в один момент времени. Обычно это область на сфере, например, или многоугольная выборка из 2-мерной карты. ROI идентифицирует определенную область для конкретной цели, задавая границы исследуемого объекта;- Region of View (ROI): One area of video content (or displayed or simulated environment) that is of interest to the user at one time. This is usually an area on a sphere, for example, or a polygonal selection from a 2D map. ROI identifies a specific area for a specific purpose, setting the boundaries of the object under study;
- информация о положении пользователя: информация о местоположении (например, координаты x, y, z), информация об ориентации (поворот, продольный крен, поперечный крен), направление и скорость перемещения и т.п.;- user position information : position information (eg x, y, z coordinates), orientation information (turn, pitch, roll), direction and speed of movement, etc.;
- поле видимости: часть сферического видео, которое в настоящее время отображается и наблюдается пользователем;- field of view : the part of the spherical video that is currently displayed and observed by the user;
- точка наблюдения: центральная точка поля видимости;- observation point : central point of the field of view;
- панорамное видео (также известное как видео с эффектом присутствия или сферическое видео): применительно к этому документу представляет собой видеоконтент, который содержит более одного вида (то есть поля видимости) в одном направлении в один и тот же момент времени. Такой контент можно создать, например, с использованием всенаправленной камеры или совокупности камер. Во время воспроизведения зритель управляет направлением наблюдения;- panoramic video (also known as immersive video or spherical video): in the context of this document, is video content that contains more than one view (i.e. field of view) in the same direction at the same time. Such content can be created, for example, using an omnidirectional camera or a combination of cameras. During playback, the viewer controls the direction of observation;
- Описание представления мультимедиа (MPD) является синтаксисом, например XML, содержащим информацию о медиасегментах, их взаимосвязях и информацию, необходимую для выбора между ними;- Media Presentation Description (MPD) is a syntax, such as XML, containing information about media segments, their relationships, and the information needed to select between them;
- адаптационные наборы содержат медиапоток или набор медиапотоков. В самом простом случае один адаптационный набор содержит все аудио и видео для контента, но для уменьшения полосы пропускания каждый поток можно разделить на разный адаптационный набор. Общий случай - наличие одного адаптационного набора видео и нескольких адаптационных наборов аудио (один для каждого поддерживаемого языка). Адаптационные наборы также могут содержать субтитры или произвольные метаданные;- adaptation sets contain a media stream or a set of media streams. In the simplest case, one adaptation set contains all the audio and video for the content, but to reduce bandwidth, each stream can be divided into a different adaptation set. The common case is to have one video adaptation set and several audio adaptation sets (one for each supported language). Customization sets may also contain subtitles or arbitrary metadata;
- представления позволяют адаптационному набору содержать одинаковый контент, кодированный по-разному. В большинстве случаев представления будут предоставляться в нескольких скоростях передачи битов. Это позволяет клиентам запрашивать контент наивысшего качества, который они могут воспроизводить без ожидания буферизации. Представления также могут кодироваться разными кодеками, допуская поддержку клиентов с разными поддерживаемыми кодеками.- views allow the adaptation set to contain the same content encoded differently. In most cases, representations will be provided at multiple bit rates. This allows clients to request the highest quality content that they can play without waiting for buffering. Views can also be encoded with different codecs, allowing support for clients with different supported codecs.
Применительно к данной заявке идеи адаптационных наборов используются универсальнее, иногда фактически относясь к представлениям. Также медиапотоки (аудио/видеопотоки) в целом заключаются сначала в медиасегменты, которые являются фактическими медиафайлами, воспроизводимыми клиентом (например, DASH-клиентом). Для медиасегментов можно использовать различные форматы, например ISO Base Media File Format (ISOBMFF), который аналогичен формату контейнера MPEG-4, или транспортный поток (TS) MPEG-2. Заключение в медиасегменты и в разные представления/адаптационные наборы не зависит от описанных здесь способов, эти способы применяются ко всем различным вариантам.As applied to this application, the ideas of adaptation sets are used more universally, sometimes actually referring to views. Also, media streams (audio/video streams) in general are first wrapped in media segments, which are the actual media files played by the client (eg, DASH client). Various formats can be used for media segments, such as the ISO Base Media File Format (ISOBMFF), which is similar to the MPEG-4 container format, or the MPEG-2 Transport Stream (TS). Wrapping into media segments and into different representations/adaptation sets is independent of the methods described here, these methods apply to all the different options.
Более того, описание способов в этом документе сосредоточено на связи сервер-клиент DASH, но способы являются достаточно универсальными для работы с другими средами доставки, например MMT, TS MPEG-2, DASH-ROUTE, форматом файла для воспроизведения файлов и т.п.Moreover, the description of the methods in this document is focused on DASH server-client communication, but the methods are generic enough to work with other delivery media, such as MMT, MPEG-2 TS, DASH-ROUTE, file format for playing files, and the like.
Вообще говоря, адаптационный набор находится на более высоком уровне относительно потока и может содержать метаданные (например, ассоциированные с положениями). Поток может содержать множество аудиоэлементов. Аудиосцена может ассоциироваться с множеством потоков, доставляемых как часть множества адаптационных наборов.Generally speaking, an adaptation set is at a higher level than a stream and may contain metadata (eg, associated with locations). A stream may contain multiple audio elements. An audio scene may be associated with a plurality of streams delivered as part of a plurality of adaptation sets.
Современные решенияModern solutions
Современными решениями являются:Modern solutions are:
[1]. ISO/IEC 23008-3:2015, Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio[1]. ISO/IEC 23008-3:2015, Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio
[2]. N16950, Study of ISO/IEC DIS 23000-20 Omnidirectional Media Format[2]. N16950, Study of ISO/IEC DIS 23000-20 Omnidirectional Media Format
Современные решения ограничены в предоставлении независимого VR-восприятия в одном постоянном местоположении, что позволяет пользователю менять ориентацию, но не перемещаться в VR-среде.Current solutions are limited in providing an independent VR experience in one fixed location, allowing the user to change orientation but not move around in the VR environment.
Сущность изобретенияThe essence of the invention
В соответствии с вариантом осуществления система для среды виртуальной реальности, VR, дополненной реальности, AR, смешанной реальности, MR, или панорамного видео может быть выполнена с возможностью принимать видео- и аудиопотоки для воспроизведения в мультимедийном устройстве, причем система может содержать: по меньшей мере один медиа-декодер видео, выполненный с возможностью декодировать видеосигналы из видеопотоков для представления пользователю сцен среды VR, AR, MR или панорамного видео, и по меньшей мере один декодер аудио, выполненный с возможностью декодировать аудиосигналы по меньшей мере из одного аудиопотока, причем система может быть выполнена с возможностью запрашивать у сервера по меньшей мере один аудиопоток, и/или один аудиоэлемент в аудиопотоке, и/или один адаптационный набор на основе по меньшей мере текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения.According to an embodiment, a system for a virtual reality, VR, augmented reality, AR, mixed reality, MR, or 360 video environment may be configured to receive video and audio streams for playback on a multimedia device, the system may comprise: at least one video media decoder configured to decode video signals from video streams to present scenes of a VR, AR, MR or panoramic video environment to a user, and at least one audio decoder configured to decode audio signals from at least one audio stream, wherein the system can be configured to request at least one audio stream and/or one audio element in the audio stream and/or one adaptation set from the server based on at least the user's current field of view and/or head orientation and/or movement data, and /or interaction metadata, and/or virtual location data.
В соответствии с аспектом система может быть выполнена с возможностью предоставлять серверу текущее поле видимости пользователя, и/или ориентацию головы, и/или данные перемещения, и/или метаданные взаимодействия, и/или данные виртуального положения, чтобы получить от сервера по меньшей мере один аудиопоток, и/или один аудиоэлемент аудиопотока, и/или один адаптационный набор.In accordance with an aspect, the system may be configured to provide the server with the user's current field of view and/or head orientation and/or movement data and/or interaction metadata and/or virtual position data to obtain at least one an audio stream and/or one audio stream element and/or one adaptation set.
Вариант осуществления может конфигурироваться так, что по меньшей мере одна сцена ассоциируется по меньшей мере с одним аудиоэлементом, при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, где слышен аудиоэлемент, чтобы разные аудиопотоки предоставлялись для разных положений пользователя, и/или полей видимости, и/или ориентаций головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения в сцене.An embodiment may be configured such that at least one scene is associated with at least one audio element, with each audio element associated with a position and/or area in the visual environment where the audio element is heard, so that different audio streams are provided for different user positions, and/ or fields of view, and/or head orientations, and/or movement data, and/or interaction metadata, and/or virtual position data in the scene.
В соответствии с другим аспектом система может быть выполнена с возможностью решать, нужно ли воспроизводить по меньшей мере один аудиоэлемент аудиопотока и/или один адаптационный набор для текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или виртуального положения в сцене, и при этом система может быть выполнена с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент в текущем виртуальном положении пользователя.In accordance with another aspect, the system may be configured to decide whether to play at least one audio element of the audio stream and/or one adaptation set for the user's current field of view and/or head orientation and/or movement data and/or metadata interaction, and/or virtual position in the scene, and wherein the system may be configured to request and/or receive at least one audio element in the user's current virtual position.
В соответствии с аспектом система может быть выполнена с возможностью прогнозировать, станет ли релевантным и/или слышимым по меньшей мере один аудиоэлемент аудиопотока и/или один адаптационный набор, на основе по меньшей мере текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения, и при этом система может быть выполнена с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент, и/или аудиопоток, и/или адаптационный набор в конкретном виртуальном положении пользователя до предсказанного перемещения и/или взаимодействия пользователя в сцене, причем система может быть выполнена с возможностью воспроизводить, при приеме, по меньшей мере один аудиоэлемент и/или аудиопоток в конкретном виртуальном положении пользователя после перемещения и/или взаимодействия пользователя в сцене.In accordance with an aspect, the system may be configured to predict whether at least one audio stream element and/or one adaptation set will become relevant and/or audible, based on at least the user's current field of view and/or head orientation, and/ or movement data and/or interaction metadata and/or virtual position data, wherein the system may be configured to request and/or receive at least one audio element and/or audio stream and/or adaptation set in a particular virtual position of the user prior to the predicted movement and/or interaction of the user in the scene, and the system can be configured to play, upon receipt, at least one audio element and/or audio stream at a particular virtual position of the user after the movement and/or interaction of the user in the scene.
Вариант осуществления системы может быть выполнен с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент с более низкой скоростью передачи битов и/или уровнем качества в виртуальном положении пользователя до перемещения и/или взаимодействия пользователя в сцене, причем система может быть выполнена с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент с более высокой скоростью передачи битов и/или уровнем качества в виртуальном положении пользователя после перемещения и/или взаимодействия пользователя в сцене.An embodiment of the system may be configured to request and/or receive at least one audio element at a lower bit rate and/or quality level at a user's virtual position prior to user movement and/or interaction in a scene, wherein the system may be configured to request and/or receive at least one audio element with a higher bit rate and/or quality level at the user's virtual position after the user has moved and/or interacted in the scene.
В соответствии с аспектом система может быть выполнена так, что по меньшей мере один аудиоэлемент ассоциируется по меньшей мере с одной сценой, при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, ассоциированной со сценой, причем система может быть выполнена с возможностью запрашивать и/или принимать потоки с более высокой скоростью передачи битов и/или качеством для аудиоэлементов ближе к пользователю, чем для аудиоэлементов, более отдаленных от пользователя.In accordance with an aspect, the system may be configured such that at least one audio element is associated with at least one scene, with each audio element associated with a position and/or area in the visual environment associated with the scene, and the system may be configured to request and/or receive higher bitrate and/or quality streams for audio elements closer to the user than for audio elements more distant from the user.
В соответствии с аспектом в системе по меньшей мере один аудиоэлемент может ассоциироваться по меньшей мере с одной сценой, при этом по меньшей мере один аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, ассоциированной со сценой, причем система может быть выполнена с возможностью запрашивать разные потоки с разными скоростями передачи битов и/или уровнями качества для аудиоэлементов на основе их релевантности и/или уровня слышимости в каждом виртуальном положении пользователя в сцене, где система может быть выполнена с возможностью запрашивать аудиопоток с более высокой скоростью передачи битов и/или уровнем качества для аудиоэлементов, которые более релевантны и/или лучше слышны в текущем виртуальном положении пользователя, и/или аудиопоток с более низкой скоростью передачи битов и/или уровнем качества для аудиоэлементов, которые менее релевантны и/или хуже слышны в текущем виртуальном положении пользователя.In accordance with an aspect in the system, at least one audio element may be associated with at least one scene, wherein at least one audio element is associated with a position and/or area in the visual environment associated with the scene, and the system may be configured to request different streams with different bitrates and/or quality levels for audio elements based on their relevance and/or audibility level at each user's virtual position in the scene, where the system may be configured to request an audio stream at a higher bitrate and/or level qualities for audio elements that are more relevant and/or better audible at the user's current virtual position, and/or an audio stream with a lower bit rate and/or quality level for audio elements that are less relevant and/or less audible at the user's current virtual position.
В варианте осуществления в системе по меньшей мере один аудиоэлемент может ассоциироваться со сценой, при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, ассоциированной со сценой, где система может быть выполнена с возможностью периодически отправлять серверу текущее поле видимости пользователя, и/или ориентацию головы, и/или данные перемещения, и/или метаданные взаимодействия, и/или данные виртуального положения, чтобы: для первого положения от сервера предоставлялся поток с более высокой скоростью передачи битов и/или качеством, а для второго положения от сервера предоставлялся поток с более низкой скоростью передачи битов и/или качеством, где первое положение ближе по меньшей мере к одному аудиоэлементу, чем второе положение.In an embodiment, the system may have at least one audio element associated with a scene, with each audio element associated with a position and/or area in the visual environment associated with the scene, where the system may be configured to periodically send the user's current field of view to the server, and /or head orientation and/or movement data and/or interaction metadata and/or virtual position data such that: a higher bitrate and/or quality stream is provided for the first position from the server and a higher bitrate and/or quality stream for the second position from the server provided a stream with a lower bit rate and/or quality, where the first position is closer to at least one audio element than the second position.
В варианте осуществления системы может задаваться множество сцен для нескольких визуальных сред, например смежных и/или соседних сред, чтобы предоставлялись первые потоки, ассоциированные с первой текущей сценой, и чтобы в случае перехода пользователя ко второй, дальней сцене предоставить потоки, ассоциированные с первой сценой, и вторые потоки, ассоциированные со второй сценой.In an embodiment of the system, a plurality of scenes may be defined for multiple visual environments, such as adjacent and/or neighboring environments, so that the first streams associated with the first current scene are provided, and that if the user navigates to a second, far scene, the streams associated with the first scene are provided. , and second streams associated with the second scene.
В варианте осуществления системы может задаваться множество сцен для первой и второй визуальных сред, при этом первая и вторая среды являются смежными и/или соседними средами, где от сервера предоставляются первые потоки, ассоциированные с первой сценой, для воспроизведения первой сцены, если положение или виртуальное положение пользователя находится в первой среде, ассоциированной с первой сценой, от сервера предоставляются вторые потоки, ассоциированные со второй сценой, для воспроизведения второй сцены, если положение или виртуальное положение пользователя находится во второй среде, ассоциированной со второй сценой, и предоставляются первые потоки, ассоциированные с первой сценой, и вторые потоки, ассоциированные со второй сценой, если положение или виртуальное положение пользователя находится в переходном положении между первой сценой и второй сценой.In an embodiment of the system, a plurality of scenes may be defined for the first and second visual environments, wherein the first and second environments are contiguous and/or neighboring environments, where the first streams associated with the first scene are provided from the server to reproduce the first scene if the position or virtual the user's position is in the first environment associated with the first scene, second streams associated with the second scene are provided from the server to play the second scene, if the user's position or virtual position is in the second environment associated with the second scene, and the first streams associated with the second scene are provided. with the first scene, and second streams associated with the second scene if the user's position or virtual position is in a transitional position between the first scene and the second scene.
В варианте осуществления системы может задаваться множество сцен для первой и второй визуальных сред, которые являются смежными и/или соседними средами, причем система выполнена с возможностью запрашивать и/или принимать первые потоки, ассоциированные с первой сценой, ассоциированной с первой средой, для воспроизведения первой сцены, если виртуальное положение пользователя находится в первой среде, причем система может быть выполнена с возможностью запрашивать и/или принимать вторые потоки, ассоциированные со второй сценой, ассоциированной со второй средой, для воспроизведения второй сцены, если виртуальное положение пользователя находится во второй среде, и при этом система может быть выполнена с возможностью запрашивать и/или принимать первые потоки, ассоциированные с первой сценой, и вторые потоки, ассоциированные со второй сценой, если виртуальное положение пользователя находится в переходном положении между первой средой и второй средой.In an embodiment of the system, a plurality of scenes may be defined for first and second visual media that are contiguous and/or adjacent media, wherein the system is configured to request and/or receive first streams associated with the first scene associated with the first environment to play the first scenes if the user's virtual location is in the first environment, wherein the system can be configured to request and/or receive second streams associated with the second scene associated with the second environment to play the second scene if the user's virtual location is in the second environment, and wherein the system may be configured to request and/or receive first streams associated with the first scene and second streams associated with the second scene if the user's virtual location is in a transitional position between the first environment and the second environment.
В соответствии с аспектом система может быть выполнена так, что первые потоки, ассоциированные с первой сценой, получаются с более высокой скоростью передачи битов и/или качеством, когда пользователь находится в первой среде, ассоциированной с первой сценой, тогда как вторые потоки, ассоциированные со второй сценой, ассоциированной со второй средой, получаются с более низкой скоростью передачи битов и/или качеством, когда пользователь находится в начале переходного положения от первой сцены ко второй сцене, и первые потоки, ассоциированные с первой сценой, получаются с более низкой скоростью передачи битов и/или качеством, а вторые потоки, ассоциированные со второй сценой, получаются с более высокой скоростью передачи битов и/или качеством, когда пользователь находится в конце переходного положения от первой сцены ко второй сцене, где более низкая скорость передачи битов и/или качество ниже более высокой скорости передачи битов и/или качества.According to an aspect, the system may be configured such that the first streams associated with the first scene are obtained at a higher bit rate and/or quality when the user is in the first environment associated with the first scene, while the second streams associated with the second scene associated with the second environment are obtained at a lower bit rate and/or quality when the user is at the beginning of the transition from the first scene to the second scene, and the first streams associated with the first scene are obtained at a lower bit rate and/or quality, and the second streams associated with the second scene are obtained at a higher bit rate and/or quality when the user is at the end of the transition from the first scene to the second scene, where the lower bit rate and/or quality below a higher bit rate and/or quality.
В соответствии с аспектом система может быть выполнена так, что может задаваться множество сцен для нескольких сред, например смежных и/или соседних сред, чтобы система могла получать потоки, ассоциированные с первой текущей сценой, ассоциированной с первой текущей средой, и если расстояние положения или виртуального положения пользователя от границы сцены меньше заранее установленной пороговой величины, то система может дополнительно получать аудиопотоки, ассоциированные со второй, смежной и/или соседней средой, ассоциированной со второй сценой.In accordance with an aspect, the system may be configured such that a plurality of scenes for multiple environments, such as contiguous and/or neighboring environments, may be defined so that the system can receive streams associated with the first current scene associated with the first current environment, and if the position distance or virtual position of the user from the scene boundary is less than a predetermined threshold value, then the system can additionally receive audio streams associated with the second, adjacent and/or adjacent environment associated with the second scene.
В соответствии с аспектом система может быть выполнена так, что может задаваться множество сцен для нескольких визуальных сред, чтобы система запрашивала и/или получала потоки, ассоциированные с текущей сценой, с более высокой скоростью передачи битов и/или качеством, и потоки, ассоциированные со второй сценой, с более низкой скоростью передачи битов и/или качеством, где более низкая скорость передачи битов и/или качество ниже более высокой скорости передачи битов и/или качества.In accordance with an aspect, the system may be configured such that a plurality of scenes for multiple visual media may be defined such that the system requests and/or receives streams associated with the current scene at a higher bit rate and/or quality, and streams associated with a second scene, with a lower bit rate and/or quality, where the lower bit rate and/or quality is lower than the higher bit rate and/or quality.
В соответствии с аспектом система может быть выполнена так, что может задаваться множество из N аудиоэлементов, и если расстояние пользователя до положения или области этих аудиоэлементов больше заранее установленной пороговой величины, то обрабатываются N аудиоэлементов для получения меньшего числа M аудиоэлементов (M<N), ассоциированных с положением или областью, близкой к положению или области N аудиоэлементов, чтобы предоставить системе по меньшей мере один аудиопоток, ассоциированный с N аудиоэлементами, если расстояние пользователя до положения или области N аудиоэлементов меньше заранее установленной пороговой величины, либо предоставить системе по меньшей мере один аудиопоток, ассоциированный с M аудиоэлементами, если расстояние пользователя до положения или области N аудиоэлементов больше заранее установленной пороговой величины.In accordance with an aspect, the system can be configured such that a plurality of N audio elements can be specified, and if the user's distance to the position or area of these audio elements is greater than a predetermined threshold, then N audio elements are processed to obtain a smaller number M of audio elements (M<N), associated with a position or region close to the position or region of the N audio elements to provide the system with at least one audio stream associated with the N audio elements if the user's distance to the position or region of the N audio elements is less than a predetermined threshold, or to provide the system with at least one an audio stream associated with the M audio elements if the user's distance to the position or area of the N audio elements is greater than a predetermined threshold.
В соответствии с аспектом система может быть выполнена так, что по меньшей мере одна сцена визуальной среды ассоциируется по меньшей мере с одним множеством из N аудиоэлементов (N>=2), при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, где по меньшей мере одно множество из N аудиоэлементов предоставляется по меньшей мере в одном представлении с высокой скоростью передачи битов и/или уровнем качества, и где по меньшей мере одно множество из N аудиоэлементов предоставляется по меньшей мере в одном представлении с низкой скоростью передачи битов и/или уровнем качества, где по меньшей мере одно представление получается путем обработки N аудиоэлементов, чтобы получить меньшее число M аудиоэлементов (M<N), ассоциированных с положением или областью, близкой к положению или области N аудиоэлементов, причем система может быть выполнена с возможностью запрашивать представление с более высокой скоростью передачи битов и/или уровнем качества для аудиоэлементов, если аудиоэлементы более релевантны и/или лучше слышны в текущем виртуальном положении пользователя в сцене, причем система может быть выполнена с возможностью запрашивать представление с более низкой скоростью передачи битов и/или уровнем качества для аудиоэлементов, если аудиоэлементы менее релевантны и/или хуже слышны в текущем виртуальном положении пользователя в сцене.In accordance with an aspect, the system may be configured such that at least one scene of the visual environment is associated with at least one set of N audio elements (N>=2), with each audio element associated with a position and/or area in the visual environment, where at least one set of N audio elements is provided in at least one representation with a high bit rate and/or quality level, and where at least one set of N audio elements is provided in at least one representation with a low bit rate and /or a quality level, where at least one representation is obtained by processing N audio elements to obtain a smaller number M of audio elements (M<N) associated with a position or area close to the position or area of N audio elements, and the system can be configured to request a representation at a higher bit rate and/or quality level for audio elements if the audio elements are more relevant and/or better audible at the user's current virtual position in the scene, wherein the system may be configured to request a representation at a lower bit rate and/ or a quality level for the audio elements, if the audio elements are less relevant and/or less audible in the user's current virtual position in the scene.
В соответствии с аспектом система может быть выполнена так, что если расстояние пользователя, и/или релевантность, и/или уровень слышимости, и/или угловая ориентация меньше заранее установленной пороговой величины, то получаются разные потоки для разных аудиоэлементов.According to an aspect, the system can be configured such that if user distance and/or relevance and/or audibility level and/or angular orientation is less than a predetermined threshold value, then different streams are obtained for different audio elements.
В варианте осуществления система может быть выполнена с возможностью запрашивать и/или получать потоки на основе ориентации пользователя, и/или направления перемещения пользователя, и/или взаимодействий пользователя в сцене.In an embodiment, the system may be configured to request and/or receive streams based on the user's orientation and/or direction of user movement and/or user interactions in the scene.
В варианте осуществления системы поле видимости может ассоциироваться с положением, и/или виртуальным положением, и/или данными перемещения, и/или головой.In an embodiment of the system, the field of view may be associated with position and/or virtual position and/or movement data and/or head.
В соответствии с аспектом система может быть выполнена так, что разные аудиоэлементы предоставляются в разных полях видимости, причем система может быть выполнена с возможностью запрашивать и/или принимать первый аудиоэлемент с более высокой скоростью передачи битов, чем второй аудиоэлемент, который не входит в поле видимости, если один первый аудиоэлемент входит в поле видимости.In accordance with an aspect, the system may be configured such that different audio elements are provided in different fields of view, and the system can be configured to request and/or receive a first audio element with a higher bit rate than a second audio element that is not included in the field of view. if one first audio element is in view.
В соответствии с аспектом система может быть выполнена с возможностью запрашивать и/или принимать первые аудиопотоки и вторые аудиопотоки, где первые аудиоэлементы в первых аудиопотоках более релевантны и/или лучше слышны, чем вторые аудиоэлементы во вторых аудиопотоках, где первые аудиопотоки запрашиваются и/или принимаются с более высокой скоростью передачи битов и/или качеством, чем скорость передачи битов и/или качество у вторых аудиопотоков.In accordance with an aspect, the system may be configured to request and/or receive first audio streams and second audio streams, where the first audio elements in the first audio streams are more relevant and/or better heard than the second audio elements in the second audio streams, where the first audio streams are requested and/or received with a higher bit rate and/or quality than the bit rate and/or quality of the second audio streams.
В соответствии с аспектом система может быть выполнена так, что задаются по меньшей мере две сцены визуальной среды, где по меньшей мере один первый и второй аудиоэлементы ассоциируются с первой сценой, ассоциированной с первой визуальной средой, и по меньшей мере один третий аудиоэлемент ассоциируется со второй сценой, ассоциированной со второй визуальной средой, причем система может быть выполнена с возможностью получать метаданные, описывающие, что по меньшей мере один второй аудиоэлемент дополнительно ассоциируется со второй сценой визуальной среды, и причем система может быть выполнена с возможностью запрашивать и/или принимать по меньшей мере первый и второй аудиоэлементы, если виртуальное положение пользователя находится в первой визуальной среде, и при этом система может быть выполнена с возможностью запрашивать и/или принимать по меньшей мере второй и третий аудиоэлементы, если виртуальное положение пользователя находится во второй сцене визуальной среды, и при этом система может быть выполнена с возможностью запрашивать и/или принимать по меньшей мере первый, второй и третий аудиоэлементы, если виртуальное положение пользователя находится в переходе между первой сценой визуальной среды и второй сценой визуальной среды.In accordance with an aspect, the system may be configured such that at least two scenes of the visual environment are defined, where at least one first and second audio elements are associated with the first scene associated with the first visual environment, and at least one third audio element is associated with the second scene associated with the second visual environment, wherein the system can be configured to receive metadata describing that at least one second audio element is further associated with the second visual environment scene, and wherein the system can be configured to request and/or receive at least at least the first and second audio elements if the user's virtual position is in the first visual environment, wherein the system can be configured to request and/or receive at least the second and third audio elements if the user's virtual position is in the second scene of the visual environment, and wherein the system may be configured to request and/or receive at least the first, second and third audio elements if the user's virtual position is in a transition between the first visual environment scene and the second visual environment scene.
Вариант осуществления системы может конфигурироваться так, что по меньшей мере один первый аудиоэлемент предоставляется по меньшей мере в одном аудиопотоке и/или адаптационном наборе, и по меньшей мере один второй аудиоэлемент предоставляется по меньшей мере в одном втором аудиопотоке и/или адаптационном наборе, и по меньшей мере один третий аудиоэлемент предоставляется по меньшей мере в одном третьем аудиопотоке и/или адаптационном наборе, и где по меньшей мере первая сцена визуальной среды описывается метаданными как законченная сцена, которая требует по меньшей мере первого и второго аудиопотоков и/или адаптационных наборов, и при этом вторая сцена визуальной среды описывается метаданными как незаконченная сцена, которая требует по меньшей мере третьего аудиопотока и/или адаптационного набора и по меньшей мере второго аудиопотока и/или адаптационных наборов, ассоциированных по меньшей мере с первой сценой визуальной среды, причем система содержит процессор метаданных, выполненный с возможностью работать с метаданными, чтобы разрешить соединение второго аудиопотока, принадлежащего первой визуальной среде, и третьего аудиопотока, ассоциированного со второй визуальной средой, в новый единый поток, если виртуальное положение пользователя находится во второй визуальной среде.An embodiment of the system may be configured such that at least one first audio element is provided in at least one audio stream and/or adaptation set, and at least one second audio element is provided in at least one second audio stream and/or adaptation set, and at least one third audio element is provided in at least one third audio stream and/or adaptation set, and where at least the first scene of the visual environment is described by metadata as a complete scene that requires at least the first and second audio streams and/or adaptation sets, and wherein the second scene of the visual environment is described by metadata as an unfinished scene that requires at least a third audio stream and/or adaptation set and at least a second audio stream and/or adaptation sets associated with at least the first scene of the visual environment, and the system contains a processor metadata, configured to work with the metadata to allow the connection of the second audio stream belonging to the first visual environment and the third audio stream associated with the second visual environment into a new single stream if the user's virtual position is in the second visual environment.
В соответствии с аспектом система содержит процессор метаданных, выполненный с возможностью работать с метаданными по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио, на основе текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения.In accordance with an aspect, the system comprises a metadata processor configured to operate on metadata in at least one audio stream in front of at least one audio decoder, based on the user's current field of view and/or head orientation and/or movement data, and/ or interaction metadata, and/or virtual location data.
В соответствии с аспектом процессор метаданных может быть выполнен с возможностью включать и/или отключать по меньшей мере один аудиоэлемент по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио на основе текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения, причем процессор метаданных может быть выполнен с возможностью отключать по меньшей мере один аудиоэлемент по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио, если система решает, что аудиоэлемент больше не нужно воспроизводить как следствие текущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения, и причем процессор метаданных может быть выполнен с возможностью включать по меньшей мере один аудиоэлемент по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио, если система решает, что аудиоэлемент нужно воспроизводить как следствие текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения.According to an aspect, the metadata processor may be configured to enable and/or disable at least one audio element in at least one audio stream before at least one audio decoder based on the user's current field of view, and/or head orientation, and/or movement data, and/or interaction metadata, and/or virtual position data, wherein the metadata processor may be configured to turn off at least one audio element in at least one audio stream before at least one audio decoder if the system determines that the audio element no longer need to be rendered as a consequence of the current field of view and/or head orientation and/or movement data and/or interaction metadata and/or virtual position data, and wherein the metadata processor may be configured to include at least one audio element in at least one audio stream before at least one audio decoder, if the system decides that the audio element should be played as a consequence of the user's current field of view and/or head orientation and/or movement data and/or interaction metadata and/or virtual position data.
В соответствии с аспектом система может быть выполнена с возможностью отключать декодирование аудиоэлементов, выбранных на основе текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или виртуального положения.According to an aspect, the system may be configured to disable decoding of audio elements selected based on the user's current field of view and/or head orientation and/or movement data and/or metadata and/or virtual position.
В соответствии с аспектом система может быть выполнена с возможностью соединять по меньшей мере один первый аудиопоток, ассоциированный с текущей аудиосценой, по меньшей мере с одним потоком, ассоциированным с соседней, смежной и/или будущей аудиосценой.In accordance with an aspect, the system may be configured to connect at least one first audio stream associated with a current audio scene to at least one stream associated with an adjacent, adjacent, and/or future audio scene.
В соответствии с аспектом система может быть выполнена с возможностью получать и/или собирать статистические или агрегированные данные о текущем поле видимости пользователя, и/или ориентации головы, и/или данные перемещения, и/или метаданные, и/или данные виртуального положения, чтобы передавать серверу запрос, ассоциированный со статистическими или агрегированными данными.According to an aspect, the system may be configured to receive and/or collect statistical or aggregated data about the user's current field of view and/or head orientation and/or movement data and/or metadata and/or virtual position data to send a request associated with the statistical or aggregated data to the server.
В соответствии с аспектом система может быть выполнена с возможностью отключать декодирование и/или воспроизведение по меньшей мере одного потока на основе метаданных, ассоциированных по меньшей мере с одним потоком, и на основе текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или данных виртуального положения.According to an aspect, the system may be configured to disable decoding and/or playback of at least one stream based on metadata associated with at least one stream and based on the user's current field of view and/or head orientation and/or movement data, and/or metadata, and/or virtual position data.
В соответствии с аспектом система может быть выполнена с возможностью: работать с метаданными, ассоциированными с группой выбранных аудиопотоков, на основе по меньшей мере текущего или предполагаемого поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или данных виртуального положения, чтобы: выбирать, и/или включать, и/или активировать аудиоэлементы, составляющие воспроизводимую аудиосцену; и/или обеспечивать соединение всех выбранных аудиопотоков в единый аудиопоток.According to an aspect, the system may be configured to: operate on metadata associated with a group of selected audio streams based on at least the user's current or intended field of view and/or head orientation and/or movement data and/or metadata, and/or virtual position data to: select and/or turn on and/or activate the audio elements that make up the reproduced audio scene; and/or provide a connection of all selected audio streams into a single audio stream.
В соответствии с аспектом система может быть выполнена с возможностью управлять запросом у сервера по меньшей мере одного потока на основе расстояния положения пользователя от границ соседних и/или смежных сред, ассоциированных с разными сценами, или других показателей, ассоциированных с положением пользователя в текущей среде или предсказаниями о будущей среде.In accordance with an aspect, the system may be configured to manage a request from a server for at least one stream based on the distance of the user's position from the boundaries of neighboring and/or adjacent environments associated with different scenes, or other indicators associated with the user's position in the current environment, or predictions about the future environment.
В соответствии с аспектом системная информация может предоставляться от серверной системы для каждого аудиоэлемента или аудиообъекта, причем эта информация включает в себя описательную информацию о местоположениях, в которых звуковая сцена или аудиоэлементы активны.According to an aspect, system information may be provided from a server system for each audio element or audio object, the information including descriptive information about the locations at which the sound stage or audio elements are active.
В соответствии с аспектом система может быть выполнена с возможностью выбирать между воспроизведением одной сцены и составлением, или смешиванием, или мультиплексированием, или наложением, или объединением по меньшей мере двух сцен на основе текущего или будущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или виртуального положения, и/или выбора пользователя, при этом две сцены ассоциированы с разными соседними и/или смежными средами.According to an aspect, the system may be configured to choose between playing one scene and composing or mixing or multiplexing or overlaying or merging at least two scenes based on the current or future field of view and/or head orientation and/ or movement data and/or metadata and/or virtual location and/or user selection, wherein the two scenes are associated with different adjacent and/or adjacent environments.
В соответствии с аспектом система может быть выполнена с возможностью создавать или использовать по меньшей мере адаптационные наборы, чтобы: некоторое количество адаптационных наборов ассоциировалось с одной аудиосценой; и/или предоставлялась дополнительная информация, которая соотносит каждый адаптационный набор с одной точкой наблюдения, или одной аудиосценой; и/или предоставлялась дополнительная информация, которая может включать в себя: информацию о границах одной аудиосцены, и/или информацию о взаимосвязи между одним адаптационным набором и одной аудиосценой (например, аудиосцена кодируется в три потока, которые заключаются в три адаптационных набора), и/или информацию о связи между границами аудиосцены и несколькими адаптационными наборами.According to an aspect, the system may be configured to create or use at least adaptation sets such that: a number of adaptation sets are associated with one audio scene; and/or provided additional information that relates each adaptation set to one viewpoint, or one audio scene; and/or provided additional information, which may include: information about the boundaries of one audio scene, and/or information about the relationship between one adaptation set and one audio scene (for example, an audio scene is encoded into three streams that are contained in three adaptation sets), and /or information about the relationship between the boundaries of the audio scene and several adaptation sets.
В соответствии с аспектом система может быть выполнена с возможностью: принимать поток для сцены, ассоциированной с соседней или смежной средой; запускать декодирование и/или воспроизведение потока для соседней или смежной среды при обнаружении перехода границы между двумя средами.According to an aspect, the system may be configured to: receive a stream for a scene associated with an adjacent or adjacent environment; trigger decoding and/or playback of a stream for an adjacent or adjacent media upon detection of a boundary crossing between the two media.
В соответствии с аспектом система может быть выполнена с возможностью работать в качестве клиента и сервера, сконфигурированных для доставки видео- и аудиопотоков для воспроизведения в мультимедийном устройстве.In accordance with an aspect, the system may be configured to operate as a client and server configured to deliver video and audio streams for playback on a multimedia device.
В соответствии с аспектом система может быть выполнена с возможностью: запрашивать и/или принимать по меньшей мере один первый адаптационный набор, содержащий по меньшей мере один аудиопоток, ассоциированный по меньшей мере с одной первой аудиосценой; запрашивать и/или принимать по меньшей мере один второй адаптационный набор, содержащий по меньшей мере один второй аудиопоток, ассоциированный по меньшей мере с двумя аудиосценами, включая по меньшей мере одну первую аудиосцену; и обеспечивать соединение по меньшей мере одного первого аудиопотока и по меньшей мере одного второго аудиопотока в новый аудиопоток для декодирования на основе метаданных, доступных касательно текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или данных виртуального положения, и/или информации, описывающей ассоциацию по меньшей мере одного первого адаптационного набора по меньшей мере с одной первой аудиосценой и/или ассоциацию по меньшей мере одного второго адаптационного набора по меньшей мере с одной первой аудиосценой.In accordance with an aspect, the system may be configured to: request and/or receive at least one first adaptation set containing at least one audio stream associated with at least one first audio scene; request and/or receive at least one second adaptation set containing at least one second audio stream associated with at least two audio scenes, including at least one first audio scene; and provide connection of at least one first audio stream and at least one second audio stream into a new audio stream for decoding based on metadata available regarding the user's current field of view and/or head orientation and/or movement data and/or metadata, and /or virtual position data, and/or information describing the association of at least one first adaptation set with at least one first audio scene and/or the association of at least one second adaptation set with at least one first audio scene.
В соответствии с аспектом система может быть выполнена с возможностью принимать информацию о текущем поле видимости пользователя, и/или ориентацию головы, и/или данные перемещения, и/или метаданные, и/или данные виртуального положения, и/или любую информацию, описывающую изменения, вызванные действиями пользователя; и принимать информацию о доступности адаптационных наборов и информацию, описывающую ассоциацию по меньшей мере одного адаптационного набора по меньшей мере с одной сценой, и/или точкой наблюдения, и/или полем видимости, и/или положением, и/или виртуальным положением, и/или данными перемещения, и/или ориентацией.According to an aspect, the system may be configured to receive information about the user's current field of view and/or head orientation and/or movement data and/or metadata and/or virtual position data and/or any information describing changes , caused by user actions; and receive information about the availability of adaptation sets and information describing the association of at least one adaptation set with at least one scene and/or viewpoint and/or field of view and/or position and/or virtual position, and/ or movement data, and/or orientation.
В соответствии с аспектом система может быть выполнена с возможностью решать, нужно ли воспроизводить по меньшей мере один аудиоэлемент по меньшей мере из одной аудиосцены, встроенной по меньшей мере в один поток, и по меньшей мере один дополнительный аудиоэлемент по меньшей мере из одной дополнительной аудиосцены, встроенной по меньшей мере в один дополнительный поток; и вызывать, при положительном решении, операцию соединения, или составления, или мультиплексирования, или наложения, или объединения по меньшей мере одного дополнительного потока дополнительной аудиосцены по меньшей мере с одним потоком по меньшей мере одной аудиосцены.According to an aspect, the system may be configured to decide whether at least one audio element from at least one audio scene embedded in at least one stream and at least one additional audio element from at least one additional audio scene should be played, embedded in at least one additional thread; and cause, if positive, the operation of connecting, or composing, or multiplexing, or overlaying, or combining at least one additional additional audio scene stream with at least one stream of at least one audio scene.
В соответствии с аспектом система может быть выполнена с возможностью работать с метаданными аудио, ассоциированными с выбранными аудиопотоками, на основе по меньшей мере текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или данных виртуального положения, чтобы: выбирать, и/или включать, и/или активировать аудиоэлементы, составляющие аудиосцену, выбранную для воспроизведения; и обеспечивать соединение всех выбранных аудиопотоков в единый аудиопоток.According to an aspect, the system may be configured to operate on audio metadata associated with selected audio streams based on at least the user's current field of view and/or head orientation and/or movement data and/or metadata and/or virtual position data to: select and/or enable and/or activate the audio elements that make up the audio scene selected for playback; and provide connection of all selected audio streams into a single audio stream.
В соответствии с аспектом может обеспечиваться сервер для доставки аудио- и видеопотоков клиенту для среды виртуальной реальности, VR, дополненной реальности, AR, смешанной реальности, MR, или панорамного видео, при этом видео- и аудиопотоки должны воспроизводиться в мультимедийном устройстве, причем сервер может содержать кодер для кодирования и/или хранилище для хранения видеопотоков, чтобы описывать визуальную среду, при этом визуальная среда ассоциирована с аудиосценой; причем сервер может дополнительно содержать кодер для кодирования и/или хранилище для хранения множества потоков, и/или аудиоэлементов, и/или адаптационных наборов для доставки клиенту, при этом потоки, и/или аудиоэлементы, и/или адаптационные наборы ассоциированы по меньшей мере с одной аудиосценой, причем сервер выполнен с возможностью: выбирать и доставлять видеопоток на основе запроса от клиента, при этом видеопоток ассоциирован со средой; выбирать аудиопоток, и/или аудиоэлемент, и/или адаптационный набор на основе запроса от клиента, при этом запрос ассоциирован по меньшей мере с текущим полем видимости пользователя, и/или ориентацией головы, и/или данными перемещения, и/или метаданными взаимодействия, и/или данными виртуального положения и с аудиосценой, ассоциированной со средой; и доставки аудиопотока клиенту.In accordance with an aspect, a server may be provided for delivering audio and video streams to a client for a virtual reality, VR, augmented reality, AR, mixed reality, MR, or 360 video environment, wherein the video and audio streams are to be played on a multimedia device, wherein the server can contain an encoder for encoding and/or storage for storing video streams to describe a visual environment, wherein the visual environment is associated with an audio scene; wherein the server may further comprise an encoder for encoding and/or storage for storing a plurality of streams and/or audio elements and/or adaptation sets for delivery to the client, wherein the streams and/or audio elements and/or adaptation sets are associated with at least one audio scene, wherein the server is configured to: select and deliver a video stream based on a request from a client, with the video stream associated with the environment; select an audio stream and/or an audio element and/or an adaptation set based on a request from the client, wherein the request is associated with at least the user's current field of view and/or head orientation and/or movement data and/or interaction metadata, and/or virtual position data and with an audio scene associated with the environment; and delivering the audio stream to the client.
В соответствии с аспектом потоки могут заключаться в адаптационные наборы, при этом каждый адаптационный набор включает в себя множество потоков, ассоциированных с разными представлениями с разной скоростью передачи битов и/или качеством одного и того же аудиоконтента, причем выбранный адаптационный набор выбирается на основе запроса от клиента.According to an aspect, the streams may be included in adaptation sets, where each adaptation set includes a plurality of streams associated with different representations with different bit rates and/or quality of the same audio content, the selected adaptation set being selected based on a request from client.
В соответствии с аспектом система может работать как клиент и сервер.According to an aspect, the system can operate as both a client and a server.
В соответствии с аспектом система может включать в себя сервер.In accordance with an aspect, the system may include a server.
В соответствии с аспектом может предоставляться способ для среды виртуальной реальности, VR, дополненной реальности, AR, смешанной реальности, MR, или панорамного видео, выполненный с возможностью принимать видео- и аудиопотоки для воспроизведения в мультимедийном устройстве (например, воспроизводящем устройстве), содержащий: декодирование видеосигналов из видеопотоков для представления пользователю сцен среды VR, AR, MR или панорамного видео, и декодирование аудиосигналов из аудиопотоков, запрос и/или получение от сервера по меньшей мере одного аудиопотока на основе текущего поля видимости пользователя, и/или данных о положении, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или данных виртуального положения, и/или метаданных.According to an aspect, a method may be provided for a virtual reality, VR, augmented reality, AR, mixed reality, MR, or 360 video environment, configured to receive video and audio streams for playback on a multimedia device (e.g., playback device), comprising: decoding video signals from video streams to present scenes of the VR, AR, MR or panoramic video environment to the user, and decoding audio signals from audio streams, requesting and / or receiving from the server at least one audio stream based on the user's current field of view, and / or position data, and/or head orientation and/or movement data and/or metadata and/or virtual position data and/or metadata.
В соответствии с аспектом может предоставляться компьютерная программа, содержащая команды, которые при исполнении процессором побуждают процессор выполнять вышеупомянутый способ.In accordance with an aspect, a computer program may be provided containing instructions that, when executed by a processor, cause the processor to perform the above method.
Краткое описание чертежейBrief description of the drawings
Фиг. 1.1-1.8 показывают патентоспособные примеры.Fig. 1.1-1.8 show patentable examples.
Фиг. 2-6 показывают патентоспособные сценарии.Fig. 2-6 show patentable scenarios.
Фиг. 7A-8B показывают патентоспособные способы.Fig. 7A-8B show patentable methods.
Осуществление изобретенияImplementation of the invention
Ниже в этом документе (например, фиг. 1.1 и последующие) раскрываются примеры систем в соответствии с патентоспособными аспектами.Below in this document (for example, Fig. 1.1 and subsequent) disclosed examples of systems in accordance with patentable aspects.
Примеры патентоспособной системы (которую можно воплотить в разных раскрытых ниже примерах) вместе указываются ссылкой 102. Система 102 может быть клиентской системой, например, так как может получать от серверной системы (например, 120) аудио- и/или видеопотоки для представления пользователю аудиосцен и/или визуальных сред. Клиентская система 102 также может принимать от серверной системы 120 метаданные, которые предоставляют, например, дополнительную и/или вспомогательную информацию об аудио- и/или видеопотоках.Examples of an inventive system (which may be embodied in the various examples disclosed below) are collectively referenced at 102.
Система 102 может ассоциироваться (или содержать в некоторых примерах) с мультимедийным устройством (MCD), которое фактически воспроизводит пользователю аудио- и/или видеосигналы. В некоторых примерах пользователь может надевать MCD.
Система 102 может выполнять запросы к серверной системе 120, при этом запросы ассоциируются по меньшей мере с одним текущим полем видимости пользователя, и/или ориентацией головы, (например, угловой ориентацией), и/или данными перемещения, и/или метаданными взаимодействия, и/или данными 110 виртуального положения (могут предоставляться несколько показателей). Поле видимости, и/или ориентация головы, и/или данные перемещения, и/или метаданные взаимодействия, и/или данные 110 виртуального положения могут предоставляться в обратной связи от MCD к клиентской системе 102, которая может, в свою очередь, предоставлять запрос серверной системе 120 на основе этой обратной связи.
В некоторых случаях запрос (который указывается ссылкой 112) может содержать текущее поле видимости пользователя, и/или ориентацию головы, и/или данные перемещения, и/или метаданные взаимодействия, и/или данные 110 виртуального положения (или указание либо его обработанную версию). На основе текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных 110 виртуального положения серверная система 120 предоставит необходимые аудио- и/или видеопотоки и/или метаданные. В этом случае серверная система 120 может знать о положении пользователя (например, в виртуальной среде) и может ассоциировать правильные потоки с положениями пользователя.In some cases, the request (which is indicated by link 112) may contain the user's current field of view and/or head orientation and/or movement data and/or interaction metadata and/or virtual position data 110 (or an indication or a processed version thereof) . Based on the user's current field of view and/or head orientation and/or movement data and/or interaction metadata and/or
В других случаях запрос 112 от клиентской системы 102 может содержать явные запросы конкретных аудио- и/или видеопотоков. В этом случае запрос 112 может основываться на текущем поле видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных 110 виртуального положения. Клиентская система 102 знает об аудио- и видеосигналах, которые нужно вывести пользователю, даже если клиентская система 102 не хранит необходимые потоки. Клиентская система 102 в примерах может обращаться к конкретным потокам в серверной системе 120.In other cases, request 112 from
Клиентская система 102 может быть системой для среды виртуальной реальности, VR, дополненной реальности, AR, смешанной реальности, MR, или панорамного видео, выполненной с возможностью принимать видео- и аудиопотоки для воспроизведения в мультимедийном устройстве,The
причем система 102 содержит:wherein the
по меньшей мере один медиа-декодер видео, выполненный с возможностью декодировать видеосигналы из видеопотоков для представления пользователю сцен среды VR, AR, MR или панорамного видео, иat least one video media decoder configured to decode video signals from video streams to present scenes of a VR, AR, MR or panoramic video environment to a user, and
по меньшей мере один декодер 104 аудио, выполненный с возможностью декодировать аудиосигналы (108) по меньшей мере из одного аудиопотока 106,at least one
причем система 102 выполнена с возможностью запрашивать 112 у сервера 120 по меньшей мере один аудиопоток 106, и/или один аудиоэлемент в аудиопотоке, и/или один адаптационный набор на основе по меньшей мере текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных 110 виртуального положения.wherein the
Нужно отметить, что в средах VR, AR, MR может подразумеваться, что пользователь 140 находится в конкретной среде (например, в конкретной комнате). Среда описывается видеосигналами, которые кодируются, например, на стороне сервера (сторона серверной системы 120, что не обязательно включает в себя серверную систему 120, но может содержать другой кодер, который ранее кодировал видеопотоки, которые после этого были сохранены в хранилище сервера 120). В некоторых примерах в каждый момент пользователь может получать только некоторые видеосигналы (например, поле видимости).It should be noted that in VR, AR, MR environments, it may be assumed that the
Вообще говоря, каждая среда может ассоциироваться с конкретной аудиосценой. Аудиосцену можно понимать как совокупность всех звуков, которые нужно воспроизвести для пользователя в конкретной среде и за конкретный период времени.Generally speaking, each environment can be associated with a specific audio scene. An audio scene can be understood as the collection of all the sounds that need to be played for the user in a particular environment and for a particular period of time.
Традиционно среды понимали как дискретное число. Соответственно, количество сред понималось как конечное. По тем же причинам количество аудиосцен понималось как конечное. Поэтому на известном уровне техники системы VR, AR, MR спроектированы так, что:Traditionally, environments were understood as a discrete number. Accordingly, the number of media was understood as finite. For the same reasons, the number of audio scenes was understood to be finite. Therefore, in the prior art, VR, AR, MR systems are designed so that:
- пользователь должен находиться в одной-единственной среде в каждый момент; поэтому для каждой среды:- the user must be in one single environment at a time; so for each environment:
- клиентская система 102 запрашивает у серверной системы 120 только видеопотоки, ассоциированные с одной средой;- the
- клиентская система 102 запрашивает у серверной системы 120 только аудиопотоки, ассоциированные с одной сценой.- the
Этот подход привел к неудобствам.This approach has led to inconvenience.
Например, все аудиопотоки должны доставляться клиентской системе 102 вместе для каждой сцены/среды, а совсем новые аудиопотоки нужно доставлять, когда пользователь перемещается в другую среду (например, когда пользователь проходит в дверь, подразумевая передачу сред/сцен).For example, all audio streams must be delivered to the
Кроме того, в некоторых случаях появлялось неестественное восприятие: например, когда пользователь находится рядом со стеной (например, виртуальной стеной виртуальной комнаты), он должен воспринимать звуки, идущие с другой стороны стены. Однако это восприятие в традиционных средах невозможно: очевидно, что совокупность аудиопотоков, ассоциированных с текущей сценой, не содержит никакой поток, ассоциированный со смежными средами/сценами.In addition, in some cases, unnatural perception appeared: for example, when the user is next to a wall (for example, a virtual wall of a virtual room), he should perceive sounds coming from the other side of the wall. However, this perception in traditional environments is not possible: it is obvious that the set of audio streams associated with the current scene does not contain any stream associated with adjacent environments/scenes.
С другой стороны, восприятие пользователя обычно улучшается, когда увеличивается скорость передачи битов у аудиопотоков. Это может вызвать дополнительные проблемы: чем выше скорость передачи битов, тем больше полезная нагрузка, которую серверной системе нужно доставлять в клиентскую систему 102. Например, когда аудиосцена содержит несколько аудиоисточников (передаваемых в виде аудиоэлементов), причем некоторые из них расположены возле положения пользователя, а другие - далеко от него, то расположенные далеко источники звука будут слышны меньше. Поэтому доставка всех аудиоэлементов с одинаковой скоростью передачи битов или уровнем качества может приводить к очень высоким скоростям передачи битов. Это означает неэффективную доставку аудиопотока. Если серверная система 120 доставляет аудиопотоки с наивысшей возможной скоростью передачи битов, то получается неэффективная доставка, так как звуки с низким уровнем слышимости или низкой релевантностью к общей аудиосцене все же потребовали бы высокой скорости передачи битов аналогично релевантным звукам, сформированным ближе к пользователю. Поэтому, если бы все аудиопотоки одной сцены доставлялись с наивысшей скоростью передачи битов, то связь между серверной системой 120 и клиентской системой 102 излишне увеличила бы полезную нагрузку. Если все аудиопотоки одной сцены доставляются с более низкой скоростью передачи битов, то восприятие пользователя не будет удовлетворительным.On the other hand, the user experience generally improves when the bit rate of the audio streams is increased. This can cause additional problems: the higher the bit rate, the larger the payload that the server system needs to deliver to the
Проблемы связи усиливают рассмотренное выше неудобство: когда пользователь проходит в дверь, предполагается, что он немедленно меняет среду/сцену, что потребовало бы от серверной системы 120 немедленное предоставление всех потоков клиентской системе 102.Communication problems exacerbate the disadvantage discussed above: when the user passes through the door, it is assumed that he immediately changes the environment / scene, which would require the
Поэтому традиционно было невозможно решить рассмотренные выше проблемы.Therefore, traditionally it was impossible to solve the problems discussed above.
Однако эти проблемы можно решить с помощью данного изобретения: клиентская система 102 предоставляет запрос серверной системе 120, который также может основываться на текущем поле видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения (а не только на среде/сцене). Соответственно, серверная система 120 может предоставлять для каждого момента аудиопотоки, которые нужно вывести, например, для каждого положения пользователя.However, these problems can be solved with the present invention: the
Например, если пользователь никогда не ходит близко к стене, то клиентской системе 102 не нужно запрашивать потоки соседней среды (например, они могут запрашиваться клиентской системой 102, только когда пользователь подходит к стене). Кроме того, потоки снаружи стены могут обладать уменьшенной скоростью передачи битов, так как они могут звучать на малой громкости. Примечательно, что более релевантные потоки (например, потоки от аудиообъектов в текущей среде) могут доставляться серверной системой 120 клиентской системе 102 с наивысшей скоростью передачи битов и/или наивысшим уровнем качества (в результате того, что менее релевантные потоки передаются с более низкой скоростью передачи битов и/или уровнем качества, оставляя поэтому свободную полосу для более релевантных потоков).For example, if the user never walks close to a wall, then the
Более низкий уровень качества можно получить, например, путем уменьшения скорости передачи битов или путем обработки аудиоэлементов таким образом, что сокращаются необходимые данные для передачи, тогда как используемая скорость передачи битов по каждому аудиосигнала остается постоянной. Например, если 10 аудиообъектов располагаются в разных положениях далеко от пользователя, то эти объекты можно смешать в меньшее число сигналов на основе положения пользователя:A lower level of quality can be obtained, for example, by reducing the bit rate or by processing the audio elements in such a way that the necessary data for transmission is reduced, while the bit rate used for each audio signal remains constant. For example, if 10 audio objects are located at different positions far from the user, then these objects can be mixed into fewer signals based on the user's position:
- в положениях, очень удаленных от положения пользователя (например, больше первой пороговой величины) объекты смешиваются в 2 сигнала (возможны другие числа на основе их пространственного положения и семантики) и доставляются как 2 "виртуальных объекта";- at positions very remote from the user's position (eg, greater than the first threshold), objects are mixed into 2 signals (other numbers are possible based on their spatial position and semantics) and delivered as 2 "virtual objects";
- в положениях ближе к положению пользователя (например, меньше первой пороговой величины, но больше второй пороговой величины, которая меньше первой пороговой величины) объекты смешиваются в 5 сигналов (на основе их пространственного положения и семантики) и доставляются как 5 (возможны другие числа) "виртуальных объектов";- at positions closer to the user's position (e.g. less than the first threshold but greater than a second threshold that is less than the first threshold) objects are mixed into 5 signals (based on their spatial position and semantics) and delivered as 5 (other numbers are possible) "virtual objects";
- в положениях очень близко к положениям пользователя (меньше первой и второй пороговых величин) 10 объектов доставляются как 10 аудиосигналов с наивысшим качеством.- in positions very close to the positions of the user (less than the first and second thresholds), 10 objects are delivered as 10 audio signals with the highest quality.
Хотя для наивысшего качества все аудиосигналы могут считаться очень важными и слышимыми, пользователь может отдельно определять местонахождение каждого объекта. Для более низких уровней качества в удаленных положениях некоторые аудиообъекты могут становиться менее релевантными или менее слышимыми, поэтому пользователь никак не смог бы отдельно определить местонахождение аудиосигналов в пространстве, и поэтому снижение уровня качества для доставки этих аудиосигналов не привело бы ни к какому снижению качества восприятия для пользователя.Although all audio signals can be considered very important and audible for the highest quality, the user can separately locate each object. For lower quality levels at distant locations, some audio objects may become less relevant or less audible, so there is no way for the user to separately locate audio signals in space, and therefore reducing the quality level for delivering these audio signals would not result in any reduction in perceptual quality for user.
Другой пример про то, когда пользователь выходит за дверь: в переходном положении (например, на границе между двумя разными средами/сценами) серверная система 120 предоставит оба потока обоих сцен/сред, но с более низкими скоростями передачи битов. Причина в том, что пользователь будет воспринимать звуки из двух разных сред (звуки могут соединяться из разных аудиопотоков, первоначально ассоциированных с разными сценами/средами), и не возникает потребности в наивысшем уровне качества у каждого источника звука (или аудиоэлемента).Another example is when the user walks out the door: in a transitional position (eg, at the boundary between two different environments/scenes),
В связи с вышеизложенным изобретение позволяет превзойти традиционный подход с дискретным числом визуальных сред и аудиосцен, но может позволить постепенное представление разных сред/сцен, создавая более реалистичное восприятие у пользователя.In view of the foregoing, the invention overcomes the traditional approach of a discrete number of visual environments and audio scenes, but can allow gradual presentation of different environments/scenes, creating a more realistic experience for the user.
В этом документе считается, что каждая визуальная среда (например, виртуальная среда) ассоциируется с аудиосценой (атрибуты сред также могут быть атрибутами сцены). Каждая среда/сцена может ассоциироваться, например, с геометрической системой координат (которая может быть виртуальной геометрической системой координат). Среда/сцена может иметь границы, чтобы получалась другая среда/сцена, когда положение пользователя (например, виртуальное положение) выходит за границы. Границы могут основываться на используемой системе координат. Среда может содержать аудиообъекты (аудиоэлементы, источники звука), которые могут располагаться в некоторых конкретных координатах среды/сцены. Например, по отношению к относительному положению и/или ориентации пользователя относительно аудиообъектов (аудиоэлементов, источников звука) клиентская система 102 может запрашивать разные потоки, и/или серверная система 120 может предоставлять разные потоки (например, с более высокими/более низкими скоростями передачи битов и/или уровнями качества в соответствии с расстоянием и/или ориентацией).In this document, each visual environment (eg, virtual environment) is considered to be associated with an audio scene (environment attributes can also be scene attributes). Each environment/scene may be associated with, for example, a geometric coordinate system (which may be a virtual geometric coordinate system). The environment/scene may have boundaries so that a different environment/scene is obtained when the user's position (eg, virtual position) is out of bounds. Boundaries can be based on the coordinate system used. The environment may contain audio objects (audio elements, sound sources) that may be located at some specific environment/scene coordinates. For example, with respect to the relative position and/or orientation of the user relative to audio objects (audio elements, audio sources),
В общих чертах клиентская система 102 может запрашивать и/или получать от серверной системы 120 разные потоки (например, разные представления одних и тех же звуков с разными скоростями передачи битов и/или уровнями качества) на основе их слышимости и/или релевантности. Слышимость и/или релевантность может определяться, например, на основе по меньшей мере текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения.In general,
В нескольких примерах существует возможность соединения разных потоков. В нескольких случаях имеется возможность составления, или смешивания, или мультиплексирования, или наложения, или объединения по меньшей мере двух сцен. Существует, например, возможность использования смесителя и/или блока вывода (который может использоваться, например, после нескольких декодеров, декодирующих по меньшей мере один аудиопоток) либо выполнение операции мультиплексирования потоков, например, перед декодированием потоков. В других случаях может быть возможность декодирования разных потоков и их вывода при разных настройках громкоговорителей.In several examples, it is possible to connect different streams. In several cases, it is possible to compose, or mix, or multiplex, or overlay, or combine at least two scenes. There is, for example, the possibility of using a mixer and/or an output unit (which may be used, for example, after several decoders decoding at least one audio stream) or performing a stream multiplexing operation, for example, before decoding the streams. In other cases, it may be possible to decode different streams and output them with different speaker settings.
Нужно отметить, что настоящее изобретение не обязательно отвергает концепцию визуальной среды и аудиосцены. В частности, с помощью изобретения аудио- и видеопотоки, ассоциированные с конкретной сценой/средой, могут доставляться от серверной системы 120 клиентской системе 102, когда пользователь входит в среде/сцену. Тем не менее, в одной и той же среде/сцене можно запрашивать, обращаться и/или доставлять разные аудиопотоки, и/или аудиообъекты, и/или адаптационные наборы. В частности, может быть так, что:It should be noted that the present invention does not necessarily override the concept of a visual environment and an audio scene. In particular, with the invention, audio and video streams associated with a particular scene/environment can be delivered from
- по меньшей мере некоторые видеоданные, ассоциированные с визуальной средой, доставляются от сервера 120 клиенту 102 при входе пользователя в сцену; и/или- at least some video data associated with the visual environment is delivered from the
- по меньшей мере некоторые аудиоданные (потоки, объекты, адаптационные наборы, …) доставляются клиентской системе 102 только на основе текущего (или будущего) поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или виртуального положения, и/или выбора/взаимодействия пользователя; и/или- at least some audio data (streams, objects, adaptation sets, ...) are delivered to the
- (в некоторых случаях): некоторые аудиоданные доставляются клиентской системе 102 на основе текущей сцены (независимо от текущего или будущего положения, или поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или виртуального положения, и/или выбора пользователя), тогда как оставшиеся аудиоданные доставляются на основе текущего или будущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или виртуального положения, и/или выбора пользователя.- (in some cases): some audio data is delivered to the
Нужно отметить, что различные элементы (серверная система, клиентская система, MCD и т.п.) могут представлять собой элементы в разных аппаратных устройствах или даже в одних и тех же устройствах (например, клиент и MCD можно реализовать как часть одного мобильного телефона, или аналогичным образом клиент может находиться в ПК, подключенном к вспомогательному экрану, который содержал бы MCD).It should be noted that different elements (server system, client system, MCD, etc.) may be elements in different hardware devices or even in the same devices (for example, client and MCD can be implemented as part of the same mobile phone, or similarly, the client could be in a PC connected to an auxiliary screen that would contain an MCD).
ПримерыExamples
Один вариант осуществления системы 102 (клиента), как показано на фиг. 1.1, выполнен с возможностью принимать (аудио) потоки 106 на основе заданного положения в некой среде (например, виртуальной среде), которую можно понимать как ассоциированную с видео- и аудиосценой (в дальнейшем называемой сценой 150). Разные положения в одной и той же сцене 150 обычно подразумевают разные потоки 106 или разные метаданные, ассоциированные с потоками 106, которые нужно предоставить декодеру 104 аудио в системе 102 (например, от медиа-сервера 120). Система 102 подключается к мультимедийному бытовому прибору (MCD), от которого принимает обратную связь, ассоциированную с положением и/или виртуальным положением пользователя в той же среде. В дальнейшем положение пользователя в среде может ассоциироваться с конкретным полем видимости, которое нравится пользователю (предполагаемое поле видимости, например, поверхность, предполагаемую в виде прямоугольной поверхности, проецируемой на сферу, которая представляется пользователю).One embodiment of system 102 (client), as shown in FIG. 1.1 is configured to receive (audio) streams 106 based on a given position in an environment (eg, virtual environment) that can be understood to be associated with a video and audio scene (hereinafter referred to as scene 150). Different locations in the
В примерном сценарии, когда пользователь перемещается по сцене 150 VR, AR и/или MR, аудиоконтент можно представить как виртуально формируемый одним или более аудиоисточниками 152, которые могут меняться. Аудиоисточники 152 можно понимать как виртуальные аудиоисточники в том смысле, что они могут относиться к положениям в виртуальной среде: выведение каждого аудиоисточник приспосабливается к положению пользователя (например, в упрощенном пояснении уровень аудиоисточника выше, когда пользователь находится ближе к положению аудиоисточника, и ниже, когда пользователь более отдален от аудиоисточника). Каждый аудиоэлемент (аудиоисточник), тем не менее, кодируется в аудиопотоки, которые предоставляются декодеру. Аудиопотоки могут ассоциироваться с различными положениями и/или областями в сцене. Например аудиоисточники 152, которые не слышны в одной сцене, можно услышать в следующей сцене, например, когда открывается дверь в сцену 150 VR, AR и/или MR. Тогда пользователь может решить войти в новую сцену/среду 150 (например, комнату), и меняется вся аудиосцена. С целью описания этого сценария термин "дискретные точки наблюдения в пространстве" может использоваться в качестве дискретного местоположения в пространстве (или в VR-среде), для которого доступен разный аудиоконтент.In an exemplary scenario, as the user navigates through the VR, AR and/or
Вообще говоря, медиа-сервер 120 может предоставлять потоки 106, ассоциированные с конкретной сценой 150, на основе положения пользователя в сцене 150. Потоки 106 могут кодироваться по меньшей мере одним кодером 154 и предоставляться медиа-серверу 120. Медиа-сервер 120 может передавать потоки 113 с помощью связей 113 (например, по сети связи). Предоставление потоков 113 может основываться на запросах 112, поданных системой 102 на основе положения 110 пользователя (например, в виртуальной среде). Положение 110 пользователя также можно понимать как ассоциируемое с полем видимости, которое нравится пользователю (так как для каждого положения имеется один-единственный прямоугольник, который представляется), и с точкой наблюдения (так как точка наблюдения является центром поля видимости). Поэтому предоставление поля видимости в некоторых примерах может быть таким же, как предоставление положения.Generally speaking,
Система 102, как показано на фиг. 1.2, выполнена с возможностью принимать (аудио) потоки 113 на основе другой конфигурации на стороне клиента. В этой примерной реализации на кодирующей стороне предоставляется множество медиа-кодеров 154, которое может использоваться для создания одного или более потоков 106 для каждой доступной сцены 150, ассоциированной с одной частью звуковой сцены у одной точки наблюдения.
Медиа-сервер 120 может хранить несколько адаптационных наборов аудио и (не показано) видео, содержащих разные кодирования одних и тех же аудио- и видеопотоков с разными скоростями передачи битов. Более того, медиа-сервер может содержать описательную информацию обо всех адаптационных наборах, которая может включать в себя доступность всех созданных адаптационных наборов. Адаптационные наборы могут включать в себя также информацию, описывающую ассоциацию одного адаптационного набора с одной конкретной аудиосценой и/или точкой наблюдения. Таким образом, каждый адаптационный набор может ассоциироваться с одной из доступных аудиосцен.
Кроме того, адаптационные наборы могут включать в себя информацию, описывающую границы каждой аудиосцены и/или точки наблюдения, которая может содержать, например, законченную аудиосцену или только отдельные аудиообъекты. Границы одной аудиосцены могут задаваться, например, в виде геометрических координат сферы (например, центр и радиус).In addition, adaptation sets may include information describing the boundaries of each audio scene and/or viewpoint, which may contain, for example, a complete audio scene or only individual audio objects. The boundaries of one audio scene can be specified, for example, in the form of geometric coordinates of a sphere (eg, center and radius).
Система 102 на стороне клиента может принимать информацию о текущем поле видимости, и/или ориентации головы, и/или данные перемещения, и/или метаданные взаимодействия, и/или о виртуальном положении пользователя, или любую информацию, описывающую изменения, вызванные действиями пользователя. Кроме того, система 102 также может принимать информацию о доступности всех адаптационных наборов и информацию, описывающую ассоциацию одного адаптационного набора с одной аудиосценой и/или точкой наблюдения; и/или информацию, описывающую "границы" каждой аудиосцены и/или точки наблюдения (которая может содержать, например, законченную аудиосцену или только отдельные объекты). Например, в случае среды доставки DASH такая информация может предоставляться как часть синтаксиса XML Описания представления мультимедиа (MPD).The client-
Система 102 может предоставлять аудиосигнал мультимедийному устройству (MCD), используемому для потребления контента. Мультимедийное устройство также отвечает за сбор информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения (или любой информации, описывающей изменения, вызванные действиями пользователя) в виде данных 110 о положении и переходе.
Процессор 1232 поля видимости может быть выполнен с возможностью принимать от мультимедийного устройства упомянутые данные 110 о положении и переходе. Процессор 1232 поля видимости также может принимать информацию о ROI, сигнализированную в метаданных, и всю информацию, доступную на принимающей стороне (система 102). Тогда процессор 1232 поля видимости может на основе всей информации, принятой и/или выведенной из принятых и/или доступных метаданных, решать, какую точку наблюдения аудио ему следует воспроизводить в некоторый момент времени. Например, процессор 1232 поля видимости может решить, что нужно воспроизвести одну законченную аудиосцену, одну новую аудиосцену 108 нужно создать из всех доступных аудиосцен, например, только некоторые аудиоэлементы из нескольких аудиосцен нужно воспроизвести, тогда как другие оставшиеся аудиоэлементы из этих аудиосцен воспроизводить не нужно. Процессор 1232 поля видимости также может решить, нужно ли воспроизводить переход между двумя или более аудиосценами.The field of
Выборная часть 1230 может предоставляться для выбора на основе информации, принятой от процессора 1232 поля видимости, одного или более адаптационных наборов из доступных адаптационных наборов, которые сигнализированы в информации, принятой принимающей стороной; при этом выбранные адаптационные наборы полностью описывают аудиосцену, которую следует воспроизводить в текущем местоположении пользователя. Эта аудиосцена может быть законченной аудиосценой, которая задана на кодирующей стороне, или может потребоваться создать новую аудиосцену из всех доступных аудиосцен.
Более того, в случае, когда на основе указания от процессора 1232 поля видимости предстоит переход между двумя или более аудиосценами, выборная часть может быть выполнена с возможностью выбирать один или более адаптационных наборов из доступных адаптационных наборов, которые сигнализированы в информации, принятой принимающей стороной; при этом выбранные адаптационные наборы полностью описывают аудиосцену, которую может потребоваться воспроизвести в ближайшем будущем (например, если пользователь идет в направлении следующей аудиосцены с некоторой скоростью, то можно предсказать, что потребуется следующая аудиосцена, и она выбирается перед воспроизведением).Moreover, in the case where, based on an indication from the field of
Более того, сначала можно выбрать некоторые адаптационные наборы, соответствующие соседним местоположениям, с более низкой скоростью передачи битов и/или более низким уровнем качества, например представление, кодированное с более низкой скоростью передачи битов, выбирается из доступных представлений в одном адаптационном наборе, и на основе изменений положения качество увеличивается путем выбора более высокой скорости передачи битов для тех определенных адаптационных наборов, например представление, кодированное с более высокой скоростью передачи битов, выбирается из доступных представлений в одном адаптационном наборе.Moreover, some adaptation sets corresponding to neighboring locations with a lower bit rate and/or a lower quality level may first be selected, for example, a lower bit rate encoded representation is selected from the available representations in one adaptation set, and on based on position changes, quality is increased by selecting a higher bit rate for those specific adaptation sets, eg a representation encoded at a higher bit rate is selected from the available representations in one adaptation set.
Может предоставляться загружающая и переключающая часть 1234 для запроса у медиа-сервера одного или более адаптационных наборов из доступных адаптационных наборов на основе указания, принятого от выборной части, конфигурируемая для приема одного или более адаптационных наборов из доступных адаптационных наборов от медиа-сервера и извлечения метаданных из всех принятых аудиопотоков.A loading and switching
Процессор 1236 метаданных может предоставляться для приема от загружающей и переключающей части информации о принятых аудиопотоках, которая может включать в себя метаданные аудио, соответствующие каждому принятому аудиопотоку. Процессор 1236 метаданных также может быть выполнен с возможностью обрабатывать метаданные аудио, ассоциированные с каждым аудиопотоком 113, на основе принятой от процессора 1232 поля видимости информации, которая может включать в себя информацию о местоположении пользователя, и/или ориентации, и/или направлении 110 перемещения, чтобы выбирать/включать необходимые аудиоэлементы 152, составляющие новую аудиосцену, которая указана процессором 1232 поля видимости, и разрешать соединение всех аудиопотоков 113 в единый аудиопоток 106.A
Мультиплексор/устройство 1238 соединения потоков может быть выполнено с возможностью соединять все выбранные аудиопотоки в один аудиопоток 106 на основе принятой от процессора 1236 метаданных информации, которая может включать в себя измененные и обработанные метаданные аудио, соответствующие всем принятым аудиопотокам 113.The multiplexer/
Медиа-декодер 104 выполнен с возможностью принимать и декодировать по меньшей мере один аудиопоток для воспроизведения новой аудиосцены, которая указана процессором 1232 поля видимости, на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения.The
В другом варианте осуществления система 102, как показано на фиг. 1.7, может быть выполнена с возможностью принимать аудиопотоки 106 с разными скоростями передачи битов и/или уровнями качества аудио. Аппаратная конфигурация этого варианта осуществления аналогична конфигурации из фиг. 1.2. По меньшей мере одна сцена 152 визуальной среды может ассоциироваться по меньшей мере с одним множеством из N аудиоэлементов (N>=2), при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде. По меньшей мере одно множество из N аудиоэлементов 152 предоставляется по меньшей мере в одном представлении с высокой скоростью передачи битов и/или уровнем качества, и где по меньшей мере одно множество из N аудиоэлементов 152 предоставляется по меньшей мере в одном представлении с низкой скоростью передачи битов и/или уровнем качества, где по меньшей мере одно представление получается путем обработки N аудиоэлементов 152, чтобы получить меньшее число M аудиоэлементов 152 (M<N), ассоциированных с положением или областью, близкой к положению или области N аудиоэлементов 152.In another embodiment,
Обработка N аудиоэлементов 152 могла быть, например, простым сложением аудиосигналов, или могла быть активным понижающим микшированием на основе их пространственного положения 110, или выведением аудиосигналов с использованием их пространственного положения в новом виртуальном положении, расположенном между аудиосигналами. Система может быть выполнена с возможностью запрашивать представление с более высокой скоростью передачи битов и/или уровнем качества для аудиоэлементов, если аудиоэлементы более релевантны и/или лучше слышны в текущем виртуальном положении пользователя в сцене, причем система выполнена с возможностью запрашивать представление с более низкой скоростью передачи битов и/или уровнем качества для аудиоэлементов, если аудиоэлементы менее релевантны и/или хуже слышны в текущем виртуальном положении пользователя в сцене.The processing of the N
Фиг. 1.8 показывает пример системы (которая может быть системой 102), показывающий систему 102 для среды виртуальной реальности, VR, дополненной реальности, AR, смешанной реальности, MR, или панорамного видео, сконфигурированную для приема видеопотоков 1800 и аудиопотоков 106 для воспроизведения в мультимедийном устройстве,Fig. 1.8 shows an example system (which may be system 102) showing a
причем система 102 может содержать:wherein the
по меньшей мере один медиа-декодер 1804 видео, выполненный с возможностью декодировать видеосигналы 1808 из видеопотоков 1800 для представления пользователю среды VR, AR, MR или панорамного видео, иat least one
по меньшей мере один декодер 104 аудио, выполненный с возможностью декодировать аудиосигналы 108 по меньшей мере из одного аудиопотока 106.at least one
Система 102 может быть выполнена с возможностью запрашивать (112) у сервера (например, 120) по меньшей мере один аудиопоток 106, и/или один аудиоэлемент в аудиопотоке, и/или один адаптационный набор на основе по меньшей мере текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных 110 виртуального положения (например, предоставленных в качестве обратной связи от мультимедийного устройства 180).
Система 102 может быть такой же, как система 102 из фиг. 1.1-1.7, и/или получать сценарии из фиг. 2a и последующих.
Настоящие примеры также относятся к способу для среды виртуальной реальности, VR, дополненной реальности, AR, смешанной реальности, MR, или панорамного видео, сконфигурированному для приема видео- и аудиопотоков для воспроизведения в мультимедийном устройстве [например, воспроизводящем устройстве], содержащему:The present examples also relate to a method for a virtual reality, VR, augmented reality, AR, mixed reality, MR, or 360 video environment configured to receive video and audio streams for playback on a multimedia device [e.g., playback device], comprising:
декодирование видеосигналов из видеопотоков для представления пользователю сцен среды VR, AR, MR или панорамного видео, иdecoding video signals from video streams to present scenes of a VR, AR, MR or panoramic video environment to the user, and
декодирование аудиосигналов из аудиопотоков,decoding audio signals from audio streams,
запрос и/или получение от сервера по меньшей мере одного аудиопотока на основе текущего поля видимости пользователя, и/или данных о положении, и/или ориентации головы, и/или данных перемещения, и/или метаданных, и/или данных виртуального положения, и/или метаданных.requesting and/or receiving from the server at least one audio stream based on the user's current field of view and/or position data and/or head orientation and/or movement data and/or metadata and/or virtual position data, and/or metadata.
Случай 1
Разные сцены/среды 150 обычно подразумевают прием разных потоков 106 от сервера 120. Однако потоки 106, принимаемые декодером 104 аудио, также могут быть обусловлены положением пользователя в одной и той же сцене 150.Different scenes/
В первый (начальный) момент (t=t1), показанный на фиг. 2a, пользователь располагается, например, в сцене 150 с первым заданным положением в VR-среде (или AR-среде, или MR-среде). В декартовой системе XYZ (например, горизонтальной) первое поле 110’ видимости (положение) пользователя ассоциируется с координатами x’u и y’u (ось Z здесь ориентирована выходящей из листа). В этой первой сцене 150 располагаются два аудиоэлемента 152-1 и 152-1 с соответствующими координатами x’1 и y’1 для аудиоэлемента 1 (152-1) и x’2 и y’2 для аудиоэлемента 2 (152-2). Расстояние d’1 от пользователя до аудиоэлемента 1 (152-1) меньше расстояния d’2 (152-1) от пользователя до аудиоэлемента 2. Все данные о положении пользователя (поле видимости) передаются от MCD в систему 102.At the first (initial) moment (t=t 1 ), shown in FIG. 2a, the user is located, for example, in the
Во второй примерный момент (t=t2), показанный на фиг. 2b, пользователь располагается, например, в той же сцене 150, но во втором, отличном положении. В декартовой системе XY второе поле 110” видимости (положение) пользователя ассоциируется с новыми координатами x”u и y”u (ось Z здесь ориентирована выходящей из листа). Теперь расстояние d”1 пользователя от аудиоэлемента 1 (152-1) больше расстояния d”2 пользователя от аудиоэлемента 2 (152-2). Все данные о положении пользователя (поле видимости) опять передаются от MCD в систему 102.At the second exemplary time (t=t 2 ) shown in FIG. 2b, the user is located, for example, in the
Пользователь, оснащенный упомянутым MCD для визуализации некоторого поля видимости в панорамной среде, может слушать, например, через наушники. Пользователю может нравиться воспроизведение разных звуков для разных положений, изображенных на фиг. 2a и 2b, одной и той же сцены 150.A user equipped with said MCD to visualize a certain field of view in a panoramic environment can listen through headphones, for example. The user may enjoy playing different sounds for different positions shown in FIG. 2a and 2b, of the
Любое положение, и/или любой переход, и/или поле видимости, и/или виртуальное положение, и/или ориентация головы, и/или данные перемещения в сцене, например, от фиг. 2a к 2b, могут передаваться периодически (например, в обратной связи) от MCD в систему 102 (клиент) в виде сигнала 110. Клиент может повторно передавать данные 110’ или 110” о положении и переходе (например, данные поля видимости) серверу 120. Клиент 102 либо сервер 120 на основе данных 110’ или 110” о положении и переходе (например, данных поля видимости) может решать, какие аудиопотоки 106 необходимы для воспроизведения правильной аудиосцены в текущем положении пользователя. Клиент мог бы выбирать и передавать запрос 112 соответствующего аудиопотока 106, тогда как сервер 120 может быть выполнен с возможностью доставлять соответственно поток (потоки) 106 в зависимости от информации о положении, предоставленной клиентом (системой 102). В качестве альтернативы сервер 120 мог бы выбирать и доставлять соответственно поток (потоки) 106 в зависимости от информации о положении, предоставленной клиентом (системой 102).Any position and/or any transition and/or field of view and/or virtual position and/or head orientation and/or movement data in the scene, such as from FIG. 2a to 2b may be transmitted periodically (eg, in feedback) from the MCD to the system 102 (client) as a
Клиент (система 102) может запрашивать передачу потоков, которые нужно декодировать для представления сцены 150. В некоторых примерах система 102 может передавать информацию о наивысшем уровне качества для воспроизведения на MCD (в других примерах это делает сервер 120, который выбирает уровень качества для воспроизведения на MCD на основе положения пользователя в сцене). В ответ сервер 120 может выбрать одно из множества представлений, ассоциированных с представляемой аудиосценой, чтобы доставить по меньшей мере один поток 106 в соответствии с положением 110’ или 110” пользователя. Поэтому клиент (система 102) может быть выполнен с возможностью доставлять аудиосигнал 108 пользователю, например посредством декодера 104 аудио, чтобы воспроизвести звук, ассоциированный с фактическим (действующим) положением 110’ или 110”. (Можно использовать адаптационные наборы 113: разные варианты одних и тех же потоков, например, с разными скоростями передачи битов, можно использовать для разных положений пользователя).The client (system 102) may request the transmission of streams to be decoded to represent
Потоки 106 (которые могут предварительно обрабатываться или оперативно формироваться) могут передаваться клиенту (системе 102) и могут конфигурироваться для множества точек наблюдения, ассоциированных с некоторыми звуковыми сценами.Streams 106 (which may be pre-processed or generated online) may be transmitted to the client (system 102) and may be configured for multiple viewpoints associated with some sound scenes.
Отмечалось, что разные качества (например, разные скорости передачи битов) могут предоставляться для разных потоков 106 в соответствии с конкретным положением (например, 110’ или 110”) пользователя в среде (например, виртуальной). Например: в случае множества аудиоисточников 152-1 и 152-2 каждый аудиоисточник 152-1 и 152-2 может ассоциироваться с конкретным положением в сцене 150. Чем ближе положение 110’ или 110’ пользователя к первому аудиоисточнику 152-1, тем больше необходимое разрешение и/или качество потока, ассоциированного с первым аудиоисточником 152-2. Этот примерный случай может применяться к аудиоэлементу 1 (152-1) на фиг. 2a, а также к аудиоэлементу 2 (152-2) на фиг. 2b. Чем больше удалено положение 110 пользователя от второго аудиоисточника 152-2, тем меньше необходимое разрешение потока 106, ассоциированного со вторым аудиоисточником 152-2. Этот примерный случай может применяться к аудиоэлементу 2 (152-2) на фиг. 2a, а также к аудиоэлементу 1 (152-1) на фиг. 2b.It has been noted that different qualities (eg, different bit rates) may be provided for
Фактически, первый, близкий аудиоисточник должен звучать на более высоком уровне (и поэтому предоставляться с более высокой скоростью передачи битов), тогда как второй, дальний аудиоисточник должен звучать на более низком уровне (что может позволить требовать меньшего разрешения).In fact, the first, nearer audio source must sound at a higher level (and therefore be provided at a higher bit rate), while the second, farther audio source must sound at a lower level (which may allow a lower resolution to be required).
Поэтому на основе положения 110’ или 110” в среде, которое предоставлено клиентом 102, сервер 120 может предоставлять разные потоки 106 с разными скоростями передачи битов (или другим качеством). На основе того, что аудиоэлементы, которые находятся далеко, не требуют высоких уровней качества, сохраняется общее качество восприятия пользователя, даже если они доставляются с более низкой скоростью передачи битов или уровнем качества.Therefore, based on the
Поэтому для некоторых аудиоэлементов в разных положениях пользователя могут использоваться разные уровни качества, сохраняя при этом качество восприятия.Therefore, different quality levels can be used for some audio elements at different user positions while maintaining perceptual quality.
Без этого решения серверу 120 следует предоставлять все потоки 106 клиенту с наивысшей скоростью передачи битов, что увеличило бы полезную нагрузку в канале связи от сервера 120 клиенту.Without this solution,
Случай 2
Фиг. 3 (случай 2) показывает вариант осуществления с другим примерным сценарием (представленным на вертикальной плоскости XZ в пространстве XYZ, где ось Y представляется входящей в лист), где пользователь перемещается в первой сцене A VR, AR и/или MR (150A), открывает дверь и проходит в нее (переход 150AB), подразумевая переход аудио от первой сцены 150A в момент t1 через переходное положение (150AB) в момент t2 к следующей (второй) сцене B (150B) в момент t3.Fig. 3 (Case 2) shows an embodiment with another exemplary scenario (represented on a vertical XZ plane in XYZ space where the Y axis appears to enter a sheet) where the user moves in the first scene A VR, AR and/or MR (150A), opens door and passes into it (transition 150AB), implying the transition of audio from the
В момент времени t1 пользователь может находиться в положении x1 в направлении x первой сцены VR, AR и/или MR. В момент времени t3 пользователь может находиться в другой, второй сцене B VR, AR и/или MR (150B) в положении x3. В момент t2 пользователь может находиться в переходном положении 150AB, пока он открывает дверь (например, виртуальную дверь) и проходит в нее. Поэтому переход подразумевает переход аудиоинформации от первой сцены 150A ко второй сцене 150B.At time t 1 , the user may be at position x 1 in the x direction of the first scene VR, AR and/or MR. At time t 3 the user may be in another second scene B VR, AR and/or MR (150B) at position x 3 . At time t 2 , the user may be in transition position 150AB while he opens and enters a door (eg, a virtual door). Therefore, a transition implies a transition of audio information from the
В этом смысле пользователь меняет положение 110, например из первой VR-среды (отличающейся первой точкой (A) наблюдения, как показано на фиг. 1.1) во вторую VR-среду (отличающуюся второй точкой (B) наблюдения, как показано на фиг. 1.1). В конкретном случае, например, во время перехода через дверь, расположенную в положении x2 в направлении x, некоторые аудиоэлементы 152A и 152B могут присутствовать в обеих точках наблюдения (положения A и B).In this sense, the user changes the
Пользователь (оснащенный MCD) меняет положение 110 (x1-x3) по отношению к двери, что может подразумевать, что аудиоэлементы в переходном положении x2 принадлежат первой сцене 150A и второй сцене 150B. MCD передает новое положение и данные 110 о переходе клиенту, который повторно передает их медиа-серверу 120. Пользователь может слушать подходящие аудиоисточники, заданные промежуточным положением x2 между первым и вторым положениями x1 и x3.The user (equipped with an MCD) changes position 110 (x 1 -x 3 ) with respect to the door, which may imply that the audio elements in the x 2 transition position belong to the
Любое положение и любой переход из первого положения (x1) во второе положение (x3) теперь периодически (например, постоянно) передается от MCD к клиенту. Клиент 102 может повторно передать данные 110 о положении и переходе (x1-x3) медиа-серверу 120, который выполнен с возможностью доставлять соответственно один специальный элемент, например, из нового набора предварительно обработанных потоков 106 в виде актуализированного адаптационного набора 113’, в зависимости от принятых данных 110 о положении и переходе (x1-x3).Any position and any transition from the first position (x 1 ) to the second position (x 3 ) is now periodically (eg, constantly) transmitted from the MCD to the client. The
Медиа-сервер 120 может выбирать одно из множества представлений, ассоциированных с вышеупомянутой информацией, не только касательно способности MCD отображать наивысшую скорость передачи битов, но также касательно данных 110 о положении и переходе (x1-x3) пользователя во время его перемещения из одного положения в другое. (В этом смысле можно использовать адаптационные наборы: медиа-сервер 120 может решать, какой адаптационный набор 113’ оптимально представляет виртуальный переход пользователя, не мешая способности выведения у MCD).The
Поэтому медиа-сервер 120 может доставлять специальный поток 106 (например, в виде нового адаптационного набора 113’) в соответствии с переходом положений. Клиент 102 может быть выполнен с возможностью соответственно доставлять аудиосигнал 108 пользователю 140, например, посредством медиа-декодера 104 аудио.Therefore, the
Потоки 106 (сформированные оперативно и/или предварительно обработанные) могут передаваться клиенту 102 в периодически (например, постоянно) актуализируемом адаптационном наборе 113’.Streams 106 (generated online and/or pre-processed) may be transmitted to the
Когда пользователь проходит в дверь, сервер 120 может передавать потоки 106 первой сцены 150A и потоки 106 второй сцены 150B. Это происходит для того, чтобы смешивать, или мультиплексировать, или составлять, или воспроизводить эти потоки 106 одновременно, чтобы обеспечить пользователю подлинное впечатление. Поэтому на основе положения 110 пользователя (например, "положение, соответствующее двери") сервер 120 передает клиенту разные потоки 106.As the user passes through the door,
Даже в этом случае, так как разные потоки 106 должны звучать одновременно, они могут обладать разными разрешениями и могут передаваться от сервера 120 клиенту с разными разрешениями. Когда пользователь завершил переход и находится во второй сцене (положении) 150A (и закрыл дверь за собой), у сервера 120 будет возможность сокращения или отказа от передачи потоков 106 первой сцены 150 (если сервер 120 уже предоставил клиенту 102 потоки, то клиент 102 может решить не использовать их).Even so, since the
Случай 3Case 3
Фиг. 4 (случай 3) показывает вариант осуществления с другим примерным сценарием (представленным на вертикальной плоскости XZ в пространстве XYZ, где ось Y представляется входящей в лист), где пользователь перемещается в сцене 150A VR, AR и/или MR, подразумевая переход аудио из одного первого положения в момент t1 во второе положение также в первой сцене 150A в момент t2. Пользователь в первом положении может находиться далеко от стены в момент t1 на расстоянии d1 от стены; и может находиться близко к стене в момент t2 на расстоянии d2 от стены. Здесь d1> d2. Хотя на расстоянии d1 пользователь слышит только источник 152A сцены 150A, он также может слышать источник 152B сцены 150B за стеной.Fig. 4 (Case 3) shows an embodiment with another exemplary scenario (represented on a vertical XZ plane in XYZ space, where the Y axis appears to enter a sheet) where the user moves in a VR, AR and/or
Когда пользователь находится во втором положении (d2), клиент 102 отправляет серверу 120 данные касательно положения 110 пользователя (d2) и принимает от сервера 120 не только аудиопотоки 106 первой сцены 150A, но также аудиопотоки 106 второй сцены 150B. На основе метаданных, предоставленных сервером 120, клиент 102 запустит воспроизведение, например посредством декодера 104, потоков 106 второй сцены 150B (за стеной) на малой громкости.When the user is in the second position (d 2 ), the
Даже в этом случае скорость передачи битов (качество) потоков 106 второй сцены 150B может быть низкой (низким), поэтому требуя уменьшенной полезной нагрузки передачи от сервера 120 клиенту. Примечательно, что положение 110 (d1, d2) клиента (и/или поле видимости) задает аудиопотоки 106, которые предоставляются сервером 120.Even so, the bit rate (quality) of the
Например, система 102 может быть выполнена с возможностью получать потоки, ассоциированные с первой текущей сценой (150A), ассоциированной с первой, текущей средой, и если расстояние положения пользователя или виртуального положения от границы сцены (например, соответствующей стене) меньше заранее установленной пороговой величины (например, когда d2<dthreshold), то система 102 дополнительно получает аудиопотоки, ассоциированные со второй, смежной и/или соседней средой, ассоциированной со второй сценой (150B).For example,
Случай 4Case 4
Фиг. 5a и 5b показывают вариант осуществления с другим примерным сценарием (представленным на горизонтальной плоскости XY в пространстве XYZ, где ось Z представляется выходящей из листа), где пользователь располагается в одной и той же сцене 150 VR, AR и/или MR, но в разные моменты на разных расстояниях, например до двух аудиоэлементов.Fig. 5a and 5b show an embodiment with another exemplary scenario (represented on the horizontal XY plane in XYZ space, where the Z axis is represented as coming out of the sheet) where the user is located in the same VR, AR and/or
В первый момент t=t1, показанный на фиг. 5a, пользователь располагается, например, в первом положении. В этом первом положении первый аудиоэлемент 1(152-1) и второй аудиоэлемент 2 (152-2) располагаются (например, виртуально) на расстояниях d1 и соответствующем d2 от пользователя, оснащенного MCD. Оба расстояния d1 и d2 в этом случае могут быть больше заданного порогового расстояния dthreshold, и поэтому система 102 выполнена с возможностью группировать оба аудиоэлемента в один-единственный виртуальный источник 152-3. Положение и свойства (например, пространственная протяженность) одного виртуального источника могут вычисляться, например, на основе положений двух исходных источников таким образом, чтобы он как можно лучше имитировал исходное звуковое поле, сформированное двумя источниками (например, два хорошо локализованных точечных источника можно воспроизвести посередине расстояния между ними как один источник). Данные 110 о положении пользователя (d1, d2) могут передаваться от MCD системе 102 (клиенту) и впоследствии серверу 120, который может решить отправить подходящий аудиопоток 106, который серверной системе 120 нужно вывести (в других вариантах осуществления это клиент 102, который решает, какие потоки нужно передать от сервера 120). Группируя оба аудиоэлемента в один-единственный виртуальный источник 152-3, сервер 120 может выбрать одно из множества представлений, ассоциированных с вышеупомянутой информацией. (Например, можно доставить специальный поток 106 с адаптационным набором 113’, соответственно ассоциированным, например, с одним-единственным каналом.) Поэтому пользователь посредством MCD может принимать аудиосигнал как передаваемый от одного виртуального аудиоэлемента 152-3, расположенного между настоящими аудиоэлементами 1 (152-1) и 2 (152-2).At the first moment t=t 1 shown in FIG. 5a, the user is located, for example, in the first position. In this first position, the first audio element 1(152-1) and the second audio element 2 (152-2) are located (eg virtually) at distances d 1 and corresponding d 2 from the user equipped with the MCD. Both distances d 1 and d 2 in this case may be greater than a predetermined threshold distance d threshold and therefore the
Во второй момент t=t2, показанный на фиг. 5b, пользователь располагается, например, в той же сцене 150 со вторым заданным положением в той же VR-среде, как и на фиг. 5a. В этом втором положении два аудиоэлемента 152-1 и 152-2 располагаются (например, виртуально) на расстояниях d3 и соответствующем d4 от пользователя. Оба расстояния d3 и d4 могут быть меньше порогового расстояния dthreshold, и поэтому группирование аудиоэлементов 152-1 и 152-2 в один-единственный виртуальный источник 152-3 больше не используется. Данные о положении пользователя передаются от MCD в систему 102 и впоследствии серверу 120, который может решить отправить другой подходящий аудиопоток 106, который серверной системе 120 нужно вывести (в других вариантах осуществления это решение принимается клиентом 102). Избегая группировки аудиоэлементов, сервер 120 может выбирать разное представление, ассоциированное с вышеупомянутой информацией, для доставки соответственно специального потока 106 с адаптационным набором 113’, соответственно ассоциированным с разными каналами для каждого аудиоэлемента. Поэтому пользователь посредством MCD может принимать аудиосигнал 108 как передаваемый от двух разных аудиоэлементов 1 (152-1) и 2 (152-2). Следовательно, чем ближе положение 110 пользователя к аудиоисточникам 1 (152-1) и 2 (152-2), тем выше нужно выбирать необходимый уровень качества потока, ассоциированного с аудиоисточниками.At the second moment t=t 2 shown in FIG. 5b, the user is located, for example, in the
Фактически, чем ближе располагаются аудиоисточники 1 (152-1) и 2 (152-2) относительно пользователя, как изображено на фиг. 5b, тем выше нужно поднимать уровень, и поэтому аудиосигналы 108 можно выводить с более высоким уровнем качества. В отличие от этого удаленные аудиоисточники 1 и 2, представленные на фиг. 5b, должны звучать на более низком уровне как воспроизводимые одним виртуальным источником, а поэтому выводимые, например, с более низким уровнем качества.In fact, the closer audio sources 1 (152-1) and 2 (152-2) are to the user, as shown in FIG. 5b, the higher the level needs to be raised, and therefore the
В аналогичной конфигурации множество аудиоэлементов может располагаться перед пользователем, при этом все они расположены на расстояниях больше порогового расстояния от пользователя. В одном варианте осуществления две группы по пять аудиоэлементов могут объединяться в два виртуальных источника. Данные о положении пользователя передаются от MCD в систему 102 и впоследствии серверу 120, который может решить отправить подходящий аудиопоток 106, который серверной системе 120 нужно вывести. Группируя все 10 аудиоэлементов только в два виртуальных источника, сервер 120 может выбирать одно из множества представлений, ассоциированных с вышеупомянутой информацией, для доставки специального потока 106 с адаптационным набором 113’, соответственно ассоциированным, например, с двумя одиночными аудиоэлементами. Поэтому пользователь посредством MCD может принимать аудиосигнал как передаваемый от двух отдельных виртуальных аудиоэлементов, расположенных в той же области с настоящими аудиоэлементами.In a similar configuration, a plurality of audio elements may be placed in front of the user, all of which are located at distances greater than a threshold distance from the user. In one embodiment, two groups of five audio elements can be combined into two virtual sources. The user's position data is transmitted from the MCD to the
В последующий момент времени пользователь приближается к множеству (из десяти) аудиоэлементов. В этой последующей сцене все аудиоэлементы располагаются на расстояниях меньше порогового расстояния dthreshold, и поэтому система 102 выполнена с возможностью завершать группирование аудиоэлементов. Новые данные о положении пользователя передаются от MCD в систему 102 и впоследствии серверу 120, который может решить отправить другой подходящий аудиопоток 106, который серверной системе 120 нужно вывести. Не группируя аудиоэлементы, сервер 120 может выбирать разное представление, ассоциированное с вышеупомянутой информацией, для доставки соответственно специального потока 106 с адаптационным набором 113’, соответственно ассоциированным с разными каналами для каждого аудиоэлемента. Поэтому пользователь посредством MCD может принимать аудиосигнал как передаваемые от десяти разных аудиоэлементов. Следовательно, чем ближе положение 110 пользователя к аудиоисточникам, тем выше нужно выбирать необходимое разрешение потока, ассоциированного с аудиоисточниками.At a subsequent point in time, the user approaches a plurality (out of ten) of the audio elements. In this subsequent scene, all audio elements are located at distances less than the threshold distance d threshold , and therefore the
Случай 5
Фиг. 6 (случай 5) изображает пользователя 140, расположенного в одном положении одной-единственной сцены 150, с мультимедийным бытовым прибором (MCD), который может быть направлен в трех примерных разных направлениях (каждое ассоциировано с разным полем 160-1, 160-2, 160-3 видимости). Эти направления, как показано на фиг. 6, могут обладать ориентацией (например, угловой ориентацией) в полярной системе координат и/или декартовой системе XY, указывая на первую точку 801 наблюдения, расположенную, например, под углом 180° в нижней части фиг. 6, на вторую точку 802 наблюдения, расположенную, например, под углом 90° с правой стороны фиг. 6, и на третью точку 803 наблюдения, расположенную, например, под углом 0° в верхней части фиг. 6. Каждая из этих точек наблюдения ассоциируется с ориентацией пользователя 140 с мультимедийным бытовым прибором (MCD), при этом пользователь расположен в центре, предлагаемом определенным полем видимости, отображенным MCD, выводящим соответствующий аудиосигнал 108 в соответствии с ориентацией MCD.Fig. 6 (Case 5) depicts a
В этой конкретной VR-среде первый аудиоэлемент s1 (152) располагается в первом поле 160-1 видимости поблизости от точки наблюдения, расположенной, например, под углом 180°, а второй аудиоэлемент s2 (152) располагается в третьем поле 160-3 видимости поблизости от точки наблюдения, расположенной, например, под углом 180°. Перед изменением ориентации пользователь 140 в первой ориентации к точке 801 наблюдения (поле 160-1 видимости) воспринимает звук, ассоциированный с фактическим (действующим) положением, громче от аудиоэлемента s1, чем от аудиоэлемента s2.In this particular VR environment, the first audio element s1 (152) is located in the first field of view 160-1 in the vicinity of the viewpoint located, for example, at an angle of 180°, and the second audio element s2 (152) is located in the third field of view 160-3 in the vicinity from an observation point located, for example, at an angle of 180°. Before the orientation change, the
Меняя ориентацию, пользователь 140 во второй ориентации к точке 802 наблюдения может воспринимать звук, ассоциированный с фактическим положением 110, почти на той же громкости сбоку от обоих аудиоэлементов s1 и s2.By changing the orientation, the
В конечном счете, меняя ориентацию, пользователь 140 в третьей ориентации к точке 801 наблюдения (поле 160-3 видимости) может воспринимать звук, ассоциированный с аудиоэлементом 2, громче звука, ассоциированного с аудиоэлементом s1 (фактически, звук от аудиоэлемента 2 приходит спереди, тогда как звук от аудиоэлемента 1 приходит сзади).Ultimately, by changing the orientation, the
Поэтому разные поля видимости, и/или ориентации, и/или данные о виртуальном положении можно ассоциировать с разными скоростями передачи битов и/или качествами.Therefore, different fields of view and/or orientations and/or virtual position data may be associated with different bit rates and/or qualities.
Другие случаи и примерыOther cases and examples
Фиг. 7A показывает вариант осуществления способа для приема аудиопотоков системой в виде последовательности этапов на схеме. В любой момент пользователь системы 102 ассоциируется с текущим полем видимости, и/или ориентацией головы, и/или данными перемещения, и/или метаданными взаимодействия, и/или виртуальным положением. В некоторый момент система на этапе 701 из фиг. 7A может определить аудиоэлементы для воспроизведения на основе текущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или виртуального положения. Поэтому на следующем этапе 703 может определяться релевантность и уровень слышимости для каждого аудиоэлемента. Как описано выше на фиг. 6, у VR-среды могут быть разные аудиоэлементы, расположенные в конкретной сцене 150 либо поблизости от пользователя, либо дальше от него, но также с определенной ориентацией в 360-градусном окружении. Все эти факторы определяют релевантность и уровень слышимости для каждого упомянутого аудиоэлемента.Fig. 7A shows an embodiment of a method for receiving audio streams by a system as a sequence of steps in a diagram. At any time, the user of
На следующем этапе 705 система 102 может запросить у медиа-сервера 120 аудиопотоки в соответствии с определенной релевантностью и уровнем слышимости для каждого из аудиоэлементов.In a
На следующем этапе 707 система 102 может принять аудиопотоки 113, соответственно подготовленные медиа-сервером 120, где потоки с разными скоростями передачи битов могут отражать релевантность и уровень слышимости, которые определены на предшествующих этапах.In a
На следующем этапе 709 система 102 (например, декодер аудио) может декодировать принятые аудиопотоки 113, чтобы на этапе 711 воспроизводилась конкретная сцена 150 (например, посредством MCD) в соответствии с текущим полем видимости, и/или ориентацией головы, и/или данными перемещения, и/или метаданными взаимодействия, и/или виртуальным положением.At a
Фиг. 7B изображает взаимодействие между медиа-сервером 120 и системой 102 в соответствии с вышеописанной последовательностью из схемы работы. В некоторый момент медиа-сервер может передать аудиопоток 750 с более низкой скоростью передачи битов в соответствии с вышеупомянутой определенной более низкой релевантностью и уровнем слышимости релевантных аудиоэлементов вышеупомянутой сцены 150. В последующий момент 752 система может определить, что происходит взаимодействие или изменение данных о положении. Такое взаимодействие может возникать, например, либо из-за изменения данных о положении в той же сцене 150, либо, например, приведения в действие дверной ручки, пока пользователь пытается войти во вторую сцену, отделенную от первой сцены дверью, снабженной дверной ручкой.Fig. 7B depicts the interaction between the
Изменение текущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или виртуального положения может привести к запросу 754, отправленному системой 102 медиа-серверу 120. Этот запрос может отражать более высокую релевантность и уровень слышимости релевантных аудиоэлементов, определенных для той последующей сцены 150. В качестве ответа на запрос 754 медиа-сервер может передать поток 756 с более высокой скоростью передачи битов, обеспечивающей правдоподобное и реалистичное воспроизведение сцены 150 системой 102 в любом текущем виртуальном положении пользователя.Changing the current field of view and/or head orientation and/or movement data and/or interaction metadata and/or virtual position may result in a
Фиг. 8A показывает другой вариант осуществления способа для приема аудиопотоков системой также в виде последовательности этапов на схеме. В некоторый момент 801 может выполняться определение первого текущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или виртуального положения. В утвердительном случае система 102 может подготовить запрос потоков, ассоциированных с первым положением, заданным низкой скоростью передачи битов, и передать его на этапе 803.Fig. 8A shows another embodiment of the method for receiving audio streams by the system, also as a series of steps in a diagram. At some
В последующий момент может выполняться этап 805 определения с тремя разными результатами. Одна или две заданных пороговых величины могут быть релевантны на этом этапе для определения, например, предсказывающего решения о последующем поле видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или виртуального положения. Поэтому может выполняться сравнение с первой и/или второй пороговой величиной касательно вероятности изменения второго положения, приводящее, например, к выполнению трех разных последующих этапов.At a later point in time, determine
При результате, отражающем, например, очень низкую вероятность (например, ассоциированную с вышеупомянутым сравнением с первой заранее установленной пороговой величиной), выполнялся бы новый этап 801 сравнения.With a result reflecting, for example, a very low probability (eg, associated with the above comparison with the first predetermined threshold), a
При результате, отражающем низкую вероятность (например, больше первой заранее установленной пороговой величины, но меньше второй заранее установленной пороговой величины, которая больше первой пороговой величины), это может привести на этапе 809 к запросу аудиопотоков 113 с низкой скоростью передачи битов.With a result reflecting a low probability (e.g., greater than the first predetermined threshold but less than a second predetermined threshold greater than the first threshold), this may result in requesting low bit rate audio streams 113 at
При результате, отражающем высокую вероятность (например, больше второй заранее установленной пороговой величины), на этапе 807 может выполняться запрос аудиопотоков 113 с высокой скоростью передачи битов. Поэтому последующим этапом, который нужно выполнить после исполнения этапов 807 или 809, опять мог бы быть этап 801 определения.If the result reflects a high probability (eg, greater than a second predetermined threshold), at
Фиг. 8B изображает взаимодействие между медиа-сервером 120 и системой 102 в соответствии только с одной вышеописанной последовательностью из схемы работы. В некоторый момент медиа-сервер может передать аудиопоток 850 с низкой скоростью передачи битов в соответствии с вышеупомянутой определенной низкой релевантностью и уровнем слышимости аудиоэлементов вышеупомянутой сцены 150. В последующий момент 852 система может определить, что вероятно произойдет взаимодействие. Предсказывающее изменение текущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или виртуального положения может привести к подходящему запросу 854, отправленному системой 102 медиа-серверу 120. Этот запрос может отражать один из вышеописанных случаев касательно высокой вероятности прихода во второе положение, ассоциированное с высокой скоростью передачи битов в соответствии с уровнем слышимости аудиоэлементов, который необходим для соответствующей последующей сцены 150. В качестве ответа медиа-сервер может передать поток 856 с более высокой скоростью передачи битов, обеспечивающей правдоподобное и реалистичное воспроизведение сцены 150 системой 102 в любом текущем виртуальном положении пользователя.Fig. 8B depicts the interaction between the
Система 102, как показано на фиг. 1.3, выполнена с возможностью принимать аудиопотоки 113 на основе другой конфигурации на стороне клиента, при этом архитектура системы может использовать дискретные точки наблюдения на основе решения, использующего несколько декодеров 1320, 1322 аудио. На стороне клиента система 102 может воплощать, например, части системы, описанной на фиг. 1.2, которые дополнительно или в качестве альтернативы содержат несколько декодеров 1320, 1322 аудио, которые могут быть выполнены с возможностью декодировать отдельные аудиопотоки, которые указаны процессором 1236 метаданных, например, с некоторым количеством отключенных аудиоэлементов.
В системе 102 может предоставляться смеситель/блок 1238 вывода, конфигурируемый для воспроизведения итоговой аудиосцены на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения, то есть некоторые аудиоэлементы, которые не слышны в определенном местоположении, следует отключить или не выводить.
Нижеследующие варианты осуществления, показанные на фиг. 1.4, 1.5 и 1.6, основываются на независимых адаптационных наборах для дискретных точек наблюдения с гибкими адаптационными наборами. В случае, когда пользователь перемещается в VR-среде, аудиосцена может постоянно меняться. Для обеспечения хорошего восприятия аудио все аудиоэлементы, составляющие аудиосцену в некоторый момент времени, может потребоваться сделать доступными медиа-декодеру, который может применить информацию о положении для создания итоговой аудиосцены.The following embodiments shown in FIG. 1.4, 1.5 and 1.6 are based on independent adaptation sets for discrete observation points with flexible adaptation sets. In the case where the user is moving around in the VR environment, the audio scene may be constantly changing. To provide a good audio experience, all the audio elements that make up an audio scene at some point in time may need to be made available to a media decoder that can apply the position information to create the final audio scene.
Если контент предварительно кодируется для некоторого количества предопределенных местоположений, то система может обеспечить точное воспроизведение аудиосцен в этих конкретных местоположениях при допущении, что эти аудиосцены не перекрываются, и пользователь может "перепрыгивать/переключаться" с одного местоположения на следующее.If the content is pre-encoded for a number of predefined locations, then the system can accurately reproduce the audio scenes at those specific locations, assuming that the audio scenes do not overlap and the user can "jump/switch" from one location to the next.
Но в случаях, когда пользователь "идет" из одного местоположения в следующее, аудиоэлементы из двух (или более) аудиосцен можно услышать одновременно. Решение для этих вариантов использования было предоставлено в предыдущих примерах систем, где независимо от механизмов, предусмотренных для декодирования нескольких аудиопотоков (либо с использованием мультиплексора с одним медиа-декодером, либо с несколькими медиа-декодерами и дополнительным смесителем/блоком вывода), клиенту нужно предоставлять аудиопотоки, которые описывают законченные аудиосцены.But in cases where the user "walks" from one location to the next, audio elements from two (or more) audio scenes can be heard at the same time. A solution for these use cases has been provided in previous system examples where, regardless of the mechanisms provided for decoding multiple audio streams (either using a multiplexer with a single media decoder or multiple media decoders and an additional mixer/output unit), the client needs to provide audio streams that describe complete audio scenes.
Ниже предоставляется оптимизация путем предложения идеи общих аудиоэлементов между несколькими аудиопотоками.An optimization is provided below by suggesting the idea of common audio elements between multiple audio streams.
Обсуждение аспектов и примеровDiscussion of aspects and examples
Решение 1: Независимые адаптационные наборы для дискретных местоположений (точек наблюдения).Solution 1: Independent adaptation sets for discrete locations (observation points).
Одним из способов решения описанной проблемы является использование законченных независимых адаптационных наборов для каждого местоположения. Для лучшего понимания решения фиг. 1.1 используется в качестве примерного сценария. В этом примере три разных дискретных точки наблюдения (содержащие три разных аудиосцены) используются для создания законченной VR-среды, в которой должен перемещаться пользователь. Поэтому:One way to solve the described problem is to use complete independent adaptation sets for each location. For a better understanding of the solution of Fig. 1.1 is used as an example scenario. In this example, three different discrete viewpoints (containing three different audio scenes) are used to create a complete VR environment in which the user must navigate. That's why:
- несколько независимых или перекрывающихся аудиосцен кодируются в некоторое количество аудиопотоков. Для каждой аудиосцены может использоваться один главный поток либо, в зависимости от варианта использования, один главный поток и дополнительные вспомогательные потоки (например, некоторые аудиообъекты, содержащие разные языки, могут кодироваться в независимые потоки для эффективной доставки). В предоставленном примере аудиосцена A кодируется в два потока (A1 и A2), аудиосцена B кодируется в три потока (B1, B2 и B3), тогда как аудиосцена C кодируется в три потока (C1, C2 и C3). Нужно отметить, что аудиосцена A и аудиосцена B совместно используют некоторое количество общих элементов (в этом примере два аудиообъекта). Поскольку каждая сцена должна быть законченной и независимой (для независимого воспроизведения, например на воспроизводящих устройствах без VR), общие элементы приходится кодировать дважды для каждой сцены;- several independent or overlapping audio scenes are encoded into a number of audio streams. One main stream may be used for each audio scene, or, depending on the use case, one main stream and additional auxiliary streams (for example, some audio objects containing different languages may be encoded into independent streams for efficient delivery). In the example provided, audio scene A is encoded into two streams (A1 and A2), audio scene B is encoded into three streams (B1, B2 and B3), while audio scene C is encoded into three streams (C1, C2 and C3). Note that Audio Scene A and Audio Scene B share a number of common elements (two audio objects in this example). Because each scene must be complete and independent (for independent playback, such as on non-VR playback devices), common elements have to be encoded twice for each scene;
- все аудиопотоки кодируются с разными скоростями передачи битов (то есть разными представлениями), что допускает эффективную адаптацию скорости передачи битов в зависимости от сетевого соединения (то есть для пользователей, использующих высокоскоростное соединение, доставляется кодированная с высокой скоростью передачи битов версия, тогда как для пользователей с менее скоростным сетевым соединением доставляется версия с более низкой скоростью передачи битов);- all audio streams are encoded at different bit rates (i.e., different representations), which allows efficient adaptation of the bit rate depending on the network connection (i.e., for users using a high speed connection, a high bit rate encoded version is delivered, while for users with a slower network connection are delivered the lower bitrate version);
- аудиопотоки сохраняются на медиа-сервере, где для каждого аудиопотока разные кодирования с разными скоростями передачи битов (то есть разными представлениями) группируются в один адаптационный набор с подходящими данными, сигнализирующими доступность всех созданных адаптационных наборов;- the audio streams are stored in a media server where, for each audio stream, different encodings with different bit rates (i.e., different representations) are grouped into one adaptation set with suitable data signaling the availability of all created adaptation sets;
- дополнительно к адаптационным наборам медиа-сервер принимает информацию о "границах" местоположения у каждой аудиосцены и их взаимосвязь с каждым адаптационным набором (который может содержать, например, законченную аудиосцену или только отдельные объекты). Таким образом, каждый адаптационный набор может ассоциироваться с одной из доступных аудиосцен. Границы одной аудиосцены могут задаваться, например, в виде геометрических координат сферы (например, центр и радиус);- in addition to the adaptation sets, the media server receives information about the "boundaries" of the location at each audio scene and their relationship with each adaptation set (which may contain, for example, a complete audio scene or only individual objects). Thus, each adaptation set may be associated with one of the available audio scenes. The boundaries of one audio scene can be specified, for example, in the form of geometric coordinates of a sphere (for example, center and radius);
- каждый адаптационный набор содержит также описательную информацию о местоположениях, в которых активна звуковая сцена или аудиоэлементы. Например, если один вспомогательный поток содержит один или более объектов, то адаптационный набор мог бы содержать такую информацию, как местоположения, где слышны объекты (например, координаты центра сферы и радиус);- each adaptation set also contains descriptive information about the locations where the soundstage or audio elements are active. For example, if one helper stream contains one or more objects, then the adaptation set could contain information such as locations where the objects are heard (eg, sphere center coordinates and radius);
- медиа-сервер предоставляет клиенту, например клиенту DASH, информацию о "границах" местоположения, ассоциированных с каждым адаптационным набором. Например, в случае среды доставки DASH ее можно встроить в синтаксис XML Описания представления мультимедиа (MPD);- the media server provides the client, eg the DASH client, with information about the "boundaries" of the location associated with each adaptation set. For example, in the case of a DASH delivery environment, it can be embedded in the Media Presentation Description (MPD) XML syntax;
- клиент принимает информацию о местоположении пользователя, и/или ориентации, и/или направлении перемещения (или любую информацию, описывающую изменения, вызванные действиями пользователя);- the client receives information about the user's location, and/or orientation, and/or direction of movement (or any information describing the changes caused by the user's actions);
- клиент принимает информацию о каждом адаптационном наборе, и на ее основе и местоположения пользователя, и/или ориентации, и/или направления перемещения (или любой информации, описывающей изменения, вызванные действиями пользователя, например содержащей координаты x, y, z и/или значения поворота, продольного крена, поперечного крена) клиент выбирает один или более адаптационных наборов, полностью описывающих аудиосцену, которую следует воспроизвести в текущем местоположении пользователя;- the client receives information about each adaptation set, and based on it, the user's location, and / or orientation, and / or direction of movement (or any information describing the changes caused by the user's actions, for example, containing x, y, z coordinates and / or roll, pitch, roll values) the client selects one or more adaptation sets that fully describe the audio scene to be played at the user's current location;
- клиент запрашивает один или более адаптационных наборов;- the client requests one or more adaptation sets;
- кроме того, клиент может выбрать больше адаптационных наборов, полностью описывающих более одной аудиосцены, и использовать аудиопотоки, соответствующие более одной аудиосцене, для создания новой аудиосцены, которую следует воспроизвести в текущем местоположении пользователя. Например, если пользователь идет в VR-среде и в некоторый момент времени располагается между ними (или в местоположении, расположенном в месте, где у двух аудиосцен есть слышимые эффекты);- in addition, the client can select more adaptation sets that fully describe more than one audio scene, and use the audio streams corresponding to more than one audio scene to create a new audio scene to be played at the user's current location. For example, if the user is walking in a VR environment and at some point in time is positioned between them (or at a location located at a location where two audio scenes have audible effects);
- как только доступны аудиопотоки, можно использовать несколько медиа-декодеров для декодирования отдельных аудиопотоков и дополнительный смеситель/блок 1238 вывода для воспроизведения итоговой аудиосцены на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения (то есть, например, некоторые аудиоэлементы, которые не слышны в определенном местоположении, следует отключить или не выводить);- once the audio streams are available, multiple media decoders can be used to decode the individual audio streams and an additional mixer/
- в качестве альтернативы процессор 1236 метаданных может использоваться для работы с метаданными аудио, ассоциированными со всем аудиопотоками, на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения, чтобы:- alternatively, the
- выбрать/включить необходимые аудиоэлементы 152, составляющие новую аудиосцену;- select/turn on the necessary
- и обеспечить соединение всех аудиопотоков в единый аудиопоток;- and ensure the connection of all audio streams into a single audio stream;
- медиа-сервер доставляет необходимые адаптационные наборы;- the media server delivers the necessary adaptation kits;
- в качестве альтернативы клиент предоставляет информацию о местоположении пользователя медиа-серверу, а медиа-сервер предоставляет указание о необходимых адаптационных наборах.alternatively, the client provides information about the user's location to the media server, and the media server provides an indication of the required adaptation sets.
Фиг. 1.2 показывает другую примерную реализацию такой системы, содержащей:Fig. 1.2 shows another exemplary implementation of such a system, containing:
- на кодирующей стороне- on the coding side
- множество медиа-кодеров, которые могут использоваться для создания одного или более аудиопотоков для каждой доступной аудиосцены, ассоциированной с одной частью звуковой сцены у одной точки наблюдения;- many media encoders that can be used to create one or more audio streams for each available audio scene associated with one part of the sound stage at one viewpoint;
- множество медиа-кодеров, которые могут использоваться для создания одного или более видеопотоков для каждой доступной видеосцены, ассоциированной с одной частью видеосцены у одной точки наблюдения. На чертеже видеокодеры не представлены для простоты;- a plurality of media encoders that can be used to create one or more video streams for each available video scene associated with one part of the video scene at one viewpoint. In the drawing, video encoders are omitted for simplicity;
- медиа-сервер, который хранит несколько адаптационных наборов аудио и видео, содержащих разные кодирования одних и тех же аудио- и видеопотоков с разными скоростями передачи битов (то есть разные представления). Более того, медиа-сервер содержит описательную информацию про все адаптационные наборы, которая может включать в себя:- a media server that stores several audio and video adaptation sets containing different encodings of the same audio and video streams with different bit rates (that is, different representations). Moreover, the media server contains descriptive information about all adaptation sets, which may include:
- доступность всех созданных адаптационных наборов;- availability of all created adaptation sets;
- информацию, описывающую ассоциацию одного адаптационного набора с одной аудиосценой и/или точкой наблюдения; Таким образом, каждый адаптационный набор может ассоциироваться с одной из доступных аудиосцен;- information describing the association of one adaptation set with one audio scene and/or viewpoint; Thus, each adaptation set may be associated with one of the available audio scenes;
- информацию, описывающую "границы" каждой аудиосцены и/или точки наблюдения (которая может содержать, например, законченную аудиосцену или только отдельные объекты). Границы одной аудиосцены могут задаваться, например, в виде геометрических координат сферы (например, центр и радиус);- information describing the "boundaries" of each audio scene and/or viewpoint (which may contain, for example, a complete audio scene or only individual objects). The boundaries of one audio scene can be specified, for example, in the form of geometric coordinates of a sphere (for example, center and radius);
- на стороне клиента систему (клиентскую систему), которая может содержать в любой из:- on the client side, a system (client system), which may contain any of:
- принимающей стороны, которая может принимать:- a host that can receive:
- информацию о местоположении пользователя, и/или ориентации, и/или направлении перемещения (или любую информацию, описывающую изменения, вызванные действиями пользователя);- information about the user's location and/or orientation and/or direction of movement (or any information describing the changes caused by the user's actions);
- информацию о доступности всех адаптационных наборов и информацию, описывающую ассоциацию одного адаптационного набора с одной аудиосценой и/или точкой наблюдения; и/или информацию, описывающую "границы" каждой аудиосцены и/или точки наблюдения (которая может содержать, например, законченную аудиосцену или только отдельные объекты). Например, в случае среды доставки DASH такая информация может предоставляться как часть синтаксиса XML Описания представления мультимедиа (MPD);- information about the availability of all adaptation sets and information describing the association of one adaptation set with one audio scene and/or viewpoint; and/or information describing the "boundaries" of each audio scene and/or viewpoint (which may include, for example, a complete audio scene or only individual objects). For example, in the case of a DASH delivery environment, such information may be provided as part of the Media Presentation Description (MPD) XML syntax;
- стороны мультимедийного устройства, используемой для потребления контента (например, на основе HMD). Мультимедийное устройство также отвечает за сбор информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения (или любой информации, описывающей изменения, вызванные действиями пользователя);- the side of the multimedia device used to consume the content (eg based on HMD). The multimedia device is also responsible for collecting information about the user's location and/or orientation and/or direction of movement (or any information describing the changes caused by the user's actions);
- процессор 1232 поля видимости, который может быть выполнен с возможностью- field of
- принимать от мультимедийного устройства информацию о текущем поле видимости, которая может содержать местоположение пользователя, и/или ориентацию, и/или направление перемещения (или любую информацию, описывающую изменения, вызванные действиями пользователя);- receive from the multimedia device information about the current field of view, which may contain the user's location and/or orientation and/or direction of movement (or any information describing changes caused by user actions);
- принимать информацию о ROI, сигнализированную в метаданных (поля видимости видео, сигнализированные в виде спецификации OMAF);- receive ROI information signaled in metadata (video visual fields signaled in the form of an OMAF specification);
- принимать всю информацию, доступную на принимающей стороне;- receive all information available on the receiving side;
- решать, какую точку наблюдения аудио/видео следует воспроизводить в некоторый момент времени, на основе всей информации, принятой и/или выведенной из принятых и/или доступных метаданных. Например, процессор 1232 поля видимости может решить, что:- decide which viewpoint of the audio/video should be played at some point in time, based on all the information received and/or derived from the received and/or available metadata. For example,
- нужно воспроизвести одну законченную аудиосцену;- you need to play one complete audio scene;
- нужно создать одну новую аудиосцену из всех доступных аудиосцен (например, нужно воспроизводить только некоторые аудиоэлементы из нескольких аудиосцен, тогда как другие оставшиеся аудиоэлементы из этих аудиосцен воспроизводить не нужно);- you need to create one new audio scene from all available audio scenes (for example, you need to play only some audio elements from several audio scenes, while other remaining audio elements from these audio scenes do not need to be played);
- нужно воспроизвести переход между двумя или более аудиосценами;- you need to play a transition between two or more audio scenes;
- выборная часть 1230, выполненная с возможностью выбирать на основе информации, принятой от процессора 1232 поля видимости, один или более адаптационных наборов из доступных адаптационных наборов, которые сигнализированы в информации, принятой принимающей стороной; при этом выбранные адаптационные наборы полностью описывают аудиосцену, которую следует воспроизводить в текущем местоположении пользователя. Эта аудиосцена может быть законченной аудиосценой, которая задана на кодирующей стороне, или нужно создать новую аудиосцену из всех доступных аудиосцен;- an
- более того, в случае, когда на основе указания от процессора 1232 поля видимости предстоит переход между двумя или более аудиосценами, выборная часть 1230 может быть выполнена с возможностью выбирать один или более адаптационных наборов из доступных адаптационных наборов, которые сигнализированы в информации, принятой принимающей стороной; при этом выбранные адаптационные наборы полностью описывают аудиосцену, которую может потребоваться воспроизвести в ближайшем будущем (например, если пользователь идет в направлении следующей аудиосцены с некоторой скоростью, то можно предсказать, что потребуется следующая аудиосцена, и она выбирается перед воспроизведением);furthermore, in the case where a transition between two or more audio scenes is to be made based on an indication from the field of
- более того, сначала можно выбрать некоторые адаптационные наборы, соответствующие соседним местоположениям, с более низкой скоростью передачи битов (то есть представление, кодированное с более низкой скоростью передачи битов, выбирается из доступных представлений в одном адаптационном наборе), и на основе изменений положения качество увеличивается путем выбора более высокой скорости передачи битов для тех определенных адаптационных наборов (то есть представление, кодированное с более высокой скоростью передачи битов, выбирается из доступных представлений в одном адаптационном наборе);- moreover, some adaptation sets corresponding to neighboring locations with a lower bit rate can be selected first (i.e., a lower bit rate encoded representation is selected from the available representations in one adaptation set), and based on position changes, the quality is increased by selecting a higher bit rate for those specific adaptation sets (ie, a representation encoded at a higher bit rate is selected from the available representations in one adaptation set);
- загружающая и переключающая часть, которая может быть выполнена с возможностью:- loading and switching part, which can be configured to:
- запрашивать у медиа-сервера 120 один или более адаптационных наборов из доступных адаптационных наборов на основе указания, принятого от выборной части 1230;- request from the
- принимать от медиа-сервера 120 один или более адаптационных наборов (то есть одного представления из всех представлений, доступных внутри каждого адаптационного набора) из доступных адаптационных наборов;- receive from the
- извлекать метаданные из всех принятых аудиопотоков;- extract metadata from all received audio streams;
- процессор 1236 метаданных, который может быть выполнен с возможностью:- a
- принимать от загружающей и переключающей части информацию о принятых аудиопотоках, которая может включать в себя метаданные аудио, соответствующие каждому принятому аудиопотоку;- receive from the downloading and switching part information about the received audio streams, which may include audio metadata corresponding to each received audio stream;
- обрабатывать метаданные аудио, ассоциированные с каждым аудиопотоком, на основе принятой от процессора 1232 поля видимости информации, которая может включать в себя информацию о местоположении пользователя, и/или ориентации, и/или направлении перемещения, чтобы:- process the audio metadata associated with each audio stream based on the information received from the field of
- выбрать/включить необходимые аудиоэлементы 152, составляющие новую аудиосцену, которая указана процессором 1232 поля видимости;- select/turn on the necessary
- обеспечить соединение всех аудиопотоков в единый аудиопоток;- provide connection of all audio streams into a single audio stream;
- мультиплексор/устройство 1238 соединения потоков, которое может быть выполнено с возможностью соединения всех выбранных аудиопотоков в один аудиопоток на основе принятой от процессора 1236 метаданных информации, которая может включать в себя измененные и обработанные метаданные аудио, соответствующие всем принятым аудиопотокам;- a multiplexer/
- медиа-декодер, выполненный с возможностью принимать и декодировать по меньшей мере один аудиопоток для воспроизведения новой аудиосцены, которая указана процессором 1232 поля видимости, на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения.- a media decoder configured to receive and decode at least one audio stream to reproduce a new audio scene, which is indicated by the field of
Фиг. 1.3 показывает систему, содержащую на стороне клиента систему (клиентскую систему), которая может воплощать, например, части системы, описанной на фиг. 1.2, которые дополнительно или в качестве альтернативы содержат:Fig. 1.3 shows a system comprising, on the client side, a system (client system) that may implement, for example, parts of the system described in FIG. 1.2 which additionally or alternatively contain:
- несколько медиа-декодеров, которые могут быть выполнены с возможностью декодировать отдельные аудиопотоки, которые указаны процессором 1236 метаданных (например, с некоторым количеством отключенных аудиоэлементов);- multiple media decoders that can be configured to decode individual audio streams that are specified by the metadata processor 1236 (eg, with a number of audio elements disabled);
- смеситель/блок 1238 вывода, который может быть выполнен с возможностью воспроизводить итоговую аудиосцену на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения (то есть некоторые аудиоэлементы, которые не слышны в определенном местоположении, следует отключить или не выводить).- a mixer/
Решение 2
Фиг. 1.4, 1.5 и 1.6 относятся к примерам в соответствии с решением 2 из изобретения (которое может быть вариантами осуществления примеров из фиг. 1.1, и/или 1.2, и/или 1.3): независимые адаптационные наборы для дискретных местоположений (точек наблюдения) с гибкими адаптационными наборами.Fig. 1.4, 1.5 and 1.6 refer to examples according to
В случае, когда пользователь перемещается в VR-среде, аудиосцена 150 может постоянно меняться. Для обеспечения хорошего восприятия аудио все аудиоэлементы 152, составляющие аудиосцену 150 в некоторый момент времени, может потребоваться сделать доступными медиа-декодеру, который может применить информацию о положении для создания итоговой аудиосцены.In the case where the user is moving around in the VR environment, the
Если контент предварительно кодируется для некоторого количества предопределенных местоположений, то система может обеспечить точное воспроизведение аудиосцен в этих конкретных местоположениях при допущении, что эти аудиосцены не перекрываются, и пользователь может "перепрыгивать/переключаться" с одного местоположения на следующее.If the content is pre-encoded for a number of predefined locations, then the system can accurately reproduce the audio scenes at those specific locations, assuming that the audio scenes do not overlap and the user can "jump/switch" from one location to the next.
Но в случаях, когда пользователь "идет" из одного местоположения в следующее, аудиоэлементы 152 из двух (или более) аудиосцен 150 можно услышать одновременно. Решение для этих вариантов использования было предоставлено в предыдущих примерах систем, где независимо от механизмов, предусмотренных для декодирования нескольких аудиопотоков (либо с использованием мультиплексора с одним медиа-декодером, либо с несколькими медиа-декодерами и дополнительным смесителем/блоком 1238 вывода), клиенту/системе 102 нужно предоставлять аудиопотоки, которые описывают законченные аудиосцены 150.But in cases where the user is "walking" from one location to the next,
Ниже предоставляется оптимизация путем предложения идеи общих аудиоэлементов 152 между несколькими аудиопотоками.An optimization is provided below by suggesting the idea of common
Фиг. 1.4 показывает пример, в котором разные сцены совместно используют по меньшей мере один аудиоэлемент (аудиообъект, источник звука, …). Поэтому клиент 102 может принимать, например, один главный поток 106A, ассоциированный только с одной сценой A (например, ассоциированной со средой, где пользователь находится в настоящее время) и ассоциированный с объектами 152A, и один вспомогательный поток 106B, совместно используемый другой сценой B (например, поток на границе между сценой A, в которой пользователь находится в настоящее время, и соседний или смежный поток B, совместно использующий объекты 152B) и ассоциированный с объектами 152B.Fig. 1.4 shows an example where different scenes share at least one audio element (audio object, sound source, ...). Therefore,
Поэтому, как показано на фиг. 1.4:Therefore, as shown in FIG. 1.4:
- несколько независимых или перекрывающихся аудиосцен кодируются в некоторое количество аудиопотоков. Аудиопотоки 106 создаются таким образом, что:- several independent or overlapping audio scenes are encoded into a number of audio streams. Audio streams 106 are created such that:
- для каждой аудиосцены 150 можно создать один главный поток, содержащий только аудиоэлементы 152, которые являются частью соответствующей аудиосцены, но не частью никакой другой аудиосцены; и/или- for each
- для всех аудиосцен 150, которые совместно используют аудиоэлементы 152, общие аудиоэлементы 152 могут кодироваться только во вспомогательные аудиопотоки, ассоциированные только с одной из аудиосцен, и создаются подходящие метаданные, указывающие ассоциацию с другими аудиосценами. Или, другими словами, дополнительные метаданные указывают возможность того, что некоторые аудиопотоки можно использовать вместе с несколькими аудиосценами; и/или- for all
- в зависимости от варианта использования можно создать дополнительные вспомогательные потоки (например, некоторые аудиообъекты, содержащие разный языки, могут кодироваться в независимые потоки для эффективной доставки).- depending on the use case, additional auxiliary streams can be created (for example, some audio objects containing different languages can be encoded into independent streams for efficient delivery).
- В предоставленном варианте осуществления:- In the provided embodiment:
- аудиосцена A кодируется в:- audio scene A is encoded in:
- главный аудиопоток (A1, 106A);- main audio stream (A1, 106A);
- вспомогательный аудиопоток (A2, 106B);- auxiliary audio stream (A2, 106B);
- метаданные, которые могут указывать, что некоторые аудиоэлементы 152B из аудиосцены A не кодируются в этот аудиопоток A, а во вспомогательный поток A2 (106B), принадлежащий другой аудиосцене (аудиосцене B);- metadata that may indicate that some
- аудиосцена B кодируется в:- audio scene B is encoded in:
- главный аудиопоток (B1, 106C);- main audio stream (B1, 106C);
- вспомогательный аудиопоток (B2);- auxiliary audio stream (B2);
- вспомогательный аудиопоток (B3);- auxiliary audio stream (B3);
- метаданные, которые могут указывать, что аудиоэлементы 152B из аудиопотока B2 являются общими аудиоэлементами 152B, которые принадлежат также аудиосцене A;- metadata that may indicate that
- аудиосцена C кодируется в три потока (C1, C2 и C3);- audio scene C is encoded into three streams (C1, C2 and C3);
- аудиопотоки 106 (106A, 106B, 106C, …) могут кодировать с разными скоростями передачи битов (то есть разными представлениями), что допускает эффективную адаптацию скорости передачи битов в зависимости от сетевого соединения (то есть для пользователей, использующих высокоскоростное соединение, доставляется кодированная с высокой скоростью передачи битов версия, тогда как для пользователей с менее скоростным сетевым соединением доставляется версия с более низкой скоростью передачи битов);- audio streams 106 (106A, 106B, 106C, ...) can be encoded at different bit rates (i.e., different representations), which allows for efficient adaptation of the bit rate depending on the network connection (i.e., for users using a high-speed connection, an encoded a high bit rate version, while a lower bit rate version is delivered to users with a slower network connection);
- аудиопотоки 106 сохраняются на медиа-сервере 120, где для каждого аудиопотока разные кодирования с разными скоростями передачи битов (то есть разными представлениями) группируются в один адаптационный набор с подходящими данными, сигнализирующими доступность всех созданных адаптационных наборов. (В одном адаптационном наборе может присутствовать несколько представлений потоков, ассоциированных с одними и теми же аудиосигналами, но с разными скоростями передачи битов, и/или качествами, и/или разрешениями);the
- дополнительно к адаптационным наборам медиа-сервер 120 может принимать информацию о "границах" местоположения у каждой аудиосцены и их взаимосвязь с каждым адаптационным набором (который может содержать, например, законченную аудиосцену или только отдельные объекты). Таким образом, каждый адаптационный набор может ассоциироваться с одной или более доступными аудиосценами 150. Границы одной аудиосцены могут задаваться, например, в виде геометрических координат сферы (например, центр и радиус);In addition to the adaptation sets, the
- каждый адаптационный набор может содержать также описательную информацию о местоположениях, в которых активна звуковая сцена или аудиоэлементы 152. Например, если один вспомогательный поток (например, A2, 106B) содержит один или более объектов, то адаптационный набор мог бы содержать такую информацию, как местоположения, где слышны объекты (например, координаты центра сферы и радиус);- each adaptation set may also contain descriptive information about the locations at which the soundstage or
- дополнительно или в качестве альтернативы каждый адаптационный набор (например, адаптационный набор, ассоциированный со сценой B) может содержать описательную информацию (например, метаданные), которая может указывать, что аудиоэлементы (например, 152B) из одной аудиосцены (например, B) кодируются (также или дополнительно) в аудиопотоки (например, 106B), принадлежащие другой аудиосцене (например, A);- additionally or alternatively, each adaptation set (eg, adaptation set associated with scene B) may contain descriptive information (eg, metadata) that may indicate that audio elements (eg, 152B) from one audio scene (eg, B) are encoded (also or additionally) to audio streams (eg, 106B) belonging to another audio scene (eg, A);
- медиа-сервер 120 может предоставлять системе 102 (клиенту), например клиенту DASH, информацию о "границах" местоположения, ассоциированных с каждым адаптационным набором. Например, в случае среды доставки DASH ее можно встроить в синтаксис XML Описания представления мультимедиа (MPD);
- система 102 (клиент) может принимать информацию о местоположении пользователя, и/или ориентации, и/или направлении перемещения (или любую информацию, описывающую изменения, вызванные действиями пользователя);- system 102 (client) can receive information about the user's location and/or orientation and/or direction of movement (or any information describing changes caused by user actions);
- система 102 (клиент) может принимать информацию о каждом адаптационном наборе, и на ее основе и/или местоположения пользователя, и/или ориентации, и/или направления перемещения (или любой информации, описывающей изменения, вызванные действиями пользователя, например содержащей координаты x, y, z и/или значения поворота, продольного крена, поперечного крена) система 102 (клиент) может выбрать один или более адаптационных наборов, полностью или частично описывающих аудиосцену 150, которую следует воспроизвести в текущем местоположении пользователя 140;- system 102 (client) can receive information about each adaptation set, and based on it and / or the user's location, and / or orientation, and / or direction of movement (or any information describing changes caused by user actions, for example containing x coordinates , y, z and/or roll, roll, roll values) the system 102 (client) may select one or more adaptation sets that fully or partially describe the
- система 102 (клиент) может запрашивать один или более адаптационных наборов:- system 102 (client) may request one or more adaptation sets:
- кроме того, система 102 (клиент) может выбрать один или более адаптационных наборов, полностью или частично описывающих более одной аудиосцены 150, и использовать аудиопотоки 106, соответствующие более одной аудиосцене 150, для создания новой аудиосцены 150 для воспроизведения в текущем местоположении пользователя 140;- in addition, the system 102 (client) can select one or more adaptation sets that fully or partially describe more than one
- на основе метаданных, указывающих, что аудиоэлементы 152 являются частью нескольких аудиосцен 150, общие аудиоэлементы 152 можно запросить только один раз для создания новой аудиосцены вместо запрашивания их дважды, по одному разу для каждой законченной аудиосцены;- based on the metadata indicating that the
- как только аудиопотоки доступны клиентской системе 102, в примерах можно использовать один или более медиа-декодеров (104) для декодирования отдельных аудиопотоков и/или дополнительный смеситель/блок вывода для воспроизведения итоговой аудиосцены на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения (то есть, например, некоторые аудиоэлементы, которые не слышны в определенном местоположении, следует отключить или не выводить);- once the audio streams are available to the
- в качестве альтернативы или дополнительно процессор метаданных может использоваться для работы с метаданными аудио, ассоциированными со всем аудиопотоками, на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения, чтобы:- alternatively or additionally, a metadata processor can be used to work with audio metadata associated with all audio streams, based on information about the user's location, and/or orientation, and/or direction of movement, in order to:
- выбрать/включить необходимые аудиоэлементы 152 (152A-152c), составляющие новую аудиосцену; и/или- select/turn on the necessary audio elements 152 (152A-152c) that make up the new audio scene; and/or
- обеспечить соединение всех аудиопотоков в единый аудиопоток;- provide connection of all audio streams into a single audio stream;
- медиа-сервер 120 может доставить необходимые адаптационные наборы;-
- в качестве альтернативы система 102 (клиент) предоставляет информацию о местоположении пользователя 140 медиа-серверу 120, а медиа-сервер предоставляет указание о необходимых адаптационных наборах.- alternatively, the system 102 (client) provides information about the location of the
Фиг. 1.5 показывает другую примерную реализацию такой системы, содержащей:Fig. 1.5 shows another exemplary implementation of such a system, containing:
- на кодирующей стороне- on the coding side
- множество медиа-кодеров 154, которые могут использоваться для создания одного или более аудиопотоков 106, встраивающих аудиоэлементы 152 из одной или более доступных аудиосцен 150, ассоциированных с одной частью звуковой сцены у одной точки наблюдения;a plurality of
- для каждой аудиосцены 150 можно создать один главный поток, содержащий только аудиоэлементы 152, которые являются частью соответствующей аудиосцены 150, но не частью никакой другой аудиосцены;- for each
- для той же аудиосцены можно создать дополнительные вспомогательные потоки (например, некоторые аудиообъекты, содержащие разные языки, могут кодироваться в независимые потоки для эффективной доставки);- additional auxiliary streams can be created for the same audio scene (for example, some audio objects containing different languages can be encoded into independent streams for efficient delivery);
- можно создать дополнительные вспомогательные потоки, которые содержат:- you can create additional helper threads that contain:
- аудиоэлементы 152, общие более чем для одной аудиосцены 150;-
- метаданные, указывающие ассоциацию этого вспомогательного потока со всеми другими аудиосценами 150, которые совместно используют общие аудиоэлементы 152. Или, другими словами, метаданные указывают возможность того, что некоторые аудиопотоки можно использовать вместе с несколькими аудиосценами;- metadata indicating the association of this auxiliary stream with all other
- множество медиа-кодеров, которые могут использоваться для создания одного или более видеопотоков для каждой доступной видеосцены, ассоциированной с одной частью видеосцены у одной точки наблюдения. На чертеже видеокодеры не представлены для простоты;- a plurality of media encoders that can be used to create one or more video streams for each available video scene associated with one part of the video scene at one viewpoint. In the drawing, video encoders are omitted for simplicity;
- медиа-сервер 120, который хранит несколько адаптационных наборов аудио и видео, содержащих разные кодирования одних и тех же аудио- и видеопотоков с разными скоростями передачи битов (то есть разные представления). Более того, медиа-сервер 120 содержит описательную информацию про все адаптационные наборы, которая может включать в себяa
- доступность всех созданных адаптационных наборов;- availability of all created adaptation sets;
- информацию, описывающую ассоциацию одного адаптационного набора с одной аудиосценой и/или точкой наблюдения; Таким образом, каждый адаптационный набор может ассоциироваться с одной из доступных аудиосцен;- information describing the association of one adaptation set with one audio scene and/or viewpoint; Thus, each adaptation set may be associated with one of the available audio scenes;
- информацию, описывающую "границы" каждой аудиосцены и/или точки наблюдения (которая может содержать, например, законченную аудиосцену или только отдельные объекты). Границы одной аудиосцены могут задаваться, например, в виде геометрических координат сферы (например, центр и радиус);- information describing the "boundaries" of each audio scene and/or viewpoint (which may contain, for example, a complete audio scene or only individual objects). The boundaries of one audio scene can be specified, for example, in the form of geometric coordinates of a sphere (for example, center and radius);
- информацию, указывающую ассоциацию одного адаптационного набора более чем с одной аудиосценой, которые совместно используют по меньшей мере один общий аудиоэлемент;- information indicating the association of one adaptation set with more than one audio scene that share at least one common audio element;
- на стороне клиента систему (клиентскую систему), которая может содержать в любой из:- on the client side, a system (client system), which may contain any of:
- принимающей стороны, которая может принимать:- a host that can receive:
- информацию о местоположении пользователя, и/или ориентации, и/или направлении перемещения (или любую информацию, описывающую изменения, вызванные действиями пользователя);- information about the user's location and/or orientation and/or direction of movement (or any information describing the changes caused by the user's actions);
- информацию о доступности всех адаптационных наборов и информацию, описывающую ассоциацию одного адаптационного набора с одной аудиосценой и/или точкой наблюдения; и/или информацию, описывающую "границы" каждой аудиосцены и/или точки наблюдения (которая может содержать, например, законченную аудиосцену или только отдельные объекты). Например, в случае среды доставки DASH такая информация может предоставляться как часть синтаксиса XML Описания представления мультимедиа (MPD);- information about the availability of all adaptation sets and information describing the association of one adaptation set with one audio scene and/or viewpoint; and/or information describing the "boundaries" of each audio scene and/or viewpoint (which may include, for example, a complete audio scene or only individual objects). For example, in the case of a DASH delivery environment, such information may be provided as part of the Media Presentation Description (MPD) XML syntax;
- информацию, указывающую ассоциацию одного адаптационного набора более чем с одной аудиосценой, которые совместно используют по меньшей мере один общий аудиоэлемент;- information indicating the association of one adaptation set with more than one audio scene that share at least one common audio element;
- стороны мультимедийного устройства, используемой для потребления контента (например, на основе HMD). Мультимедийное устройство также отвечает за сбор информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения (или любой информации, описывающей изменения, вызванные действиями пользователя);- the side of the multimedia device used to consume the content (eg based on HMD). The multimedia device is also responsible for collecting information about the user's location and/or orientation and/or direction of movement (or any information describing the changes caused by the user's actions);
- процессор 1232 поля видимости, который может быть выполнен с возможностью- field of
- принимать от мультимедийного устройства информацию о текущем поле видимости, которая может содержать местоположение пользователя, и/или ориентацию, и/или направление перемещения (или любую информацию, описывающую изменения, вызванные действиями пользователя);- receive from the multimedia device information about the current field of view, which may contain the user's location and/or orientation and/or direction of movement (or any information describing changes caused by user actions);
- принимать информацию о ROI, сигнализированную в метаданных (поля видимости видео, сигнализированные в виде спецификации OMAF);- receive ROI information signaled in metadata (video visual fields signaled in the form of an OMAF specification);
- принимать всю информацию, доступную на принимающей стороне;- receive all information available on the receiving side;
- решать, какую точку наблюдения аудио/видео следует воспроизводить в некоторый момент времени, на основе всей информации, принятой и/или выведенной из принятых и/или доступных метаданных. Например, процессор 1232 поля видимости может решить, что:- decide which viewpoint of the audio/video should be played at some point in time, based on all the information received and/or derived from the received and/or available metadata. For example,
- нужно воспроизвести одну законченную аудиосцену;- you need to play one complete audio scene;
- нужно создать одну новую аудиосцену из всех доступных аудиосцен (например, нужно воспроизводить только некоторые аудиоэлементы из нескольких аудиосцен, тогда как другие оставшиеся аудиоэлементы из этих аудиосцен воспроизводить не нужно);- you need to create one new audio scene from all available audio scenes (for example, you need to play only some audio elements from several audio scenes, while other remaining audio elements from these audio scenes do not need to be played);
- нужно воспроизвести переход между двумя или более аудиосценами;- you need to play a transition between two or more audio scenes;
- выборная часть 1230, выполненная с возможностью выбирать на основе информации, принятой от процессора 1232 поля видимости, один или более адаптационных наборов из доступных адаптационных наборов, которые сигнализированы в информации, принятой принимающей стороной; при этом выбранные адаптационные наборы полностью или частично описывают аудиосцену, которую следует воспроизводить в текущем местоположении пользователя. Эта аудиосцена может быть законченной или частично законченной аудиосценой, которая задана на кодирующей стороне, или нужно создать новую аудиосцену из всех доступных аудиосцен;- an
- более того, в случае аудиоэлементов 152, принадлежащих более одной аудиосцене, по меньшей мере один из адаптационных наборов выбирается на основе информации, указывающей ассоциацию по меньшей мере одного адаптационного набора более чем с одной аудиосценой, которые содержат те же аудиоэлементы 152;- moreover, in the case of
- более того, в случае, когда на основе указания от процессора 1232 поля видимости предстоит переход между двумя или более аудиосценами, выборная часть 1230 может быть выполнена с возможностью выбирать один или более адаптационных наборов из доступных адаптационных наборов, которые сигнализированы в информации, принятой принимающей стороной; при этом выбранные адаптационные наборы полностью описывают аудиосцену, которую может потребоваться воспроизвести в ближайшем будущем (например, если пользователь идет в направлении следующей аудиосцены с некоторой скоростью, то можно предсказать, что потребуется следующая аудиосцена, и она выбирается перед воспроизведением);furthermore, in the case where a transition between two or more audio scenes is to be made based on an indication from the field of
- более того, сначала можно выбрать некоторые адаптационные наборы, соответствующие соседним местоположениям, с более низкой скоростью передачи битов (то есть представление, кодированное с более низкой скоростью передачи битов, выбирается из доступных представлений в одном адаптационном наборе), и на основе изменений положения качество увеличивается путем выбора более высокой скорости передачи битов для тех определенных адаптационных наборов (то есть представление, кодированное с более высокой скоростью передачи битов, выбирается из доступных представлений в одном адаптационном наборе);- moreover, some adaptation sets corresponding to neighboring locations with a lower bit rate can be selected first (i.e., a lower bit rate encoded representation is selected from the available representations in one adaptation set), and based on position changes, the quality is increased by selecting a higher bit rate for those specific adaptation sets (ie, a representation encoded at a higher bit rate is selected from the available representations in one adaptation set);
- загружающая и переключающая часть, которая может быть выполнена с возможностью:- loading and switching part, which can be configured to:
- запрашивать у медиа-сервера 120 один или более адаптационных наборов из доступных адаптационных наборов на основе указания, принятого от выборной части 1230;- request from the
- принимать от медиа-сервера 120 один или более адаптационных наборов (то есть одно представление из всех представлений, доступных внутри каждого адаптационного набора) из доступных адаптационных наборов;- receive from the
- извлекать метаданные из всех принятых аудиопотоков;- extract metadata from all received audio streams;
- процессор 1236 метаданных, который может быть выполнен с возможностью:- a
- принимать от загружающей и переключающей части информацию о принятых аудиопотоках, которая может включать в себя метаданные аудио, соответствующие каждому принятому аудиопотоку;- receive from the downloading and switching part information about the received audio streams, which may include audio metadata corresponding to each received audio stream;
- обрабатывать метаданные аудио, ассоциированные с каждым аудиопотоком, на основе принятой от процессора 1232 поля видимости информации, которая может включать в себя информацию о местоположении пользователя, и/или ориентации, и/или направлении перемещения, чтобы:- process the audio metadata associated with each audio stream based on the information received from the field of
- выбрать/включить необходимые аудиоэлементы 152, составляющие новую аудиосцену, которая указана процессором 1232 поля видимости;- select/turn on the necessary
- обеспечить соединение всех аудиопотоков в единый аудиопоток;- provide connection of all audio streams into a single audio stream;
- мультиплексор/устройство 1238 соединения потоков, которое может быть выполнено с возможностью соединять все выбранные аудиопотоки в один аудиопоток на основе принятой от процессора 1236 метаданных информации, которая может включать в себя измененные и обработанные метаданные аудио, соответствующие всем принятым аудиопотокам;a multiplexer/
- медиа-декодер, выполненный с возможностью принимать и декодировать по меньшей мере один аудиопоток для воспроизведения новой аудиосцены, которая указана процессором 1232 поля видимости, на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения.- a media decoder configured to receive and decode at least one audio stream to reproduce a new audio scene, which is indicated by the field of
Фиг. 1.6 показывает систему, содержащую на стороне клиента систему (клиентскую систему), которая может воплощать, например, части системы, описанной на фиг. 5, которые дополнительно или в качестве альтернативы содержат:Fig. 1.6 shows a system comprising, on the client side, a system (client system) that may implement, for example, parts of the system described in FIG. 5 which additionally or alternatively contain:
- несколько медиа-декодеров, которые могут быть выполнены с возможностью декодировать отдельные аудиопотоки, которые указаны процессором 1236 метаданных (например, с некоторым количеством отключенных аудиоэлементов);- multiple media decoders that can be configured to decode individual audio streams that are specified by the metadata processor 1236 (eg, with a number of audio elements disabled);
- смеситель/блок 1238 вывода, который может быть выполнен с возможностью воспроизводить итоговую аудиосцену на основе информации о местоположении пользователя, и/или ориентации, и/или направлении перемещения (то есть некоторые аудиоэлементы, которые не слышны в определенном местоположении, следует отключить или не выводить).- a mixer/
Обновления форматов файлов для воспроизведенияPlayback file format updates
Для варианта использования формата файла несколько главных и вспомогательных потоков можно заключить в виде отдельных дорожек в одном файле ISOBMFF. Одна дорожка такого файла представляла бы один аудиоэлемент, как упоминалось ранее. Поскольку не доступно MPD, которое содержит необходимую информацию для правильного воспроизведения, информацию нужно предоставлять на уровне формата файла, например путем предоставления/введения определенного контейнера формата файла или определенных контейнеров формата файла на уровне дорожки и фильма. В зависимости от варианта использования есть разная информация, необходимая для правильного представления заключенных аудиосцен, однако следующий набор информации является основополагающим и поэтому всегда должен присутствовать:For the file format use case, multiple main and sub streams can be wrapped as separate tracks in a single ISOBMFF file. One track of such a file would represent one audio element, as mentioned earlier. Since no MPD is available that contains the necessary information for proper playback, the information needs to be provided at the file format level, for example by providing/introducing a specific file format container or specific file format containers at the track and movie level. Depending on the use case, there is different information needed to correctly represent the enclosed audio scenes, however the following set of information is fundamental and should therefore always be present:
- информация о включенных аудиосценах, например "границы местоположения";- information about included audio scenes, such as "location boundaries";
- информация обо всех доступных аудиоэлементах, в особенности о том, какой аудиоэлемент заключается в какую дорожку;- information about all available audio elements, in particular about which audio element is included in which track;
- информация о местоположении заключенных аудиоэлементов;- information about the location of the imprisoned audio elements;
- список всех аудиоэлементов, принадлежащих одной аудиосцене, при этом аудиоэлемент может принадлежать нескольким аудиосценам;- a list of all audio elements belonging to one audio scene, while an audio element can belong to several audio scenes;
С помощью этой информации все упомянутые варианты использования, включая вариант с дополнительным процессором метаданных и совместно используемым кодированием, также должны работать в файловой среде.With this information, all mentioned use cases, including the option with an additional metadata processor and shared encoding, should also work in a file environment.
Дополнительные соображения по вышеприведенным примерамAdditional considerations for the above examples
В примерах (например, по меньшей мере среди фиг. 1.1-6) по меньшей мере одна сцена может ассоциироваться по меньшей мере с одним аудиоэлементом (аудиоисточником 152), при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, где слышен аудиоэлемент, чтобы разные аудиопотоки предоставлялись от серверной системы 120 клиентской системе 102 для разных положений пользователя, и/или полей видимости, и/или ориентаций головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения в сцене.In examples (for example, at least among FIGS. 1.1-6), at least one scene may be associated with at least one audio element (audio source 152), with each audio element associated with a position and/or area in the visual environment where the audio is heard. an audio element so that different audio streams are provided from the
В примерах клиентская система 102 может быть выполнена с возможностью решать, нужно ли воспроизводить по меньшей мере один аудиоэлемент 152 аудиопотока (например, A1, A2) и/или один адаптационный набор при наличии текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или виртуального положения в сцене, причем система 102 выполнена с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент в текущем виртуальном положении пользователя.In the examples, the
В примерах клиентская система (например, 102) может быть выполнена с возможностью прогнозировать, станет ли релевантным и/или слышимым по меньшей мере один аудиоэлемент (152) аудиопотока и/или один адаптационный набор, на основе по меньшей мере текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных (110) виртуального положения, и при этом система выполнена с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент, и/или аудиопоток, и/или адаптационный набор в конкретном виртуальном положении пользователя до предсказанного перемещения и/или взаимодействия пользователя в сцене, причем система выполнена с возможностью воспроизводить, при приеме, по меньшей мере один аудиоэлемент и/или аудиопоток в конкретном виртуальном положении пользователя после перемещения и/или взаимодействия пользователя в сцене. См., например, фиг. 8A и 8B выше. В некоторых примерах по меньшей мере одна из операций системы 102 или 120 может выполняться на основе прогнозных, и/или статистических, и/или агрегатных данных.In examples, the client system (eg, 102) may be configured to predict whether at least one audio stream element (152) and/or one adaptation set will become relevant and/or audible, based on at least the user's current field of view, and /or head orientation and/or movement data and/or interaction metadata and/or virtual position data (110), wherein the system is configured to request and/or receive at least one audio element and/or audio stream, and/or an adaptation set at a specific virtual position of the user prior to the predicted movement and/or interaction of the user in the scene, wherein the system is configured to play, upon receipt, at least one audio element and/or audio stream at the specific virtual position of the user after the movement and/or user interaction in the scene. See, for example, FIG. 8A and 8B above. In some examples, at least one of the operations of
В примерах клиентская система (например, 102) может быть выполнена с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент (например, 152) с более низкой скоростью передачи битов и/или уровнем качества в виртуальном положении пользователя до перемещения и/или взаимодействия пользователя в сцене, причем система выполнена с возможностью запрашивать и/или принимать по меньшей мере один аудиоэлемент с более высокой скоростью передачи битов и/или уровнем качества в виртуальном положении пользователя после перемещения и/или взаимодействия пользователя в сцене. См., например, фиг. 7B.In examples, the client system (eg, 102) may be configured to request and/or receive at least one audio element (eg, 152) with a lower bit rate and/or quality level at the user's virtual position prior to movement and/or interaction. of a user in the scene, wherein the system is configured to request and/or receive at least one audio element with a higher bit rate and/or quality level at the user's virtual position after the user moves and/or interacts in the scene. See, for example, FIG. 7B.
В примерах по меньшей мере один аудиоэлемент может ассоциироваться по меньшей мере с одной сценой, при этом по меньшей мере один аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, ассоциированной со сценой, причем система выполнена с возможностью запрашивать разные потоки с разными скоростями передачи битов и/или уровнями качества для аудиоэлементов на основе их релевантности и/или уровня слышимости в каждом виртуальном положении пользователя в сцене, причем система выполнена с возможностью запрашивать аудиопоток с более высокой скоростью передачи битов и/или уровнем качества для аудиоэлементов, которые более релевантны и/или лучше слышны в текущем виртуальном положении пользователя, и/или аудиопотока с более низкой скоростью передачи битов и/или уровнем качества для аудиоэлементов, которые менее релевантны и/или хуже слышны в текущем виртуальном положении пользователя. В общих чертах см. фиг. 7A. См. также фиг. 2a и 2b (где более релевантные и/или слышимые источники могут быть ближе к пользователю), фиг. 3 (где более релевантный и/или слышимый источник является источником сцены 150a, когда пользователь находится в положении x1, и более релевантный и/или слышимый источник является источником сцены 150b, когда пользователь находится в положении x3), фиг. 4 (где в момент t2 времени более релевантные и/или слышимые источники могут быть источниками первой сцены), фиг. 6 (где более слышимые источники могут быть источниками, которые пользователь наблюдает перед собой).In examples, at least one audio element may be associated with at least one scene, wherein at least one audio element is associated with a position and/or area in the visual environment associated with the scene, and the system is configured to request different streams at different bit rates. bits and/or quality levels for audio elements based on their relevance and/or audibility level at each user's virtual position in the scene, wherein the system is configured to request an audio stream with a higher bit rate and/or quality level for audio elements that are more relevant and /or better audible at the current virtual position of the user, and/or an audio stream with a lower bit rate and/or quality level for audio elements that are less relevant and/or worse audible at the current virtual position of the user. In general terms, see FIG. 7A. See also FIG. 2a and 2b (where more relevant and/or audible sources may be closer to the user), FIG. 3 (where the more relevant and/or audible source is the source of scene 150a when the user is at position x 1 and the more relevant and/or audible source is the source of scene 150b when the user is at position x 3 ), FIG. 4 (where at time t 2 more relevant and/or audible sources may be the sources of the first scene), FIG. 6 (where more audible sources may be sources that the user observes in front of him).
В примерах по меньшей мере один аудиоэлемент (152) ассоциируется со сценой, при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, ассоциированной со сценой, где клиентская система 102 выполнена с возможностью периодически отправлять серверной системе 120 текущее поле видимости пользователя, и/или ориентацию головы, и/или данные перемещения, и/или метаданные взаимодействия, и/или данные (110) виртуального положения, чтобы: для положения ближе по меньшей мере к одному аудиоэлементу (152) от сервера предоставлялся поток с более высокой скоростью передачи битов и/или качеством, а для положения дальше по меньшей мере от одного аудиоэлемента (152) от сервера предоставлялся поток с более низкой скоростью передачи битов и/или качеством. См., например, фиг. 2a и 2b.In the examples, at least one audio element (152) is associated with a scene, with each audio element associated with a position and/or area in the visual environment associated with the scene, where the
В примерах может задаваться множество сцен (например, 150A, 150B) для нескольких визуальных сред, например смежных и/или соседних сред, чтобы предоставлялись первые потоки, ассоциированные с первой текущей сценой (например, 150A), и чтобы в случае перехода пользователя (150AB) ко второй, дальней сцене (например, 150B) предоставить потоки, ассоциированные с первой сценой, и вторые потоки, ассоциированные со второй сценой. См., например, фиг. 3.The examples may define multiple scenes (eg, 150A, 150B) for multiple visual environments, such as contiguous and/or neighboring environments, so that the first streams associated with the first current scene are provided (eg, 150A), and that in the event of a user transition (150AB ) to a second, far scene (eg, 150B) to provide the streams associated with the first scene and the second streams associated with the second scene. See, for example, FIG. 3.
В примерах задается множество сцен для первой и второй визуальных сред, при этом первая и вторая среды являются смежными и/или соседними средами, где от сервера предоставляются первые потоки, ассоциированные с первой сценой, для воспроизведения первой сцены, если виртуальное положение пользователя находится в первой среде, ассоциированной с первой сценой, от сервера предоставляются вторые потоки, ассоциированные со второй сценой, для воспроизведения второй сцены, если виртуальное положение пользователя находится во второй среде, ассоциированной со второй сценой, и предоставляются первые потоки, ассоциированные с первой сценой, и вторые потоки, ассоциированные со второй сценой, если виртуальное положение пользователя находится в переходном положении между первой сценой и второй сценой. См., например, фиг. 3.The examples define a plurality of scenes for the first and second visual environments, with the first and second environments being contiguous and/or neighboring environments, where the first streams associated with the first scene are provided from the server to play the first scene if the user's virtual position is in the first to the environment associated with the first scene, second streams associated with the second scene are provided from the server to play the second scene if the user's virtual position is in the second environment associated with the second scene, and the first streams associated with the first scene and the second streams are provided associated with the second scene if the user's virtual position is in a transitional position between the first scene and the second scene. See, for example, FIG. 3.
В примерах первые потоки, ассоциированные с первой сценой, получаются с более высокой скоростью передачи битов и/или качеством, когда пользователь находится в первой среде, ассоциированной с первой сценой, тогда как вторые потоки, ассоциированные со второй сценой, ассоциированной со второй средой, получаются с более низкой скоростью передачи битов и/или качеством, когда пользователь находится в начале переходного положения от первой сцены ко второй сцене, и первые потоки, ассоциированные с первой сценой, получаются с более низкой скоростью передачи битов и/или качеством, а вторые потоки, ассоциированные со второй сценой, получаются с более высокой скоростью передачи битов и/или качеством, когда пользователь находится в конце переходного положения от первой сцены ко второй сцене. Это может быть случай, например, из фиг. 3.In the examples, the first streams associated with the first scene are obtained at a higher bit rate and/or quality when the user is in the first environment associated with the first scene, while the second streams associated with the second scene associated with the second environment are obtained with a lower bit rate and/or quality, when the user is at the beginning of the transition from the first scene to the second scene, and the first streams associated with the first scene are obtained with a lower bit rate and/or quality, and the second streams, associated with the second scene are obtained at a higher bit rate and/or quality when the user is at the end of the transition from the first scene to the second scene. This may be the case, for example, from FIG. 3.
В примерах задается множество сцен (например, 150A, 150B) для нескольких визуальных сред (например, смежных сред), чтобы система 102 могла запрашивать и/или получать потоки, ассоциированные с текущей сценой, с более высокой скоростью передачи битов и/или качеством, а потоки, ассоциированные со второй сценой, с более низкой скоростью передачи битов и/или качеством. См., например, фиг. 4.The examples define multiple scenes (eg, 150A, 150B) for multiple visual media (eg, adjacent media) so that
В примерах задается множество из N аудиоэлементов, и если расстояние пользователя до положения или области этих аудиоэлементов больше заранее установленной пороговой величины, то обрабатываются N аудиоэлементов для получения меньшего числа M аудиоэлементов (M<N), ассоциированных с положением или областью, близкой к положению или области N аудиоэлементов, чтобы предоставить системе по меньшей мере один аудиопоток, ассоциированный с N аудиоэлементами, если расстояние пользователя до положения или области N аудиоэлементов меньше заранее установленной пороговой величины, либо предоставить системе по меньшей мере один аудиопоток, ассоциированный с M аудиоэлементами, если расстояние пользователя до положения или области N аудиоэлементов больше заранее установленной пороговой величины. См., например, фиг. 1.7.In the examples, a set of N audio elements is specified, and if the user's distance to a position or area of these audio elements is greater than a predetermined threshold, then N audio elements are processed to obtain a smaller number M of audio elements (M<N) associated with a position or area close to the position or region of N audio elements to provide the system with at least one audio stream associated with N audio elements if the user's distance to the location or region of the N audio elements is less than a predetermined threshold, or to provide the system with at least one audio stream associated with M audio elements if the user's distance to a position or area of the N audio elements greater than a predetermined threshold. See, for example, FIG. 1.7.
В примерах по меньшей мере одна сцена визуальной среды ассоциируется по меньшей мере с одним множеством из N аудиоэлементов (N>=2), при этом каждый аудиоэлемент ассоциируется с положением и/или областью в визуальной среде, где по меньшей мере одно множество из N аудиоэлементов может предоставляться по меньшей мере в одном представлении с высокой скоростью передачи битов и/или уровнем качества, и где по меньшей мере одно множество из N аудиоэлементов предоставляется по меньшей мере в одном представлении с низкой скоростью передачи битов и/или уровнем качества, где по меньшей мере одно представление получается путем обработки N аудиоэлементов, чтобы получить меньшее число M аудиоэлементов (M<N), ассоциированных с положением или областью, близкой к положению или области N аудиоэлементов, где система выполнена с возможностью запрашивать представление с более высокой скоростью передачи битов и/или уровнем качества для аудиоэлементов, если аудиоэлементы более релевантны и/или лучше слышны в текущем виртуальном положении пользователя в сцене, причем система выполнена с возможностью запрашивать представление с более низкой скоростью передачи битов и/или уровнем качества для аудиоэлементов, если аудиоэлементы менее релевантны и/или хуже слышны в текущем виртуальном положении пользователя в сцене. См., например, фиг. 1.7.In the examples, at least one scene of the visual environment is associated with at least one set of N audio elements (N>=2), with each audio element associated with a position and/or area in the visual environment, where at least one set of N audio elements may be provided in at least one high bit rate and/or quality level representation, and where at least one set of N audio elements is provided in at least one low bit rate and/or quality level representation, where at least at least one representation is obtained by processing N audio elements to obtain a smaller number M of audio elements (M<N) associated with a position or region close to the position or region of N audio elements where the system is configured to request a representation at a higher bit rate and/ or a quality level for the audio elements if the audio elements are more relevant and/or better heard at the user's current virtual position in the scene, wherein the system is configured to request a representation with a lower bit rate and/or a quality level for the audio elements if the audio elements are less relevant and/ or less audible in the user's current virtual position in the scene. See, for example, FIG. 1.7.
В примерах, если расстояние пользователя, и/или релевантность, и/или уровень слышимости, и/или угловая ориентация меньше заранее установленной пороговой величины, то получаются разные потоки для разных аудиоэлементов. См., например, фиг. 1.7.In the examples, if the user distance and/or relevance and/or audibility level and/or angular orientation is less than a predetermined threshold, then different streams are obtained for different audio elements. See, for example, FIG. 1.7.
В примерах разные аудиоэлементы предоставляются в разных полях видимости, чтобы, если один первый аудиоэлемент входит в текущее поле видимости, первый аудиоэлемент получался с более высокой скоростью передачи битов, чем второй аудиоэлемент, который не входит в поле видимости. См., например, фиг. 6.In the examples, different audio elements are provided in different scopes so that if one first audio element is included in the current scope, the first audio element is obtained at a higher bit rate than the second audio element that is not in the scope. See, for example, FIG. 6.
В примерах задаются по меньшей мере две сцены визуальной среды, где по меньшей мере один первый и второй аудиоэлементы ассоциируются с первой сценой, ассоциированной с первой визуальной средой, и по меньшей мере один третий аудиоэлемент ассоциируется со второй сценой, ассоциированной со второй визуальной средой, причем система 102 выполнена с возможностью получать метаданные, описывающие, что по меньшей мере один второй аудиоэлемент дополнительно ассоциируется со второй сценой визуальной среды, и при этом система выполнена с возможностью запрашивать и/или принимать по меньшей мере первый и второй аудиоэлементы, если виртуальное положение пользователя находится в первой визуальной среде, и при этом система выполнена с возможностью запрашивать и/или принимать по меньшей мере второй и третий аудиоэлементы, если виртуальное положение пользователя находится во второй сцене визуальной среды, и при этом система выполнена с возможностью запрашивать и/или принимать по меньшей мере первый, второй и третий аудиоэлементы, если виртуальное положение пользователя находится в переходе между первой сценой визуальной среды и второй сценой визуальной среды. См., например, фиг. 1.4. Это также может применяться к фиг. 3.In the examples, at least two scenes of the visual environment are defined, where at least one first and second audio elements are associated with the first scene associated with the first visual environment, and at least one third audio element is associated with the second scene associated with the second visual environment, and
В примерах по меньшей мере один первый аудиоэлемент может предоставляться по меньшей мере в одном аудиопотоке и/или адаптационном наборе, и по меньшей мере один второй аудиоэлемент предоставляется по меньшей мере в одном втором аудиопотоке и/или адаптационном наборе, и по меньшей мере один третий аудиоэлемент предоставляется по меньшей мере в одном третьем аудиопотоке и/или адаптационном наборе, и где по меньшей мере первая сцена визуальной среды описывается метаданными как законченная сцена, которая требует по меньшей мере первого и второго аудиопотоков и/или адаптационных наборов, и где вторая сцена визуальной среды описывается метаданными как незаконченная сцена, которая требует по меньшей мере третьего аудиопотока и/или адаптационного набора и по меньшей мере второго аудиопотока и/или адаптационных наборов, ассоциированных по меньшей мере с первой сценой визуальной среды, где система содержит процессор метаданных, выполненный с возможностью работать с метаданными, чтобы разрешить соединение второго аудиопотока, принадлежащего первой визуальной среде, и третьего аудиопотока, ассоциированного со второй визуальной средой, в новый единый поток, если виртуальное положение пользователя находится во второй визуальной среде. См., например, фиг. 1.2-1.3, 1.5 и 1.6.In examples, at least one first audio element may be provided in at least one audio stream and/or adaptation set, and at least one second audio element may be provided in at least one second audio stream and/or adaptation set, and at least one third audio element provided in at least one third audio stream and/or adaptation set, and where at least the first scene of the visual environment is described by metadata as a complete scene that requires at least the first and second audio streams and/or adaptation sets, and where the second scene of the visual environment is described by the metadata as an unfinished scene that requires at least a third audio stream and/or adaptation set and at least a second audio stream and/or adaptation sets associated with at least the first scene of the visual environment, where the system comprises a metadata processor configured to operate with metadata to allow connection of the second audio stream belonging to the first visual environment and the third audio stream associated with the second visual environment into a new single stream if the user's virtual location is in the second visual environment. See, for example, FIG. 1.2-1.3, 1.5 and 1.6.
В примерах система 102 может содержать процессор метаданных (например, 1236), выполненный с возможностью работать с метаданными по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио, на основе текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения.In examples,
В примерах процессор метаданных (например, 1236) может быть выполнен с возможностью включать и/или отключать по меньшей мере один аудиоэлемент по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио на основе текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения, причем процессор метаданных может быть выполнен с возможностью отключать по меньшей мере один аудиоэлемент по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио, если система решает, что аудиоэлемент больше не нужно воспроизводить как следствие текущего поля видимости, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения, и при этом процессор метаданных может быть выполнен с возможностью включать по меньшей мере один аудиоэлемент по меньшей мере в одном аудиопотоке по меньшей мере перед одним декодером аудио, если система решает, что аудиоэлемент нужно воспроизводить как следствие текущего поля видимости пользователя, и/или ориентации головы, и/или данных перемещения, и/или метаданных взаимодействия, и/или данных виртуального положения.In examples, the metadata processor (e.g., 1236) may be configured to enable and/or disable at least one audio element in at least one audio stream in front of at least one audio decoder based on the user's current field of view, and/or head orientation, and/or movement data and/or interaction metadata and/or virtual position data, wherein the metadata processor may be configured to turn off at least one audio element in at least one audio stream before at least one audio decoder if the system decides that the audio element no longer needs to be played as a consequence of the current field of view and/or head orientation and/or movement data and/or interaction metadata and/or virtual position data, and the metadata processor may be configured to include at least one audio element in at least one audio stream before at least one audio decoder if the system decides that the audio element should be played as a consequence of the user's current field of view and/or head orientation and/or movement data and/or interaction metadata , and/or virtual position data.
Серверная сторонаServer Side
Вышеизложенное также относится к серверу (120) для доставки аудио- и видеопотоков клиенту для среды виртуальной реальности, VR, дополненной реальности, AR, смешанной реальности, MR, или панорамного видео, при этом видео- и аудиопотоки должны воспроизводиться в мультимедийном устройстве, причем сервер (120) содержит кодер для кодирования и/или хранилище для хранения видеопотоков, чтобы описывать визуальную среду, при этом визуальная среда ассоциирована с аудиосценой; причем сервер дополнительно содержит кодер для кодирования и/или хранилище для хранения множества потоков, и/или аудиоэлементов, и/или адаптационных наборов для доставки клиенту, при этом потоки, и/или аудиоэлементы, и/или адаптационные наборы ассоциированы по меньшей мере с одной аудиосценой, причем сервер выполнен с возможностью:The above also applies to a server (120) for delivering audio and video streams to a client for a virtual reality, VR, augmented reality, AR, mixed reality, MR, or 360 video environment, wherein the video and audio streams must be played in a multimedia device, and the server (120) contains an encoder for encoding and/or storage for storing video streams to describe a visual environment, wherein the visual environment is associated with an audio scene; wherein the server further comprises an encoder for encoding and/or storage for storing a plurality of streams and/or audio elements and/or adaptation sets for delivery to the client, wherein the streams and/or audio elements and/or adaptation sets are associated with at least one audio scene, and the server is configured to:
выбирать и доставлять видеопоток на основе запроса от клиента, при этом видеопоток ассоциирован со средой;select and deliver a video stream based on a request from a client, wherein the video stream is associated with the environment;
выбирать аудиопоток, и/или аудиоэлемент, и/или адаптационный набор на основе запроса от клиента, при этом запрос ассоциирован по меньшей мере с текущим полем видимости пользователя, и/или ориентацией головы, и/или данными перемещения, и/или метаданными взаимодействия, и/или данными виртуального положения и с аудиосценой, ассоциированной со средой; иselect an audio stream and/or an audio element and/or an adaptation set based on a request from the client, wherein the request is associated with at least the user's current field of view and/or head orientation and/or movement data and/or interaction metadata, and/or virtual position data and with an audio scene associated with the environment; And
доставлять аудиопоток клиенту.deliver the audio stream to the client.
Дополнительные варианты осуществления и разновидностиAdditional Embodiments and Variations
В зависимости от некоторых требований к реализации примеры можно реализовать в аппаратных средствах. Реализация может выполняться с использованием цифрового носителя информации, например гибкого диска, универсального цифрового диска (DVD), диска Blu-Ray, компакт-диска (CD), постоянного запоминающего устройства (ROM), программируемого постоянного запоминающего устройства (PROM), стираемого и программируемого постоянного запоминающего устройства (EPROM), электрически стираемого программируемого постоянного запоминающего устройства (EEPROM) или флэш-памяти, с сохраненными на нем электронно считываемыми управляющими сигналами, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой, так что выполняется соответствующий способ. Поэтому цифровой носитель информации может быть машиночитаемым.Depending on some implementation requirements, the examples may be implemented in hardware. Implementation may be performed using a digital storage medium such as floppy disk, digital versatile disk (DVD), Blu-ray disc, compact disc (CD), read-only memory (ROM), programmable read-only memory (PROM), erasable and programmable read-only memory (EPROM), electrically erasable programmable read-only memory (EEPROM), or flash memory, stored thereon with electronically readable control signals that interact (or are capable of interacting) with a programmable computer system such that the corresponding method is performed. Therefore, the digital storage medium can be machine readable.
Как правило, примеры можно реализовать как компьютерный программный продукт с программными командами, причем программные команды действуют для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программные команды могут храниться, например, на машиночитаемом носителе.Typically, the examples may be implemented as a computer program product with program instructions, the program instructions being operable to perform one of the methods when the computer program product is running on the computer. The program instructions may be stored, for example, on a computer-readable medium.
Другие примеры выполнены в виде компьютерной программы для выполнения одного из описанных в этом документе способов, сохраненной на машиночитаемом носителе. Другими словами, пример способа поэтому является компьютерной программой с программными командами для выполнения одного из описанных в этом документе способов, когда компьютерная программа выполняется на компьютере.Other examples are in the form of a computer program for performing one of the methods described herein, stored on a computer-readable medium. In other words, an exemplary method is therefore a computer program with program instructions for performing one of the methods described herein when the computer program is running on a computer.
Дополнительный пример способов поэтому является носителем информации (или цифровым носителем информации, или машиночитаемым носителем), содержащим записанную на нем компьютерную программу для выполнения одного из описанных в этом документе способов. Носитель информации, цифровой носитель информации или записанный носитель являются материальными и/или постоянными в отличие от сигналов, которые являются неосязаемыми и временными.An additional example of methods is therefore a storage medium (or digital storage medium or computer-readable medium) containing a computer program recorded thereon for performing one of the methods described herein. The storage medium, digital storage medium or recorded medium is tangible and/or permanent in contrast to signals which are intangible and temporary.
Дополнительный пример выполнен в виде блока обработки, например, компьютера, или программируемого логического устройства, выполняющего один из описанных в этом документе способов.An additional example is made in the form of a processing unit, such as a computer, or a programmable logic device that performs one of the methods described in this document.
Дополнительный пример выполнен в виде компьютера с установленной на нем компьютерной программой для выполнения одного из описанных в этом документе способов.An additional example is made in the form of a computer with a computer program installed on it to perform one of the methods described in this document.
Дополнительный пример выполнен в виде устройства или системы, передающих приемнику (например, электронно или оптически) компьютерную программу для выполнения одного из описанных в этом документе способов. Приемник может быть, например, компьютером, мобильным устройством, запоминающим устройством или т.п. Устройство или система могут, например, содержать файл-сервер для передачи компьютерной программы приемнику.A further example is in the form of a device or system that transmits (eg, electronically or optically) a computer program to a receiver to perform one of the methods described herein. The receiver may be, for example, a computer, mobile device, storage device, or the like. The device or system may, for example, include a file server for transmitting a computer program to a receiver.
В некоторых примерах программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей описанных в этом документе способов. В некоторых примерах программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнить один из способов, описанных в этом документе. Как правило, способы могут выполняться любым подходящим аппаратным устройством.In some examples, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In some examples, a user-programmable gate array may interact with a microprocessor to perform one of the methods described in this document. Typically, the methods may be performed by any suitable hardware device.
Вышеописанные примеры поясняют рассмотренные выше принципы. Подразумевается, что будут очевидны модификации и изменения компоновок и подробностей, описанных в этом документе. Поэтому есть намерение ограничиться только объемом предстоящей формулы изобретения, а не определенными подробностями, представленными посредством описания и объяснения примеров в этом документе.The above examples illustrate the principles discussed above. It is intended that modifications and changes to the arrangements and details described in this document will be apparent. Therefore, it is intended to be limited only by the scope of the forthcoming claims, and not by the specific details provided through the description and explanation of the examples in this document.
Claims (121)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17196259.0 | 2017-10-12 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2021117733A Division RU2765569C1 (en) | 2017-10-12 | 2018-10-11 | Optimizing sound delivery for virtual reality applications |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2022101458A RU2022101458A (en) | 2023-07-24 |
| RU2801698C2 true RU2801698C2 (en) | 2023-08-14 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100040238A1 (en) * | 2008-08-14 | 2010-02-18 | Samsung Electronics Co., Ltd | Apparatus and method for sound processing in a virtual reality system |
| EP3065406A1 (en) * | 2015-03-05 | 2016-09-07 | Nokia Technologies Oy | Video streaming method |
| US20170127118A1 (en) * | 2014-05-30 | 2017-05-04 | Sony Corporation | Information processing apparatus and information processing method |
| RU2621633C2 (en) * | 2011-10-28 | 2017-06-06 | Мэджик Лип, Инк. | System and method for augmented and virtual reality |
| WO2017120681A1 (en) * | 2016-01-15 | 2017-07-20 | Michael Godfrey | Method and system for automatically determining a positional three dimensional output of audio information based on a user's orientation within an artificial immersive environment |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100040238A1 (en) * | 2008-08-14 | 2010-02-18 | Samsung Electronics Co., Ltd | Apparatus and method for sound processing in a virtual reality system |
| RU2621633C2 (en) * | 2011-10-28 | 2017-06-06 | Мэджик Лип, Инк. | System and method for augmented and virtual reality |
| US20170127118A1 (en) * | 2014-05-30 | 2017-05-04 | Sony Corporation | Information processing apparatus and information processing method |
| EP3065406A1 (en) * | 2015-03-05 | 2016-09-07 | Nokia Technologies Oy | Video streaming method |
| WO2017120681A1 (en) * | 2016-01-15 | 2017-07-20 | Michael Godfrey | Method and system for automatically determining a positional three dimensional output of audio information based on a user's orientation within an artificial immersive environment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2765569C1 (en) | Optimizing sound delivery for virtual reality applications | |
| RU2744969C1 (en) | Method and device for effective delivery and use of audio communications for high quality of perception | |
| CN114223211A (en) | Information processing apparatus, information processing method, and computer program | |
| RU2801698C2 (en) | Optimizing audio delivery for virtual reality applications |