RU2742344C2 - Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга - Google Patents

Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга Download PDF

Info

Publication number
RU2742344C2
RU2742344C2 RU2017115882A RU2017115882A RU2742344C2 RU 2742344 C2 RU2742344 C2 RU 2742344C2 RU 2017115882 A RU2017115882 A RU 2017115882A RU 2017115882 A RU2017115882 A RU 2017115882A RU 2742344 C2 RU2742344 C2 RU 2742344C2
Authority
RU
Russia
Prior art keywords
transform
immersive
video
information
video frame
Prior art date
Application number
RU2017115882A
Other languages
English (en)
Other versions
RU2017115882A3 (ru
RU2017115882A (ru
Inventor
Франк ГАЛЬПЭН
Себастьен ЛАССЕРР
Пьер АНДРИВОН
Original Assignee
ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. filed Critical ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК.
Publication of RU2017115882A publication Critical patent/RU2017115882A/ru
Publication of RU2017115882A3 publication Critical patent/RU2017115882A3/ru
Application granted granted Critical
Publication of RU2742344C2 publication Critical patent/RU2742344C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/95—Arrangements characterised by the broadcast information itself characterised by a specific format, e.g. an encoded audio stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Изобретение относится к области кодирования и декодирования видео. Технический результат заключается в улучшении кодирования обратно совместимого иммерсивного видео. Поток переносит данные, представляющие иммерсивное видео, состоящее из кадра, организованного согласно схеме, содержащей первую область, кодированную согласно прямоугольному преобразованию, вторую область, кодированную согласно преобразованию, переходящему от прямоугольного преобразования к иммерсивному преобразованию, и третью область, кодированную согласно иммерсивному преобразованию. Для обратной совместимости поток дополнительно содержит первую информацию, представляющую размер и местоположение первой области в видеокадре, и вторую информацию, содержащую, по меньшей мере, тип выбранной схемы, поле зрения первой части, размер упомянутой второй области в видеокадре и опорное направление. 6 н. и 9 з.п. ф-лы, 11 ил.

Description

1. Область техники
Настоящее раскрытие сущности относится к области техники форматирования обратно совместимого потока, представляющего иммерсивное видео, например, когда такой поток распределен в гетерогенный набор клиентских устройств, причем некоторые из клиентских устройств сконфигурированы с возможностью отображать унаследованные прямоугольные видео, а некоторые другие сконфигурированы с возможностью отображать иммерсивные видео.
2. Уровень техники
Видео представляет собой последовательность, по меньшей мере, из одного изображения. Фактически, изображение может рассматриваться как неподвижное видео. Видео кодируется в прямоугольном кадре, который представляет собой двумерную матрицу пикселов (т.е. элемент цветовой информации). Один кадр кодируется в расчете на изображение последовательности. Изображение кодируется согласно функции преобразования. Унаследованные видео, предназначенные для отображения на прямоугольном экране, кодируются согласно прямоугольному преобразованию. Иммерсивные видео предназначены для подготовки посредством рендеринга вокруг зрителя, т.е. зритель не имеет возможность видеть все изображение, а должен поворачивать свою голову (либо перемещать или использовать контроллер, например, джойстик или мышь), чтобы видеть части изображения за пределами своего поля зрения. Иммерсивные видео, когда кодируются в прямоугольном кадре, требуют функции иммерсивного преобразования, например, равнопрямоугольного преобразования, кубического преобразования или пирамидального преобразования.
Видеопоток подготавливается и форматируется согласно типу устройства рендеринга, на котором видео предназначено для подготовки посредством рендеринга. Устройства рендеринга унаследованного видео надлежащим образом не отображают иммерсивные видео, поскольку они сконфигурированы с возможностью декодировать видеокадры только согласно прямоугольному преобразованию. Аналогично, устройства рендеринга иммерсивного видео надлежащим образом не отображают унаследованные видео, поскольку они ожидают кадры, кодированные согласно иммерсивной проекции. Отсутствует формат для обратно совместимого иммерсивного видеопотока, который может надлежащим образом отображаться посредством устройств рендеринга унаследованного и иммерсивного видео.
3. Сущность изобретения
Цель настоящего раскрытия сущности состоит в том, чтобы преодолевать отсутствие формата для обратно совместимого иммерсивного видеопотока, который может надлежащим образом отображаться посредством устройств рендеринга унаследованного и иммерсивного видео. Настоящее раскрытие сущности относится к способу составления видеокадра для устройства рендеринга из видеопотока, при этом способ содержит:
- получение исходного видеокадра из видеопотока,
- получение первой информации из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области упомянутого исходного видеокадра,
- когда устройство рендеринга представляет собой устройство рендеринга унаследованного видео, составление упомянутого видеокадра с упомянутой первой областью исходного видеокадра;
- когда устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:
-- получение второй информации из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,
-- компоновку преобразованной поверхности согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,
-- составление видеокадра с помощью, по меньшей мере, одной виртуальной камеры, захватывающей участок упомянутой преобразованной поверхности.
Согласно конкретной характеристике, схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
Согласно конкретному варианту осуществления, поток декодируется согласно стандарту высокоэффективного кодирования видео (HEVC), при этом первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
Настоящее раскрытие сущности также относится к устройству, сконфигурированному с возможностью составлять видеокадр для устройства рендеринга из видеопотока, причем устройство содержит:
- средство для получения исходного видеокадра из видеопотока,
- средство для получения первой информации из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области упомянутого исходного видеокадра,
- когда устройство рендеринга представляет собой устройство рендеринга унаследованного видео, процессор, сконфигурированный с возможностью составлять упомянутый видеокадр с упомянутой первой областью исходного видеокадра;
- когда устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:
-- средство для получения второй информации из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,
-- процессор, сконфигурированный с возможностью компоновать преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,
-- процессор, сконфигурированный с возможностью составлять видеокадр с помощью, по меньшей мере, одной виртуальной камеры, захватывающей участок упомянутой преобразованной поверхности.
Настоящее раскрытие сущности также относится к способу формирования видеопотока из иммерсивного видео, при этом способ содержит:
- кодирование первой части иммерсивного видеокадра согласно прямоугольному преобразованию;
- кодирование второй части иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;
- кодирование третьей части иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;
- составление видеокадра согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;
- формирование видеопотока, включающего в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.
Согласно конкретному варианту осуществления, схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
Согласно конкретной характеристике, поток основан на стандарте высокоэффективного кодирования видео (HEVC), при этом первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
Настоящее раскрытие сущности также относится к устройству, сконфигурированному с возможностью формировать видеопоток из иммерсивного видео и содержащему:
- кодер, сконфигурированный с возможностью кодировать первую часть иммерсивного видеокадра согласно прямоугольному преобразованию;
- кодер, сконфигурированный с возможностью кодировать вторую часть иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;
- кодер, сконфигурированный с возможностью кодировать третью часть иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;
- процессор, сконфигурированный с возможностью составлять видеокадр согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;
- формирователь видеопотоков, сконфигурированный с возможностью формировать видеопоток, включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.
Настоящее раскрытие сущности также относится к потоку, переносящему данные, представляющие иммерсивное видео, и содержащему:
- видеокадр, организованный согласно схеме, содержащей первую область, кодированную согласно прямоугольному преобразованию, вторую область, кодированную согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию, и третью область, кодированную согласно упомянутому иммерсивному преобразованию,
- первую информацию, представляющую размер и местоположение упомянутой первой области в видеокадре,
- вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения первой части, размер упомянутой второй области в видеокадре и опорное направление.
4. Краткое описание чертежей
Настоящее раскрытие сущности должно лучше пониматься, и другие характерные признаки и преимущества должны становиться очевидными после прочтения нижеприведенного описания, при этом описание ссылается на прилагаемые чертежи, на которых:
Фиг. 1 иллюстрирует кодирование на основе прямоугольного преобразования видеокадра, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 2 показывает пример функции равнопрямоугольного преобразования по сравнению с прямоугольным преобразованием по фиг. 1, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 3 иллюстрирует примерную схему функции кубического преобразования по сравнению с другими возможными преобразованиями по фиг. 1 и 2, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 4 показывает примеры изображений, кодированных согласно различным преобразованиям, например, преобразованиям по фиг. 1, 2 и 3 и подготовленных посредством рендеринга посредством устройства рендеринга унаследованного видео, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 5 иллюстрирует примерную схему обратно совместимого кадра, подготовленного для преодоления нежелательного искажения интересующей области при равнопрямоугольном преобразовании по фиг. 4, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 6 показывает пример преобразования иммерсивного кадра, кодированного согласно равнопрямоугольному преобразованию, в обратно совместимый кадр, кодированный с помощью примерной схемы по фиг. 5, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 7 иллюстрирует конкретный вариант осуществления структуры данных потока, переносящего данные, представляющие обратно совместимое иммерсивное видео, включающее в себя видеокадр, как проиллюстрировано на фиг. 5 и 6, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 8 иллюстрирует примерную схему обратно совместимого кадра, подготовленного для преодоления нежелательных неоднородностей в интересующей области при кубическом преобразовании по фиг. 3, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 9 показывает аппаратный вариант осуществления устройства, сконфигурированного с возможностью реализовывать способы, описанные в отношении с фиг. 10 или 11, согласно конкретному варианту осуществления настоящих принципов;
Фиг. 10 схематически показывает вариант осуществления способа формирования обратно совместимого иммерсивного видеопотока, реализованного в устройстве обработки по фиг. 9, таком как устройство согласно неограничивающему преимущественному варианту осуществления;
Фиг. 11 схематически показывает вариант осуществления способа составления видеокадра из обратно совместимого иммерсивного видеопотока для данного устройства рендеринга, реализованного в устройстве обработки, таком как устройство по фиг. 9 согласно неограничивающему преимущественному варианту осуществления.
5. Подробное описание вариантов осуществления
Далее описывается предмет изобретения со ссылкой на чертежи, на которых аналогичные номера ссылок используются для того, чтобы ссылаться на аналогичные элементы во всем описании. В нижеприведенном описании, для целей пояснения, многие конкретные подробности изложены для того, чтобы обеспечивать полное понимание настоящего изобретения. Следует понимать, что варианты осуществления предмета изобретения могут осуществляться на практике без этих конкретных подробностей.
Согласно неограничивающему варианту осуществления настоящего раскрытия сущности, раскрыт поток, кодирующий обратно совместимое иммерсивное видео. Также раскрыты способы и устройства для того, чтобы декодировать такой поток. Такой поток может декодироваться и подготавливаться посредством рендеринга устройствами рендеринга унаследованного видео, а также посредством устройств рендеринга иммерсивного видео. Такой поток, например, доставляется из сети (например, широковещательной сети, VoD-сети или Интернета) либо сохраняется на носителе (например, на DVD, диске Blu-ray или карте памяти в формате Memory Stick) независимо от устройства, которое декодирует его.
Устройство рендеринга унаследованного видео представляет собой устройство, допускающее декодирование унаследованных видеопотоков, кодированных в стандартных форматах, таких как MPEG2, H.264/AVC или H.265/HEVC. Устройство рендеринга унаследованного видео подготавливает посредством рендеринга декодированное видео на двумерном прямоугольном экране (например, телевизоре, видеопроекторе, планшетном компьютере или смартфоне). Следует отметить, что рендеринг представляет собой операцию подготовки изображения таким способом, что изображение является надлежащим образом отображаемым посредством устройства отображения. Абонентские приставки и процессоры, сконфигурированные с возможностью декодировать видеопоток, также рассматриваются в качестве устройств рендеринга видео. В одном конкретном варианте осуществления, обратно совместимый видеопоток использует стандартные параметры H.265/HEVC и имеет преимущество возможности декодирования посредством существующих устройств рендеринга унаследованного видео без предварительной модификации.
Способы для устройств рендеринга иммерсивного видео дополнительно детализированы в настоящем раскрытии сущности. Иммерсивные видео предназначены для подготовки посредством рендеринга вокруг зрителя, т.е. зритель не имеет возможность видеть все изображение, а должен поворачивать свою голову (либо перемещаться), чтобы видеть части изображения за пределами своего поля зрения. "Группа камер", например, представляет собой устройство рендеринга иммерсивного видео, которое состоит из нескольких видеопроекторов; проекторы отображают декодированное видео в нескольких направлениях вокруг зрителей. Устройства со шлемом-дисплеем (HMD), планшетные компьютеры или смартфоны, например, могут быть сконфигурированы с возможностью представлять собой устройства рендеринга иммерсивного видео, поскольку они оснащены блоками инерциальных измерений, которые отслеживают, по меньшей мере, ориентацию устройства в пространстве. Ориентация устройства определяет направление просмотра, и виртуальная камера захватывает часть окружающего иммерсивного видео, которое должно подготавливаться посредством рендеринга на прямоугольном экране устройства.
Также раскрыты способы и устройства для формирования обратно совместимого иммерсивного видеопотока из исходного иммерсивного видео. Видеокадры кодируются согласно, по меньшей мере, одной функции преобразования. Функция преобразования ассоциирует каждую точку поверхности преобразования с цветовой информацией из кадра. Для подготовки посредством рендеринга, проекционная функция применяется к поверхности преобразования, чтобы выбирать и/или адаптировать преобразованное изображение к экрану, на котором это должно отображаться. Функция преобразования является функцией устройства рендеринга видео. Проекционная функция ассоциирована с устройством отображения. Согласно конкретным вариантам осуществления, проекционная функция применяется посредством устройства рендеринга видео к поверхности преобразования, чтобы подготавливать кадр ожидаемым образом посредством конкретного устройства отображения, связанного с устройством рендеринга видео.
Фиг. 1 иллюстрирует режим кодирования на основе прямоугольного преобразования. Изображения видеопоследовательности кодируются в прямоугольном кадре 10, который предназначен для подготовки посредством рендеринга на прямоугольной поверхности 11. Функция 12 преобразования является простой, поскольку кадр 10 и поверхность 11 преобразования являются эквивалентными. Экран 13 может не иметь разрешения и/или четкости, идентичного разрешению и/или четкости поверхности 11 преобразования. Как следствие, проекционная функция 14 может повторно масштабировать и/или обрезать или отображать черные полосы на стороне поверхности 11 преобразования. На фиг. 1 кадр 10 и поверхность 11 преобразования имеют соотношение сторон 4:3, тогда как экран имеет соотношение сторон 16:9. В этом примере, проекционная функция 14 управляет обрезкой в середине изображения, чтобы формировать видео, которое умещается на экране 13. В разновидности, проекционная функция 14 добавляет черные полосы слева и справа от поверхности 11 преобразования с тем, чтобы получать видео, которое умещается на экране 13. В другом варианте осуществления, видео по фиг. 1 является стереоскопическим. В такой разновидности, кадр 10 содержит два различных изображения, которые преобразуются на двух различных поверхностях 11 преобразования. Поверхности преобразования комбинируются согласно типу экрана, чтобы подготавливать посредством рендеринга стереоскопический эффект.
Фиг. 2 показывает пример функции равнопрямоугольного преобразования. Последовательность изображений кодируется в прямоугольном кадре 20, предназначенном для преобразования на сферической поверхности 21 преобразования. Функция 22 преобразования устанавливает преобразование между каждым пикселом кадра 20 и точкой на поверхности 21 преобразования (и наоборот). На фиг. 2, функция 22 преобразования основана на равнопрямоугольной проекции (также называемой "равноотстоящей цилиндрической проекцией"). Изображение в кадре 20 искажается. Расстояния соблюдаются на экваторе и растягиваются на полюсах. Прямые линии более не являются прямыми, и перспективы искажаются. В разновидностях, функция 22 преобразования основана, например, на равноотстоящей конической проекции. Если экран 23 является прямоугольным, как в устройствах со шлемом-дисплеем (HMD) либо в планшетных компьютерах или смартфонах, часть поверхности 21 преобразования выбирается. Проекционная функция 24 состоит в выборе части поверхности 21 преобразования, видимой посредством камеры, расположенной в центре сферы, причем камера сконфигурирована в отношении поля зрения и разрешения, чтобы формировать изображение, которое непосредственно умещается на экране 23. Выбранное поле зрения зависит от характеристик устройства отображения. Для HMD, преимущественно, угол поля зрения находится близко к полю человеческого стереоскопического зрения, которое составляет приблизительно сто двадцать градусов. Направление наведения камеры соответствует направлению, на которое смотрит пользователь, и контроллер виртуальной камеры устройства рендеринга иммерсивного видео используется для того, чтобы модифицировать направление наведения камеры. В разновидности, видео по фиг. 2 является стереоскопическим. В такой разновидности, кадр 20 содержит два различных изображения, которые преобразуются на двух различных поверхностях 21 преобразования. Поверхности преобразования комбинируются согласно типу экрана, чтобы подготавливать посредством рендеринга стереоскопический эффект.
Фиг. 3 иллюстрирует примерную схему функции кубического преобразования. Последовательность изображений кодируется в прямоугольном (или квадратном) кадре 30, предназначенном для преобразования на кубической поверхности 31 преобразования. Функция 32 преобразования устанавливает соответствие между квадратами в кадре 30 и гранями куба 31. Наоборот, функция преобразования определяет то, как грани куба 31 организованы внутри поверхности кадра 30. Изображения на каждой грани не искажаются. Тем не менее в полном изображении кадра 30 линии являются кусочно-прямыми, и перспективы нарушаются. Изображение может содержать пустые квадраты (заполненные цветовой информацией по умолчанию или произвольной цветовой информацией, белым цветом в примере по фиг. 3). Проекционная функция работает в качестве проекционной функции по фиг. 2. Камера размещена в центре куба 31 и захватывает изображение, которое умещается на экране устройства рендеринга.
В разновидностях используются, например, другие поверхности преобразования и/или функции преобразования, преобразующие видеокадр в цилиндре или в пирамиде.
Фиг. 4 показывает примеры изображений, кодированных согласно различным функциям преобразования и подготовленных посредством рендеринга посредством устройства рендеринга унаследованного видео. Поскольку они подготавливаются посредством рендеринга посредством устройства рендеринга унаследованного видео, все изображения по фиг. 4 кодируются согласно прямоугольному преобразованию. Тем не менее они проецируются согласно различной проекционной функции. Изображение 40 извлекается из типичного унаследованного видео (т.е. видео, которое пользователи раньше смотрели на телевизоре или в кинотеатрах). Камера, которая захватывает изображение 40, использует функцию перспективной проекции. Для перспективной проекции, прямые линии являются прямыми, углы и пропорции соответствуют реальным углам и пропорциям, и перспективы соблюдаются. Камера захватывает часть окружающей среды. Эта часть называется интересующей областью (RoI), поскольку она представляет собой часть, которую режиссер выбирает для показа. Горизонтальное поле зрения перспективного прямоугольного изображения составляет, например, семьдесят градусов (70°), угол, который приблизительно соответствует почти периферийному человеческому зрению с хорошим различением цветов.
Изображение 41 захвачено с помощью широкоугольной камеры. Для такой проекционной функции, при подготовке посредством рендеринга плоского экрана, прямые линии более не являются прямыми, углы и пропорции более не соответствуют реальности, и перспективы искажаются. Интересующая область является более крупной для изображения 41. Горизонтальное поле зрения составляет более шестидесяти градусов (60°).
Изображение 42 представляет собой обрезку, извлеченную из иммерсивного изображения, которое кодируется согласно равнопрямоугольному преобразованию. Исходное иммерсивное изображение предназначено для подготовки посредством рендеринга посредством устройства рендеринга иммерсивного видео согласно перспективной проекции (т.е. относительно прямых линий, углов, пропорций и перспектив). Изображение 42 представляет собой участок изображения, кодированный с помощью равнопрямоугольного преобразования и декодированный с помощью прямоугольного преобразования. Как следствие, показанная интересующая область искажается для любого горизонтального поля зрения. Искажение локально изменяется согласно местоположению обрезки в исходном изображении и согласно полю зрения. Изображение 43 представляет собой участок изображения, кодированный с помощью кубического преобразования и декодированный с помощью прямоугольного преобразования. Здесь, перспектива сохраняется, но непрерывность нарушается, когда интересующая область перекрывает ребра куба.
Фиг. 5 иллюстрирует примерную схему 50 обратно совместимого кадра, подготовленного для преодоления нежелательного искажения интересующей области при равнопрямоугольном преобразовании. Эта схема 50 представляет собой прямоугольный кадр данного размера, например, 720×576 пикселов (PAL-четкость), 720×480 (NTSC-четкость), 1280×720 (HD1-четкость), 1920×1080 пикселов (HD2-четкость) или 4096×2160 (4K). Схема 50 состоит из трех (3) частей.
Часть 51 соответствует интересующей области исходного иммерсивного контента, захваченного, например, согласно перспективной проекции и кодированного согласно прямоугольному преобразованию. Этот субкадр 51 подготовлен с возможностью подготовки посредством рендеринга на устройствах рендеринга унаследованного видео. Размер субкадра 51 составляет данную четкость, например, 1920×1080 пикселов, если кадр 50 представляет собой 4K-кадр. Левый верхний угол субкадра 51 расположен в позиции (x, y) в кадре 50, например, x=1088 и y=540. Размер и позиция субкадра 51 являются постоянными в течение длительности видео. В разновидности, размер и/или позиция субкадра 51 варьируются во времени.
Часть 52 представляет собой прямоугольный кадр, кодирующий исходный иммерсивный контент согласно равнопрямоугольному преобразованию. Область, соответствующая части 53, вырезается из этого кадра. Часть 53 представляет собой переходную область, в которой изображение непрерывно переходит от прямоугольного преобразования (на своей центральной стороне) к равнопрямоугольному преобразованию (на своей периферийной стороне).
Фиг. 6 показывает пример преобразования иммерсивного кадра 60, кодированного согласно равнопрямоугольному преобразованию, в обратно совместимый кадр 50, кодированный с помощью примерной схемы по фиг. 5. Интересующая область выбирается, например, вручную посредством модуля управления или, например, автоматически с использованием алгоритма обработки изображений, например, на основе карты отличительных характеристик изображения. Интересующая область соответствует участку поля зрения иммерсивного контента (который составляет вплоть до 360°). Как пояснено выше, если перспективная проекция выбирается для интересующей области, поле зрения составляет вплоть до семидесяти градусов. В разновидности, широкий угол выбирается в качестве проекционной функции интересующей области.
В следующем примере, позиция (x, y) субкадра 51 в кадре 50 выбрана таким образом, чтобы иметь субкадр 51 в середине кадра. В разновидностях этого примера, уравнения могут быть адаптированы посредством трансляции системы отсчета.
С учетом горизонтального поля зрения, вертикальное поле зрения определяется посредством следующего уравнения:
Figure 00000001
[уравнение 1]
где w и h являются, соответственно, шириной и высотой субкадра 51. Для точки Me (ie, je) кадра 50, координата Ms в субкадре 51 определяется согласно уравнению 2:
Figure 00000002
[уравнение 2]
где we и he являются, соответственно, шириной и высотой кадра 50. Для каждого пиксела Ms (i, j) субкадра 51, ассоциированная трехмерная точка Mv вычисляется из уравнения 3). Координата M соответствующего пиксела в кадре 60 посредством проецирования нормализации точки на сфере (уравнение 4).
Figure 00000003
[уравнение 3]
Figure 00000004
[уравнение 4]
Функция f является функцией для преобразования из пространства изображений в промежуточное параметрическое пространство поверхности. Например, для равнопрямоугольного преобразования, функция f может задаваться следующим образом:
f: (i, j)->(θ, ϕ) [уравнение 4a]
ϕ=(i-h/2)/h*2π
θ=(j-w/2)/w*π
Функция
Figure 00000005
является функцией для преобразования из промежуточного параметрического пространства в трехмерное пространство поверхности. Для равнопрямоугольного преобразования, трехмерная поверхность представляет собой сферу, и дельта может задаваться следующим образом:
delta: (θ,ϕ)->(X,Y,Z)
X=sin(ϕ) cos(θ)
Y=sin(ϕ) sin(θ)
Z=cos(ϕ)
Если поле зрения субкадра 51 меньше части поля зрения иммерсивного кадра 50, 60, занимаемой посредством субкадра 51, пикселы "сжимаются" в переходной области 53. Это имеет место в примере по фиг. 6, в котором горизонтальное поле зрения субкадра 51 составляет шестьдесят градусов, когда пространство, занятое посредством субкадра 51, составляет 168,75 градусов (1920×360/4096). В отличие от этого, если поле зрения субкадра 51 превышает часть поля зрения иммерсивного кадра 50, 60, занимаемую посредством субкадра 51, пикселы "растягиваются" в переходной области 53.
Примерный способ для того, чтобы заполнять переходную область 53, заключается в том, чтобы вычислять сглаженную интерполяцию от субкадра 51 прямоугольного преобразования к части 52 равнопрямоугольного преобразования; например, посредством определения весового коэффициента согласно расстоянию между двумя участками 51 и 52 кадра.
Figure 00000006
, [уравнение 5]
где mx и my являются, соответственно, шириной и высотой допустимых запасов, задающих часть 53 вокруг субкадра 51. Координаты точки на сфере вычисляются согласно функции от весового коэффициента (уравнению 6), и координаты пиксела кадра 60, который следует использовать, получаются посредством уравнения 7.
Figure 00000007
[уравнение 6]
Figure 00000008
[уравнение 7]
Функция h используется для того, чтобы модулировать наклон перехода между двумя преобразованиями. С учетом положительной константы α, большей или равной 1, функция h, например, представляет собой одно из следующего:
Figure 00000009
Figure 00000010
В другом варианте осуществления, сглаженная интерполяция выполняется в трехмерном пространстве вместо параметрической поверхности, как подробно указано выше.
Фиг. 7 иллюстрирует конкретный вариант осуществления структуры данных потока 70, переносящего данные, представляющие обратно совместимое иммерсивное видео, включающее в себя видеокадр, как проиллюстрировано на фиг. 5 и 6. Кадр 50 по фиг. 5 и 6 кодируется в частях 71 рабочих данных потока. Глобальная или общая информация относительно контента включена в часть 72 заголовка. Изменяющаяся или повторяющаяся информация сохраняется в части 73 заголовка каждой части 71 рабочих данных.
Кадр 50 содержит субкадр 51, который адаптирован к устройству рендеринга унаследованного видео. Единственная информация, которая требуется этим устройствам для того, чтобы декодировать субкадр 51, представляет собой его местоположение и размер в кадре 60, также называется первой информацией в этом документе. Поскольку первая информация может изменяться во времени, либо поскольку заголовок контента, возможно, не принят посредством клиентского устройства (например, в случаях широковещательной передачи), первая информация включена в часть 73 заголовка каждой части 71 рабочих данных. В разновидности, первая информация включена в часть 72 заголовка контента. В другой разновидности первая информация включена в часть 73 заголовка частей 71 рабочих данных только при изменении или многократно, например, один раз в 5 или 10 частей 71 рабочих данных.
В конкретном варианте осуществления, кадр 50 кодируется согласно H.265/HEVC-кодеку (см. документ ETSI TS 101 154 v2.2.1 DVB-стандарта). Параметры "окна соответствия" этого кодека зарезервированы для переноса информации местоположения и размера субкадра в основном кадре. Если присутствуют в потоке, использование параметров окна соответствия посредством устройства рендеринга является обязательным в спецификациях DVB-стандарта. Адаптация соотношения сторон управляется посредством устройства рендеринга унаследованного видео как обычно, без предварительной модификации устройства.
При декодировании посредством устройства рендеринга иммерсивного видео (например, планшетного компьютера, смартфона или HMD), обратное преобразование кадра 50 выполняется для того, чтобы извлекать кадр 60. В примере по фиг. 6, обратное преобразование может быть основано на обратных функциях по уравнению 8 и уравнению 9:
Figure 00000011
[уравнение 8]
Figure 00000012
Figure 00000013
Figure 00000014
[уравнение 9]
Figure 00000015
Figure 00000016
Параметры, требуемые для этого обратного преобразования, являются идентичными параметрам, необходимым для преобразования: с одной стороны, первая информация, которая содержит местоположение и размер субкадра 51, и с другой стороны, вторая информация, которая содержит: тип схемы преобразования, используемый для того, подготавливать кадр 50 (кадр по фиг. 5 в этом примере), поле зрения, используемое для того, вычислять субкадр 51, размер переходной области и опорное направление; местоположение переходной области коррелируется с типом схемы преобразования. Опорное направление может быть полезным знать, в иммерсивном просмотре абсолютной нулевой позиции поверхности преобразования при рендеринге. Вторая информация является постоянной во времени и по этой причине кодируется в части 72 заголовка контента. В другом варианте осуществления, например, когда поток передается в широковещательном режиме, заголовок контента 72 может быть пропущен посредством клиента; как следствие, вторая информация многократно кодируется в потоке, например, в части 73 заголовка частей 71 рабочих данных. В разновидности, некоторые данные второй информации (например, размер переходной области) могут изменяться во времени, и по этой причине, вторая информация кодируется в части 73 заголовка частей 71 рабочих данных потока.
Восстановленный кадр 60 затем преобразуется на сфере, и устройство рендеринга иммерсивного видео использует свою регулярную проекционную функцию, чтобы подготавливать посредством рендеринга часть иммерсивного контента для отображения. В другом варианте осуществления, устройство рендеринга иммерсивного видео компонует поверхность преобразования, конкретную для кадра 50 согласно упомянутой первой и второй информации. Например, конкретная поверхность преобразования состоит из плоскости (для субкадра 51), эллиптического участка (для переходной части 53) и частично сферической части (для равнопрямоугольной части 52). Кадр 50 преобразуется на конкретной поверхности преобразования, регулярная проекционная функция устройства рендеринга иммерсивного видео автоматически вырезает часть иммерсивного содержимого, адаптированного, по меньшей мере, к одному экрану, ассоциированному с устройством.
В конкретном варианте осуществления, кадр 50 и первая и вторая информация кодируются в отдельных синхронизированных потоках.
Фиг. 8 иллюстрирует примерную схему 80 обратно совместимого кадра, подготовленного для преодоления нежелательных неоднородностей в интересующей области при кубическом преобразовании. В этой примерной схеме, размер и отношение каждой грани трехмерной поверхности адаптированы. По идентичным причинам, что и для примерной равнопрямоугольной схемы по фиг. 5 и 6, субкадр 81 подготовлен таким образом, чтобы иметь возможность непосредственного декодирования посредством устройств рендеринга унаследованного видео. Эта примерная схема 80 представляет собой прямоугольный кадр данного размера, например, 720×576 пикселов (PAL-четкость), 720×480 (NTSC-четкость), 1280×720 (HD1-четкость), 1920×1080 пикселов (HD2-четкость) или 4096×2160 (4K). Шесть граней куба составляют три (3) части схемы: часть 81 прямоугольного преобразования, часть 82 иммерсивного преобразования и область 83 переходного преобразования.
Часть 81 соответствует интересующей области исходного иммерсивного контента, захваченного, например, согласно перспективной проекции и кодированного согласно прямоугольному преобразованию. Интересующая область занимает одну грань куба. Размер субкадра 51 составляет данную четкость, например, 1920×1080 пикселов, если кадр 80 представляет собой 4K-кадр. Такие стандартные размеры имеют преимущество возможности декодироваться и подготавливаться посредством рендеринга посредством существующего устройства рендеринга унаследованного видео без предварительной модификации. Тем не менее, поскольку они являются прямоугольными (а не квадратными), размер других граней куба в схеме преобразования должен быть адаптирован. На примере по фиг. 8, часть 81 наблюдается в качестве передней грани (условно) и занимает половину ширины кадра 80 и половину его высоты. Верхняя, нижняя и задняя грани сохраняют квадратную форму. Левая и правая грани представляют собой, например, прямоугольники, меньшие нижней грани. При иммерсивном кубическом преобразовании, каждая грань куба принимает девяносто градусов (90°) горизонтального поля зрения (которое составляет 360°) и девяносто градусов вертикального поля зрения. В примерной обратно совместимой схеме по фиг. 8, FOV передней грани соответствует FOV интересующей области. Если это FOV меньше 90°, левая, правая, верхняя и нижняя грани должны кодировать более 90°FOV на меньшей области для левой и правой граней. Как следствие, пикселы "сжимаются" в переходной области 83 распределенных на упомянутых четырех гранях. Оставшаяся часть кадра 80 используется для того, чтобы кодировать иммерсивный кадр согласно кубическому преобразованию.
Обратно совместимое иммерсивное видео, подготовленное с помощью схемы по фиг. 8, кодируется в потоке, как проиллюстрировано на фиг. 7 для схемы по фиг. 5. Подготовленный кадр кодируется в части 71 рабочих данных потока 70. Первая информация, содержащая местоположение и размер субкадра 81, кодируется согласно идентичным разновидностям в частях 73 заголовка частей 71 рабочих данных и/или в части 72 заголовка контента. Вторая информация, содержащая: тип схемы преобразования, используемый для того, чтобы подготавливать кадр 50 (кадр по фиг. 8 в этом примере), поле зрения, используемое для того, чтобы вычислять субкадр 81, размер переходной области и опорного направления; местоположение переходной области коррелируется с типом схемы преобразования.
Фиг. 9 показывает аппаратный вариант осуществления устройства 70, сконфигурированного с возможностью реализовывать способы, описанные в отношении фиг. 10 или 11. В этом примере, устройство 90 содержит следующие элементы, соединенные между собой посредством шины 91 адресов и данных, которые также транспортируют синхросигнал:
- микропроцессор 92 (или CPU), который представляет собой, например, DSP (или процессор цифровых сигналов);
- энергонезависимое запоминающее устройство типа 93 ROM (постоянного запоминающего устройства);
- оперативное запоминающее устройство или RAM (94);
- интерфейс 95 ввода-вывода для приема данных, которые следует передавать, из приложения; и
- видеокарту 96, которая может встраивать регистры оперативного запоминающего устройства;
- источник 97 питания.
В соответствии с примером, источник 97 питания является внешним для устройства. В каждом упомянутом запоминающем устройстве, слово "регистр", используемое в спецификации, может соответствовать области небольшой емкости (несколько битов) или очень большой области (например, всей программы или большому объему принимаемых или декодированных данных). ROM 93 содержит, по меньшей мере, программу и параметры. ROM 93 может сохранять алгоритмы и инструкции, чтобы выполнять технологии в соответствии с настоящими принципами. После включения питания, CPU 92 выгружает программу в RAM и выполняет соответствующие инструкции.
RAM 94 содержит, в регистре, программу, выполняемую посредством CPU 92 и выгруженную после включения устройства 90, входные данные в регистре, промежуточные данные в различных состояниях способа в регистре и другие переменные, используемые для выполнения способа, в регистре.
Реализации, описанные в данном документе, могут быть реализованы, например, в способе или процессе, устройстве, программе, потоке данных или сигнале. Даже если поясняется только в контексте одной формы реализации (например, поясняется только как способ или устройство), реализация поясненных признаков также может быть реализована в других формах (например, как программа). Устройство может быть реализовано, например, в соответствующих аппаратных средствах, программном обеспечении и микропрограммном обеспечении. Способы могут быть реализованы, например, в таком устройстве, как, например, процессор, который означает устройства обработки в целом, включающие в себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/персональные цифровые устройства (PDA), абонентские приставки и другие устройства, которые упрощают обмен информацией между конечными пользователями.
В соответствии с примером формирования обратно совместимого иммерсивного видеопотока, как проиллюстрировано на фиг. 10, исходное иммерсивное видео и данные, представляющие интересующую область исходного иммерсивного видео, получаются из источника. Например, источник принадлежит набору, содержащему:
- локальное запоминающее устройство (93, 94 или 96), например, запоминающее устройство для хранения видеоданных или RAM (или оперативное запоминающее устройство), флэш-память, ROM (или постоянное запоминающее устройство), жесткий диск;
- интерфейс (95) хранения данных, например, интерфейс с устройством хранения данных большой емкости, RAM, флэш-памятью, ROM, оптическим диском или магнитной подложкой; и
- интерфейс (95) связи, например, проводной интерфейс (например, шинный интерфейс, глобальный сетевой интерфейс, локальный сетевой интерфейс) или беспроводной интерфейс (к примеру, интерфейс IEEE 802.11 или интерфейс Bluetooth®).
Согласно одному конкретному варианту осуществления, алгоритмы, реализующие этапы способа формирования обратно совместимого иммерсивного видеопотока и описанные далее на фиг. 10 сохраняются в запоминающем устройстве GRAM видеокарты 96, ассоциированной с устройством 90, реализующим эти этапы. Согласно разновидности, часть RAM (94) назначается посредством CPU (92) для хранения алгоритмов. Эти этапы приводят к формированию видеопотока, который отправляется в назначение, принадлежащее набору, содержащему локальное запоминающее устройство, например, запоминающее устройство (94) для хранения видеоданных, RAM (94), ROM (93), флэш-память (93) или жесткий диск (93), интерфейс (95) хранения данных, например, интерфейс с устройством хранения данных большой емкости, RAM, ROM, флэш-памятью, оптическим диском или магнитной подложкой, и/или принимается из интерфейса (95) связи, например, интерфейса с линией связи "точка-точка", шиной, линией связи "точка-многоточка" или широковещательной сетью.
В соответствии с примерами, устройство 90, сконфигурированное с возможностью реализовывать способ формирования обратно совместимого иммерсивного видеопотока, описанный в отношении с фиг. 10, принадлежит набору, содержащему:
- мобильное устройство;
- устройство связи;
- игровое устройство;
- планшетный компьютер (или планшетный компьютер);
- переносной компьютер;
- микросхему кодирования;
- сервер неподвижных изображений; и
- видеосервер (например, широковещательный сервер, сервер "видео по запросу" или веб-сервер).
В соответствии с примером составления видео из обратно совместимого иммерсивного видеопотока, поток, представляющий обратно совместимое иммерсивное видео, получается из источника. В качестве примера, поток считывается из локального запоминающего устройства, например, запоминающего устройства (94) для хранения видеоданных, RAM (94), ROM (73), флэш-памяти (93) или жесткого диска (93). В разновидности, поток принимается из интерфейса (95) хранения данных, например, интерфейса с устройством хранения данных большой емкости, RAM, ROM, флэш-памятью, оптическим диском или магнитной подложкой, и/или принимается из интерфейса (95) связи, например, интерфейса с линией связи "точка-точка", шиной, линией связи "точка-многоточка" или широковещательной сетью.
Согласно одному конкретному варианту осуществления, алгоритмы, реализующие этапы способа составления видео из обратно совместимого иммерсивного видеопотока для устройства рендеринга и описанные далее на фиг. 11 сохраняются в запоминающем устройстве GRAM видеокарты 96, ассоциированной с устройством 90, реализующим эти этапы. Согласно разновидности, часть RAM (94) назначается посредством CPU (92) для хранения алгоритмов. Эти этапы приводят к составлению видео, которое отправляется в назначение, принадлежащее набору, содержащему:
- мобильное устройство;
- устройство связи;
- игровое устройство;
- абонентскую приставку;
- телевизор;
- планшетный компьютер (или планшетный компьютер);
- переносной компьютер;
- дисплей, и
- микросхему декодирования.
Фиг. 10 схематически показывает вариант осуществления способа 100 формирования обратно совместимого иммерсивного видеопотока, реализованного в устройстве обработки, таком как устройство 90 согласно неограничивающему преимущественному варианту осуществления.
На этапе 101, иммерсивное видео и данные, представляющие интересующую область иммерсивного видео, получаются из источника. Иммерсивное видео содержит кадр, кодированный согласно иммерсивному преобразованию, например, равнопрямоугольному преобразованию (как кадр 60 по фиг. 6), кубическому преобразованию (например, как кадр 30 по фиг. 3) или пирамидальному преобразованию. Иммерсивное видео может содержать другие данные, которые используются без модификации при формировании обратно совместимого иммерсивного видеопотока, к примеру, аудиотреки или метаданные.
На этапе 102, схема выбирается для подготовки обратно совместимого кадра, например, схема на основе равнопрямоугольного преобразования, как указано на фиг. 5, либо схема на основе кубического преобразования, как указано на фиг. 8, либо схема на основе пирамидального преобразования.
Этап 103 состоит в компоновке обратно совместимого кадра. Этот этап содержит три подэтапа 104, 105 и 106. Эти три подэтапа могут выполняться последовательно или параллельно. Этап 104 состоит в кодировании кадра согласно прямоугольному преобразованию. Этот этап 104 является общим для всех схемы, поскольку он формирует часть кадра, который является обратно совместимым. Цветовая информация (т.е. пикселы) кадра определяется из иммерсивного видеокадра согласно описанию интересующей области. Этап 105 и 106 состоит в подготовке части иммерсивного видео, которая находится за пределами интересующей области. Иммерсивное преобразование схемы может отличаться от иммерсивного преобразования иммерсивного видео. Размер переходной области определяется. Местоположение переходной области зависит от выбранной схемы. Переходная область продолжает обратно совместимый кадр. На этапе 105, цветовая информация переходной области определяется. Преобразование, используемое для этой части, является непрерывно переходящим от прямоугольного преобразования к иммерсивному преобразованию схемы. На этапе 106, цветовая информация иммерсивной части определяется. Три области, соответствующие трем частям иммерсивного видеокадра, используются для того, чтобы составлять обратно совместимый кадр согласно выбранной схеме. Значения, определенные для выполнения этапа 103, передаются в качестве записи этапа 107. Эти значения следующие: размер и местоположение первой области, тип схемы, поле зрения первой части, размер переходной области и направление абсолютной нулевой позиции поверхности преобразования при рендеринге, также называемое "опорным направлением".
Этап 107 состоит в формировании обратно совместимого иммерсивного видеопотока. Поток содержит обратно совместимый видеокадр, первую информацию относительно размера и местоположения первой области и вторую информацию, содержащую тип схемы, поле зрения первой части, размер переходной области и опорное направление.
Фиг. 11 схематически показывает вариант осуществления способа 110 составления видеокадра из обратно совместимого иммерсивного видеопотока для данного устройства рендеринга, реализованного в устройстве обработки, таком как устройство 90 согласно неограничивающему преимущественному варианту осуществления. Устройство рендеринга представляет собой либо устройство рендеринга унаследованного видео, такое как телевизор, планшетный компьютер или смартфон, либо устройство рендеринга иммерсивного видео, такое как группа камер, HMD или планшетный компьютер или смартфон, сконфигурированное с возможностью подготавливать посредством рендеринга иммерсивные видео. Первые три этапа способа являются общими для обоих типов устройств рендеринга.
На этапе 111, поток получается из источника. Поскольку поток является обратно совместимым, он может синтаксически анализироваться посредством стандартного устройства рендеринга унаследованного видео без предварительной модификации. На этапе 112, видеокадр потока получается. Согласно варианту осуществления, кадр декодируется на этом этапе. В другом варианте осуществления, к кодированным данным кадра осуществляется доступ, и они продолжают кодироваться. Этот вариант осуществления является полезным для устройства рендеринга унаследованного видео, для которого только первая область кадра декодируется на этапе 114. Этот вариант осуществления может реализовываться, например, посредством использования мозаичных фрагментов. Независимые мозаичные фрагменты являются признаком HEVC, в котором выделяемая дополнительная улучшающая информация (SEI) зарезервирована, чтобы сигнализировать размер и местоположение мозаичных фрагментов, которые должны быть декодированы, независимо друг от друга. На этапе 113, первая информация, содержащая размер и местоположение первой области, синтаксически анализируется из потока.
В этот момент, если устройство рендеринга представляет собой устройство рендеринга унаследованного видео, часть кадра, соответствующая первой области, используется для того, чтобы составлять кадр, который должен подготавливаться посредством рендеринга. Поскольку первая область кодируется согласно прямоугольному преобразованию, устройство рендеринга унаследованного видео может подготавливать ее посредством рендеринга без предварительной модификации. Согласно варианту осуществления, кадр обрезается согласно первой информации, чтобы сохранять только первую область. Согласно другому варианту осуществления, только часть первой области декодируется посредством использования, например, признака мозаичных фрагментов.
Если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео, вторая информация синтаксически анализируется из потока на этапе 115. Эта информация используется, в дополнение к первой информации, чтобы компоновать преобразованную поверхность на этапе 116. Согласно варианту осуществления, поверхность преобразования выбирается, например, из сферы, куба или пирамиды. Эта поверхность преобразования, например, представляет собой ячеистую сеть, ассоциированную с текстурными координатами. Эти текстурные координаты вычисляются таким образом, что они совпадают с входным кадром. В разновидности, вершины ячеистой сети смещены, чтобы заставлять их позицию совпадать с позицией их адреса текстурных координат во входном кадре. В другой разновидности, вычисляется промежуточный кадр, чтобы кадр совпадал с текстурными координатами поверхности преобразования.
Этап 117 состоит в захвате видео, которые должны подготавливаться посредством рендеринга из виртуальных камер, размещенных в центре преобразованной поверхности. Он представляет собой регулярный этап устройств рендеринга иммерсивного видео. По меньшей мере, одна виртуальная камера размещена в центре преобразованной поверхности и захватывает кадр, предназначенный для передачи на проекционное устройство. Для наголовных устройств, проекционное устройство представляет собой экран устройства. Для групп камер, каждый из световых проекторов представляет собой проекционное устройство.
Естественно, настоящее раскрытие сущности не ограничено вышеописанными вариантами осуществления.
В частности, настоящее раскрытие сущности не ограничено способом обработки контента иммерсивного видео, а также расширяется на любой способ отображения обработанного видеокадра и на любое устройство, реализующее этот способ отображения. Реализация вычислений, необходимых для того, чтобы формировать кадр и поток, не ограничена реализацией в микропрограммах для формирователя теней, а также расширяется на реализацию в любом типе программ, например, в программах, которые могут выполняться посредством CPU-микропроцессора. Использование способов настоящего раскрытия сущности не ограничено использованием "вживую", а также расширяется на любое другое использование, например, для обработки, известной как обработка постпроизводства в студии звукозаписи.
Реализации, описанные в данном документе, могут быть реализованы, например, в способе или процессе, устройстве, программе, потоке данных или сигнале. Даже если поясняется только в контексте одной формы реализации (например, поясняется только как способ или устройство), реализация поясненных признаков также может быть реализована в других формах (например, как программа). Устройство может быть реализовано, например, в соответствующих аппаратных средствах, программном обеспечении и микропрограммном обеспечении. Способы могут быть реализованы, например, в таком устройстве, как, например, процессор, который означает устройства обработки в целом, включающие в себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, смартфоны, планшетные компьютеры, мобильные телефоны, портативные/персональные цифровые устройства (PDA) и другие устройства, которые упрощают обмен информацией между конечными пользователями.
Реализации различных процессов и признаков, описанных в данном документе, могут быть осуществлены во множестве различных видов оборудования или приложений, в частности, например, в оборудовании или в приложениях, ассоциированных с кодированием данных, декодированием данных, созданием представлений, обработкой текстуры и другой обработкой изображений и связанной информацией текстуры и/или информацией глубины. Примеры такого оборудования включают в себя кодер, декодер, постпроцессор, обрабатывающий вывод из декодера, препроцессор, предоставляющий ввод в кодер, видеокодер, видеодекодер, видеокодек, веб-сервер, абонентскую приставку, переносной компьютер, персональный компьютер, сотовый телефон, PDA и другие устройства связи. Должно быть очевидным, что оборудование может быть мобильным и даже установленным в мобильном транспортном средстве.
Дополнительно, способы могут реализовываться посредством инструкций, выполняемых посредством процессора, и такие инструкции (и/или значения данных, сформированные посредством реализации) могут сохраняться на процессорночитаемом носителе, таком как, например, интегральная схема, программный носитель или другое устройство хранения данных, такое как, например, жесткий диск, компакт-диск (CD), оптический диск (такой как, например, DVD, зачастую называемый "универсальным цифровым диском" или "цифровым видеодиском"), оперативное запоминающее устройство (RAM) или постоянное запоминающее устройство (ROM). Инструкции могут формировать прикладную программу, материально осуществленную на процессорночитаемом носителе. Инструкции, например, могут находиться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении или в комбинации. Инструкции могут содержаться, например, в операционной системе, в отдельном приложении или в комбинации означенного. Следовательно, процессор может характеризоваться, например, в качестве как устройства, сконфигурированного с возможностью выполнять процесс, так и устройства, которое включает в себя процессорночитаемый носитель (к примеру, устройство хранения данных), имеющий инструкции для выполнения процесса. Дополнительно, процессорночитаемый носитель может сохранять, в дополнение или вместо инструкций, значения данных, сформированные посредством реализации.
Специалистам данной области техники должно быть очевидным, что реализации также могут формировать множество сигналов, отформатированных с возможностью переносить информацию, которая, например, может сохраняться или передаваться. Информация может включать в себя, например, инструкции для осуществления способа или данные, сформированные посредством одной из описанных реализаций. Например, сигнал может форматироваться с возможностью переносить в качестве данных правила для записи или считывания синтаксиса описанного варианта осуществления или переносить в качестве данных фактические синтаксические значения, записанные посредством описанного варианта осуществления. Этот сигнал, например, может быть отформатирован как электромагнитная волна (к примеру, с использованием радиочастотного участка спектра) или как сигнал в полосе модулирующих частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей с потоком кодированных данных. Информация, которую переносит сигнал, например, может быть аналоговой или цифровой информацией. Как известно, сигнал может передаваться по множеству различных линий проводной или беспроводной связи. Сигнал может быть сохранен на процессорночитаемом носителе.
Описан ряд реализаций. Тем не менее следует понимать, что могут вноситься различные модификации. Например, элементы различных реализаций могут комбинироваться, дополняться, модифицироваться или удаляться для того, чтобы формировать другие реализации. Дополнительно, специалисты в данной области техники должны понимать, что другие структуры и процессы могут быть использованы вместо раскрытых структур и процессов, и результирующие реализации должны выполнять, по меньшей мере, практически идентичную функцию(и), по меньшей мере, практически идентичным способом(ами), чтобы добиваться, по меньшей мере, практически идентичного результата(ов), что и раскрытые реализации. Соответственно, эти и другие реализации предполагаются посредством этой заявки.

Claims (37)

1. Способ составления (110) видеокадра для устройства рендеринга из видеопотока, отличающийся тем, что способ содержит этапы, на которых:
- получают (113) первую информацию из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области исходного видеокадра, полученного из видеопотока,
- в случае, если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:
- получают (115) вторую информацию из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,
- компонуют (116) преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,
- составляют (117) видеокадр с участком упомянутой преобразованной поверхности;
- в другом случае составляют (114) упомянутый видеокадр с упомянутой первой областью исходного видеокадра.
2. Способ по п. 1, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
3. Способ по п. 1 или 2, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
4. Устройство (90), сконфигурированное с возможностью составлять видеокадр для устройства рендеринга из видеопотока, отличающееся тем, что устройство содержит:
- средство для получения первой информации из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области исходного видеокадра, полученного из видеопотока,
- в случае, если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:
- средство для получения второй информации из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,
- процессор, сконфигурированный с возможностью компоновать преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,
- процессор, сконфигурированный с возможностью составлять видеокадр с участком упомянутой преобразованной поверхности;
- в другом случае процессор, сконфигурированный с возможностью составлять упомянутый видеокадр с упомянутой первой областью исходного видеокадра.
5. Устройство по п. 4, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
6. Устройство по п. 4 или 5, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
7. Устройство по одному из пп. 4-6, причем упомянутое устройство принадлежит набору устройств, содержащему мобильное устройство, устройство связи, игровое устройство, планшетный компьютер, переносной компьютер, микросхему кодирования, сервер неподвижных изображений, видеосервер, широковещательный сервер, сервер "видео по запросу" и веб-сервер.
8. Способ формирования (100) видеопотока из иммерсивного видео, отличающийся тем, что способ содержит этап, на котором:
- кодируют первую часть (104) иммерсивного видеокадра согласно прямоугольному преобразованию;
- кодируют вторую часть (105) иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;
- кодируют третью часть (106) иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;
- составляют видеокадр (103) согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;
- формируют видеопоток (107), включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.
9. Способ по п. 8, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
10. Способ по п. 8 или 9, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
11. Устройство (90), сконфигурированное с возможностью формировать видеопоток из иммерсивного видео, отличающееся тем, что устройство содержит:
- кодер, сконфигурированный с возможностью кодировать первую часть иммерсивного видеокадра согласно прямоугольному преобразованию;
- кодер, сконфигурированный с возможностью кодировать вторую часть иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;
- кодер, сконфигурированный с возможностью кодировать третью часть иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;
- процессор, сконфигурированный с возможностью составлять видеокадр согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;
- формирователь видеопотоков, сконфигурированный с возможностью формировать видеопоток, включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.
12. Устройство по п. 11, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
13. Устройство по п. 11 или 12, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
14. Процессорно-читаемый носитель, хранящий инструкции, которые при исполнении побуждают устройство выполнить способ по любому из пп. 1-3.
15. Процессорно-читаемый носитель, хранящий инструкции, которые при исполнении побуждают устройство выполнить способ по любому из пп. 8-10.
RU2017115882A 2016-05-23 2017-05-05 Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга RU2742344C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305592.4A EP3249928A1 (en) 2016-05-23 2016-05-23 Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
EP16305592.4 2016-05-23

Publications (3)

Publication Number Publication Date
RU2017115882A RU2017115882A (ru) 2018-11-06
RU2017115882A3 RU2017115882A3 (ru) 2020-08-26
RU2742344C2 true RU2742344C2 (ru) 2021-02-04

Family

ID=56101403

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017115882A RU2742344C2 (ru) 2016-05-23 2017-05-05 Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга

Country Status (9)

Country Link
US (1) US10523980B2 (ru)
EP (2) EP3249928A1 (ru)
JP (1) JP7017866B2 (ru)
KR (1) KR102307819B1 (ru)
CN (1) CN107454468B (ru)
BR (1) BR102017010791A2 (ru)
CA (1) CA2967418A1 (ru)
MX (1) MX2017006677A (ru)
RU (1) RU2742344C2 (ru)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US11272209B2 (en) 2018-04-03 2022-03-08 Samsung Electronics Co., Ltd. Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content
CN110516681A (zh) * 2018-05-21 2019-11-29 孙民 影像特征提取方法及其显著物体预测方法
EP3595319A1 (en) * 2018-07-12 2020-01-15 InterDigital VC Holdings, Inc. Methods and apparatus for volumetric video transport
CN110944109B (zh) * 2018-09-21 2022-01-14 华为技术有限公司 一种拍照方法、装置与设备
US11132837B2 (en) 2018-11-06 2021-09-28 Lucasfilm Entertainment Company Ltd. LLC Immersive content production system with multiple targets
CN111198734B (zh) * 2018-11-20 2024-03-15 西安诺瓦星云科技股份有限公司 窗口设置方法和装置、电子设备和非易失性存储介质
SG11202107543SA (en) * 2019-01-09 2021-08-30 Huawei Tech Co Ltd Sub-picture layout signaling in video coding
EP3761647A1 (en) 2019-07-05 2021-01-06 Tiledmedia B.V. Methods and devices for rendering a video on a display
MX2022000333A (es) * 2019-07-08 2022-03-17 Huawei Tech Co Ltd Manejo de múltiples tamaños de imagen y ventanas de conformidad para el remuestreo de imágenes de referencia en la codificación de video.
US20220329886A1 (en) * 2019-08-19 2022-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for handling media data streams
CN110910485B (zh) * 2019-12-16 2023-07-25 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法
US11991376B2 (en) * 2020-04-09 2024-05-21 Intel Corporation Switchable scalable and multiple description immersive video codec
CN111729283B (zh) * 2020-06-19 2021-07-06 杭州赛鲁班网络科技有限公司 一种基于混合现实技术的训练***及其方法
US11887251B2 (en) 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system
WO2023070387A1 (zh) * 2021-10-27 2023-05-04 深圳市大疆创新科技有限公司 一种图像处理方法、装置、拍摄设备及可移动平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158226A1 (en) * 2006-12-19 2008-07-03 California Institute Of Technology Imaging model and apparatus
RU2013113234A (ru) * 2010-10-01 2014-09-27 Сони Корпорейшн Устройство подачи контента, способ подачи контента, устройство воспроизведения контента, способ воспроизведения контента, программа и система просмотра контента
US20150016504A1 (en) * 2013-07-15 2015-01-15 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
US20150304666A1 (en) * 2014-04-18 2015-10-22 Qualcomm Incorporated Conformance window information in multi-layer coding
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
JP2003536160A (ja) 2000-06-09 2003-12-02 インタラクティブ イメイジング システムズ、 インコーポレイテッド 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP2005347813A (ja) * 2004-05-31 2005-12-15 Olympus Corp 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
US8730130B1 (en) * 2008-12-04 2014-05-20 RPA Electronic Solutions, Inc. System and method for automatically aligning immersive displays
JP2010192971A (ja) 2009-02-16 2010-09-02 Nippon Telegr & Teleph Corp <Ntt> 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
US9167289B2 (en) 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
US9397338B2 (en) * 2010-12-22 2016-07-19 Enevate Corporation Electrodes, electrochemical cells, and methods of forming electrodes and electrochemical cells
JP5790345B2 (ja) * 2011-09-07 2015-10-07 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび画像処理システム
EP2645713A1 (en) 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
EP2870751A4 (en) 2012-07-04 2016-03-09 Intel Corp PANORAMIC 3D VIDEO CODING
CN102945563B (zh) * 2012-09-26 2017-05-24 天津游奕科技有限公司 一种全景视频的展示与交互***及方法
EP2713593B1 (en) * 2012-09-28 2015-08-19 Alcatel Lucent, S.A. Immersive videoconference method and system
FR3004881B1 (fr) * 2013-04-19 2015-04-17 Kolor Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN103777455B (zh) * 2014-02-25 2016-08-17 浙江大学 基于光场拼接的球形沉浸式三维显示方法及***
US10764655B2 (en) * 2014-04-03 2020-09-01 Nbcuniversal Media, Llc Main and immersive video coordination system and method
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
JP6501904B2 (ja) * 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
JP6784767B2 (ja) * 2016-02-09 2020-11-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
EP3223524A1 (en) * 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158226A1 (en) * 2006-12-19 2008-07-03 California Institute Of Technology Imaging model and apparatus
RU2013113234A (ru) * 2010-10-01 2014-09-27 Сони Корпорейшн Устройство подачи контента, способ подачи контента, устройство воспроизведения контента, способ воспроизведения контента, программа и система просмотра контента
US20150016504A1 (en) * 2013-07-15 2015-01-15 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
US20150304666A1 (en) * 2014-04-18 2015-10-22 Qualcomm Incorporated Conformance window information in multi-layer coding
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming

Also Published As

Publication number Publication date
JP2018033123A (ja) 2018-03-01
RU2017115882A3 (ru) 2020-08-26
EP3249928A1 (en) 2017-11-29
CN107454468A (zh) 2017-12-08
BR102017010791A2 (pt) 2017-12-05
US20170339440A1 (en) 2017-11-23
RU2017115882A (ru) 2018-11-06
CN107454468B (zh) 2021-09-14
JP7017866B2 (ja) 2022-02-09
KR102307819B1 (ko) 2021-10-05
US10523980B2 (en) 2019-12-31
KR20170132098A (ko) 2017-12-01
CA2967418A1 (en) 2017-11-23
EP3249930A1 (en) 2017-11-29
MX2017006677A (es) 2018-08-28
EP3249930B1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
RU2742344C2 (ru) Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга
CN112219398B (zh) 用于深度编码和解码的方法和装置
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
RU2733218C2 (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
CN112425177A (zh) 用于体积视频传输的方法和装置
KR20220069086A (ko) 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치
CN113906761A (zh) 利用修补补片对3d场景进行编码和渲染的方法和装置
KR20220109433A (ko) 다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치
KR20220127246A (ko) 보조 패치들을 갖는 볼류메트릭 비디오
US20230388542A1 (en) A method and apparatus for adapting a volumetric video to client devices
KR20220066328A (ko) 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치
EP3709659A1 (en) A method and apparatus for encoding and decoding volumetric video
US20230379495A1 (en) A method and apparatus for encoding mpi-based volumetric video
US20230215080A1 (en) A method and apparatus for encoding and decoding volumetric video
JP2022551064A (ja) 容積ビデオを符号化、送信、及び復号化するための方法及び装置
CN113228683A (zh) 对球体的点的图像进行编码和解码的方法和装置
CN115398904A (zh) 具有α层的3D场景传输

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant