BR102017010791A2 - Method, apparatus and format flow of an imersive video for imersive and inherent rendering devices - Google Patents

Method, apparatus and format flow of an imersive video for imersive and inherent rendering devices Download PDF

Info

Publication number
BR102017010791A2
BR102017010791A2 BR102017010791-4A BR102017010791A BR102017010791A2 BR 102017010791 A2 BR102017010791 A2 BR 102017010791A2 BR 102017010791 A BR102017010791 A BR 102017010791A BR 102017010791 A2 BR102017010791 A2 BR 102017010791A2
Authority
BR
Brazil
Prior art keywords
mapping
immersive
information
video
area
Prior art date
Application number
BR102017010791-4A
Other languages
English (en)
Inventor
Galpin Franck
Lasserre Sebastien
Andrivon Pierre
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of BR102017010791A2 publication Critical patent/BR102017010791A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/95—Arrangements characterised by the broadcast information itself characterised by a specific format, e.g. an encoded audio stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

a presente revelação se refere a métodos, aparelho ou sistemas para gerar, transmitir e decodificar um fluxo de vídeo imersivo retrocompatível. o fluxo está portando dados representativos de um vídeo imersivo, composto de um quadro organizado de acordo com um layout que compreende uma primeira área codificada de acordo com um mapeamento retangular, uma segunda área codificada de acordo com um mapeamento transitório a partir do mapeamento retangular para um mapeamento imersivo e uma terceira área codificada de acordo com o mapeamento imersivo. para ser retrocompatível, o fluxo compreende adicionalmente primeiras informações representativas do tamanho e da localização da primeira área dentro do quadro de vídeo e segundas informações que compreendem pelo menos o tipo do layout selecionado, o campo de visão da primeira parte, do tamanho da dita segunda área dentro do quadro de vídeo e uma direção de referência.

Description

“MÉTODO, APARELHO E FLUXO DE FORMATAÇÃO DE UM VÍDEO IMERSIVO PARA DISPOSITIVOS DE RENDERIZAÇÃO IMERSIVOS E HERDADOS” 1. CAMPO DA TÉCNICA
[001] A presente revelação refere-se ao domínio de formatação de um fluxo retrocompatível representativo de um vídeo imersivo, por exemplo, quando esse fluxo for distribuído a um conjunto heterogêneo de dispositivos de cliente, sendo que alguns dos dispositivos de cliente são configurados para exibir vídeos retangulares herdados e alguns outros são configurados para exibir vídeos imersivos.
2. ANTECEDENTES
[002] Um vídeo é uma sequência de pelo menos uma imagem. De fato, uma imagem pode ser considerada como um vídeo estático. Um vídeo é codificado em um quadro retangular que é um arranjo bidimensional de pixels (isto é, elemento de informações de cor). Um quadro é codificado por imagem da sequência. Uma imagem é codificada de acordo com uma função de mapeamento. Os vídeos herdados, destinados a ser exibidos em uma tela retangular são codificados de acordo com o mapeamento retangular. Os vídeos imersivos são destinados a ser renderizados em torno do espectador, isto é, o espectador não tem a capacidade de ver a gravura inteira, mas deve girar sua cabeça (ou mover ou usar um controlador, por exemplo, um joystick ou um mouse) para ver partes da imagem fora de seu campo de visão. Os vídeos imersivos, quando codificados em um quadro retangular, requerem uma função de mapeamento imersivo, por exemplo, mapeamento equiretangular, mapeamento cúbico ou mapeamento piramidal.
[003] Um fluxo de vídeo é preparado e formatado de acordo com o tipo de dispositivo de renderização no qual o vídeo é destinado a ser renderizado. Os dispositivos de renderização de vídeo herdados não exibem vídeos imersivos adequadamente à medida que os mesmos são configurados para decodificar quadros de vídeo apenas de acordo com o mapeamento retangular.
Reciprocamente, os dispositivos de renderização de vídeo imersivo não exibem adequadamente vídeos herdados à medida que os mesmos esperam quadros codificados de acordo com uma projeção imersiva. Há uma carência de um formato para um fluxo de vídeo imersivo retrocompatível que poderia ser exibido adequadamente por ambos os dispositivos de renderização de vídeo herdado e imersivo.
3. SUMÁRIO
[004] O propósito da presente revelação é superar a carência de um formato para um fluxo de vídeo imersivo retrocompatível que poderia ser exibido adequadamente por ambos os dispositivos de renderização de vídeo herdado e imersivo. A presente revelação se refere a um método para compor um quadro de vídeo para um dispositivo de renderização de um fluxo de vídeo, sendo que o método compreende: - obter um quadro de vídeo de fonte a partir do fluxo de vídeo, - obter primeiras informações a partir do fluxo de vídeo, sendo que as ditas primeiras informações são representativas de um tamanho e uma posição de uma primeira área do dito quadro de vídeo de fonte, - quando o dispositivo de renderização for um dispositivo de renderização de vídeo herdado, compor o dito quadro de vídeo com a dita primeira área do quadro de vídeo de fonte; - Quando o dispositivo de renderização for um dispositivo de renderização de vídeo imersivo: • obter segundas informações a partir do fluxo de vídeo, sendo que as ditas segundas informações são representativas de um tipo de um layout de um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência, • construir uma superfície mapeada de acordo com as ditas primeiras e segundas informações e usar o dito quadro de vídeo de fonte, • compor o quadro de vídeo com pelo menos uma câmera virtual que captura uma porção da dita superfície mapeada.
[005] De acordo com uma característica particular, o layout tem por base um mapeamento imersivo pertencente a um conjunto de mapeamento imersivo que compreende: mapeamento equiretangular, mapeamento cúbico e mapeamento piramidal.
[006] De acordo com uma modalidade específica, o fluxo é decodificado de acordo com Codificação de Vídeo de Alta Eficiência (HEVC), em que as primeiras informações são portadas por parâmetros de janela de conformância e em que as segundas informações são portadas por Informações de Aperfeiçoamento Suplementar (SEI).
[007] A presente revelação também se refere a um aparelho configurado para compor um quadro de vídeo para um dispositivo de renderização a partir de um fluxo de vídeo, sendo que o aparelho compreende: - meios para obter um quadro de vídeo de fonte a partir do fluxo de vídeo, - meios para obter primeiras informações a partir do fluxo de vídeo, sendo que as ditas primeiras informações são representativas de um tamanho e uma posição de uma primeira área do dito quadro de vídeo de fonte, - quando o dispositivo de renderização for um dispositivo de renderização de vídeo herdado, um processador configurado para compor o dito quadro de vídeo com a dita primeira área do quadro de vídeo de fonte; - quando o dispositivo de renderização for um dispositivo de renderização de vídeo imersivo: • meios para obter segundas informações a partir do fluxo de vídeo, sendo que as ditas segundas informações são representativas de um tipo de um layout de um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência, • um processador configurado para construir uma superfície mapeada de acordo com as ditas primeiras e segundas informações e usar o dito quadro de vídeo de fonte, • Um processador configurado para compor o quadro de vídeo com pelo menos uma câmera virtual que captura uma porção da dita superfície mapeada.
[008] A presente revelação também se refere a um método para a geração de um fluxo de vídeo a partir de um vídeo imersivo, sendo que o método compreende: - codificar uma primeira parte do quadro de vídeo imersivo de acordo com um mapeamento retangular; - codificar uma segunda parte do quadro de vídeo imersivo de acordo com um mapeamento transitório do dito mapeamento retangular para um mapeamento imersivo; - codificar uma terceira parte do quadro de vídeo imersivo de acordo com o dito mapeamento imersivo; - compor um quadro de vídeo de acordo com um layout que compreende a dita primeira parte como uma primeira área, a dita segunda parte como uma segunda área e a dita terceira parte como uma terceira área; - gerar o fluxo de vídeo que inclui o dito quadro de vídeo construído, primeiras informações relacionadas a um tamanho e uma localização da dita primeira área e segundas informações que contêm pelo menos o dito tipo do dito layout, um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência.
[009] De acordo com uma modalidade específica, o layout tem por base um mapeamento imersivo pertencente a um conjunto de mapeamento imersivo que compreende: mapeamento equiretangular, mapeamento cúbico e mapeamento piramidal.
[010] De acordo com uma característica específica, o fluxo tem por base a Codificação de Vídeo de Alta Eficiência (HEVC), em que as primeiras informações são portadas por parâmetros de janela de conformância e em que as segundas informações são portadas por Informações de Aperfeiçoamento Suplementar (SEI).
[011] A presente revelação também se refere a um aparelho configurado para gerar um fluxo de vídeo a partir de um vídeo imersivo e que compreende: - um codificador configurado para codificar uma primeira parte do quadro de vídeo imersivo de acordo com um mapeamento retangular; - um codificador configurado para codificar uma segunda parte do quadro de vídeo imersivo de acordo com um mapeamento transitório do dito mapeamento retangular para um mapeamento imersivo; - um codificador configurado para codificar uma terceira parte do quadro de vídeo imersivo de acordo com o dito mapeamento imersivo; - um processador configurado para compor um quadro de vídeo de acordo com um layout que compreende a dita primeira parte como uma primeira área, a dita segunda parte como uma segunda área e a dita terceira parte como uma terceira área; - um gerador de fluxo de vídeo configurado para gerar o fluxo de vídeo que inclui o dito quadro de vídeo construído, primeiras informações relacionadas a um tamanho e uma localização da dita primeira área e segundas informações que contêm pelo menos o dito tipo do dito layout, um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência.
[012] A presente revelação também se refere a um fluxo que porta dados representativos de um vídeo imersivo e que compreende: - um quadro de vídeo organizado de acordo com um layout que compreende uma primeira área codificada de acordo com um mapeamento retangular, uma segunda área codifica de acordo com um mapeamento transitório do dito mapeamento retangular para um mapeamento imersivo e uma terceira área codificada de acordo com o dito mapeamento imersivo, - primeiras informações representativas do tamanho e da localização da dita primeira área dentro do quadro de vídeo, - segundas informações que compreende pelo menos um tipo do dito layout, o campo de visão da primeira parte, o tamanho da dita segunda área dentro do quadro de vídeo e uma direção de referência.
4. LISTA DE FIGURAS
[013] A presente revelação será melhor compreendida, e outros recursos específicos e vantagens emergirão mediante a leitura da seguinte descrição, em que a descrição faz referência aos desenhos anexos em que: [014] A Figura 1 ilustra a codificação de mapeamento retangular de um quadro de vídeo, de acordo com uma modalidade específica dos presentes princípios;
[015] A Figura 2 mostra um exemplo de uma função de mapeamento equiretangular em comparação ao mapeamento retangular da Figura 1, de acordo com uma modalidade específica dos presentes princípios;
[016] A Figura 3 ilustra um layout exemplificativo da função de mapeamento cúbico versus outros possíveis mapeamentos das Figuras 1 e 2, de acordo com uma modalidade específica dos presentes princípios;
[017] A Figura 4 mostra os exemplos das imagens codificadas de acordo com mapeamentos diferentes, por exemplo, os mapeamentos das Figuras 1,2 e 3, e renderizados por um dispositivo de renderização de vídeo herdado, de acordo com uma modalidade específica dos presentes princípios;
[018] A Figura 5 ilustra um layout exemplificativo de um quadro retrocompatível preparado para superar a distorção indesejada da região de interesse com o mapeamento equiretangular da Figura 4, de acordo com uma modalidade específica dos presentes princípios;
[019] A Figura 6 mostra um exemplo de uma transformação de um quadro imersivo codificado de acordo com um mapeamento equiretangular em um quadro retrocompatível codificado com o layout exemplificativo da Figura 5, de acordo com uma modalidade específica dos presentes princípios;
[020] A Figura 7 ilustra uma modalidade particular da estrutura de dados de um fluxo que porta dados representativos de um vídeo imersivo retrocompatível que inclui um quadro de vídeo conforme ilustrado nas Figuras 5 e 6, de acordo com uma modalidade específica dos presentes princípios;
[021] A Figura 8 ilustra um layout exemplificativo de um quadro retrocompatível preparado para superar as descontinuidades indesejadas na região de interesse com o mapeamento cúbico da Figura 3, de acordo com uma modalidade específica dos presentes princípios;
[022] A Figura 9 mostra uma modalidade de hardware de um aparelho configurado para implantar métodos descritos em relação às Figuras 10 ou 11, de acordo com uma modalidade específica dos presentes princípios;
[023] A Figura 10 mostra diagramaticamente uma modalidade de um método para a geração de um fluxo de vídeo imersivo retrocompatível conforme implantado em um dispositivo de processamento da Figura 9 como o dispositivo de acordo com uma modalidade vantajosa não restritiva;
[024] A Figura 11 mostra diagramaticamente uma modalidade de um método para compor um quadro de vídeo a partir de um fluxo de vídeo imersivo retrocompatível para um dado dispositivo de renderização conforme implantado em um dispositivo de processamento da Figura 9 como o dispositivo de acordo com uma modalidade vantajosa não restritiva.
5. DESCRIÇÃO DETALHADA DAS MODALIDADES
[025] A matéria é agora descrita com referência aos desenhos, em que números de referência semelhantes são usados para se referir a elementos semelhantes ao longo do documento. Na seguinte descrição, para fins explicativos, numerosos detalhes específicos são apresentados a fim de fornecer um entendimento minucioso da matéria. Compreende-se que as modalidades da matéria podem ser praticadas sem esses detalhes específicos.
[026] De acordo com uma modalidade não limitativa da presente revelação, um fluxo que codifica um vídeo imersivo retrocompatível é revelado. Método e aparelho para decodificar esse fluxo também são revelados. Esse fluxo pode ser decodificado e renderizado por dispositivos de renderização de vídeo herdado bem como por dispositivos de renderização de vídeo imersivo. Esse fluxo é, por exemplo, entregue da rede (por exemplo, rede de difusão, rede de VoD ou Internet) ou armazenado em uma mídia (por exemplo, um DVD, um disco de Blu-ray ou um pente de memória) independentemente para o dispositivo que decodificará o mesmo.
[027] Um dispositivo de renderização de vídeo herdado é um dispositivo com a capacidade de decodificar fluxos de vídeo herdados codificados em formatos padrão como MPEG2, H.264/AVC ou H.265/HEVC. Um dispositivo de renderização de vídeo herdado renderiza o vídeo decodificado para uma tela retangular bidimensional (por exemplo, um televisor, um projetor de vídeo, um tablet ou um telefone inteligente). Deve ser notado que a renderização é a operação de preparar uma imagem de modo que a imagem seja exibível adequadamente por um dispositivo de exibição. As caixas decodificadoras e processadores configurados para decodificar um fluxo de vídeo também são considerados como dispositivos de renderização de vídeo. Em uma modalidade particular, o fluxo de vídeo retrocompatível usa parâmetros padrão de H.265/HEVC e têm a vantagem de ser decodificável por dispositivos de renderização de vídeo herdado existentes sem modificação anterior.
[028] Os métodos para a dispositivos de renderização de vídeo imersivo são mais detalhes na presente revelação. Os vídeos imersivos são destinados a ser renderizados em torno do espectador, isto é, o espectador não tem a capacidade de ver a gravura inteira, mas deve girar sua cabeça (ou mover) para ver partes da imagem fora de seu campo de visão. Um “cave”, por exemplo, é um dispositivo de renderização de vídeo imersivo que é composto de vários projetores de vídeo; os projetores exibem o vídeo decodificado em várias direções em torno dos espectadores. Os dispositivos de Exibição Montados à Cabeça (HMD), tablets ou telefones inteligentes, por exemplo, podem ser configurado para ser dispositivos de renderização de vídeo imersivo à medida que os mesmos são equipados com unidades de medição inercial que acompanham pelo menos a orientação do dispositivo no espaço. A orientação do dispositivo determina uma direção de visualização e uma câmera virtual captura a parte do vídeo imersivo circundante que deve ser renderizada na tela retangular do dispositivo.
[029] Os métodos e aparelho para gerar fluxos de vídeo imersivo retrocompatível a partir de uma fonte vídeo imersivo também são revelados. Os quadros de vídeo são codificados de acordo com pelo menos uma função de mapeamento. Uma função de mapeamento associa cada ponto de uma superfície de mapeamento com informações de cor de um quadro. A ser renderizada, uma função de projeção é aplicada à superfície de mapeamento a fim de selecionar e/ou adaptar a imagem mapeada para a tela na qual a mesma deve ser exibida. A função de mapeamento é uma função do dispositivo de renderização de vídeo. A função de projeção é associada ao dispositivo de exibição. De acordo com modalidades particulares, a função de projeção é aplicada pelo dispositivo de renderização de vídeo à superfície de mapeamento a fim de preparar um quadro como esperado por um dispositivo de exibição particular ligado ao dispositivo de renderização de vídeo.
[030] A Figura 1 ilustra o modo de codificação de mapeamento retangular. As imagens da sequência de vídeo são codificadas em um quadro retangular 10 que deve ser renderizado em uma superfície retangular 11. A função de mapeamento 12 é direta à medida que o quadro 10 e a superfície de mapeamento 11 são equivalentes. A tela 13 pode não ter a mesma resolução e/ou definição que a superfície de mapeamento 11. Como uma consequência, a função de projeção 14 pode redimensionar e/ou cortar ou exibir barras pretas no lado da superfície de mapeamento 11. Na Figura 1, o quadro 10 e a superfície de mapeamento 11 têm uma razão de aspecto de 4:3 enquanto a tela tem uma razão de aspecto de 16:9. Nesse exemplo, a função de projeção 14 opera um corte no meio da imagem para produzir um vídeo que se adapte à tela 13. Em uma variante, a função de projeção 14 adiciona barras pretas à esquerda e direita da superfície de mapeamento 11 para obter um vídeo que se adapta à tela 13. Em outra modalidade, o vídeo da Figura 1é estereoscópico. Nessa variante, o quadro 10 contém duas imagens distintas que são mapeadas em duas superfícies de mapeamento distintas 11. As superfícies de mapeamento são combinadas de acordo com o tipo da tela para renderizar o efeito estereoscópico.
[031] A Figura 2 mostra um exemplo de uma função de mapeamento equiretangular. A sequência das imagens é codificada em um quadro retangular 20 destinado a ser mapeado em uma superfície de mapeamento esférica 21. A função de mapeamento 22 estabelece um mapeamento entre cada pixel do quadro 20 e um ponto sobre a superfície de mapeamento 21 (e vice-versa). Na Figura 2, a função de mapeamento 22 tem por base a projeção equiretangular (também chamada de projeção cilíndrica equidistante). A imagem no quadro 20 é distorcida. As distâncias são respeitadas no equador e estiradas nos polos. As linhas retas já não são retas e as perspectivas estão distorcidas. Em variantes, a função de mapeamento 22 tem por base a projeção cônica equidistante, por exemplo. Se a tela 23 for retangular, como os dispositivos de exibição montados à cabeça (HMD) ou tablets ou telefones inteligentes, uma parte da superfície de mapeamento 21 é selecionada. A função de projeção 24 consiste em selecionar uma parte da superfície de mapeamento 21 como visto por uma câmera localizada no centro da esfera, sendo que a câmera é configurada em termos de campo de visão e resolução para produzir uma imagem que se adapta diretamente à tela 23. O campo de visão escolhido depende das características do dispositivo de exibição. Para HMD, vantajosamente, o ângulo do campo de visão é próximo ao campo de visão estereoscópico humano, que é ao redor de um cento e vinte graus. A direção de direção de orientação da câmera corresponde à direção para a qual o usuário está olhando e o controlador de câmera virtual do dispositivo de renderização de vídeo imersivo é usado para modificar a direção de orientação da câmera. Em uma variante, o vídeo da Figura 2 é estereoscópico. Nessa variante, o quadro 20 contém duas imagens distintas que são mapeadas em duas superfícies de mapeamento distintas 21. As superfícies de mapeamento são combinadas de acordo com o tipo da tela para renderizar o efeito estereoscópico.
[032] A Figura 3 ilustra um layout exemplificativo da função de mapeamento cúbico. A sequência das imagens é codificada em um quadro retangular (ou quadrado) 30 destinado a ser mapeado sobre uma superfície de mapeamento cúbica 31. A função de mapeamento 32 estabelece uma correspondência entre quadrados no quadro 30 e faces do cubo 31. Vice-versa, a função de mapeamento determina como as faces do cube 31 são organizadas na superfície do quadro 30. As imagens em cada face não estão distorcidas. Entretanto, na imagem total do quadro 30, linhas são retas em pedaços e perspectivas estão quebradas. A imagem pode conter quadrados vazios (preenchidos com informações de cor aleatórias ou padrão, branco no exemplo da Figura 3). A função de projeção funciona como a função de projeção da Figura 2. Uma câmera é colocada no centro do cubo 31 e captura uma imagem que se adapta à tela do dispositivo de renderização.
[033] Em variantes, outras superfícies de mapeamento e/ou funções de mapeamento são usadas, mapeamento do quadro de vídeo em um cilindro ou em uma pirâmide, por exemplo.
[034] A Figura 4 mostra os exemplos das imagens codificadas de acordo com diferentes funções de mapeamento e renderizadas por um dispositivo de renderização de vídeo herdado. À medida que as mesmas são renderizadas por um dispositivo de renderização de vídeo herdado, cada imagem da Figura 4 é codificada de acordo com um mapeamento retangular. Entretanto, as mesmas são projetadas de acordo com funções de projeção diferentes. A imagem 40 é extraída de um vídeo herdado típico (isto é, um vídeo que os usuários estão acostumados a assistir no televisor em cinemas). A câmera que capturou a imagem 40 usa uma função de projeção de perspectiva. Com a projeção de perspectiva, linhas retas são retas, ângulos e proporções correspondem aos reais e perspectivas são obedecidas. A câmera capturou uma parte do ambiente circundante. Essa parte é chamada de região de interesse (Rol) à medida que essa é a parte que o produtor de filme escolheu mostrar. O campo de visão horizontal de uma imagem retangular de perspectiva é, por exemplo, setenta graus (70°), um ângulo que corresponde aproximadamente à visão humana quase periférica com uma discriminação de cores satisfatória.
[035] A imagem 41 foi capturada com uma câmera de ângulo amplo. Com essa função de projeção, quando renderizadas de uma tela plana, as linhas retas já não são retas, os ângulos e proporções já não correspondem à realidade e as perspectivas estão distorcidas. A região de interesse é maior do que para a imagem 41. O campo de visão horizontal é mais que sessenta graus (60°).
[036] A imagem 42 é um corte extraído de uma imagem imersiva que é codificada de acordo com o mapeamento equiretangular. A imagem imersiva original se destina a ser renderizada por um dispositivo de renderização de vídeo imersivo de acordo com uma projeção de perspectiva (isto é, em relação às linhas retas, ângulos, proporções e perspectivas). A imagem 42 é uma porção de uma imagem codificada com o mapeamento equiretangular e decodificada com o mapeamento retangular. Como uma consequência, a região de interesse mostrada é distorcida para qualquer campo de visão horizontal. A distorção muda localmente de acordo com a localização do corte na imagem original e de acordo com o campo de visão. A imagem 43 é uma porção de uma imagem codificada com um mapeamento cúbico e decodificada com um mapeamento retangular. No presente contexto, a perspectiva é mantida, mas as continuidades são quebradas quando a região de interesse sobrepõe bordas do cubo.
[037] A Figura 5 ilustra um layout exemplificativo 50 de um quadro retrocompatível preparado para superar a distorção indesejada da região de interesse com o mapeamento equiretangular. Esse layout 50 é um quadro retangular de um dado tamanho, por exemplo, 720 X 576 pixels (definição PAL), 720 X 480 (definição NTSC), 1280 X 720 (definição HD1), 1920 x 1080 pixels (definição HD2), ou 4096 X 2160 (4K). O layout 50 é composto de três (3) partes.
[038] A parte 51 corresponde a uma região de interesse de um conteúdo imersivo de fonte, capturado, por exemplo, de acordo com uma projeção de perspectiva e codificado de acordo com o mapeamento retangular. Esse subquadro 51 é preparado para ser renderizado em dispositivos de renderização de vídeo herdado. O tamanho do subquadro 51 é de uma dada definição, por exemplo, 1920 X 1080 pixels se o quadro 50 for um quadro de 4K. A canto de topo esquerdo do subquadro 51 está localizado em uma posição (x,y) dentro do quadro 50, por exemplo, x = 1088 e y = 540. O tamanho e a posição do subquadro 51 são constantes ao longo da duração do vídeo. Em uma variante, o tamanho e/ou a posição do subquadro 51 variam ao longo do tempo.
[039] A parte 52 é um quadro retangular que codifica o conteúdo imersivo de fonte de acordo com o mapeamento equiretangular. A área correspondente à parte 53 é recortada desse quadro. A parte 53 é uma área de transição em que a imagem está indo continuamente do mapeamento retangular (em seu lado central) para o mapeamento equiretangular (em seu lado periférico).
[040] A Figura 6 mostra um exemplo de uma transformação de um quadro imersivo 60 codificado de acordo com o mapeamento equiretangular em um quadro retrocompatível 50 codificado com o layout exemplificativo da Figura 5. Uma região de interesse é selecionada, por exemplo, manualmente pelo diretor ou, por exemplo, automaticamente com o uso de um algoritmo de processamento de imagem com base, por exemplo, no mapa de saliência da imagem. A região de interesse corresponde a uma porção do campo de visão do conteúdo imersivo (que é até 360°). Conforme discutido acima, se uma projeção de perspectiva for escolhida para a região de interesse, o campo de visão é até setenta graus. Em uma variante, um ângulo amplo é escolhido como a função de projeção da região de interesse.
[041] No seguinte exemplo, a posição (x,y) do subquadro 51 dentro do quadro 50 foi escolhida para ter o subquadro 51 no meio do quadro. Em variantes desse exemplo, as equações podem ser adaptadas transladando-se o quadro de referência.
[042] Dado um campo de visão horizontal, o campo de visão vertical é determinado pela seguinte equação: [043] Em que w e h são, respectivamente, a largura e a altura do subquadro 51. Para um ponto Me (ie, je) do quadro 50, uma coordenada Ms no subquadro 51 é determinada de acordo com a equação [equação 2]: [044] Em que w e h são, respectivamente, a largura e a altura do quadro 50. Para cada pixel Ms(i,j) do subquadro 51, um ponto 3D associado Mv é computado ([equação 3]). A coordenada M do pixel correspondente no quadro 60 projetando-se a normalização do ponto na esfera ([equação 4]). A função f é a função para o mapeamento do espaço de imagem para um espaço paramétrico intermediário da superfície. Por exemplo, para um mapeamento equiretangular, a função f pode ser definida como: [equação 4a] f: (i,j) -> (θ, cp) cp= (i-h/2)/h * 2tt Θ = (j-w/2)/w * π [045] A função d é a função para o mapeamento do espaço paramétrico intermediário para o espaço 3D da superfície. Para um mapeamento equiretangular, a superfície 3D é uma esfera e delta pode ser definido como: delta: (θ,φ) -> (Χ,Υ,Ζ) X = sen(<p) cos(0) Y = sen(<p) sen(0) Z=cos(cp) [046] Se o campo de visão do subquadro 51 for menor do que a parte do campo de visão do quadro imersivo 50, 60 ocupado pelo subquadro 51, os pixels são “compactados” na área de transição 53. Esse é o caso no exemplo da Figura 6 em que o campo de visão horizontal do subquadro 51 é sessenta graus quando o espaço ocupado pelo subquadro 51 for 168,75 graus (1920 X 360 / 4096). Opostamente, se o campo de visão do subquadro 51 for maior do que a parte do campo de visão do quadro imersivo 50, 60 ocupado pelo subquadro 51, os pixels são “estirados” na área de transição 53.
[047] Um método exemplificativo para preencher a área de transição 53 é computador uma interpolação suave do subquadro de mapeamento retangular 51 para a parte de mapeamento equiretangular 52; por exemplo, determinando-se uma ponderação de acordo com uma distância entre as duas porções 51 e 52 do quadro.
[048] Em que mx e my são, respectivamente, a largura e a altura das margens que definem a parte 53 ao redor do subquadro 51. As coordenadas de um ponto na esfera são computadas de acordo com uma função do peso ([equação 6]) e as coordenadas do pixel do quadro 60 para usar são obtidas através da equação [equação 7].
[equação 6] [equação 7] [049] A função h é usada para modular a inclinação da transição entre os dois mapeamentos. Dada uma constante positiva α maior ou igual a 1, a função h é, por exemplo, uma das seguintes: [050] Em outra modalidade, a interpolação suave é realizada no espaço tridimensional (3D) ao invés de na superfície paramétrica conforme detalhado acima.
[051] A Figura 7 ilustra uma modalidade particular da estrutura de dados de um fluxo 70 que porta dados representativos de um vídeo imersivo retrocompatível que inclui um quadro de vídeo conforme ilustrado nas Figuras 5 e 6. O quadro 50 das Figuras 5 e 6 é codificado nas partes de carga 71 do fluxo. As informações globais ou genérica relacionadas ao conteúdo são incluídas em uma parte de cabeçalho 72. As informações variáveis ou repetitivas são armazenadas na parte de cabeçalho 73 de cada parte de carga 71.
[052] O quadro 50 contém um subquadro 51 que é adaptado para o dispositivo de renderização de vídeo herdado. As únicas informações que esses dispositivos precisam para decodificar o subquadro 51 são sua localização e tamanho dentro do quadro 60, também chamadas de primeiras informações neste documento. À medida que as primeiras informações podem mudar ao longo do tempo ou devido ao fato de que o cabeçalho de conteúdo pode não ter sido recebido pelo dispositivo de cliente (por exemplo, em casos de difusão), as primeiras informações são incluídas na parte de cabeçalho 73 de cada parte de carga 71. Em uma variante, as primeiras informações são incluídas na parte de cabeçalho de conteúdo 72. Em outra variante, as primeiras informações são incluídas na parte de cabeçalho 73 das partes de carga 71 apenas quando se altera ou repetitivamente, por exemplo, uma vez a cada 5 ou 10 partes de carga 71.
[053] Em uma modalidade particular, o quadro 50 é codificado de acordo com o codec H.265/HEVC (consulte o documento ETSI TS 101 154 v2.2.1 do padrão DVB). Os parâmetros “conformância de janela” desse codec são reservados para portar as informações de localização e tamanho de um subquadro em um quadro principal. Quando presente no fluxo, o uso dos parâmetros de janela de conformância pelo dispositivo de renderização é obrigatório nas especificações do padrão DVB. A adaptação de razão de aspecto é gerenciada pelo dispositivo de renderização de vídeo herdado como usual, sem modificação anterior do dispositivo.
Quando decodificada por um dispositivo de renderização de vídeo imersivo (por exemplo, um tablet, um telefone inteligente ou um HMD), a transformação inversa do quadro 50 é realizada a fim de recuperar o quadro 60. No exemplo da Figura 6, a transformação inversa pode ter por base as funções inversas de [equação 8] e [equação 9]: [054] Os parâmetros necessários para essa transformação inversa são os mesmos que aqueles necessários para a transformação: por um lado, as primeiras informações, que contêm a localização e o tamanho do subquadro 51, e por outro lado, as segundas informações que contêm: o tipo de layout de mapeamento usado para preparar o quadro 50 (aquele da Figura 5 nesse exemplo), o campo de visão usado para computar o subquadro 51, o tamanho da área de transição e uma direção de referência; a localização da área de transição está correlacionada ao tipo de layout de mapeamento. A direção de referência pode ser útil para saber, na visualização imersiva da posição zero absoluto da superfície de mapeamento quando se renderiza. As segundas informações são constantes ao longo do tempo e, por essa razão são codificadas na parte de cabeçalho 72 do conteúdo. Em outra modalidade, por exemplo, quando o fluxo é difundido, o cabeçalho de conteúdo 72 pode ser perdido pelo cliente; como uma consequência, as segundas informações são codificadas de modo repetitivo no fluxo, por exemplo, na parte de cabeçalho 73 das partes de carga 71. Em uma variante, alguns dados das segundas informações (por exemplo, o tamanho da área de transição) podem mudar ao longo do tempo, e, por esse motivo, as segundas informações são codificadas na parte de cabeçalho 73 das partes de carga 71 do fluxo.
[055] O quadro reconstruído 60 é, então, mapeado em uma esfera e o dispositivo de renderização de vídeo imersivo está utilizando sua função de projeção regular para renderizar a parte do conteúdo imersivo para exibição. Em outra modalidade, o dispositivo de renderização de vídeo imersivo construiu uma superfície de mapeamento específica para o quadro 50 de acordo com as ditas primeiras e segundas informações. Por exemplo, a superfície de mapeamento específica é composta de um plano (para o subquadro 51), uma porção elíptica (para a parte de transição 53) e uma parte parcialmente esférica (para a parte equiretangular 52). O quadro 50 é mapeado sobre a superfície de mapeamento específica, a função de projeção regular do dispositivo de renderização de vídeo imersivo recortou automaticamente uma parte do conteúdo imersivo adaptado para a pelo menos uma tela associada ao dispositivo.
[056] Em uma modalidade particular, o quadro 50 e as primeiras e segundas informações são codificadas em fluxos sincronizados separados.
[057] A Figura 8 ilustra um layout exemplificativo 80 de um quadro retrocompatível preparado para superar as descontinuidades indesejadas na região de interesse com o mapeamento cúbico. Nesse layout exemplificativo, o tamanho e a razão de cada face da superfície 3D é adaptado. Pelos mesmos motivos que para o layout equiretangular exemplificativo das Figuras 5 e 6, um subquadro 81 é preparado para ser diretamente decodificável por dispositivos de renderização de vídeo herdado. Esse layout exemplificativo 80 é um quadro retangular de um dado tamanho, por exemplo, 720 X 576 pixels (definição PAL), 720 X 480 (definição NTSC), 1280 X 720 (definição HD1), 1920 x 1080 pixels (definição HD2), ou 4096 X 2160 (4Κ). As seis faces do cubo compõem as três (3) partes do layout: a parte de mapeamento retangular 81, a parte de mapeamento imersivo parte 82 e a parte de mapeamento de transição 83.
[058] A parte 81 corresponde a uma região de interesse de um conteúdo imersivo de fonte, capturado, por exemplo, de acordo com uma projeção de perspectiva e codificado de acordo com o mapeamento retangular. A região de interesse ocupa uma face do cubo. O tamanho do subquadro 51 é de uma dada definição, por exemplo, 1920 X 1080 pixels se o quadro 80 for um quadro de 4K. Esses tamanhos padrão têm a vantagem de ser decodificados e renderizados por dispositivo de renderização de vídeo herdado existente sem modificação anterior. Entretanto, como os mesmos são retangulares (e não quadrados), o tamanho das outras faces do cubo no layout de mapeamento deve ser adaptado. No exemplo da Figura 8, a parte 81 é vista como a face frontal (por convenção) e ocupa a metade da largura do quadro 80 e a metade de sua altura. As faces de topo, fundo e posterior mantêm um formato quadrado. As faces esquerda e direita são retângulos menores do que a face de fundo, por exemplo. Em um mapeamento cúbico imersivo, cada face do cubo recebe noventa graus (90°) do campo de visão horizontal (que é de 360°) e noventa graus do campo de visão vertical. No layout retrocompatível exemplificativo da Figura 8, o fov da face frontal corresponde ao fov da região de interesse. Se esse fov for menor do que 90°, as faces esquerda, direita, de topo e fundo precisam codificar mais que 90° de fov em uma área menor para as faces esquerda e direita. Como uma consequência, os pixels são “compactados” em uma área de transição 83 distribuída sobre as ditas quatro faces. O restante do quadro 80 é usado para codificar o quadro imersivo de acordo com o mapeamento cúbico.
[059] Um vídeo imersivo retrocompatível preparado com o layout da Figura 8 é codificado em um fluxo conforme retratado na Figura 7 para o layout da Figura 5. O quadro preparado é codificado na parte de carga 71 do fluxo 70. A primeiras informações que contêm a localização e o tamanho do subquadro 81 são codificadas de acordo com as mesmas variantes em partes de cabeçalho 73 das partes de carga 71 e/ou na parte de cabeçalho 72 do conteúdo. Segundas informações que contêm: o tipo de layout de mapeamento usado para preparar o quadro 50 (aquele da Figura 8 nesse exemplo), o campo de visão usado para computar o subquadro 81, o tamanho da área de transição e a direção de referência; a localização da área de transição está correlacionada ao tipo de layout de mapeamento.
[060] A Figura 9 mostra uma modalidade de hardware de um aparelho 70 configurado para implantar métodos descritos em relação às Figuras 10 ou 11. Nesse exemplo, o dispositivo 90 compreende os seguintes elementos, conectados entre si por um barramento 91 de endereços e dados que também transportam um sinal de relógio: - um microprocessador 92 (ou CPU), que é, por exemplo, um DSP (ou Processador de Sinal Digital); - uma memória não volátil do tipo ROM (Memória de Somente Leitura) 93; - uma Memória de Acesso Aleatório ou RAM (94); - uma interface de l/O 95 para o recebimento de dados para transmitir, a partir de um aplicativo; e - uma placa gráfica 96 à qual podem ser incorporados registros de memória de acesso aleatório; - uma fonte de potência 97.
[061] De acordo com um exemplo, a fonte de potência 97 é externa ao dispositivo. Em cada uma das memórias mencionadas, a palavra «registro» usada no relatório descrito pode corresponder à área de pequena capacidade (alguns bits) ou a uma área muito grande (por exemplo, um programa inteiro ou grande quantidade de dados recebidos ou decodificados). A ROM 93 compreende pelo menos um programa e parâmetros. A ROM 93 pode armazenar algoritmos e instruções para realizar técnicas de acordo com os presentes princípios. Quando ativada, a CPU 92 transfere por upload o programa na RAM e executa as instruções correspondentes.
[062] A RAM 94 compreende, em um registro, o programa executado pela CPU 92 e transferido por upload após a ativação do dispositivo 90, inserir dados em um registro, dados intermediários em diferentes estados do método em um registro, e outras variáveis usadas para a execução do método em um registro.
[063] As implantações descritas no presente documento podem ser implantadas em, por exemplo, um método ou um processo, um aparelho, um programa de software, um fluxo de dados, ou um sinal. Até mesmo se apenas discutido no contexto de uma única forma de implantação (por exemplo, discutido apenas como um método ou um dispositivo), a implantação de recursos discutidos também pode ser implantada de outros modos (por exemplo, um programa). Um aparelho pode ser implantado em, por exemplo, hardware, software e firmware adequado. Os métodos podem ser implantados em, por exemplo, um aparelho como, por exemplo, um processador, que se refere a dispositivos de processamento em geral, que inclui, por exemplo, um computador, um microprocessador, um circuito integrado, ou um dispositivo de lógica programável. Os processadores também incluem dispositivos de comunicação, como, por exemplo, computadores, telefones celulares, assistentes digitais pessoais/portáteis ("PDAs"), caixas decodificadoras e outros dispositivos que facilitam a comunicação de informações entre usuários finais.
[064] De acordo com um exemplo para a geração de um fluxo de vídeo imersivo retrocompatível conforme ilustrado na Figura 10, um vídeo imersivo de fonte e dados representativos de uma região de interesse do vídeo imersivo de fonte são obtidos a partir de uma fonte. Por exemplo, a fonte pertence a um conjunto que compreende: - uma memória local (93, 94 ou 96), por exemplo, uma memória de vídeo ou uma RAM (ou Memória de Acesso Aleatório), uma memória flash, uma ROM (ou Memória de Somente Leitura), um disco rígido; - uma interface de armazenamento (95), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma memória flash, uma ROM, um disco óptico ou um suporte magnético; e - uma interface de comunicação (95), por exemplo, uma interface de conexões com fio (por exemplo, uma interface de barramento, uma interface de rede de área ampla, uma interface de rede de área local) ou uma interface sem fio (como uma interface de IEEE 802.11 ou uma interface de Bluetooth®).
[065] De acordo com uma modalidade particular, os algoritmos que implantam as etapas de um método para a geração de um fluxo de vídeo imersivo retrocompatível e descrito posteriormente na Figura 10 são armazenados em uma memória GRAM da placa gráfica 96 associada ao dispositivo 90 que implanta essas etapas. De acordo com uma variante, uma parte da RAM (94) é atribuída pela CPU (92) para armazenamento dos algoritmos. Essas etapas levam à geração de um fluxo de vídeo que enviado para um destino pertencente a um conjunto que compreende uma memória local, por exemplo, uma memória de vídeo (94), uma RAM (94), uma ROM (93), uma memória flash (93) ou um disco rígido (93), uma interface de armazenamento (95), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma ROM, uma memória flash, um disco óptico ou um suporte magnético e/ou recebido a partir de uma interface de comunicação (95), por exemplo, uma interface a um link de ponto a ponto, um barramento, um link de ponto a multipontos ou uma rede de difusão.
[066] De acordo com os exemplos, o dispositivo 90 que é configurado para implantar um método para a geração de um fluxo de vídeo imersivo retrocompatível descrito em relação à Figura 10, pertence a um conjunto que compreende: - um dispositivo móvel; - um dispositivo de comunicação; - um dispositivo de jogos; - um tablet (ou computador do tipo tablet); - um computador do tipo laptop; - um chip de codificação; - um servidor de gravura estática; e - um servidor de vídeo (por exemplo, um servidor de difusão, um servidor de vídeo sob demanda ou um servidor de web).
[067] De acordo com um exemplo da composição de um vídeo a partir de um fluxo de vídeo imersivo retrocompatível, um fluxo representativo de um vídeo imersivo retrocompatível é obtido a partir de uma fonte. De modo exemplificativo, o fluxo é lido a partir de uma memória local, por exemplo, uma memória de vídeo (94), uma RAM (94), uma ROM (73), uma memória flash (93) ou um disco rígido (93). Em uma variante, o fluxo é recebido a partir de uma interface de armazenamento (95), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma ROM, uma memória flash, um disco óptico ou um suporte magnético e/ou recebido a partir de uma interface de comunicação (95), por exemplo, uma interface a um link de ponto a ponto, um barramento, um link de ponto a multipontos ou uma rede de difusão.
[068] De acordo com uma modalidade particular, os algoritmos que implantam as etapas de um método para compor um vídeo a partir de um fluxo de vídeo imersivo retrocompatível para um dispositivo de renderização e descrito posteriormente na Figura 11 são armazenados em uma memória GRAM da placa gráfica 96 associada ao dispositivo 90 que implanta essas etapas. De acordo com uma variante, uma parte da RAM (94) é atribuída pela CPU (92) para armazenamento dos algoritmos. Essas etapas levam à composição de um vídeo que é enviado a um destino pertencente a um conjunto que compreende: - um dispositivo móvel; - um dispositivo de comunicação; - um dispositivo de jogos; - uma caixa decodificadora; - um televisor; - um tablet (ou computador do tipo tablet); - um computador do tipo laptop; - um visor e - um chip de decodificação.
[069] A Figura 10 mostra diagramaticamente uma modalidade de um método 100 para a geração de um fluxo de vídeo imersivo retrocompatível conforme implantado em um dispositivo de processamento como o dispositivo 90 de acordo com uma modalidade vantajosa não restritiva.
[070] Em uma etapa 101, um vídeo imersivo e dados representativos de uma região de interesse do vídeo imersivo são obtidos a partir de uma fonte. O vídeo imersivo contém um quadro codificado de acordo com um mapeamento imersivo, por exemplo, o mapeamento equiretangular (como o quadro 60 da Figura 6), o mapeamento cúbico (como o quadro 30 da Figura 3, por exemplo) ou o mapeamento piramidal. O vídeo imersivo pode conter outros dados que são usados sem modificação quando se gera o fluxo de vídeo imersivo retrocompatível como faixas de áudio ou metadados.
[071] Em uma etapa 102, um layout é selecionado para a preparação do quadro retrocompatível, por exemplo, um layout com base no mapeamento equiretangular como na Figura 5, ou um layout com base no mapeamento cúbico como aquele da Figura 8 ou um layout com base em um mapeamento piramidal.
[072] Uma etapa 103 consiste em construir o quadro retrocompatível. Essa etapa contém três subetapas 104, 105 e 106. Essas três subetapas podem ser executadas sequencialmente ou em paralelo. A etapa 104 consiste em codificar um quadro de acordo com o mapeamento retangular. Essa etapa 104 é comum para todos os layouts à medida que produz a parte do quadro que é retrocompatível. As informações de cor (isto é, pixels) do quadro são determinadas a partir do quadro de vídeo imersivo de acordo com a descrição da região de interesse. As etapas 105 e 106 consistem em preparar a parte do vídeo imersivo que está fora da região de interesse. O mapeamento imersivo do layout pode ser diferente do mapeamento imersivo do vídeo imersivo. Um tamanho da área de transição é determinado. A localização da área de transição depende do layout selecionado. A área de transição continua o quadro retrocompatível. Na etapa 105, as informações de cor da área de transição são determinadas. O mapeamento usado para essa parte é continuamente transitório do mapeamento retangular para o mapeamento imersivo do layout. Na etapa 106, as informações de cor da parte imersiva são determinadas. As três áreas correspondentes às três partes do quadro de vídeo imersivo são usadas para compor o quadro retrocompatível de acordo com o layout selecionado. Os valores determinados para a execução da etapa 103 são transmitidos como uma entrada da etapa 107. Esses valores são: o tamanho e localização da primeira área, o tipo do layout, o campo de visão da primeira parte, o tamanho da área transitória e a direção da posição zero absoluto da superfície de mapeamento quando se renderiza, também chamada de direção de referência.
[073] Uma etapa 107 consiste na geração do fluxo de vídeo imersivo retrocompatível. O fluxo contém o quadro de vídeo retrocompatível, primeiras informações relacionadas ao tamanho e à localização da primeira área e segundas informações que compreendem o tipo do layout, o campo de visão da primeira parte, o tamanho da área transitória e a direção de referência.
[074] A Figura 11 mostra diagramaticamente uma modalidade de um método 110 para compor um quadro de vídeo a partir de um fluxo de vídeo imersivo retrocompatível para um dado dispositivo de renderização conforme implantado em um dispositivo de processamento como o dispositivo 90 de acordo com uma modalidade vantajosa não restritiva. O dispositivo de renderização é um dispositivo de renderização de vídeo herdado, como um televisor, um tablet ou um telefone inteligente, ou um dispositivo de renderização de vídeo imersivo, como um Cave, um HMD ou um tablet ou um telefone inteligente configurado para renderizar vídeos imersivos. As primeiras três etapas do método são comuns a ambos os tipos de dispositivos de renderização.
[075] Em uma etapa 111, o fluxo é obtido a partir de uma fonte. Como o fluxo é retrocompatível, o mesmo pode ser analisado sintaticamente pelo dispositivo de renderização de vídeo herdado padrão sem modificação anterior. Na etapa 112, o quadro de vídeo do fluxo é obtido. De acordo com uma modalidade, o quadro é decodificado nessa etapa. Em outra modalidade, os dados codificados do quadro são acessados e mantidos codificados. Essa modalidade é útil para o dispositivo de renderização de vídeo herdado para o qual apenas a primeira área do quadro será decodificada na etapa 114. Essa uma modalidade pode ser implantada, por exemplo, pelo uso de blocos. Os blocos independentes são um recurso de HEVC em que as Informações de Aperfeiçoamento Suplementar (SEI) dedicadas são reservadas para sinalizar o tamanho e a localização dos blocos a ser decodificados independentemente uns dos outros. Na etapa 113, as primeiras informações que compreendem o tamanho e a localização da primeira área são analisadas sintaticamente a partir do fluxo.
[076] Nesse ponto, se o dispositivo de renderização for um dispositivo de renderização de vídeo herdado, a parte do quadro correspondente à primeira área é usada para compor o quadro a ser renderizado. À medida que a primeira área é codificada de acordo com um mapeamento retangular, um dispositivo de renderização de vídeo herdado pode renderizar a mesma sem modificação anterior. De acordo com uma modalidade, o quadro é cortado de acordo com as primeiras informações para manter apenas a primeira área. De acordo com outra modalidade, apenas a parte da primeira área é decodificada com o uso, por exemplo, do recurso de bloco.
[077] Se o dispositivo de renderização for um dispositivo de renderização de vídeo imersivo, as segundas informações são analisadas sintaticamente do fluxo em uma etapa 115. Essas informações são usadas, além das primeiras informações para construir uma superfície mapeada em uma etapa 116. De acordo com uma modalidade, uma superfície de mapeamento é selecionada, por exemplo, uma esfera, um cubo ou uma pirâmide. Essa superfície de mapeamento é, por exemplo, uma malha associada a coordenadas de textura. Essas coordenadas de textura são computadas a fim de corresponder o quadro de entrada. Em uma variante, os vértices da malha são deslocados para fazer com que sua posição corresponda à posição que suas coordenadas de textura visam no quadro de entrada. Em outra variante, um quadro intermediário é computado para que o quadro corresponda às coordenadas de textura da superfície de mapeamento.
[078] A etapa 117 consiste em capturar os vídeos a serem renderizados a partir de câmeras virtuais colocadas no centro da superfície mapeada. Essa é uma etapa regular dos dispositivos de renderização de vídeo imersivo. Pelo menos uma câmera virtual é colocada no centro da superfície mapeada e captura um quadro destinado a ser transmitido por um dispositivo de projeção. Para Dispositivos Montados à Cabeça, o dispositivo de projeção é a tela do dispositivo. Para Caves, cada um dos projetores de luz é um dispositivo de projeção.
[079] Naturalmente, a presente revelação não é limitada às modalidades descritas anteriormente.
[080] Em particular, a presente revelação não é limitada a um método para o processamento de um conteúdo de vídeo imersivo, mas também se estende a qualquer método para a exibição do quadro de vídeo processado e a qualquer dispositivo que implanta esse método de exibição. A implantação dos cálculos necessários para gerar o quadro e o fluxo não é limitada a uma implantação em microprogramas do tipo shader, mas também se estende a uma implantação em qualquer tipo de programa, por exemplo, programas que podem ser executados por um microprocessador do tipo CPU. O uso dos métodos da presente revelação não é limitado a uma utilização ao vido, mas também se estende a qualquer outra utilização, por exemplo, para processamento conhecido como processamento pós-produção em um estúdio de gravação.
[081] As implantações descritas no presente documento podem ser implantadas em, por exemplo, um método ou um processo, um aparelho, um programa de software, um fluxo de dados, ou um sinal. Até mesmo se apenas discutido no contexto de uma única forma de implantação (por exemplo, discutido apenas como um método ou um dispositivo), a implantação de recursos discutidos também pode ser implantada de outros modos (por exemplo, um programa). Um aparelho pode ser implantado em, por exemplo, hardware, software e firmware adequado. Os métodos podem ser implantados em, por exemplo, um aparelho como, por exemplo, um processador, que se refere a dispositivos de processamento em geral, que inclui, por exemplo, um computador, um microprocessador, um circuito integrado, ou um dispositivo de lógica programável. Os processadores também incluem dispositivos de comunicação, como, por exemplo, Telefones Inteligentes, tablets, computadores, telefones móveis, assistentes digitais pessoais/portáteis ("PDAs") e outros dispositivos que facilitam a comunicação de informações entre usuários finais.
[082] As implantações dos vários processos e recursos descritos no presente documento podem ser incorporadas em uma variedade de equipamento ou aplicações diferentes, particularmente, por exemplo, equipamento ou aplicações associados à codificação de dados, decodificação de dados, geração de vista, processamento de textura, e outro processamento das imagens e informações de textura e/ou informações de profundidade relacionadas. Os exemplos desse equipamento incluem um codificador, um decodificador, um processamento pós-processador emitido a partir de um decodificador, um pré-processador que fornece entrada a um codificador, um codificador de vídeo, um decodificador de vídeo, um codec de vídeo, um servidor de web, uma caixa decodificadora, um computador do tipo laptop, um computador pessoal, um telefone celular, um PDA e outros dispositivos de computação. Como deve ser evidente, o equipamento pode ser móvel e até mesmo instalado em um veículo móvel.
[083] Adicionalmente, os métodos podem ser implantados por instruções que são realizadas por um processador, e essa instruções (e/ou valores de dados produzidos por uma implantação) podem ser armazenadas em uma mídia legível por processador como, por exemplo, um circuito integrado, um portador de software ou outro dispositivo de armazenamento como, por exemplo, um disco rígido, um disquete compacto (“CD”), um disco óptico (como, por exemplo, um DVD, frequentemente referido como disco versátil digital ou um disco de vídeo digital), uma memória de acesso aleatório (“RAM”), ou uma memória de somente leitura (“ROM”). As instruções podem formar um programa de aplicativo tangivelmente incorporado em uma mídia legível por processador. As instruções podem estar, por exemplo, em hardware, firmware, software ou uma combinação. As instruções podem ser encontradas em, por exemplo, um sistema operacional, um aplicativo separado, ou uma combinação dos dois. Um processador pode ser distinguido, portanto, como, por exemplo, tanto um dispositivo configurado para executar um processo quanto um dispositivo que inclui uma mídia legível por processador (como um dispositivo de armazenamento) que tem instruções para executar um processo.
Adicionalmente, uma mídia legível por processador pode armazenar, além de ou ao invés de instruções, valores de dados produzidos por uma implantação.
[084] Como será evidente para um indivíduo versado na técnica, as implantações podem produzir uma variedade de sinais formatados para portar informações que podem ser, por exemplo, armazenadas ou transmitidas. As informações podem incluir, por exemplo, instruções para realizar um método, ou dados produzidos por uma das implantações descritas. Por exemplo, um sinal pode ser formatado para portar como dados as regras para gravar ou ler a sintaxe de uma modalidade descrita, ou para portar como dados os valores de sintaxe reais gravados por uma modalidade descrita. Esse sinal pode ser formatado, por exemplo, como uma onda eletromagnética (por exemplo, com o uso de uma porção de espectro de radiofrequência) ou como um sinal de banda-base. A formação pode incluir, por exemplo, codificar um fluxo de dados e modular um portador com o fluxo de dados codificados. As informações que o sinal porta podem ser, por exemplo, informações analógicas ou digitais. O sinal pode ser transmitido através de uma variedade de diferentes links com fio ou sem fio, como é conhecido. O sinal pode ser armazenado em uma mídia legível por processador.
[085] Várias implantações foram descritas. Independentemente, será compreendido que várias modificações podem ser feitas. Por exemplo, os elementos de diferentes implantações podem ser combinados, suplementados, modificados, ou removidos para produzir outras implantações. Adicionalmente, uma pessoa de habilidade comum compreenderá que outras estruturas e processos podem ser substituídos por aqueles revelados e as implantações resultantes realizarão pelo menos substancialmente a(s) mesma(s) função(ões), pelo menos substancialmente da(s) mesma(s) forma(s), para alcançar pelo menos substancialmente o(s) mesmo(s) resultado(s) que as implantações reveladas. Consequentemente, essas e outras implantações são contempladas por este pedido.
REIVINDICAÇÕES

Claims (16)

1. Método para compor (110) um quadro de vídeo para um dispositivo de renderização de um fluxo de vídeo, CARACTERIZADO pelo fato de que o método compreende: - obter (113) primeiras informações a partir do fluxo de vídeo, sendo que as ditas primeiras informações são representativas de um tamanho e uma posição de uma primeira área de um quadro de vídeo de fonte obtido a partir do fluxo de vídeo, - no caso de o dispositivo de renderização ser um dispositivo de renderização de vídeo imersivo: • obter (115) segundas informações a partir do fluxo de vídeo, sendo que as ditas segundas informações são representativas de um tipo de um layout de um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência, • construir (116) uma superfície mapeada de acordo com as ditas primeiras e segundas informações e usar o dito quadro de vídeo de fonte, • compor (117) o quadro de vídeo com uma porção da dita superfície mapeada; - em outro caso, compor (114) o dito quadro de vídeo com a dita primeira área do quadro de vídeo de fonte.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito layout tem por base um mapeamento imersivo pertencente a um conjunto de mapeamento imersivo que compreende: mapeamento equiretangular, mapeamento cúbico e mapeamento piramidal.
3. Método, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que as primeiras informações são portadas por parâmetros de janela de conformância e em que as segundas informações são portadas por Informações de Aperfeiçoamento Suplementar (SEI).
4. Aparelho (90) configurado para compor um quadro de vídeo para um dispositivo de renderização de um fluxo de vídeo, CARACTERIZADO pelo fato de que o aparelho compreende: - meios para obter primeiras informações a partir do fluxo de vídeo, sendo que as ditas primeiras informações são representativas de um tamanho e uma posição de uma primeira área de um quadro de vídeo de fonte obtido a partir do fluxo de vídeo, - no caso de o dispositivo de renderização ser um dispositivo de renderização de vídeo imersivo: • meios para obter segundas informações a partir do fluxo de vídeo, sendo que as ditas segundas informações são representativas de um tipo de um layout de um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência, • um processador configurado para construir uma superfície mapeada de acordo com as ditas primeiras e segundas informações e usar o dito quadro de vídeo de fonte, • um processador configurado para compor o quadro de vídeo com uma porção da dita superfície mapeada; - em outro caso, um processador configurado para compor o dito quadro de vídeo com a dita primeira área do quadro de vídeo de fonte.
5. Aparelho, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que o dito layout tem por base um mapeamento imersivo pertencente a um conjunto de mapeamento imersivo que compreende: mapeamento equiretangular, mapeamento cúbico e mapeamento piramidal.
6. Aparelho, de acordo com a reivindicação 4 ou 5, CARACTERIZADO pelo fato de que as primeiras informações são portadas por parâmetros de janela de conformância e em que as segundas informações são portadas por Informações de Aperfeiçoamento Suplementar (SEI).
7. Aparelho, de acordo com uma das reivindicações 4 a 6, CARACTERIZADO pelo fato de que o dito aparelho pertencente a um conjunto de aparelho compreende um dispositivo móvel, um dispositivo de comunicação, um dispositivo de jogos, um computador do tipo tablet, um computador do tipo laptop, um chip de codificação, um servidor de gravura estática, um servidor de vídeo, um servidor de difusão, um servidor de vídeo sob demanda e um servidor de web.
8. Método para a geração de (100) de um fluxo de vídeo a partir de um vídeo imersivo, CARACTERIZADO pelo fato de que o método compreende: - codificar uma primeira parte (104) do quadro de vídeo imersivo de acordo com um mapeamento retangular; - codificar uma segunda parte (105) do quadro de vídeo imersivo de acordo com um mapeamento transitório do dito mapeamento retangular para um mapeamento imersivo; - codificar uma terceira parte (106) do quadro de vídeo imersivo de acordo com o dito mapeamento imersivo; - compor um quadro de vídeo (103) de acordo com um layout que compreende a dita primeira parte como uma primeira área, a dita segunda parte como uma segunda área e a dita terceira parte como uma terceira área; - gerar o fluxo de vídeo (107) que inclui o dito quadro de vídeo construído, primeiras informações relacionadas a um tamanho e uma localização da dita primeira área e segundas informações que contêm pelo menos o dito tipo do dito layout, um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência.
9. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que o dito layout tem por base um mapeamento imersivo pertencente a um conjunto de mapeamento imersivo que compreende: mapeamento equiretangular, mapeamento cúbico e mapeamento piramidal.
10. Método, de acordo com a reivindicação 8 ou 9, CARACTERIZADO pelo fato de que as primeiras informações são portadas por parâmetros de janela de conformância e em que as segundas informações são portadas por Informações de Aperfeiçoamento Suplementar (SEI).
11. Aparelho (90) configurado para gerar um fluxo de vídeo a partir de um vídeo imersivo, sendo que o aparelho é CARACTERIZADO pelo fato de que compreende: - um codificador configurado para codificar uma primeira parte do quadro de vídeo imersivo de acordo com um mapeamento retangular; - um codificador configurado para codificar uma segunda parte do quadro de vídeo imersivo de acordo com um mapeamento transitório do dito mapeamento retangular para um mapeamento imersivo; - um codificador configurado para codificar uma terceira parte do quadro de vídeo imersivo de acordo com o dito mapeamento imersivo; - um processador configurado para compor um quadro de vídeo de acordo com um layout que compreende a dita primeira parte como uma primeira área, a dita segunda parte como uma segunda área e a dita terceira parte como uma terceira área; - um gerador de fluxo de vídeo configurado para gerar o fluxo de vídeo que inclui o dito quadro de vídeo construído, primeiras informações relacionadas a um tamanho e uma localização da dita primeira área e segundas informações que contêm pelo menos o dito tipo do dito layout, um campo de visão da dita primeira parte, um tamanho da segunda área e uma direção de referência.
12. Aparelho, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o dito layout tem por base um mapeamento imersivo pertencente a um conjunto de mapeamento imersivo que compreende: mapeamento equiretangular, mapeamento cúbico e mapeamento piramidal.
13. Aparelho, de acordo com a reivindicação 11 ou 12, CARACTERIZADO pelo fato de que as primeiras informações são portadas por parâmetros de janela de conformância e em que as segundas informações são portadas por Informações de Aperfeiçoamento Suplementar (SEI).
14. Fluxo (70) que porta dados representativos de um vídeo imersivo, CARACTERIZADO pelo fato de que os dados compreendem: - um quadro de vídeo organizado de acordo com um layout que compreende uma primeira área codificada de acordo com um mapeamento retangular, uma segunda área codifica de acordo com um mapeamento transitório do dito mapeamento retangular para um mapeamento imersivo e uma terceira área codificada de acordo com o dito mapeamento imersivo, - primeiras informações representativas do tamanho e da localização da dita primeira área dentro do quadro de vídeo, - segundas informações que compreende pelo menos um tipo do dito layout, o campo de visão da primeira parte, o tamanho da dita segunda área dentro do quadro de vídeo e uma direção de referência.
15. Fluxo, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que o dito layout tem por base um mapeamento imersivo pertencente a um conjunto de mapeamento imersivo que compreende: mapeamento equiretangular, mapeamento cúbico e mapeamento piramidal.
16. Fluxo, de acordo com a reivindicação 14 ou 15, CARACTERIZADO pelo fato de que as primeiras informações são portadas por parâmetros de janela de conformância e em que as segundas informações são portadas por Informações de Aperfeiçoamento Suplementar (SEI).
BR102017010791-4A 2016-05-23 2017-05-23 Method, apparatus and format flow of an imersive video for imersive and inherent rendering devices BR102017010791A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305592.4A EP3249928A1 (en) 2016-05-23 2016-05-23 Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
EP16305592.4 2016-05-23

Publications (1)

Publication Number Publication Date
BR102017010791A2 true BR102017010791A2 (pt) 2017-12-05

Family

ID=56101403

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102017010791-4A BR102017010791A2 (pt) 2016-05-23 2017-05-23 Method, apparatus and format flow of an imersive video for imersive and inherent rendering devices

Country Status (9)

Country Link
US (1) US10523980B2 (pt)
EP (2) EP3249928A1 (pt)
JP (1) JP7017866B2 (pt)
KR (1) KR102307819B1 (pt)
CN (1) CN107454468B (pt)
BR (1) BR102017010791A2 (pt)
CA (1) CA2967418A1 (pt)
MX (1) MX2017006677A (pt)
RU (1) RU2742344C2 (pt)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US11272209B2 (en) 2018-04-03 2022-03-08 Samsung Electronics Co., Ltd. Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content
CN110516681A (zh) * 2018-05-21 2019-11-29 孙民 影像特征提取方法及其显著物体预测方法
EP3595319A1 (en) * 2018-07-12 2020-01-15 InterDigital VC Holdings, Inc. Methods and apparatus for volumetric video transport
CN110944109B (zh) * 2018-09-21 2022-01-14 华为技术有限公司 一种拍照方法、装置与设备
US11132837B2 (en) 2018-11-06 2021-09-28 Lucasfilm Entertainment Company Ltd. LLC Immersive content production system with multiple targets
CN111198734B (zh) * 2018-11-20 2024-03-15 西安诺瓦星云科技股份有限公司 窗口设置方法和装置、电子设备和非易失性存储介质
SG11202107543SA (en) * 2019-01-09 2021-08-30 Huawei Tech Co Ltd Sub-picture layout signaling in video coding
EP3761647A1 (en) 2019-07-05 2021-01-06 Tiledmedia B.V. Methods and devices for rendering a video on a display
MX2022000333A (es) * 2019-07-08 2022-03-17 Huawei Tech Co Ltd Manejo de múltiples tamaños de imagen y ventanas de conformidad para el remuestreo de imágenes de referencia en la codificación de video.
US20220329886A1 (en) * 2019-08-19 2022-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for handling media data streams
CN110910485B (zh) * 2019-12-16 2023-07-25 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法
US11991376B2 (en) * 2020-04-09 2024-05-21 Intel Corporation Switchable scalable and multiple description immersive video codec
CN111729283B (zh) * 2020-06-19 2021-07-06 杭州赛鲁班网络科技有限公司 一种基于混合现实技术的训练***及其方法
US11887251B2 (en) 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system
WO2023070387A1 (zh) * 2021-10-27 2023-05-04 深圳市大疆创新科技有限公司 一种图像处理方法、装置、拍摄设备及可移动平台

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
JP2003536160A (ja) 2000-06-09 2003-12-02 インタラクティブ イメイジング システムズ、 インコーポレイテッド 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP2005347813A (ja) * 2004-05-31 2005-12-15 Olympus Corp 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
JP2010530086A (ja) * 2006-12-19 2010-09-02 創太 清水 イメージングモデル及び画像処理装置
US8730130B1 (en) * 2008-12-04 2014-05-20 RPA Electronic Solutions, Inc. System and method for automatically aligning immersive displays
JP2010192971A (ja) 2009-02-16 2010-09-02 Nippon Telegr & Teleph Corp <Ntt> 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
US9167289B2 (en) 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9397338B2 (en) * 2010-12-22 2016-07-19 Enevate Corporation Electrodes, electrochemical cells, and methods of forming electrodes and electrochemical cells
JP5790345B2 (ja) * 2011-09-07 2015-10-07 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび画像処理システム
EP2645713A1 (en) 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
EP2870751A4 (en) 2012-07-04 2016-03-09 Intel Corp PANORAMIC 3D VIDEO CODING
CN102945563B (zh) * 2012-09-26 2017-05-24 天津游奕科技有限公司 一种全景视频的展示与交互***及方法
EP2713593B1 (en) * 2012-09-28 2015-08-19 Alcatel Lucent, S.A. Immersive videoconference method and system
FR3004881B1 (fr) * 2013-04-19 2015-04-17 Kolor Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP6150011B2 (ja) * 2013-07-15 2017-06-21 ソニー株式会社 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
CN103777455B (zh) * 2014-02-25 2016-08-17 浙江大学 基于光场拼接的球形沉浸式三维显示方法及***
US10764655B2 (en) * 2014-04-03 2020-09-01 Nbcuniversal Media, Llc Main and immersive video coordination system and method
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
JP6501904B2 (ja) * 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
JP6784767B2 (ja) * 2016-02-09 2020-11-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
EP3223524A1 (en) * 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices

Also Published As

Publication number Publication date
JP2018033123A (ja) 2018-03-01
RU2017115882A3 (pt) 2020-08-26
RU2742344C2 (ru) 2021-02-04
EP3249928A1 (en) 2017-11-29
CN107454468A (zh) 2017-12-08
US20170339440A1 (en) 2017-11-23
RU2017115882A (ru) 2018-11-06
CN107454468B (zh) 2021-09-14
JP7017866B2 (ja) 2022-02-09
KR102307819B1 (ko) 2021-10-05
US10523980B2 (en) 2019-12-31
KR20170132098A (ko) 2017-12-01
CA2967418A1 (en) 2017-11-23
EP3249930A1 (en) 2017-11-29
MX2017006677A (es) 2018-08-28
EP3249930B1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
BR102017010791A2 (pt) Method, apparatus and format flow of an imersive video for imersive and inherent rendering devices
KR102262727B1 (ko) 360 비디오 처리 방법 및 그 장치
KR102568731B1 (ko) 광시야 비디오를 인코딩하기 위한 구면 회전 기법
KR102221301B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
BR102017010904A2 (pt) Método, aparelho e fluxo para formato de vídeo imersivo
KR20200096575A (ko) 3차원 객체들을 나타내는 포인트 클라우드를 인코딩하기 위한 방법 및 장치
JP2020515937A (ja) 没入型ビデオフォーマットのための方法、装置、及びストリーム
JP7499182B2 (ja) ボリュメトリックビデオフォーマット用の方法、装置及びストリーム
JP2020501389A (ja) パノラマビデオのための提案されるビューポート指示
KR102305634B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
JP2021502033A (ja) ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム
JP2019534500A (ja) 没入型ビデオフォーマットのための方法、機器、及びシステム
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
CN114095737B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
TW201921919A (zh) 影像處理裝置及檔案生成裝置
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
CN113949829B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
BR112020014519A2 (pt) Método e aparelho para codificar e decodificar cenas tridimensionais em e a partir de um fluxo de dados
EP4005202B1 (en) A method and apparatus for delivering a volumetric video content
EP4394718A1 (en) Media file encapsulation method and device, media file decapsulation method and device, and storage medium
JP2022551064A (ja) 容積ビデオを符号化、送信、及び復号化するための方法及び装置

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25A Requested transfer of rights approved

Owner name: INTERDIGITAL VC HOLDINGS, INC. (US)

B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 6A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2724 DE 21/03/2023.