BR112013031215B1 - SCALABLE VIDEO CODING METHOD AND DEVICE - Google Patents
SCALABLE VIDEO CODING METHOD AND DEVICE Download PDFInfo
- Publication number
- BR112013031215B1 BR112013031215B1 BR112013031215-7A BR112013031215A BR112013031215B1 BR 112013031215 B1 BR112013031215 B1 BR 112013031215B1 BR 112013031215 A BR112013031215 A BR 112013031215A BR 112013031215 B1 BR112013031215 B1 BR 112013031215B1
- Authority
- BR
- Brazil
- Prior art keywords
- information
- block
- motion vector
- video
- encoding
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
MÉTODO E APARELHO DE CODIFICAÇÃO ESCALÁVEL DE VÍDEO. São descritos um método e um aparelho para a codificação escalável de vídeo, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Aprimoramento (EL) e onde a EL apresenta resolução espacial mais alta ou melhor qualidade de vídeo que a BL. Dc acordo com realizações da presente invenção, informação da camada de base é explorada para a codificação da camada de aprimoramento. A codificação da informação para a camada de aprimoramento inclui uma estrutura de CU, informação de preditor de vetor de movimento (MVP), candidatos de MVP/mistura, modo de predição intra, informação de quadtree residual, informação de textura, informação residual, codificação de entropia adaptativa de contexto, Filtro Adaptativo de Laço (ALF). Deslocamento Adaptativo de Amostra (SAO), e filtro de desbloqueio.SCALABLE VIDEO CODING METHOD AND DEVICE. A method and apparatus for scalable video encoding are described, where the video data is configured into a Base Layer (BL) and an Enhancement Layer (EL) and where the EL has higher spatial resolution or better image quality. video that BL. According to embodiments of the present invention, information from the base layer is exploited for encoding the enhancement layer. Encoding information for the enhancement layer includes a CU structure, motion vector predictor (MVP) information, MVP/mix candidates, intra prediction mode, residual quadtree information, texture information, residual information, coding of context adaptive entropy, Adaptive Loop Filter (ALF). Adaptive Sample Shift (SAO), and unblocking filter.
Description
A presente invenção reivindica a prioridade do pedido provisório de patente US, n° de série 61/495.740, depositado em 10 de junho de 2011, intitulado “Scalable Coding of High Efficiency Video Coding” e do pedido provisório de patente US. n° de série 61/567.774. depositado em 7 de dezembro de 2011. O pedido provisório de patente US é aqui incorporado como referência em sua totalidade.The present invention claims priority of US Provisional Patent Application Serial No. 61/495,740 filed June 10, 2011 entitled “Scalable Coding of High Efficiency Video Coding” and US Provisional Patent Application. serial no. 61/567,774. filed December 7, 2011. The provisional US patent application is incorporated herein by reference in its entirety.
A presente invenção refere-se a codificação de vídeo. Em particular, a presente invenção refere-se à codificação escalável de vídeo que utiliza informação da camada de base para melhorar a codificação de camada.The present invention relates to video encoding. In particular, the present invention relates to scalable video encoding that uses base layer information to improve layer encoding.
Vídeo digital comprimido tem sido amplamente utilizado em várias aplicações, tais como streaming de vídeo em redes digitais e transmissão de vídeo em canais digitais. Muito frequentemente, um conteúdo de vídeo único pode ser transmitido por redes com diferentes características. Por exemplo, um evento esportivo ao vivo pode ser transmitido em um formato de streaming de banda larga elevada em redes de banda larga para serviços de vídeo Premium. Em tais aplicações, o vídeo comprimido usualmente preserva a alta resolução e a alta qualidade de tal forma que o conteúdo de vídeo é adequado para dispositivos de alta definição tais como um monitor HDTV ou LCD de alta resolução. O mesmo conteúdo pode ser transmitido através de rede de dados celular de tal forma que o conteúdo pode ser assistido em um dispositivo portátil como um telefone inteligente (“smartphone”) ou um dispositivo portátil conectado a uma rede. Em tais aplicações, devido questões da banda larga da rede, bem como o monitor de baixa resolução típico no telefone inteligente ou dispositivos portáteis, o conteúdo de vídeo usualmente é comprimido para menor resolução e menores taxas de bits. Por esta razão, para diferentes ambientes de rede e para diferentes aplicações, as exigências de resolução de vídeo e qualidade de vídeo são bem diferentes, Mesmo para o mesmo tipo de rede, os usuários podem vivenciar diferentes larguras de banda disponíveis devido a diferentes infraestruturas de rede e diferentes condições de tráfico de rede. Desta forma, um usuário pode desejar receber o vídeo na qualidade mais alta quando a largura de banda disponível é alta e receber vídeo de qualidade mais baixa, embora sem distorção, quando ocorre um congestionamento na rede. Em um outro cenário, um reprodutor de mídia de tecnologia de ponta pode suportar vídeo em alta resolução e vídeo comprimido com alta taxa de bits, enquanto que um reprodutor de mídia de baixo custo é capaz de suportar apenas vídeo de baixa resolução e vídeo comprimido de baixa taxa de bits, devido aos recursos limitados de computação. Da mesma forma, é desejável se construir o vídeo comprimido de maneira escalável de tal forma que o vídeo em resolução espacial-temporal e/ou qualidade diferente possa ser derivado do mesmo fluxo de bits comprimido.Compressed digital video has been widely used in various applications, such as streaming video over digital networks and broadcasting video over digital channels. Very often, single video content can be streamed over networks with different characteristics. For example, a live sporting event can be broadcast in a high-bandwidth streaming format over broadband networks for premium video services. In such applications, compressed video usually preserves high resolution and high quality such that the video content is suitable for high definition devices such as a high resolution HDTV or LCD monitor. The same content can be streamed over a cellular data network in such a way that the content can be watched on a portable device such as a smart phone (“smartphone”) or a portable device connected to a network. In such applications, due to network bandwidth issues as well as the low resolution display typical on smart phone or handheld devices, video content is usually compressed to lower resolution and lower bit rates. For this reason, for different network environments and for different applications, the video resolution and video quality requirements are quite different. network and different network traffic conditions. In this way, a user may want to receive the highest quality video when available bandwidth is high and to receive lower quality video, albeit without distortion, when network congestion occurs. In another scenario, a high-end media player can support both high-resolution video and high-bitrate compressed video, while a low-end media player can support only low-resolution video and high-bit-rate compressed video. low bitrate due to limited computing resources. Likewise, it is desirable to construct scalable compressed video such that video at different spatial-temporal resolution and/or quality can be derived from the same compressed bitstream.
No atual padrão de vídeo H.264/AVC, há uma extensão do padrão H.264/AVC, chamada de Codificação Escalável de Vídeo (“Scalable Video Coding” - SVC). A SVC provê escalabilidades temporal, espacial e de qualidade com base em um único fluxo de bits. O fluxo de bits SVC contém informação de vídeo escalável de taxa de quadro baixa, resolução baixa, e baixa qualidade para alta taxa de quadro, alta definição, e alta qualidade, respectivamente. Da mesma forma, a SVC é adequada para várias aplicações de vídeo, tais como transmissão de vídeo, streaming de vídeo, e vigilância por vídeo, de maneira a se adaptar à infraestrutura da rede, condição de tráfico, preferencia do usuário, etc.In the current H.264/AVC video standard, there is an extension of the H.264/AVC standard called Scalable Video Coding (SVC). SVC provides temporal, spatial and quality scalability based on a single bit stream. The SVC bitstream contains scalable video information from low frame rate, low resolution, and low quality to high frame rate, high definition, and high quality, respectively. Likewise, SVC is suitable for various video applications, such as video streaming, video streaming, and video surveillance, in order to adapt to network infrastructure, traffic condition, user preference, etc.
Em SVC, são providos três tipos de escalabilidades, isto é, escalabilidade temporal, escalabilidade espacial, e escalabilidade de qualidade. A SVC utiliza estrutura de codificação de multi-camada para realizar as três dimensões de escalabilidade. Um objetivo principal da SVC é o de gerar um fluxo de bits escalável que possa ser facilmente e rapidamente adaptado à exigência de taxa de bits associada com vários canais de transmissão, diversas aptidões de monitor, e diferentes recursos computacionais sem transcodifícação ou recodificação. Uma característica importante do desenho da SVC é que a escalabilidade é provida em um nível de fluxo de bits. Em outras palavras, os fluxos de bits para a derivação de vídeo com uma resolução espacial e/ou temporal reduzida podem ser obtidos simplesmente por extração de unidades de camada de abstração de rede (“Network Abstraction Layer” - NAL) (ou pacotes de rede) de um fluxo de bits escalável que são requeridas para a decodificação do vídeo em questão. As unidades NAL para o refino da qualidade podem ser adicionalmente truncadas de maneira a reduzir a taxa de bits e a qualidade de vídeo associada.In SVC, three types of scalability are provided, that is, temporal scalability, spatial scalability, and quality scalability. SVC uses multi-layer coding framework to realize the three dimensions of scalability. A primary goal of SVC is to generate a scalable bitstream that can be easily and quickly adapted to the bitrate requirements associated with various transmission channels, diverse monitor capabilities, and different computational resources without transcoding or recoding. An important feature of the SVC design is that scalability is provided at a bitstream level. In other words, bitstreams for video derivation with a reduced spatial and/or temporal resolution can be obtained simply by extracting Network Abstraction Layer (NAL) units (or network packets). ) of a scalable bitstream that are required for decoding the video in question. The NAL units for quality refinement can be further truncated in order to reduce the bit rate and associated video quality.
Por exemplo, a escalabilidade temporal pode ser derivada da estrutura hierárquica de codificação com base em quadros B de acordo com o padrão H.264/AVC. A Fig. 1 ilustra um exemplo de estrutura hierárquica de quadro B com 4 camadas temporais e o Grupo de Quadros (GOP) com oito quadros. Os quadros 0 e 8 na Fig. 1 são chamados de quadros chave. A inter-predição de quadros chave utiliza apenas quadros chave anteriores como referências. Outros quadros entre dois quadros chave são preditos hierarquicamente. Vídeo contendo apenas quadros chave forma a resolução temporal mais grosseira do sistema escalável. A escalabilidade temporal é alcançada pelo refino progressivo de um vídeo de nível mais baixo (mais grosseiro) pela adição de mais quadros B correspondendo às camadas de melhoramento do sistema escalável. No exemplo da Fig. 1, o quadro 4 é primeiramente predito bi-direcional utilizando quadros chave, isto é, os quadros 0 e 8 depois de dois quadros chave são codificados. Após o quadro 4 ser processado, os quadros 2 e 6 são processados. O quadro 2 é predito bidirecional utilizando os quadros 0 e 4. e o quadro 6 é predito bi-direcional utilizando os quadros 4 e 8. Após os quadros 2 e 6 serem codificados, os quadros restantes, isto é, quadros 1, 3, 5 e 7 são processados bi-direcionalmente utilizando quadros vizinhos respectivos como mostrado na Fig. 1. Da mesma forma, a ordem de processamento para o GOP é 0, 8, 4, 2, 6, 1, 3, 5, e 7. Os quadros processados de acordo com o processo hierárquico da Fig. 1 resultam em quadros de quatro níveis hierárquicos, onde os quadros 0 e 8 pertencem à primeira ordem temporal, o quadro 4 pertence à segunda ordem temporal, os quadros 2 e 6 pertencem à terceira ordem temporal e os quadros 1, 3, 5, e 7 pertencem à quarta ordem temporal. Pela decodificação dos quadros de nível base e adição de quadros de ordem temporal mais alta será possível o provimento de um vídeo de nível mais alto. Por exemplo, os quadros de nível base 0 e 8 podem ser combinados com o quadro 4 de segunda ordem temporal para formar quadros de segundo nível. A adição a mais de quadros de terceira ordem temporal ao vídeo de segundo nível pode formar vídeo de terceiro nível. Similarmente, a adição de quadros de quarta ordem temporal ao vídeo de terceiro nível pode formar o vídeo de quarto nível. Da mesma forma, é obtida a escalabilidade temporal. Se o vídeo original apresenta uma taxa de quadro de 30 quadros por segundo, o vídeo de nível base apresenta uma taxa de quadro de 30/8 = 3,75 quadros por segundo. O vídeo de segundo nível, terceiro nível e quarto nível corresponde a 7,5, 15, e 30 quadros por segundo. Os quadros de primeira ordem temporal são também chamados de vídeo de nível base ou quadros de nível base. Os quadros de segunda ordem temporal até os quadros de quarta ordem temporal são também chamados de vídeo de nível de melhoramento ou quadros de nível de melhoramento. Em adição ao fato de possibilitar a escalabilidade temporal, a estrutura de codificação ou quadros B hierárquicos aumentam também a eficiência de codificação na estrutura IBBP GOP típica ao custo do retardo da codificação-decodificação aumentada.For example, temporal scalability can be derived from the hierarchical coding structure based on B-frames according to the H.264/AVC standard. Fig. 1 illustrates an example B-frame hierarchical structure with 4 temporal layers and the Frame Group (GOP) with eight frames.
Em SVC, a escalabilidade espacial é suportada com base no esquema de codificação em pirâmide como mostrado na Fig. 2. Em um sistema SVC com escalabilidade espacial, o vídeo é primeiramente decimado para se obter quadros menores em diferentes resoluções espaciais (camadas). Por exemplo, o quadro 210 na resolução original pode ser processado por decimação espacial 220 para se obter o quadro 211 com resolução reduzida. O quadro 211 com resolução reduzida pode ser adicionalmente processado por decimação espacial 221 para se obter quadro 212 com resolução ainda mais reduzida como mostrado na Fig. 2. Em adição à resolução espacial diádica, onde a resolução espacial é reduzida à metade em cada nível, a SVC suporta também razões de resolução arbitrárias, o que é chamado de escalabilidade espacial estendida (ESS). O sistema SVC na Fig. 2 ilustra um exemplo de sistema espacial escalável com três camadas, onde a camada 0 corresponde aos quadros com a resolução espacial mais baixa e a camada 2 corresponde aos quadros com a resolução mais alta. Os quadros da camada 0 são codificados sem referência a outras camadas, isto é, codificação de camada única. Por exemplo, quadro 212 da camada mais baixa é codificado utilizando-se predição de movimento compensado e predição intra 230.In SVC, spatial scalability is supported based on the pyramid coding scheme as shown in Fig. 2. In a spatially scalable SVC system, the video is first decimated to obtain smaller frames at different spatial resolutions (layers). For example,
A predição de movimento compensado e predição intra 230 irão gerar elementos de sintaxe, bem como informação relacionada à codificação, tal como informação de movimento para a posterior codificação de entropia 240. A Fig. 2 ilustra de fato um sistema SVC combinado que provê escalabilidade espacial, bem como escalabilidade de qualidade (também chamada de escalabilidade SNR). O sistema pode prover também escalabilidade temporal, a qual não é explicitamente mostrada. Para cada codificação de camada única, os erros residuais de codificação podem ser refinados utilizando-se codificação de camada de aprimoramento de SNR 250. A camada de aprimoramento de SNR na Fig. 2 pode prover níveis de qualidade múltiplos (escalabilidade de qualidade). Cada camada de resolução suportada pode ser codificada pela respectiva predição de movimento compensado e predição intra de camada única como um sistema de codificação não escalável. Cada camada espacial mais alta pode ser também codificada utilizando-se codificação inter-camada com base em uma ou mais camadas espaciais mais baixas. Por exemplo, a camada de vídeo 1 pode ser codificada de forma adaptativa utilizando-se predição inter-camada com base na camada de vídeo 0 ou urna codificação de camada única em um macrobloco por base macrobloco ou outra unidade em bloco. Similarmente, a camada de vídeo 2 pode ser codificada de forma adaptativa utilizando-se predição inter-camada com base na camada de vídeo reconstruída l ou uma codificação de camada única. Como mostrado na Fig. 2, os quadros da camada 1 211 podem ser codificados por predição de movimento compensado e predição intra 231, codificação de entropia de camada de base 241 e codificação de camada de aprimoramento de SNR 251. Similarmente, os quadros da camada 2 210 podem ser codificados por predição de movimento compensado e predição intra 232, codificação de entropia de camada de base 242 e codificação de camada de aprimoramento de SNR 252. A eficiência de codificação pode ser aumentada devido à codificação inter-camada. Além disto, a informação requerida para codificar a camada espacial 1 pode depender da camada reconstruída 0 (predição inter-camada). As diferenças inter-camada são denominadas de camadas de aprimoramento. O H.264 SVC provê três tipos de ferramentas de predição inter-camada: predição de movimento inter-camada, intra-predição inter-camada, e predição residual inter-camada.Motion compensated prediction and
Em SVC, a camada de melhoramento (EL) pode re-utilizar a informação de movimento na camada de base (BL) para reduzir a redundância de dados de movimento inter-camada. Por exemplo, a codificação de macrobloco EL pode utilizar um sinalizador (“flag”), tal como base_mode_flag, antes de mbtype ser determinado para indicar se a informação de movimento EL é diretamente derivada de BL. Se base_mode_flag for igual a 1, os dados de partição do macrobloco EL juntamente com os índices de referência associados e vetores de movimento são derivados dos correspondentes dados do bloco co-localizado 8x8 na BL. O índice do quadro de referência da BL é diretamente utilizado em EL. Os vetores de movimento de EL são escalados dos dados associados com a BL. Além disto, o vetor de movimento escalado BL pode ser utilizado como um preditor de vetor de movimento adicional I para EL.In SVC, the enhancement layer (EL) can reuse motion information in the base layer (BL) to reduce the redundancy of inter-layer motion data. For example, EL macroblock encoding may use a flag ("flag"), such as base_mode_flag, before the mbtype is determined to indicate whether the EL motion information is directly derived from BL. If base_mode_flag is equal to 1, the EL macroblock partition data along with associated reference indices and motion vectors are derived from the corresponding 8x8 co-located block data in the BL. The BL reference frame index is directly used in EL. The EL motion vectors are scaled from the data associated with the BL. Furthermore, the scaled motion vector BL can be used as an additional motion vector predictor I to EL.
A predição residual inter-camada utiliza a informação residual de BL interpolada para reduzir a informação residual de EL. O residual co-localizado de BL pode ser interpolado em forma de bloco utilizando um filtro bi-linear e pode ser utilizado como predição para o residual de um macrobloco atual na EL. A interpolação da camada residual de referência é realizada em uma base de bloco de transformação de maneira a garantir que nenhuma filtragem é aplicada pelas fronteiras do bloco de transformação.Inter-layer residual prediction uses the interpolated BL residual information to reduce the EL residual information. The co-located residual of BL can be interpolated in block form using a bilinear filter and can be used as a prediction for the residual of a current macroblock in the EL. Interpolation of the residual reference layer is performed on a transformation block basis in order to ensure that no filtering is applied across the transformation block boundaries.
Similar à predição de inter-camada residual, a predição intra inter-camada reduz a informação de textura redundante da EL. A predição na EL é gerada por interpolação em bloco do sinal de reconstrução BL co-localizado. No procedimento de interpolação predição intra inter-camada, os filtros 4-tap e 2-tap FIR são aplicados para os componentes de luminâmcia e crominância, respectivamente. Diferente da predição inter-camada residual, a filtragem para a predição intra inter-camada é sempre realizada através das fronteiras de sub-bloco. Por simplificação da decodificação, a predição intra inter-camada pode ser restrita a apenas macroblocos intra-codificados em BL.Similar to residual inter-layer prediction, intra-inter-layer prediction reduces the redundant texture information of the EL. The prediction on the EL is generated by block interpolation of the co-located BL reconstruction signal. In the intra-inter-layer prediction interpolation procedure, 4-tap and 2-tap FIR filters are applied for the luminance and chrominance components, respectively. Unlike residual inter-layer prediction, filtering for intra-inter-layer prediction is always performed across sub-block boundaries. For simplification of decoding, intra-inter-layer prediction can be restricted to only intra-coded macroblocks in BL.
Em SVC, a escalabilidade de qualidade é realizada por codificação de ELs de qualidade múltipla que são compostos de coeficientes de refinamento. O fluxo de bits de vídeo escalável pode ser facilmente truncado ou extraído para prover diferentes fluxos de bits de vídeo com diferentes qualidades de vídeo ou tamanhos de fluxo de bits. Em SVC,a escalabilidade de qualidade, (também chamada de escalabilidade SNR) pode ser provida por maio de duas estratégias, escalabilidade grão grosso (CGS), e escalabilidade de grão médio (MGS). A CGS pode ser encarada como um caso especial de escalabilidade espacial, onde a resolução espacial de BL e de EL são as mesmas. Entretanto, a qualidade da EL é melhor (o QP da EL é menor que o QP da BL). O mesmo mecanismo de predição inter-camada para codificação escalável espacial pode ser empregada. Entretanto, nenhuma interpolação correspondente ou operação de desbloqueio é realizada. Além disto, a predição intra e predição residual inter-camada são diretamente realizadas no domínio de transformação. Para a predição inter-camada em CGS, um refinamento da informação de textura é tipicamente obtida pela re- quantização do sinal residual na EL com uma etapa de quantização de tamanho menor que a utilizada para a camada CGS precedente. A CGS pode prover pontos de qualidade pré-defínidos múltiplos.In SVC, quality scalability is accomplished by encoding multiple quality ELs that are composed of refinement coefficients. The scalable video bitstream can be easily truncated or extracted to provide different video bitstreams with different video quality or bitstream sizes. In SVC, quality scalability, (also called SNR scalability) can be provided by two strategies, coarse grain scalability (CGS), and medium grain scalability (MGS). CGS can be seen as a special case of spatial scalability, where the spatial resolution of BL and EL are the same. However, the quality of EL is better (QP of EL is lower than QP of BL). The same inter-layer prediction mechanism for spatially scalable coding can be employed. However, no corresponding interpolation or unlocking operations are performed. In addition, intra-layer prediction and inter-layer residual prediction are directly performed in the transformation domain. For inter-layer prediction in CGS, a refinement of the texture information is typically obtained by re-quantizing the residual signal in the EL with a quantization step of smaller size than that used for the preceding CGS layer. CGS can provide multiple predefined quality points.
Para prover taxa de bits mais finas em granularidade enquanto que mantendo complexidade razoável para a escalabilidade de qualidade, MGS é utilizada pelo H.264 SVC. A MGS pode ser considerada como uma extensão da CGS, onde os coeficientes quantizados em uma fatia da CGS podem ser divididos em várias fatias da MGS. Os coeficientes quantizados na CGS são classificados para 16 categorias com base em sua posição de varredura em uma ordem de varredura em zig-zag. Estas 16 categorias de coeficientes podem ser distribuídas em diferentes fatias para prover mais pontos de extração de qualidade que a CGS.To provide finer bitrates in granularity while maintaining reasonable complexity for quality scalability, MGS is used by H.264 SVC. The MGS can be considered as an extension of the CGS, where the quantized coefficients in a slice of the CGS can be divided into several slices of the MGS. The quantized coefficients in the CGS are sorted into 16 categories based on their scan position in a zig-zag scan order. These 16 coefficient categories can be distributed into different slices to provide more quality extraction points than CGS.
No HEVC atual, é provida apenas codificação de camada única com base na estrutura de codificação hierárquica B sem qualquer escalabilidade espacial e escalabilidade de qualidade. É desejável se prover a capacidade de escalabilidade espacial e escalabilidade de qualidade para o HEVC atual. Além disto, é desejável se prover SVC melhorado no SVC H.264 de maneira a se obter eficiência mais elevada e/ou mais flexibilidade.In current HEVC, only single layer coding based on hierarchical coding structure B is provided without any spatial scalability and quality scalability. It is desirable to provide spatial scalability capability and quality scalability for current HEVC. Furthermore, it is desirable to provide improved SVC over H.264 SVC in order to obtain higher efficiency and/or more flexibility.
São descritos um método e um aparelho para codificação escalável de vídeo que explora informação de camada de base (BL) para Camada de Melhoramento (EL), onde a EL apresenta maior resolução e/ou melhor qualidade que o BL. As realizações da presente invenção exploram várias peças da informação de BL para melhorar a eficiência de codificação da EL. Em uma realização de acordo com a presente invenção, o método e aparelho utilizam informação de estrutura CU, informação de modo, ou informação de movimento da BL para derivar a respectiva informação de estrutura CU, informação de modo, ou informação do preditor de vetor de movimento (MVP) para EL. Uma combinação da estrutura de CU, do modo, e da informação de movimento podem ser utilizados também para derivar a respectiva informação para a EL. Em uma outra realização de acordo com a presente invenção, o método e aparelho derivam os candidatos a Preditor de Vetor de Movimento (“Motion Vector Predictor - MVP) candidates ou combinam candidatos da EL com base nos candidatos a MVP ou combinam candidatos do BL. Em ainda uma outra realização da presente invenção, o método e aparelho derivam o modo de predição intra da EL com base no modo de predição intra da BL,A method and apparatus for scalable video encoding are described that exploit information from Base Layer (BL) to Enhancement Layer (EL), where EL has higher resolution and/or better quality than BL. Embodiments of the present invention exploit various pieces of BL information to improve EL encoding efficiency. In an embodiment according to the present invention, the method and apparatus use CU structure information, mode information, or BL motion information to derive the respective CU structure information, mode information, or vector predictor information from the BL. move (MVP) to EL. A combination of the CU structure, the mode, and the motion information can also be used to derive the respective information for the EL. In another embodiment in accordance with the present invention, the method and apparatus derive Motion Vector Predictor (MVP) candidates or match EL candidates based on the MVP candidates or match BL candidates. In yet another embodiment of the present invention, the method and apparatus derive the EL intra prediction mode based on the BL intra prediction mode,
Uma realização da presente invenção utiliza a informação da Estrutura Quadtree Residual da BL para derivar a Estrutura Quadtree Residual para a EL. Uma outra realização da presente invenção deriva a textura da EL por re-amostragem da textura da BL. Uma realização adicional da presente invenção deriva o preditor do residual da EL por re-amostragem do residual da BL.One embodiment of the present invention uses the information from the Residual Quadtree Structure of the BL to derive the Residual Quadtree Structure for the EL. Another embodiment of the present invention derives the EL texture by resampling the BL texture. A further embodiment of the present invention derives the EL residual predictor by resampling the BL residual.
Um aspecto da presente invenção é direcionado para a eficiência de codificação da codificação de entropia adaptativa com base no contexto para a EL. Uma realização da presente invenção determina a informação do contexto para o processamento do elemento de sintaxe da EL utilizando a informação da BL. Um outro aspecto da presente invenção é direcionado para a eficiência de codificação relacionada ao processamento “in-loop". Uma realização da presente invenção deriva a informação de ALF, a informação de SAO. ou a informação de DF para a EL utilizando a informação de ALF. a informação de SAO, ou a informação de DF da BL respectivamente.One aspect of the present invention is directed to the encoding efficiency of context-based adaptive entropy encoding for EL. One embodiment of the present invention determines context information for processing the EL syntax element using the BL information. Another aspect of the present invention is directed to coding efficiency related to in-loop processing. One embodiment of the present invention derives the ALF information, the SAO information, or the DF information to the EL using the information from ALF, the SAO information, or the DF information of the BL respectively.
Fig. 1 - ilustra um exemplo de codificação escalável temporal de vídeo utilizando quadros B hierárquicos.Fig. 1 - illustrates an example of time-scalable video encoding using hierarchical B-frames.
Fig. 2 - ilustra um exemplo de um sistema de codificação escalável de vídeo combinado que provê escalabilidade espacial, bem como as escalabilidade de qualidade onde são providas três camadas espaciais.Fig. 2 - illustrates an example of a combined scalable video encoding system that provides spatial scalability as well as quality scalability where three spatial layers are provided.
Fig. 3 - ilustra um exemplo de reutilização de estrutura CU para codificação escalável de vídeo onde uma estrutura CU para a camada de base é escalada e utilizada como uma estrutura CU inicial para a camada de melhoramento.Fig. 3 - illustrates an example of CU structure reuse for scalable video encoding where a CU structure for the base layer is scaled and used as an initial CU structure for the enhancement layer.
Fig. 4 - ilustra um fluxograma típico da codificação de estrutura CU ou codificação de informação de movimento para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 4 illustrates a typical flowchart of CU frame encoding or motion information encoding for scalable video encoding in accordance with an embodiment of the present invention.
Fig. 5 - ilustra um fluxograma típico de derivação MVP ou combinação de derivação de candidato para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 5 illustrates a typical MVP tap or candidate tap combination flowchart for scalable video encoding in accordance with an embodiment of the present invention.
Fig. 6 - ilustra um fluxograma típico de derivação de modo predição intra para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 6 illustrates a typical intra-prediction mode derivation flowchart for scalable video encoding in accordance with an embodiment of the present invention.
Fig. 7 - ilustra um fluxograma típico da codificação de Estrutura Quadtree Residual para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 7 illustrates a typical flowchart of Residual Quadtree Structure encoding for scalable video encoding in accordance with an embodiment of the present invention.
Fig. 8 - ilustra um fluxograma típico de predição de textura e re-amostragem para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 8 illustrates a typical texture prediction and resampling flowchart for scalable video encoding in accordance with an embodiment of the present invention.
Fig. 9 - ilustra um fluxograma típico de predição residual e re-amostragem para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 9 illustrates a typical residual prediction and resampling flowchart for scalable video encoding in accordance with an embodiment of the present invention.
Fig. 10 - ilustra um fluxograma típico de codificação de entropia adaptativa de contexto para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 10 illustrates a typical context-adaptive entropy encoding flowchart for scalable video encoding in accordance with an embodiment of the present invention.
Fig. 11 - ilustra um fluxograma típico de codificação de informação de ALF, codificação de informação de SAO e codificação de informação de DF para codificação escalável de vídeo de acordo com uma realização da presente invenção.Fig. 11 - illustrates a typical flowchart of encoding ALF information, encoding SAO information, and encoding DF information for scalable video encoding in accordance with an embodiment of the present invention.
Em HEVC, a estrutura da unidade de codificação (CU) foi introduzida como uma nova estrutura de bloco para o processo de codificação. Um quadro é dividido em CUs maiores (LCUs) e cada LCU é particionada de forma adaptativa em CUs até uma CU em folha ser obtida ou um tamanho mínimo de CU seja alcançado. A informação da estrutura de CU deve ser transportada para o lado do decodificador de tal forma que a mesma estrutura de CU possa ser recuperada no lado do decodificador. De maneira a aumentar a eficiência de codificação associada com a estrutura de CU para um HEVC escalável. uma realização de acordo com a presente invenção permite que a estrutura de CU da BL reutilizada pela EL. Na EL LCU ou nível de CU, um sinalizador é transmitida para indicar se a estrutura de CU é reutilizada da CU correspondente da BL. Sc a estrutura de CU da BL for reutilizada, a estrutura de CU da BL é escalada para combinar com as resoluções da EL e da estrutura de CU da BL escalada é reutilizada pela EL. Em algumas realizações, a informação da estrutura de CU que pode ser reutilizada pela EL inclui o sinalizador de corte da CU e o sinalizador de corte da quadtree residual. Além disto, a CU em folha das estruturas de CU escaladas pode ser adicionalmente cortada em sub-CUs. A Fig. 3 ilustra um exemplo de reutilização da partição de CU. A partição 310 corresponde à estrutura de CU da BL. A resolução de vídeo da EL é duas vezes a resolução de vídeo da BL horizontalmente e verticalmente. A estrutura de CU da partição de CU 315 correspondente da BL é escalada em até 2. A estrutura de CU escalada 320 é então utilizada como a estrutura de CU inicial para a EL LCU. As CUs em folha da CU escalada na EL podem ser adicionalmente cortadas em sub-CUs e o resultado é indicado pela referência numérica 330 na Fig. 3. Um sinalizador pode ser utilizado para indicar se a CU em folha é adicionalmente dividida em sub-CUs. Embora a Fig. 3 ilustra um exemplo de estrutura de CU que é reutilizada, outra informação pode ser também reutilizada. Por exemplo, o tipo de predição, tamanho de predição, índice de mistura, direção de inter referência. índice de quadro de referência, vetores de movimento, índice de MVP. e modo intra. A informação/dados podem ser escalados quando necessário antes da informação/dados serem reutilizados na EL.In HEVC, the encoding unit (CU) structure was introduced as a new block structure for the encoding process. A frame is divided into larger CUs (LCUs) and each LCU is adaptively partitioned into CUs until a leaf CU is obtained or a minimum CU size is reached. The CU frame information must be transported to the decoder side in such a way that the same CU frame can be retrieved on the decoder side. In order to increase the coding efficiency associated with the CU framework for a scalable HEVC. an embodiment according to the present invention allows the CU structure of BL to be reused by EL. At the EL LCU or CU level, a flag is passed to indicate whether the CU structure is reused from the corresponding CU of the BL. If the BL CU structure is reused, the BL CU structure is scaled to match the EL resolutions and the scaled BL CU structure is reused by the EL. In some embodiments, the CU structure information that can be reused by the EL includes the CU clipping flag and the residual quadtree clipping flag. Furthermore, the sheet CU of scaled CU structures can be additionally cut into sub-CUs. Fig. 3 illustrates an example of CU partition reuse.
Em uma outra realização de acordo com a presente invenção, a informação de modo para uma CU em folha é reutilizada. A informação de modo pode incluir um sinalizador de salto (“skip"), tipo de predição, tamanho de predição, direção de inter referência. índice de quadro de referência, vetores de movimento, índice de vetor de movimento, sinalizador de mistura, índice de mistura, modo de salto, modo de mistura, e modo intra. A informação de modo da CU em folha na EL pode compartilhar a mesma informação de modo ou de modo escalável da CU correspondente na BL. Um sinalizador pode ser utilizado para indicar se a EL irá reutilizar a informação de modo da BL ou não. Para uma ou mais peças da informação de modo, um sinalizador pode ser utilizado para indicar se a EL irá reutilizar esta informação de modo da BL ou não. Em ainda uma outra realização de acordo com presente invenção, a informação de movimento da correspondente Unidade de Predição (PU) ou Unidade de Codificação (CU) na BL é reutilizada para derivar a informação de movimento de uma PU ou CU na EL. A informação de movimento pode incluir direção de inter predição, índice do quadro de referência, vetores de movimento (MVs). Preditores de Vetor de Movimento (MVPs), índice de MVP, índice de mistura, candidatos de mistura, e modo intra. A informação de movimento para a BL pode ser utilizada como preditores ou candidatos para a informação do preditor de vetor de movimento (MVP) na EL. Por exemplo, os BL MVs e BL MVPs podem ser adicionados na lista de MVP e/ou lista de mistura para a derivação do EL MVP. Os MVs mencionados acima de BL podem ser os MVs da PU correspondente na BL, os MVs das PUs adjacentes das correspondentes PUs na BL, os MVs dos candidatos de mistura das correspondentes PUs na BL. o MVP das correspondentes PUs na BL, OU OS MVs co-localizados das correspondentes PUs na BL.In another embodiment according to the present invention, the mode information for a sheet CU is reused. The mode information may include a skip flag, prediction type, prediction size, interreference direction, reference frame index, motion vectors, motion vector index, blending flag, index mode, hop mode, blend mode, and intra mode. The mode information of the leaf CU in the EL can share the same mode or scalable mode information as the corresponding CU in the BL. A flag can be used to indicate whether the EL will reuse the mode information from the BL or not. For one or more pieces of the mode information, a flag can be used to indicate whether the EL will reuse this mode information from the BL or not. In yet another embodiment of According to the present invention, motion information from the corresponding Prediction Unit (PU) or Encoding Unit (CU) in the BL is reused to derive motion information from a PU or CU in the EL. The motion information may include direction of i nter prediction, frame of reference index, motion vectors (MVs). Motion Vector Predictors (MVPs), MVP index, mix index, mix candidates, and intra mode. Motion information for BL can be used as predictors or candidates for motion vector predictor (MVP) information in EL. For example, BL MVs and BL MVPs can be added to the MVP list and/or hash list for the EL MVP derivation. The above-mentioned VMs of BL can be the VMs of the corresponding PU in the BL, the VMs of the adjacent PUs of the corresponding PUs in the BL, the MVs of the mixing candidates of the corresponding PUs in the BL. the MVP of the corresponding PUs in the BL, OR THE co-located MVs of the corresponding PUs in the BL.
Em um outro exemplo, a derivação do candidato de mistura para a EL pode utilizar a informação de movimento da BL. Por exemplo, os candidatos de mistura de uma PU correspondente na BL podem ser adicionados na lista de candidatos de mistura e/ou lista de MVP. A informação de movimento mencionada acima da BL pode ser a informação de movimento da PU correspondente na BL, a informação de movimento associada com uma PU adjacente da PU correspondente na BL, candidatos de mistura das PUs correspondentes na BL. MVP das correspondentes PUs na BL, ou a PU co- localizada da PU correspondente na BL. Neste caso, a informação de movimento inclui a direção de inter predição, índice do quadro de referência, e vetores de movimento.In another example, the derivation of the mixture candidate for the EL can use the movement information of the BL. For example, the mix candidates of a corresponding PU in the BL can be added to the mix candidate list and/or MVP list. The above-mentioned motion information of the BL can be the motion information of the corresponding PU in the BL, the motion information associated with an adjacent PU of the corresponding PU in the BL, mixing candidates of the corresponding PUs in the BL. MVP of the corresponding PUs in the BL, or the co-located PU of the corresponding PU in the BL. In this case, the motion information includes the interprediction direction, frame of reference index, and motion vectors.
Em ainda um outro exemplo, o modo intra de uma PU ou CU correspondente na BL pode ser reutilizado para a EL. Por exemplo, o modo intra de uma PU ou CU correspondente na BL pode ser adicionado na lista de modo intra mais provável. Uma realização de acordo com a presente invenção utiliza a informação de movimento da BL para predizer o modo intra para a EL. A ordem para a lista de modo mais provável na EL pode ser alterada de forma adaptativa de acordo com a informação de modo de predição intra na BL. Da mesma forma, os comprimentos das palavras-chaves para as palavras-chaves na lista de modo mais provável na EL podem ser alterados de forma adaptativa de acordo com a informação de modo de predição intra na BL. Por exemplo, as palavras-chaves dos modos intra restantes com as direções de predição próximos à direção de predição do modo intra de BL codificado são atribuídos com um menor comprimento. Como um outro exemplo, os modos de direção adjacentes do modo intra de BL podem ser também adicionados na lista de Modo Mais Provável (MPM) da codificação do modo intra de EL. A informação de modo de predição intra da BL pode ser o modo de predição intra da PU correspondente na BL, ou os modos de direção adjacentes do modo intra de BL, ou o modo de predição intra de uma PU adjacente da PU correspondente na BL.In yet another example, the intra mode of a corresponding PU or CU in the BL can be reused for the EL. For example, the intra mode of a corresponding PU or CU in the BL can be added to the most likely intra mode list. An embodiment according to the present invention uses BL motion information to predict intra mode for EL. The order for the most likely mode list in the EL can be adaptively changed according to the intra prediction mode information in the BL. Likewise, the keyword lengths for the keywords in the most likely list in the EL can be adaptively changed according to the intra prediction mode information in the BL. For example, the remaining intra mode keywords with prediction directions close to the encoded BL intra mode prediction direction are assigned a shorter length. As another example, adjacent BL intra mode direction modes can also be added to the Most Probable Mode (MPM) list of EL intra mode encoding. The BL intra prediction mode information may be the intra prediction mode of the corresponding PU on the BL, or the adjacent direction modes of the BL intra mode, or the intra prediction mode of an adjacent PU of the corresponding PU on the BL.
O índice de MVP selecionado, índice de mistura, e índice de modo intra de informação de movimento da BL podem ser utilizados para alterar de forma adaptativa a ordem dos índices na lista de MVP de EL, a lista de índice de mistura, e a lista de modo intra mais provável. Por exemplo, no Modelo de Teste de HEVC Versão 3.0 (HM-3.0), a ordem da lista de MVP é {MVP esquerdo, MVP acima, MVP co-localizado}. Se a PU correspondente de BL seleciona o MVP acima, a ordem do MVP acima será movida para frente na EL. Da mesma forma, a lista de MVP na EL se tornará {MVP acima, MVP esquerdo, MVP co-localizado}. Além disto, o MV codificado de BL, MV codificado escalado, candidatos de MVP, candidatos de MVP escalado, candidatos de mistura, e candidatos de mistura escalados podem ser substituídos em parte pelos candidatos de MVP de EL e/ou candidatos de mistura. O processo de derivação da informação de movimento para uma PU ou CU na EL com base na informação de movimento para uma PU ou CU correspondente na BL é é evocado quando um candidato de MVP ou um candidato de mistura para uma PU ou CU na EL é necessário para a codificação ou decodificação.The selected MVP index, mixing index, and BL motion information intra mode index can be used to adaptively change the order of indices in the EL MVP list, the mixing index list, and the more likely intra. For example, in the HEVC Test Model Version 3.0 (HM-3.0), the order of the MVP list is {MVP left, MVP up, MVP co-located}. If the corresponding PU of BL selects the MVP above, the order of the MVP above will be moved forward in the EL. Likewise, the MVP list in the EL will become {MVP up, MVP left, MVP co-located}. In addition, the BL coded MV, scaled coded MV, MVP candidates, scaled MVP candidates, hash candidates, and scaled blend candidates can be replaced in part by the EL MVP candidates and/or hash candidates. The process of deriving motion information for a PU or CU in the EL based on the motion information for a corresponding PU or CU in the BL is invoked when an MVP candidate or a blending candidate for a PU or CU in the EL is invoked. needed for encoding or decoding.
Como mencionado anteriormente, a informação da estrutura de CU para a BL pode ser utilizada para determinar a informação da estrutura de CU para a EL. Além disto, a informação da estrutura de CU, a informação de modo e a informação de movimento para a BL podem ser utilizadas em conjunto para determinar a informação da estrutura de CU. a informação de modo e a informação de movimento para a EL. A informação de modo ou a informação de movimento para a BL podem ser também utilizadas para determinar a informação de modo ou a informação de movimento para a EL. O processo de derivação da informação da estrutura de CU, da informação de modo, da informação de movimento ou qualquer combinação para a EL com base na informação correspondente para a BL pode ser evocado quando a informação da estrutura de CU, a informação de modo, a informação de movimento ou qualquer combinação para a EL necessitam ser codificadas ou decodificadas. No HM-3.0. a predição residual é adicionalmente processada utilizando-se partição de quadtree e um tipo de codificação selecionada para cada bloco de resultados da partição de quadtree residual. Tanto a informação de partição de quadtree residual quanto a informação do padrão de bloco de codificação (CBP) devem ser incorporados no fluxo de bits, de tal forma que o decodificador pode recuperar a informação de quadtree residual. Uma realização de acordo com a presente invenção reutiliza a partição de quadtree residual e o CBP de uma CU correspondente na BL para a EL. A partição de quadtree residual e o CBP podem ser escalados e utilizados como o preditor para a partição de quadtree residual de EL e codificação do CBP. Em HEVC. a unidade para a transformação de bloco é chamada de Unidade de Transformação (TU) e a TU pode ser particionada em TUs menores. Em uma realização da presente invenção, um sinalizador para uma raiz no nível TU ou um nível TU da EL é transmitido para indicar se a estrutura da Codificação de Quadtree Residual (RQT) de uma TU correspondente na BL é utilizada para predizer a estrutura da RQT da TU atual na EL. Se a estrutura da RQT de uma TU correspondente na BL for utilizada para predizer a estrutura da RQT da TU atual na EL. a estrutura da RQT da TU correspondente na BL é escalada e utilizada como a estrutura da RQT inicial da TU atual na EL. Na TU em folha da estrutura da RQ T inicial para a EL, um sinalizador de corte pode ser transmitido para indicar se a TU é dividida em sub-TUs. O processo de derivação da estrutura de RQT da EL baseado na informação da estrutura da RQT da BL é realizado quando um codificador necessita codificar a estrutura da RQT da EL ou um decodificador necessita codificar a estrutura da RQT da EL.As mentioned earlier, the CU structure information for the BL can be used to determine the CU structure information for the EL. In addition, the CU structure information, the mode information and the motion information for the BL can be used together to determine the CU structure information. the mode information and the motion information for the EL. The mode information or the motion information for the BL can also be used to determine the mode information or the motion information for the EL. The process of deriving the CU structure information, the mode information, the motion information or any combination for the EL based on the corresponding information for the BL can be invoked when the CU structure information, the mode information, the motion information or any combination for the EL needs to be encoded or decoded. On HM-3.0. the residual prediction is further processed using quadtree partition and a selected encoding type for each result block of the residual quadtree partition. Both the residual quadtree partition information and the coding block pattern (CBP) information must be incorporated into the bit stream such that the decoder can recover the residual quadtree information. An embodiment according to the present invention reuses the residual quadtree partition and CBP from a corresponding CU in the BL to the EL. The residual quadtree partition and CBP can be scaled and used as the predictor for the residual quadtree partition of EL and CBP encoding. In HEVC. the unit for the block transformation is called the Transformation Unit (TU) and the TU can be partitioned into smaller TUs. In one embodiment of the present invention, a flag for a root at the TU level or a TU level of the EL is transmitted to indicate whether the Residual Quadtree Encoding (RQT) structure of a corresponding TU in the BL is used to predict the structure of the RQT of the current TU in EL. If the RQT structure of a corresponding TU in the BL is used to predict the RQT structure of the current TU in the EL. the RQT structure of the corresponding TU in the BL is scaled and used as the initial RQT structure of the current TU in the EL. In the leaf TU of the initial RQ T structure for the EL, a clipping flag can be transmitted to indicate whether the TU is divided into sub-TUs. The process of deriving the EL RQT structure based on the BL RQT structure information is performed when an encoder needs to encode the EL RQT structure or a decoder needs to encode the EL RQT structure.
Na extensão escalável do H.264/AVC, são adotados os filtros 4-tap e 2-tap FIR para a operação de interpolação do sinal de textura para os componentes de luminância e de crominância, respectivamente. Uma realização de acordo com a presente invenção realiza uma re-amostragem da textura de BL como o preditor da textura de EL, onde a re-amostragem utiliza métodos de interpolação melhorados para substituir os filtros 4- tap e 2-tap FIR na extensão escalável de H.264/AVC. O filtro de acordo com a presente invenção utiliza um dos seguintes filtros ou uma combinação dis seguintes filtros: Discrete Cosine Transform Interpolation Filter (DCTIF), Discrete Sine Transform Interpolation Filter (DSTIF), filtro de Wiener, filtro médio não local, filtro de suavização, e filtro bilateral. O filtro de acordo com a presente invenção pode cruzar as fronteiras da TU ou pode ser restrito dentro das fronteiras da TU. Uma realização de acordo com a presente invenção pode saltar os procedimentos de acolchoamento e desbloqueio na predição intra inter-camada de maneira a aliviar os problemas de computação e de dependência de dados. O Deslocamento Adaptativo de Amostra (“Sample Adaptive Offset’’ - SAO), Filtro Adaptativo de Laço (“Adaptive Loop Filter” - ALF), filtro médio não local, e/ou filtro de suavização na BL podem ser também saltados. O salto do acolchoamento, desbloqueio, SAO, ALF, filtro médio não local, e filtro de suavização pode ser aplicado a todo LCU, CU em folha, PU, TU, região pré- defmida. fronteira de LCU, fronteira de CU em folha, fronteira de PU, fronteira de TU, ou fronteira de uma região pré-definida. Em uma outra realização, ta textura da BL é processada utilizando-se um filtro para produzir textura de BL filtrada, e a textura de BL apresenta a mesma resolução que a textura de EL e é utilizada como um preditor da textura da EL. O filtro de Wiener. ALF (Filtro Adaptativo de Laço), filtro médio não local, filtro de suavização, ou SAO (Deslocamento Adaptativo de Amostra) podem ser aplicados à textura da BL antes da BL ser utilizada como o preditor da textura da EL.In the scalable extension of H.264/AVC, 4-tap and 2-tap FIR filters are adopted for the texture signal interpolation operation for the luminance and chrominance components, respectively. An embodiment according to the present invention performs a resampling of the BL texture as the EL texture predictor, where the resampling uses improved interpolation methods to replace the 4-tap and 2-tap FIR filters to the scalable extent. of H.264/AVC. The filter according to the present invention uses one of the following filters or a combination of the following filters: Discrete Cosine Transform Interpolation Filter (DCTIF), Discrete Sine Transform Interpolation Filter (DSTIF), Wiener filter, non-local average filter, smoothing filter , and two-sided filter. The filter according to the present invention may cross TU boundaries or may be restricted within TU boundaries. An embodiment according to the present invention can skip the padding and unlocking procedures in intra-inter-layer prediction in order to alleviate computation and data dependency problems. Sample Adaptive Offset (SAO), Adaptive Loop Filter (ALF), non-local averaging filter, and/or smoothing filter on BL can also be skipped. Padding skip, unlock, SAO, ALF, non-local average filter, and smoothing filter can be applied to whole LCU, sheet CU, PU, TU, preset region. LCU boundary, leaf CU boundary, PU boundary, TU boundary, or boundary of a predefined region. In another embodiment, the BL texture is processed using a filter to produce filtered BL texture, and the BL texture has the same resolution as the EL texture and is used as a predictor of the EL texture. The Wiener filter. ALF (Adaptive Loop Filter), nonlocal average filter, smoothing filter, or SAO (Sample Adaptive Shift) can be applied to the BL texture before the BL is used as the EL texture predictor.
De maneira a aumentar a qualidade de, uma realização da presente invenção aplica o filtro de Wiener ou o filtro adaptativo à textura da BL antes da textura da BL ser re-amostrada. Alternativamente, o filtro de Wiener ou o filtro adaptativo podem ser aplicados à textura da BL depois da textura da BL ser re-amostrada. Além disto, uma realização da presente invenção aplica o SAO ou ALF à textura da BL antes da textura da BL ser re-amostrada.In order to increase the quality of, an embodiment of the present invention applies the Wiener filter or the adaptive filter to the BL texture before the BL texture is resampled. Alternatively, the Wiener filter or the adaptive filter can be applied to the BL texture after the BL texture is resampled. Furthermore, an embodiment of the present invention applies the SAO or ALF to the BL texture before the BL texture is resampled.
Uma outra realização de acordo com a presente invenção utiliza filtro de Wiener e/ou deslocamento adaptativo baseado em LCU ou baseado em CU para predição intra inter-camada, A filtragem pode ser aplicada aos dados da textura de BL ou aos dados da textura de BL interpolados.Another embodiment according to the present invention uses Wiener filter and/or LCU-based or CU-based adaptive shift for intra-inter-layer prediction. Filtering can be applied to BL texture data or BL texture data. interpolated.
Em H.264 SVC, o filtro 2-tap F1R é adotado para a operação de interpolação do sinal residual tanto para o componente de luminância quanto para o de crominância. Uma realização de acordo com a presente invenção utiliza métodos de interpolação aperfeiçoados para substituir o filtro 2-tap FIR do H.264 SVC. O filtro pode ser um dos seguintes filtros ou uma combinação dos seguintes filtros: Discrete Cosine Transform Interpolation Filter (DCTIF), Discrete Sine Transform Interpolation Filter (DSTIF), filtro de Wiener, filtro médio não local, filtro de suavização, e filtro bilateral. Quando a EL apresenta uma resolução espacial maior que a da BL, os filtros acima podem ser aplicados para a re-amostragem do residual da BL. Todos os filtros acima podem ser restritos a cruzar ou não cruzar as fronteiras da TU. Além disto, a predição residual pode ser realizada ou no domínio espacial ou no domínio de frequência se a BL e a EL apresentarem a mesma resolução ou a EL apresentar uma resolução mais alta que a BL. Quando a EL apresenta uma resolução espacial mais alta que a BL, o residual da BL pode ser re-amostrado no domínio de frequência para formar preditores para o residual da EL. O processo de derivação do preditor do residual da EL por re-amostragem the residual da BL pode ser realizado quando o codificador ou o decodifícador necessitam derivar o preditor do residual da EL com base no residual re-amostrado na BL.In H.264 SVC, 2-tap F1R filter is adopted for residual signal interpolation operation for both luminance and chrominance components. One embodiment of the present invention uses improved interpolation methods to replace the 2-tap FIR filter of the H.264 SVC. The filter can be one of the following filters or a combination of the following filters: Discrete Cosine Transform Interpolation Filter (DCTIF), Discrete Sine Transform Interpolation Filter (DSTIF), Wiener Filter, Nonlocal Average Filter, Smoothing Filter, and Bilateral Filter. When the EL has a higher spatial resolution than the BL, the above filters can be applied to resampling the BL residual. All filters above can be restricted to cross or not cross TU boundaries. Furthermore, the residual prediction can be performed either in the spatial domain or in the frequency domain if BL and EL have the same resolution or EL has a higher resolution than BL. When EL has a higher spatial resolution than BL, the BL residual can be re-sampled in the frequency domain to form predictors for the EL residual. The process of deriving the EL residual predictor by resampling the BL residual can be performed when the encoder or decoder needs to derive the EL residual predictor based on the resampled residual in BL.
Uma realização de acordo com a presente invenção pode utilizar a informação de BL para codificar a entropia adaptativa baseada em contexto na EL. Por exemplo, a formação do contexto ou binarização da (Codificação Aritmética Binária Adaptativa Baseada em Contexto - “Context-based Adaptive Binary Arithmetic Coding”) CABAC pode explorar a informação da BL. A EL pode utilizar diferentes modelos de contexto, diferentes métodos de formação de contexto, ou diferentes conjuntos de contexto baseados na correspondente informação na BL. Por exemplo, a PU de EL pode utilizar diferentes modelos de contexto dependendo de se a PU correspondente na BL é 5 codificada no modo de salto ou não. Em uma outra realização da presente invenção, a probabilidade ou símbolo mais provável (MPS) de parte dos modelos de contexto para CABAC na BL pode ser reutilizada para derivar a probabilidade inicial e MPS de parte dos modelos de contexto para CABAC na EL. O elemento de sintaxe pode ser sinalizador de corte, sinalizador de salto, sinalizador de mistura, índice de mistura, modo 10 intra de crominâmcia. modo intra de luminâmcia, tamanho de partição, modo de predição, direção de inter predição, diferença de vetor de movimento, índice de preditor de vetor de movimento, índice de referência, parâmetro de quantização delta, sinalizador significativa, última posição significativa, coeficiente-maior-que-um, coeficiente- magnitude-menos-um, sinalizador de controle de ALF (Filtro Adaptativo de Laço), 15 sinalizador de ALF, tamanho de pegada (“footprint”) de ALF. sinalizador de mistura de ALF. decisão LIGA/DESL1GA de ALF, coeficiente de ALF, sinalizador de deslocamento adaptativo de amostra (SAO), tipo SAO, deslocamento de SAO, sinalizador de mistura de SAO, corrida de SAO, decisão liga/desliga de SAO, sinalizadores de subdivisão de transformação, quadtree residual CBF (Bnadeira de Bloco 20 Codificado - “Coded Block Flag”), ou raiz de quadtree residual CBF. Uma palavra- chave correspondendo aos elementos de sintaxe pode ser alterada de forma adaptativa de acordo com a informação da BL e da ordem da palavra-chave correspondendo aos elementos de sintaxe da EL em uma tabela de procura palavra-chave podem ser também alterados de forma adaptativa de acordo com a informação da BL. O processo de 25 determinação da informação de contexto para o processamento do elemento de sintaxe da EL utilizando a informação da BL é realizado quando o elemento de sintaxe da EL necessita ser codificado ou decodificado.An embodiment according to the present invention can use BL information to encode context-based adaptive entropy in the EL. For example, CABAC context-based Adaptive Binary Arithmetic Coding can exploit the BL information. EL may use different context models, different context formation methods, or different context sets based on the corresponding information in the BL. For example, the PU of EL can use different context models depending on whether the corresponding PU in the BL is coded in hop mode or not. In another embodiment of the present invention, the probability or most likely symbol (MPS) from part of the context models for CABAC in the BL can be reused to derive the initial probability and MPS from part of the context models for CABAC in the EL. Syntax element can be clipping flag, skipping flag, blending flag, blending index, intra chrominance 10 mode. intra luminance mode, partition size, prediction mode, inter prediction direction, motion vector difference, motion vector predictor index, reference index, delta quantization parameter, significant flag, last significant position, coefficient- greater-than-one, coefficient-magnitude-minus-one, ALF (Adaptive Loop Filter) control flag, 15 ALF flag, ALF footprint. ALF hash flag. ALF ON/OFF decision, ALF coefficient, sample adaptive shift (SAO) flag, SAO type, SAO shift, SAO mix flag, SAO run, SAO on/off decision, transform subdivision flags , CBF residual quadtree (Coded Block Flag 20), or CBF residual quadtree root. A keyword corresponding to the syntax elements can be adaptively changed according to BL information and the keyword order corresponding to the EL syntax elements in a keyword lookup table can also be changed adaptively. adaptive according to BL information. The process of determining context information for processing the EL syntax element using the BL information is performed when the EL syntax element needs to be encoded or decoded.
Uma realização da presente invenção utiliza alguma informação de ALF na BL para derivar to a informação de ALF na EL. A informação de ALF pode incluir o modo 30 de adaptação de filtro, coeficiente de filtro, pegada de filtro, partição de região, decisão LIGA/DESLIGA, sinalizador de habilitação, e resultados de mistura. Por exemplo, a EL pode utilizar parte dos parâmetros de ALF na BL como os parâmetros de ALF ou preditores de parâmetros de ALF na EL. Quando a informação de ALF é reutilizada diretamente a partir da informação de ALF da BL, não há necessidade de transmissão dos parâmetros de ALF associados para a EL. um sinalizador pode ser utilizado para indicar se a informação de ALF para a EL é predita a partir da informação de ALF da BL. Se o sinalizador indicar que a informação de ALF para a EL é predita a partir da informação de ALF da BL, a informação de ALF da BL pode ser escalada e utilizada como o preditor para a informação de ALF da EL. Um valor pode ser utilizado para indicar a diferença entre o preditor da informação de ALF e a informação de ALF da EL. O processo de derivação da informação de ALF para a EL utilizando a informação de ALF da BL é realizado quando um codificador ou um decodificador necessitam derivar a informação de ALF da EL.One embodiment of the present invention uses some ALF information in the BL to derive all the ALF information in the EL. ALF information can include filter adaptation mode, filter coefficient, filter footprint, region partition, ON/OFF decision, enable flag, and hash results. For example, the EL can use part of the ALF parameters in the BL as the ALF parameters or predictors of the ALF parameters in the EL. When the ALF information is reused directly from the BL's ALF information, there is no need to transmit the associated ALF parameters to the EL. a flag can be used to indicate whether the ALF information for the EL is predicted from the ALF information for the BL. If the flag indicates that the ALF information for the EL is predicted from the ALF information for the BL, the ALF information for the BL can be scaled and used as the predictor for the ALF information for the EL. A value can be used to indicate the difference between the predictor of the ALF information and the ALF information of the EL. The process of deriving the ALF information from the EL using the ALF information from the BL is performed when an encoder or decoder needs to derive the ALF information from the EL.
Uma realização da presente invenção utiliza alguma informação de SAO na BL para derivar a informação de SAO na EL. A informação de SAO pode incluir o tipo deslocamento, deslocamentos, partição de região, decisão LIGA/DESLIGA, sinalizador de habilitação, e resultados de mistura. Por exemplo, a EL pode utilizar parte dos parâmetros de SAO na BL como os parâmetros de SAO para a EL. Quando a informação de SAO é reutilizada a partir da informação de SAO da BL diretamente, não há necessidade de transmissão dos parâmetros de SAO associados para a EL. um sinalizador pode ser utilizado para indicar se a informação de SAO para a EL é predita a partir da informação de SAO da BL. Se o sinalizador indicar que a informação de SAO para a EL é predita a partir da informação de SAO da BL, a informação de SAO da BL pode ser escalada e utilizada como preditor para a informação de SAO da EL. Um valor pode ser utilizado para indicar a diferença entre o preditor da informação de SAO e da informação de SAO da EL. O processo de derivação da informação de SAO para a EL utilizando a informação de SAO da BL é realizado quando um codificador ou um decodificador necessitam derivar a informação de SAO da EL.One embodiment of the present invention uses some SAO information in the BL to derive the SAO information in the EL. SAO information can include offset type, offsets, region partition, ON/OFF decision, enable flag, and hash results. For example, the EL can use part of the SAO parameters in the BL as the SAO parameters for the EL. When the SAO information is reused from the BL's SAO information directly, there is no need to transmit the associated SAO parameters to the EL. a flag can be used to indicate whether the SAO information for the EL is predicted from the SAO information for the BL. If the flag indicates that the SAO information for the EL is predicted from the SAO information for the BL, the SAO information for the BL can be scaled and used as a predictor for the SAO information for the EL. A value can be used to indicate the difference between the predictor of the SAO information and the SAO information of the EL. The process of deriving the SAO information from the EL using the SAO information from the BL is performed when an encoder or decoder needs to derive the SAO information from the EL.
Uma realização da presente invenção utiliza alguma informação de Filtro de Desbloqueio (DF) na BL para derivar a informação de DF na EL. A informação de DF pode incluir valores limites, tais como os limites α, β, e tc que são utilizados para se determinar a força do filtro (“Boundary Strength” - BS). A informação de DF pode incluir também parâmetros de filtro, decisão de filtro LIGA/DESL1GA, seleção de filtro Forte/Fraco, ou força de filtro. Quando a informação de DF é reutilizada a partir da informação de DF da BL diretamente, não há necessidade de transmissão dos parâmetros de DF associados para a EL. Um sinalizador pode ser utilizado para indicar se a informação de DF para a EL é predita a partir da informação de DF da BL. Se o sinalizador indicar que a informação de DF para a EL é predita a partir da informação de DF da BL, a informação de DF da BL pode ser escalada e utilizada como o preditor para a informação de DF da EL. Um valor pode ser utilizado para indicar a diferença entre o preditor da informação de DF e da informação de DF da EL. O processo de derivação da informação de DF para a EL utilizando a informação de DF da BL é realizado quando um codificador ou um decodificador necessitam derivar a informação de DF da EL.One embodiment of the present invention uses some Unblocking Filter (DF) information in the BL to derive the DF information in the EL. The DF information can include threshold values, such as the α, β, and tc limits that are used to determine the filter's strength (“Boundary Strength” - BS). The DF information can also include filter parameters, ON/OFF filter decision, Strong/Weak filter selection, or filter strength. When the DF information is reused from the DF information of the BL directly, there is no need to transmit the associated DF parameters to the EL. A flag can be used to indicate whether the DF information for the EL is predicted from the DF information for the BL. If the flag indicates that the DF information for the EL is predicted from the DF information for the BL, the DF information for the BL can be scaled and used as the predictor for the DF information for the EL. A value can be used to indicate the difference between the predictor of the DF information and the DF information of the EL. The process of deriving information from DF to EL using DF information from BL is performed when an encoder or decoder needs to derive DF information from EL.
As Figs. 4 a 11 ilustram fluxogramas típicos para a codificação escalável de vídeo de acordo com várias realizações da presente invenção. A Fig. 4 ilustra um fluxograma típico da codificação da estrutura de CU ou da codificação da informação de movimento para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta uma resolução espacial mais alta ou melhor qualidade de vídeo que a BL. A estrutura de CU (Syr da Unidade de Codificação), informação de movimento, ou uma combinação da estrutura de CU e da informação de movimento para uma CU (Unidade de Codificação) na BL é determinada na etapa 410. A estrutura de CU, informação do preditor de vetor de movimento (MVP), ou uma combinação da estrutura de CU e da informação de MVP para uma CU correspondente na EL com base na estrutura de CU, a informação de movimento, ou a combinação da estrutura de CU e da informação de movimento para a CU na BL são respectivamente determinadas na etapa 420. A Fig. 5 ilustra um fluxograma típico da derivação de MVP ou derivação de candidato de mistura para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta resolução espacial mais alta ou melhor qualidade de vídeo que a BL. A informação de movimento para a BL é determinada na etapa 510. Os candidatos a Preditor de Vetor de Movimento (MVP) ou candidatos de mistura na EL com base na informação de movimento da BL são derivados na etapa 520. A Fig. 6 ilustra um fluxograma típico da derivação do modo de predição intra para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta resolução espacial mais alta ou melhor qualidade de vídeo que a BL. A informação do modo de predição intra da BL é determinada na etapa 610. O modo de predição intra da EL baseado na informação do modo de predição intra da BL é derivado na etapa 620.Figs. 4 to 11 illustrate typical flowcharts for scalable video encoding in accordance with various embodiments of the present invention. Fig. 4 illustrates a typical flowchart of CU frame encoding or motion information encoding for scalable video encoding in accordance with an embodiment of the present invention, where video data is configured into a Base Layer (BL) and a Enhancement Layer (EL) and where EL has a higher spatial resolution or better video quality than BL. The CU structure (Syr of Encoding Unit), movement information, or a combination of the CU structure and the movement information for a CU (Coding Unit) in the BL is determined in
A Fig. 7 ilustra um fluxograma típico da codificação da Estrutura Quadtree Residual para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de video são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta resolução espacial mais alta ou melhor qualidade de vídeo que a BL. A informação da estrutura de RQT (estrutura de Codificação Quadtree Residual) da BL é determinada na etapa 710. A estrutura de RQT da EL baseada na informação da estrutura de RQT da BL é derivada na etapa 720. A Fig. 8 ilustra um fluxograma típico da predição de textura e re- amostragem para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta uma resolução espacial mais alta que a BL ou melhor qualidade de vídeo que a BL, A informação da textura da BL é determinada na etapa 810. Um preditor da textura da EL com base na informação da textura da BL é derivado na etapa 820. A Fig. 9 ilustra um fluxograma típico da predição residual e re-amostragem para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta uma resolução espacial mais alta que a BL ou melhor qualidade de vídeo que a BL. A informação residual da BL é determinada na etapa 910. Um preditor do residual da EL pela re-amostragem do residual da BL é derivado na etapa 920.Fig. 7 illustrates a typical Residual Quadtree Structure encoding flowchart for scalable video encoding in accordance with an embodiment of the present invention, where video data is configured into a Base Layer (BL) and an Enhancement Layer (EL) and where EL has higher spatial resolution or better video quality than BL. The RQT structure information (Residual Quadtree Encoding structure) of the BL is determined in
A Fig. 10 ilustra um fluxograma típico da codificação de entropia adaptativa de contexto para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta resolução espacial mais alta ou melhor qualidade de vídeo que a BL. A informação da BL é determinada na etapa 1010. A informação de contexto para o processamento de um elemento de sintaxe da EL utilizando a informação da BL é determinada na etapa 1020. A Fig. 11 ilustra um fluxograma típico da codificação da informação de ALF, codificação da informação de SAO e codificação da informação de DF para a codificação escalável de vídeo de acordo com uma realização da presente invenção, onde os dados de vídeo são configurados em uma Camada de Base (BL) e uma Camada de Melhoramento (EL) e onde a EL apresenta resolução espacial mais alta ou melhor qualidade de vídeo que a BL. A informação de ALF, informação de SAO ou informação de DF da BL são determinadas na etapa 1110. A informação de ALF, informação de SAO, ou informação de DF para a EL utilizando a informação de ALF, informação de SAO, ou informação de DF da BL são, respectivamente, derivadas na etapa 1120.Fig. 10 illustrates a typical flowchart of context-adaptive entropy encoding for scalable video encoding in accordance with an embodiment of the present invention, where video data is configured into a Base Layer (BL) and an Enhancement Layer (EL) and where EL has higher spatial resolution or better video quality than BL. BL information is determined in
As realizações da codificação escalável de vídeo, onde o melhoramento da codificação de camada explora a informação da camada de base, de acordo com a presente invenção, tal como descrita acima, podem ser implementadas em vários equipamentos, códigos de software, ou uma combinação de ambos. Por exemplo, uma realização da presente invenção pode ser um circuito integrado em um chip de compressão de vídeo ou códigos de programa integrados em software de compressão de vídeo para realizar o processamento descrito acima. Uma realização da presente invenção pode ser também códigos de programa a serem executados em um Processador de Sinal Digital (“Digital Signal Processor’ - DSP) para realizar o processamento descrito aqui. A invenção pode envolver também um número de funções a ser realizado por um processador de computador, um processador de sinal digital, um microprocessador, ou matriz de porta programável em campo (“field programmable gate array” - FPGA). Estes processadores podem ser configurados para realizar tarefas particulares de acordo com a invenção, executando um código de software legível em máquina ou código de firmware que definem os métodos particulares englobados pela invenção. O código de software ou códigos de firmware podem ser desenvolvidos em diferentes linguagens de programação e diferentes formatos ou estilos. O código de 5 software pode ser também compilado para diferentes plataformas alvo. Entretanto, diferentes formatos de código, estilos e linguagens dos códigos de software e outros meios de código de configuração para realizar as tarefas de acordo com a invenção não se afastam do espírito e escopo da invenção.Scalable video coding embodiments, where the layer coding enhancement exploits base layer information, according to the present invention as described above, can be implemented in various hardware, software code, or a combination of both. For example, an embodiment of the present invention may be an integrated circuit on a video compression chip or program codes integrated into video compression software to perform the processing described above. An embodiment of the present invention may also be program codes to be executed in a Digital Signal Processor ("Digital Signal Processor' - DSP) to perform the processing described herein. The invention may also involve a number of functions to be performed by a computer processor, a digital signal processor, a microprocessor, or field programmable gate array (FPGA). These processors may be configured to perform particular tasks in accordance with the invention by executing machine readable software code or firmware code that define the particular methods encompassed by the invention. Software code or firmware codes can be developed in different programming languages and different formats or styles. 5 Software code can also be compiled for different target platforms. However, different code formats, styles and languages of software codes and other means of configuring code to perform the tasks according to the invention do not depart from the spirit and scope of the invention.
A invenção pode ser incorporada de outras formas específicas sem se afastarem 10 de seu espírito ou características essenciais. Os exemplos descritos devem ser considerados em todos os aspectos apenas como ilustrativos e não restritivos. O escopo da invenção é, por esta razão, indicado pelas reivindicações anexas em vez de pela descrição acima. Todas as alterações que venham a recair no significado e faixa de equivalência das reivindicações devem ser consideradas englobadas em seu escopo.The invention may be incorporated in other specific ways without departing from its spirit or essential characteristics. The examples described are to be considered in all respects only as illustrative and not restrictive. The scope of the invention is therefore indicated by the appended claims rather than the description above. All changes that may fall within the meaning and range of equivalence of the claims must be considered within their scope.
Claims (8)
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161495740P | 2011-06-10 | 2011-06-10 | |
US61/495,740 | 2011-06-10 | ||
US201161567774P | 2011-12-07 | 2011-12-07 | |
US61/567,774 | 2011-12-07 | ||
PCT/CN2012/076316 WO2012167711A1 (en) | 2011-06-10 | 2012-05-31 | Method and apparatus of scalable video coding |
Publications (3)
Publication Number | Publication Date |
---|---|
BR112013031215A2 BR112013031215A2 (en) | 2017-06-20 |
BR112013031215B1 true BR112013031215B1 (en) | 2022-06-28 |
BR112013031215B8 BR112013031215B8 (en) | 2022-07-19 |
Family
ID=47295475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR112013031215A BR112013031215B8 (en) | 2011-06-10 | 2012-05-31 | SCALABLE VIDEO CODING METHOD AND DEVICE |
Country Status (5)
Country | Link |
---|---|
US (1) | US9860528B2 (en) |
EP (1) | EP2719181A4 (en) |
CN (2) | CN103621081B (en) |
BR (1) | BR112013031215B8 (en) |
WO (1) | WO2012167711A1 (en) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE47366E1 (en) | 2011-06-23 | 2019-04-23 | Sun Patent Trust | Image decoding method and apparatus based on a signal type of the control parameter of the current block |
EP4228264B1 (en) | 2011-06-23 | 2024-07-31 | Sun Patent Trust | Image decoding device, image encoding device |
KR102067683B1 (en) | 2011-06-24 | 2020-01-17 | 선 페이턴트 트러스트 | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
CN106878722B (en) * | 2011-06-24 | 2019-11-12 | 太阳专利托管公司 | Coding/decoding method, decoding apparatus, coding method, code device |
RU2608244C2 (en) | 2011-06-27 | 2017-01-17 | Сан Пэтент Траст | Image encoding method, image decoding method, image encoding device, image decoding device and apparatus for encoding and decoding images |
MX2014000046A (en) | 2011-06-28 | 2014-02-17 | Samsung Electronics Co Ltd | Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor. |
CN103563377B (en) | 2011-06-28 | 2017-05-10 | 太阳专利托管公司 | Decoding method and decoding device |
MX2013010892A (en) | 2011-06-29 | 2013-12-06 | Panasonic Corp | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device. |
AU2012277219A1 (en) | 2011-06-30 | 2013-09-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
CN103931173B (en) * | 2011-06-30 | 2016-12-21 | 维德约股份有限公司 | Motion prediction in scalable video |
MY167090A (en) | 2011-06-30 | 2018-08-10 | Sun Patent Trust | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
RU2604680C2 (en) | 2011-07-11 | 2016-12-10 | Сан Пэтент Траст | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding and decoding device |
JP5810700B2 (en) * | 2011-07-19 | 2015-11-11 | ソニー株式会社 | Image processing apparatus and image processing method |
JP5950541B2 (en) * | 2011-11-07 | 2016-07-13 | キヤノン株式会社 | Motion vector encoding device, motion vector encoding method and program, motion vector decoding device, motion vector decoding method and program |
JP2013126157A (en) * | 2011-12-15 | 2013-06-24 | Sony Corp | Image processing apparatus and image processing method |
KR20130085088A (en) * | 2012-01-19 | 2013-07-29 | 한국전자통신연구원 | Method for fast mode decision in scalable video coding and apparatus thereof |
GB2499865B (en) * | 2012-03-02 | 2016-07-06 | Canon Kk | Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream |
US20150043639A1 (en) * | 2012-03-20 | 2015-02-12 | Samsung Electronics Co., Ltd. | Method and device for coding scalable video on basis of coding unit of tree structure, and method and device for decoding scalable video on basis of coding unit of tree structure |
US10003810B2 (en) | 2012-03-22 | 2018-06-19 | Mediatek Inc. | Method and apparatus of scalable video coding |
US9420285B2 (en) * | 2012-04-12 | 2016-08-16 | Qualcomm Incorporated | Inter-layer mode derivation for prediction in scalable video coding |
US9179145B2 (en) * | 2012-07-02 | 2015-11-03 | Vidyo, Inc. | Cross layer spatial intra prediction |
US9479778B2 (en) | 2012-08-13 | 2016-10-25 | Qualcomm Incorporated | Device and method for coding video information using base layer motion vector candidate |
US10194158B2 (en) | 2012-09-04 | 2019-01-29 | Qualcomm Incorporated | Transform basis adjustment in scalable video coding |
US10277908B2 (en) * | 2012-09-25 | 2019-04-30 | Intel Corporation | Inter-layer sample adaptive filter parameters re-use for scalable video coding |
US9491459B2 (en) * | 2012-09-27 | 2016-11-08 | Qualcomm Incorporated | Base layer merge and AMVP modes for video coding |
GB2506592B (en) * | 2012-09-28 | 2017-06-14 | Canon Kk | Method, device, and computer program for motion vector prediction in scalable video encoder and decoder |
EP2903281A4 (en) * | 2012-09-28 | 2016-04-27 | Sony Corp | Encoding device, encoding method, decoding device, and decoding method |
TWI521946B (en) | 2012-12-21 | 2016-02-11 | 杜比實驗室特許公司 | High precision up-sampling in scalable coding of high bit-depth video |
US9912942B2 (en) * | 2012-12-28 | 2018-03-06 | Qualcomm Incorporated | High-frequency-pass sample adaptive offset in video coding |
US9596465B2 (en) | 2013-01-04 | 2017-03-14 | Intel Corporation | Refining filter for inter layer prediction of scalable video coding |
US9900609B2 (en) | 2013-01-04 | 2018-02-20 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
CN116347068A (en) | 2013-01-04 | 2023-06-27 | Ge视频压缩有限责任公司 | Efficient scalable coding concept |
US9826244B2 (en) | 2013-01-08 | 2017-11-21 | Qualcomm Incorporated | Device and method for scalable coding of video information based on high efficiency video coding |
US20140198846A1 (en) * | 2013-01-16 | 2014-07-17 | Qualcomm Incorporated | Device and method for scalable coding of video information |
JP6625165B2 (en) | 2013-02-14 | 2019-12-25 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP6362333B2 (en) * | 2013-02-14 | 2018-07-25 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
CN117956140A (en) | 2013-04-08 | 2024-04-30 | Ge视频压缩有限责任公司 | Multi-view decoder |
US9686561B2 (en) * | 2013-06-17 | 2017-06-20 | Qualcomm Incorporated | Inter-component filtering |
WO2015012622A1 (en) * | 2013-07-24 | 2015-01-29 | 삼성전자 주식회사 | Method for determining motion vector and apparatus therefor |
US9237359B2 (en) | 2013-09-25 | 2016-01-12 | Qualcomm Incorporated | Filtering video data in video coding |
US9813736B2 (en) * | 2013-09-27 | 2017-11-07 | Qualcomm Incorporated | Inter-view dependency type in MV-HEVC |
JP6569677B2 (en) * | 2014-08-28 | 2019-09-04 | 日本電気株式会社 | Block size determination method and program |
US10057574B2 (en) * | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
US10681371B2 (en) * | 2015-06-07 | 2020-06-09 | Lg Electronics Inc. | Method and device for performing deblocking filtering |
CN105872538B (en) * | 2016-04-18 | 2020-12-29 | 广东中星微电子有限公司 | Time domain filtering method and time domain filtering device |
US10965955B2 (en) * | 2016-12-22 | 2021-03-30 | Mediatek Inc. | Method and apparatus of motion refinement for video coding |
US20190045198A1 (en) * | 2017-12-28 | 2019-02-07 | Intel Corporation | Region adaptive data-efficient generation of partitioning and mode decisions for video encoding |
US11039173B2 (en) * | 2019-04-22 | 2021-06-15 | Arlo Technologies, Inc. | Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method |
KR102550503B1 (en) * | 2019-06-25 | 2023-06-30 | 닛폰 호소 교카이 | Encoding device, decoding device, and program |
US12033305B2 (en) * | 2019-12-17 | 2024-07-09 | Stmicroelectronics (Grenoble 2) Sas | Filtering device, associated system and method |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6980596B2 (en) | 2001-11-27 | 2005-12-27 | General Instrument Corporation | Macroblock level adaptive frame/field coding for digital video content |
KR20050075578A (en) * | 2004-01-16 | 2005-07-21 | 삼성전자주식회사 | Scalable video encoding method supporting closed-loop optimization and apparatus thereof |
CN102695054B (en) | 2004-07-20 | 2015-01-28 | 高通股份有限公司 | Method and apparatus for motion vector prediction in temporal video compression |
DE102004059993B4 (en) * | 2004-10-15 | 2006-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a coded video sequence using interlayer motion data prediction, and computer program and computer readable medium |
KR100888962B1 (en) | 2004-12-06 | 2009-03-17 | 엘지전자 주식회사 | Method for encoding and decoding video signal |
US7995656B2 (en) * | 2005-03-10 | 2011-08-09 | Qualcomm Incorporated | Scalable video coding with two layer encoding and single layer decoding |
KR100896279B1 (en) | 2005-04-15 | 2009-05-07 | 엘지전자 주식회사 | Method for scalably encoding and decoding video signal |
KR100772873B1 (en) | 2006-01-12 | 2007-11-02 | 삼성전자주식회사 | Video encoding method, video decoding method, video encoder, and video decoder, which use smoothing prediction |
EP2118852B1 (en) | 2007-03-07 | 2011-11-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for synthesizing texture in a video sequence |
US8503527B2 (en) | 2008-10-03 | 2013-08-06 | Qualcomm Incorporated | Video coding with large macroblocks |
CN101888553B (en) | 2010-06-30 | 2012-01-11 | 香港应用科技研究院有限公司 | Scalable video coding method and device |
US20130222539A1 (en) * | 2010-10-08 | 2013-08-29 | Dolby Laboratories Licensing Corporation | Scalable frame compatible multiview encoding and decoding methods |
US9247249B2 (en) * | 2011-04-20 | 2016-01-26 | Qualcomm Incorporated | Motion vector prediction in video coding |
-
2012
- 2012-05-31 CN CN201280024337.5A patent/CN103621081B/en active Active
- 2012-05-31 CN CN201611120450.XA patent/CN106851319B/en active Active
- 2012-05-31 EP EP12796116.7A patent/EP2719181A4/en not_active Withdrawn
- 2012-05-31 WO PCT/CN2012/076316 patent/WO2012167711A1/en active Application Filing
- 2012-05-31 BR BR112013031215A patent/BR112013031215B8/en active IP Right Grant
- 2012-05-31 US US14/005,555 patent/US9860528B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2012167711A1 (en) | 2012-12-13 |
EP2719181A1 (en) | 2014-04-16 |
EP2719181A4 (en) | 2015-04-15 |
RU2013154579A (en) | 2015-07-20 |
BR112013031215A2 (en) | 2017-06-20 |
CN103621081A (en) | 2014-03-05 |
BR112013031215B8 (en) | 2022-07-19 |
US9860528B2 (en) | 2018-01-02 |
CN103621081B (en) | 2016-12-21 |
US20140003495A1 (en) | 2014-01-02 |
CN106851319B (en) | 2020-06-19 |
CN106851319A (en) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BR112013031215B1 (en) | SCALABLE VIDEO CODING METHOD AND DEVICE | |
AU2015230740B2 (en) | Method and apparatus of scalable video coding | |
US9357211B2 (en) | Device and method for scalable and multiview/3D coding of video information | |
EP2829066B1 (en) | Method and apparatus of scalable video coding | |
US10511839B2 (en) | Image encoding/decoding method and device for same | |
CN108540804B (en) | Method, apparatus, and computer-readable medium for encoding/decoding image | |
Helle et al. | A scalable video coding extension of HEVC | |
US20180316919A1 (en) | Video decoding method and apparatus using the same | |
KR102271878B1 (en) | Video encoding and decoding method and apparatus using the same | |
CN116783892B (en) | Video encoding and decoding method, device and storage medium | |
RU2575411C2 (en) | Method and apparatus for scalable video coding | |
JP2023529198A (en) | Picture Header Constraints for Multilayer Video Coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B25A | Requested transfer of rights approved |
Owner name: HFI INNOVATION, INC. (CN) |
|
B15K | Others concerning applications: alteration of classification |
Ipc: H04N 7/00 (2011.01) |
|
B06F | Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette] | ||
B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
B25K | Entry of change of name and/or headquarter and transfer of application, patent and certificate of addition of invention: republication |
Owner name: HFI INNOVATION INC. (CN) Free format text: RETIFICACAO DO DESPACHO (25.1) ? TRANSFERENCIA DE TITULAR PUBLICADO NA RPI NO 2428, DE 18/07/2017, QUANTO AO ITEM (71) - DEPOSITANTE.ONDE SE LE: HFI INNOVATION, INC.LEIA-SE: HFI INNOVATION INC. |
|
B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 31/05/2012, OBSERVADAS AS CONDICOES LEGAIS. PATENTE CONCEDIDA CONFORME ADI 5.529/DF, QUE DETERMINA A ALTERACAO DO PRAZO DE CONCESSAO. |
|
B16C | Correction of notification of the grant [chapter 16.3 patent gazette] |
Free format text: REFERENTE A RPI 2686 DE 28/06/2022, QUANTO AO ITEM (73) ENDERECO DO TITULAR. |