KR102259794B1 - 영상 부호화/복호화 방법 및 장치 - Google Patents

영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR102259794B1
KR102259794B1 KR1020217003703A KR20217003703A KR102259794B1 KR 102259794 B1 KR102259794 B1 KR 102259794B1 KR 1020217003703 A KR1020217003703 A KR 1020217003703A KR 20217003703 A KR20217003703 A KR 20217003703A KR 102259794 B1 KR102259794 B1 KR 102259794B1
Authority
KR
South Korea
Prior art keywords
picture
nal unit
unit type
leading
leading picture
Prior art date
Application number
KR1020217003703A
Other languages
English (en)
Other versions
KR20210018535A (ko
Inventor
헨드리헨드리
전용준
김철근
정상오
전병문
김정선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020217016212A priority Critical patent/KR102349338B1/ko
Publication of KR20210018535A publication Critical patent/KR20210018535A/ko
Application granted granted Critical
Publication of KR102259794B1 publication Critical patent/KR102259794B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

영상 부호화/복호화 방법 및 장치가 개시된다. 상기 영상 복호화 방법은 NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하는 단계 및 상기 NAL 유닛 타입에 대한 정보를 기반으로 상기 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 상기 NAL 유닛을 디코딩하는 단계를 포함한다. 상기 NAL 유닛 타입에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지를 지시하는 정보이다.

Description

영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING/DECODING IMAGES}
본 발명은 비디오 압축 기술에 관한 것으로, 더 구체적으로는 비트스트림 내 영상 정보를 디코딩하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다. 또한, 이러한 스케일러빌러티에 수반되는 다양한 영상 처리 방법이 논의되어야 한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 비트스트림 추출 방법 및 장치를 제공한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 NAL 유닛 타입을 제공한다.
본 발명의 일 양태에 따르면, 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하는 단계 및 상기 NAL 유닛 타입에 대한 정보를 기반으로 상기 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 상기 NAL 유닛을 디코딩하는 단계를 포함하며, 상기 NAL 유닛 타입에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지를 지시하는 정보이다.
본 발명의 다른 양태에 따르면, 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는 NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하고, 상기 NAL 유닛 타입에 대한 정보를 기반으로 상기 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 상기 NAL 유닛을 엔트로피 디코딩하는 엔트로피 디코딩부를 포함하며, 상기 NAL 유닛 타입에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지를 지시하는 정보이다.
본 발명의 또 다른 양태에 따르면, 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 현재 픽처를 기반으로 인터 예측을 수행하여 상기 현재 픽처에 대한 레지듀얼 신호를 생성하는 단계 및 상기 현재 픽처에 대한 레지듀얼 신호를 기반으로 생성된 NAL 유닛 및 상기NAL 유닛에 대한 정보를 포함하는 비트스트림을 전송하는 단계를 포함하며, 상기 NAL 유닛에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지에 따라 결정된 NAL 유닛 타입에 대한 정보를 포함한다.
본 발명의 또 다른 양태에 따르면, 영상 부호화 장치가 제공된다. 상기 영상 부호화 장치는 현재 픽처를 기반으로 인터 예측을 수행하여 상기 현재 픽처에 대한 레지듀얼 신호를 생성하는 예측부 및 상기 현재 픽처에 대한 레지듀얼 신호를 기반으로 생성된 NAL 유닛 및 상기NAL 유닛에 대한 정보를 엔트로피 인코딩하여 비트스트림을 출력하는 엔트로피 인코딩부를 포함하며, 상기 NAL 유닛에 대한 정보는 상기 NAL 유닛이 참조되는 리딩 픽처인지 상기 NAL 유닛이 참조되지 않는 리딩 픽처인지에 따라 결정된 NAL 유닛 타입에 대한 정보를 포함한다.
NAL 유닛이 다른 픽처에 의해 참조되는 참조 픽처인지, 다른 픽처에 의해 참조되지 않는 비참조 픽처인지 여부를 제공하는 NAL 유닛 타입을 정의함으로써, 비트스트림으로부터 효율적으로 NAL 유닛을 추출할 수 있다. 또한, NAL 유닛이 비참조 픽처인지 여부를 정확하게 유도함으로써 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 해당 NAL 유닛을 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
도 4는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
도 5는 본 발명이 적용될 수 있는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
도 6은 랜덤 억세스가 가능한 픽처를 설명하기 위한 도면이다.
도 7은 IDR 픽처를 설명하기 위한 도면이다.
도 8은 CRA 픽처를 설명하기 위한 도면이다.
도 9는 시간 스케일러빌러티를 지원하는 비트스트림 내 리딩 픽처를 포함한 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 리딩 픽처를 포함한 NAL 유닛들이 비트스트림으로부터 제거되는 것을 설명하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 정보의 디코딩 방법을 개략적으로 나타내는 순서도이다.
도 12는 본 발명의 일 실시예에 따른 디코딩 장치를 개략적으로 도시한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 비디오 인코딩/디코딩 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 비디오 인코딩/디코딩 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 인코딩 장치의 기초가 될 수 있는 비디오 인코딩 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 인코딩/디코딩 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 비디오 인코딩/디코딩 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 디코딩 장치의 기초가 될 수 있는 비디오 디코딩 장치의 일 실시예를 나타낸다
도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 VLC 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
디코딩 장치(200)에 포함되어 있는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 및 메모리(240) 중 영상의 디코딩에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 등을 다른 구성요소와 구분하여 디코더 또는 디코딩부로 표현할 수 있다.
또한, 디코딩 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 디코딩부(210)를 포함할 수도 있고, 엔트로피 디코딩부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 3은 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
코딩된 영상은 영상의 디코딩 처리 및 그 자체를 다루는 VCL(video coding layer, 비디오 코딩 계층), 부호화된 정보를 전송하고 저장하는 하위 시스템, 그리고 VCL과 하위 시스템 사이에 존재하며 네트워크 적응 기능을 담당하는 NAL(network abstraction layer, 네트워크 추상 계층)로 구분되어 있다.
VCL에서는 압축된 영상 데이터(슬라이스 데이터)를 포함하는 VCL 데이터를 생성하거나, 혹은 픽처 파라미터 세트(Picture Parameter Set: PPS), 시퀀스 파라미터 세트(Sequence Parameter Set: SPS), 비디오 파라미터 세트(Video Parameter Set: VPS) 등의 정보를 포함하는 파라미터 세트 또는 영상의 디코딩 과정에 부가적으로 필요한 SEI(Supplemental Enhancement Information) 메시지를 생성할 수 있다.
NAL에서는 VCL에서 생성된 RBSP(Raw Byte Sequence Payload)에 헤더 정보(NAL 유닛 헤더)를 부가하여 NAL 유닛을 생성할 수 있다. 이때, RBSP는 VCL에서 생성된 슬라이스 데이터, 파라미터 세트, SEI 메시지 등을 말한다. NAL 유닛 헤더에는 해당 NAL 유닛에 포함되는 RBSP 데이터에 따라 특정되는 NAL 유닛 타입 정보를 포함할 수 있다.
도 3에 도시된 바와 같이, NAL 유닛은 VCL에서 생성된 RBSP의 따라 VCL NAL 유닛과 Non-VCL NAL 유닛으로 구분될 수 있다. VCL NAL 유닛은 영상에 대한 정보(슬라이스 데이터)를 포함하고 있는 NAL 유닛을 의미하고, Non-VCL NAL 유닛은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메시지)를 포함하고 있는 NAL 유닛을 의미한다.
상술한 VCL NAL 유닛, Non-VCL NAL 유닛은 하위 시스템의 데이터 규격에 따라 헤더 정보를 붙여서 네트워크를 통해 전송될 수 있다. 예컨대, NAL 유닛은 H.264/AVC 파일 포맷, RTP(Real-time Transport Protocol), TS(Transport Stream) 등과 같은 소정 규격의 데이터 형태로 변형되어 다양한 네트워크를 통해 전송될 수 있다.
상술한 바와 같이, NAL 유닛은 해당 NAL 유닛에 포함되는 RBSP 데이터 구조(structure)에 따라 NAL 유닛 타입이 특정될 수 있으며, 이러한 NAL 유닛 타입에 대한 정보는 NAL 유닛 헤더에 저장되어 시그널링될 수 있다.
예를 들어, NAL 유닛이 영상에 대한 정보(슬라이스 데이터)를 포함하는지 여부에 따라 크게 VCL NAL 유닛 타입과 Non-VCL NAL 유닛 타입으로 분류될 수 있다. VCL NAL 유닛 타입은 VCL NAL 유닛이 포함하는 픽처의 성질 및 종류 등에 따라 분류될 수 있으며, Non-VCL NAL 유닛 타입은 파라미터 세트의 종류 등에 따라 분류될 수 있다.
아래는 VCL NAL 유닛이 포함하는 픽처의 성질 및 종류에 따라서 특정된 NAL 유닛 타입의 일예이다.
- TSA(Temporal Sub-layer Access) : TSA 픽처의 코딩된 슬라이스 세그먼트(coded slice segment)를 포함하는 NAL 유닛에 대한 타입. 여기서, TSA 픽처는 시간 스케일러빌러티(temporal scalability)를 지원하는 비트스트림에서 시간 서브 레이어(temporal sub-layer) 간의 스위칭이 가능한 픽처로서, 하위 서브 레이어에서 상위 서브 레이어로 업 스위칭이 가능한 위치를 지시하는 픽처이다.
- STSA(Step-wise Temporal Sub-layer Access) : STSA 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, STSA 픽처는 시간 스케일러빌러티를 지원하는 비트스트림에서 시간 서브 레이어 간의 스위칭이 가능한 픽처로서, 하위 서브 레이어에서, 하위 서브 레이어보다 한 단계 높은 상위 서브 레이어로 업 스위칭이 가능한 위치를 지시하는 픽처이다.
- TRAIL : 비-TSA(non-TSA), 비-STSA(non-STSA) 트레일링 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, 트레일링 픽처는 출력 순서(output order) 및 디코딩 순서(decoding order)에서 랜덤 억세스(random access) 가능한 픽처에 후행하는 픽처를 말한다.
- IDR(Instantaneous Decoding Refresh) : IDR 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, IDR 픽처는 랜덤 억세스가 가능한 픽처로서, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 나타날 수도 있다. 또한 IDR 픽처는 I 슬라이스만 포함한다. 각 IDR 픽처는 디코딩 순서에서 CVS(coded video sequence)의 첫 번째 픽처이다. 만일 IDR 픽처가 후술할 디코딩 가능한 리딩 픽처와 연관성을 가지면 IDR 픽처의 NAL 유닛 타입은 IDR_W_RADL로 나타낼 수도 있고, IDR 픽처가 리딩 픽처와 연관성이 없으면 IDR 픽처의 NAL 유닛 타입은 IDR_N_LP로 나타낼 수도 있다. IDR 픽처는 후술할 디코딩 불가능한 리딩 픽처와는 연관성을 가지지 않는다.
- CRA(Clean Random Access) : CRA 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, CRA 픽처는 랜덤 억세스가 가능한 픽처로서, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 나타날 수도 있다. 또한 CRA 픽처는 I 슬라이스만 포함한다. CRA 픽처는 디코딩 가능한 리딩 픽처 또는 디코딩을 스킵(skip)할 수 있는 리딩 픽처와 연관성을 가질 수 있으며, 디코딩을 스킵할 수 있는 리딩 픽처에 대해서 출력을 하지 않을 수도 있다. 디코딩을 스킵할 수 있는 리딩 픽처는 비트스트림 내 존재하지 않는 픽처를 참조 픽처로 사용할 수도 있으므로, 디코더에 의해 디코딩을 스킵할 수 있는 리딩 픽처는 출력되지 않을 수 있다.
- BLA(Broken Link Access) : BLA 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. 여기서, BLA 픽처는 랜덤 억세스가 가능한 픽처로서, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 나타날 수도 있다. 또한 BLA 픽처는 I 슬라이스만 포함한다. 각 BLA 픽처는 새로운 CVS(coded video sequence)가 시작되며, IDR 픽처와 동일한 디코딩 과정이 수행될 수 있다. BLA 픽처가 디코딩을 스킵할 수 있는 리딩 픽처와 연관성을 가지면 BLA 픽처의 NAL 유닛 타입은 BLA_W_LP로 나타낼 수도 있고, BLA 픽처가 디코딩 가능한 리딩 픽처와 연관성을 가지면 BLA 픽처의 NAL 유닛 타입은 BLA_W_LP로 나타낼 수도 있다. BLA 픽처가 디코딩을 스킵할 수 있는 리딩 픽처와 연관성을 가지지 않으나 디코딩 가능한 리딩 픽처와 연관성을 가지는 경우, BLA 픽처의 NAL 유닛 타입은 BLA_W_RADL로 나타낼 수 있다. BLA 픽처가 리딩 픽처와 연관성을 가지지 않으면 BLA 픽처의 NAL 유닛 타입은 BLA_N_LP로 나타낼 수도 있다.
아래는 Non-VCL NAL 유닛 타입이 포함하는 파라미터 세트의 종류 등에 따라 특정된 NAL 유닛 타입의 일예이다.
- VPS(Video Parameter Set) : VPS를 포함하는 NAL 유닛에 대한 타입
- SPS(Sequence Parameter Set) : SPS를 포함하는 NAL 유닛에 대한 타입
- PPS(Picture Parameter Set) : PPS를 포함하는 NAL 유닛에 대한 타입
상술한 NAL 유닛 타입들은 NAL 유닛 타입을 위한 신택스 정보를 가지며, 상기 신택스 정보는 NAL 유닛 헤더에 저장되어 시그널링될 수 있다. 예컨대, 상기 신택스 정보는 nal_unit_type일 수 있으며, NAL 유닛 타입들은 nal_unit_type 값으로 특정될 수 있다.
한편, 시간 스케일러빌러티를 지원하는 비트스트림(혹은 시간 스케일러블 비트스트림, temporal scalable bitstream)은 시간적으로 스케일되는 시간 레이어(Temporal layer)에 대한 정보를 포함한다. 시간 레이어에 대한 정보는 NAL 유닛의 시간 스케일러빌러티에 따라 특정된 시간 레이어의 식별 정보일 수 있다. 예컨대, 시간 레이어의 식별 정보는 temporal_id 신택스 정보를 이용할 수 있으며, 상기 temporal_id 신택스 정보는 인코딩 장치에서 NAL 유닛 헤더에 저장되어 디코딩 장치로 시그널링 될 수 있다. 이하, 본 명세서에서 시간 레이어는 서브 레이어(Sub-layer) 혹은 시간 서브 레이어(Temporal Sub-layer) 혹은 시간 스케일러블 레이어(Temporal Scalable layer) 등으로 지칭될 수도 있다.
도 4는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다. 일예로, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 4에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다.
도 4에 도시된 바와 같이, temporal_id 값이 0인 시간 레이어의 NAL 유닛들은 temporal_id 값이 0, 1 또는 2인 시간 레이어의 NAL 유닛들이 참조할 수 있는 참조 픽처들이다. temporal_id 값이 1인 시간 레이어의 NAL 유닛들은 temporal_id 값이 1 또는 2인 시간 레이어의 NAL 유닛들이 참조할 수 있는 참조 픽처들이다. temporal_id 값이 2인 시간 레이어의 NAL 유닛들은 동일한 시간 레이어, 즉 temporal_id 값이 2인 시간 레이어의 NAL 유닛들이 참조할 수 있는 참조 픽처들일 수 있으며, 혹은 다른 픽처에 의해 참조되지 않는 비참조 픽처들일 수도 있다.
만일, 도 4에 도시된 것처럼 temporal_id 값이 2인 시간 레이어, 즉 최상위 시간 레이어의 NAL 유닛들이 비참조 픽처일 경우, 이러한 NAL 유닛들은 디코딩 과정에서 다른 픽처들에 영향을 주지 않고 비트스트림으로부터 추출(extraction, 혹은 제거)될 수 있다.
본 발명에서는 비트스트림 추출 과정을 돕기 위해서, NAL 유닛이 참조 픽처인지 비참조 픽처인지를 지시하는 정보를 제공할 수 있다. 이러한 정보는 NAL 유닛 레벨에서 제공될 수 있다.
본 발명의 실시예에 따른 NAL 유닛 타입은 NAL 유닛이 다른 픽처에 의해 참조되는 참조 픽처인지 다른 픽처에 의해 참조되지 않는 비참조 픽처인지에 따라 분류될 수 있다.
일예로, TSA 픽처가 참조 픽처이면 TSA 픽처의 NAL 유닛 타입은 TSA_R로 나타낼 수 있으며, TSA 픽처가 비참조 픽처이면 TSA 픽처의 NAL 유닛 타입은 TSA_N로 나타낼 수 있다. STSA 픽처가 참조 픽처이면 STSA 픽처의 NAL 유닛 타입은 STSA_R로 나타낼 수 있으며, STSA 픽처가 비참조 픽처이면 STSA 픽처의 NAL 유닛 타입은 STSA_N로 나타낼 수 있다. 비-TSA, 비-STSA 트레일링 픽처가 참조 픽처이면 비-TSA, 비-STSA 트레일링 픽처의 NAL 유닛 타입은 TRAIL_R로 나타낼 수 있으며, 비-TSA, 비-STSA 트레일링 픽처가 비참조 픽처이면 비-TSA, 비-STSA 트레일링 픽처의 NAL 유닛 타입은 TRAIL_N로 나타낼 수 있다.
도 5는 본 발명이 적용될 수 있는 시간 스케일러빌러티를 지원하는 비트스트림 내 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다.
일예로, temporal_id 값이 0, 1, 2인 NAL 유닛들이 비트스트림 내 포함된 경우라 가정하면, 도 5에 도시된 바와 같이 temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(500), temporal_id 값이 1인 NAL 유닛들로 구성된 시간 레이어(510), temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(520)로 계층화될 수 있다. 이때, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(500)가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(520)가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 5에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다.
도 5에 도시된 바와 같이, temporal_id 값이 2인 시간 레이어(520)에는 TRAIL_N 타입의 픽처들로 구성되어 있다. 상술한 바와 같이, TRAIL_N 타입은 트레일링 픽처가 비참조 픽처인 NAL 유닛을 지시하는 정보이다. 비참조 픽처는 인터 예측 동안 다른 픽처에 의해 참조되지 않기 때문에, 비트스트림 추출 시 다른 픽처들의 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 제거될 수 있다. 따라서, temporal_id 값이 2인 시간 레이어(520)의 TRAIL_N 타입의 픽처들은 비트스트림으로부터 제거되더라도 디코딩 시에 영향을 주지 않을 수 있다.
한편, 상술한 NAL 유닛 타입들 중 IDR, CRA, BLA 타입은 랜덤 억세스(혹은 스플라이싱, splicing)가 가능한 픽처, 즉 랜덤 억세스 포인트가 되는 RAP(Random Access Point) 혹은 IRAP(Intra Random Access Point) 픽처를 포함하는 NAL 유닛을 나타내는 정보이다. 다시 말해서, RAP 픽처는 IDR, CRA, 또는 BLA 픽처가 될 수 있으며, I 슬라이스만 포함할 수 있다. 비트스트림에서 디코딩 순서 상 첫 번째 픽처는 RAP 픽처가 된다.
만일, 비트스트림 내 RAP 픽처(IDR, CRA, 혹은 BLA 픽처)가 포함된 경우, RAP 픽처보다 출력 순서는 선행하지만 디코딩 순서는 후행하는 픽처가 존재할 수 있다. 이러한 픽처들은 리딩 픽처(Leading Picture, LP)라고 한다.
도 6은 랜덤 억세스가 가능한 픽처를 설명하기 위한 도면이다.
랜덤 억세스가 가능한 픽처, 즉 랜덤 억세스 포인트가 되는 RAP 혹은IRAP 픽처는 랜덤 억세스 시 비트스트림에서 디코딩 순서 상 첫 번째 픽처이며, I 슬라이스만을 포함한다.
도 6에는 픽처의 출력 순서(output order 또는 display order)와 디코딩 순서(decoding order)가 도시되어 있다. 도시된 바와 같이 픽처의 출력 순서와 디코딩 순서는 서로 다를 수 있다. 편의 상 픽처들은 소정의 그룹으로 구분하여 설명된다.
제1 그룹(Ⅰ)에 속하는 픽처들은 IRAP 픽처보다 출력 순서 및 디코딩 순서 모두에서 선행하는 픽처를 나타내고, 제2 그룹(Ⅱ)에 속하는 픽처들은 IRAP 픽처보다 출력 순서는 선행하지만 디코딩 순서는 후행하는 픽처를 나타낸다. 제3 그룹(Ⅲ)의 픽처들은 IRAP 픽처보다 출력 순서 및 디코딩 순서 모두에서 후행한다.
제1 그룹(Ⅰ)의 픽처들은 IRAP 픽처와 무관하게 디코딩 되어 출력될 수 있다.
IRAP 픽처에 선행하여 출력되는 제2 그룹(Ⅱ)에 속하는 픽처들을 리딩 픽처라고 하며, 리딩 픽처들은 IRAP 픽처가 랜덤 억세스 포인트로 사용될 경우 디코딩 과정에서 문제될 수 있다.
출력 및 디코딩 순서가 IRAP 픽처에 후행하는 제3 그룹(Ⅲ)에 속하는 픽처를 노말 픽처(normal picture)라고 한다. 노말 픽처는 리딩 픽처의 참조 픽처로 사용되지 않는다.
비트스트림에서 랜덤 억세스가 발생하는 랜덤 억세스 포인트는 IRAP 픽처가 되고, 제2 그룹(Ⅱ)의 첫 번째 퍽처가 출력되면서 랜덤 억세스가 시작 된다.
도 7은 IDR 픽처를 설명하기 위한 도면이다.
IDR 픽처는 픽처의 그룹(Group of Picture)이 닫힌(closed) 구조를 가질 때 랜덤 억세스 포인트가 되는 픽처이다. IDR 픽처는 상술한 바와 같이 IRAP 픽처이므로 I 슬라이스만을 포함하며, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 올 수도 있다. IDR 픽처가 디코딩되면 DPB(decoded picture buffer)에 저장되어 있는 모든 참조 픽처들은“unused for reference”로 표시된다.
도 7에 도시되어 있는 막대는 픽처를 나타내고 화살표는 픽처가 다른 픽처를 참조 픽처로 이용할 수 있는지 여부에 대한 참조 관계를 나타낸다. 화살표 상에 표시되어 있는 x 마크는 해당 픽처(들)가 화살표가 가리키는 픽처를 참조할 수 없음을 나타낸다.
도시된 바와 같이, POC가 32인 픽처는 IDR 픽처이다. POC가 25 내지 31이며 IDR 픽처에 선행하여 출력되는 픽처들은 리딩 픽처들(710)이다. POC가 33 이상인 픽처들은 노말 픽처(720)에 해당한다.
출력 순서 상 IDR 픽처에 선행하는 리딩 픽처들(710)은 IDR 픽처와 다른 리딩 픽처를 참조 픽처로 이용할 수 있지만, 출력 순서 및 디코딩 순서 상 리딩 픽처들(710)에 선행하는 과거 픽처(730)를 참조 픽처로 이용할 수 없다.
출력 순서 및 디코딩 순서 상 IDR 픽처에 후행하는 노말 픽처들(720)은 IDR 픽처, 리딩 픽처 및 다른 노말 픽처를 참조하여 디코딩 될 수 있다.
도 8은 CRA 픽처를 설명하기 위한 도면이다.
CRA 픽처는 픽처의 그룹(Group of Picture)이 열린(open) 구조를 가질 때 랜덤 억세스 포인트가 되는 픽처이다. 상술한 바와 같이, CRA 픽처 역시 IRAP 픽처이므로 I 슬라이스만을 포함하며, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 노멀 플레이를 위하여 비트스트림 중간에 올 수도 있다.
도 8에 도시되어 있는 막대는 픽처를 나타내고 화살표는 픽처가 다른 픽처를 참조 픽처로 이용할 수 있는지 여부에 대한 참조 관계를 나타낸다. 화살표 상에 표시되어 있는 x 마크는 해당 픽처 또는 픽처들이 화살표가 가리키는 픽처를 참조할 수 없음을 나타낸다.
출력 순서 상 CRA 픽처에 선행하는 리딩 픽처들(810)은 CRA 픽처, 다른 리딩 픽처, 및 출력 순서 및 디코딩 순서 상 리딩 픽처들(810)에 선행하는 과거 픽처(830) 모두를 참조 픽처로 이용할 수 있다.
반면, 출력 순서 및 디코딩 순서 상 CRA 픽처에 후행하는 노말 픽처들(820)은 CRA 픽처와 다른 노말 픽처를 참조하여 디코딩 될 수 있다. 노말 픽처들(820)은 리딩 픽처들(810)을 참조 픽처로 이용하지 않을 수도 있다.
BLA 픽처는 CRA 픽처와 유사한 기능 및 성질을 가지며, 코딩된 픽처가 스플라이싱(splicing)되거나 비트스트림이 중간에 끊어지면 랜덤 억세스 포인트로서 비트스트림 중간에 존재하는 픽처를 의미한다. 다만, 램덤 억세스가 발생했을 때, BLA 픽처는 새로운 시퀀스의 시작으로 간주되기 때문에 CRA 픽처와 달리 BLA 픽처가 디코더에 수신될 때 영상에 대한 파라미터 정보가 다시 모두 수신될 수 있다.
BLA 픽처는 인코딩 장치에서부터 정해질 수도 있고, 인코딩 장치로부터 비트스트림을 수신한 시스템에서 CRA 픽처를 BLA 픽처로 변경할 수 있다. 예를 들어 비트스트림이 스플라이싱이 되는 경우 시스템은 CRA 픽처를 BLA 픽처로 변경하여 영상을 디코딩하는 디코더에게 제공하고, 이 때 영상에 대한 파라미터 정보 역시 시스템으로부터 디코더에 새롭게 제공된다. 본 발명에서 디코더란 영상을 디코딩하는 영상 처리부를 포함하는 디바이스를 의미하며, 도 2의 디코딩 장치로 구현될 수도 있고, 영상을 처리하는 핵심 모듈인 디코딩 모듈을 의미할 수도 있다.
상술한 바와 같이, 리딩 픽처들은 출력 순서가 CRA 픽처보다 먼저 출력되지만, CRA 픽처보다 후행하여 디코딩된다. 리딩 픽처들은 선행하는 선행 픽처들 중 적어도 하나를 참조할 수 있다.
예컨대, 비트스트림이 중간에 잘리거나 손실되거나, 픽처의 스플라이싱이 발생하여 갑작스럽게 CRA 픽처에서 랜덤 억세스가 발생할 경우, 디코딩 순서 상 CRA 픽처에 선행하는 선행 픽처들은 가용하지 않을 수 있다. 즉, 리딩 픽처들의 참조 픽처가 될 수 있는 선행 픽처들이 가용하지 않게 되므로, 가용하지 않은 픽처를 참조하는 리딩 픽처는 정상적으로 디코딩되지 않을 수 있다.
리딩 픽처가 참조하는 참조 픽처가 가용하지 않은 경우는, 리딩 픽처가 비트스트림 내 존재하지 않은 픽처를 참조하거나 리딩 픽처가 참조하는 픽처가 DPB(Decoded Picture Buffer)에 존재하지 않거나 DPB 내 “unused for reference”로 마크된 픽처인 경우 등을 말한다.
상기와 같이, 가용하지 않은 참조 픽처를 참조하는 리딩 픽처의 경우 정상적으로 디코딩되지 않을 수 있으므로, 이러한 리딩 픽처는 디코딩 과정에서 버려질 수 있다. 따라서, 랜덤 억세스가 발생한 경우, 리딩 픽처의 정상적인 디코딩 처리를 위해서는 디코딩 가능한 리딩 픽처와 디코딩 불가능한 리딩 픽처를 구분할 수 있는 정보가 필요하다. 이러한 정보는 NAL 유닛 타입으로 제공될 수 있으며, 아래는 리딩 픽처에 대한 NAL 유닛 타입의 실시예이다.
- DLP_NUT : 디코딩 가능한 리딩 픽처(Decodable Leading Picture: DLP)의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입(NAL Unit Type: NUT). 디코딩 가능한 리딩 픽처는 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처(Decodable Leading Picture for Random Access)를 말한다. 모든 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들은 리딩 픽처들이다. 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들은 동일한 RAP(혹은 IRAP) 픽처와 연관된 트레일링 픽처들의 디코딩 과정에서 참조 픽처로 사용되지 않는다. 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들이 존재할 경우, 랜덤 억세스에 대한 디코딩 가능한 리딩 픽처들은 디코딩 순서 상 동일한 RAP(혹은 IRAP) 픽처와 연관된 트레일링 픽처들에 선행한다.
- TFD_NUT : RAP 픽처에 선행하는 픽처가 가용하지 않은 경우 정상적으로 디코딩 되지 않고 버려질 수 있는(Tagged For Discard: TFD) 리딩 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. TFD 리딩 픽처는 디코딩 하지 않고 버려질 수 있는 픽처이다. TFD 리딩 픽처는 랜덤 억세스에 대한 스킵되는 리딩 픽처(Skipped Leading Picture for Random Access)라고 할 수 있다. 랜덤 억세스에 대한 스킵되는 리딩 픽처들은 BLA 또는 CRA 픽처와 연관된 리딩 픽처들이다. 랜덤 억세스에 대한 스킵되는 리딩 픽처는 비트스트림 내 존재하지 않는 픽처들을 참조할 수 있으므로 랜덤 억세스에 대한 스킵되는 리딩 픽처는 출력되지 않고 정확하게 디코딩될 수 없다. 랜덤 억세스에 대한 스킵되는 리딩 픽처들은 랜덤 억세스에 대한 스킵되는 리딩 픽처가 아닌 픽처들의 디코딩 과정에서 참조 픽처들로 사용되지 않는다. 랜덤 억세스에 대한 스킵되는 리딩 픽처들이 존재할 경우, 랜덤 억세스에 대한 스킵되는 리딩 픽처들은 디코딩 순서 상 동일한 RAP(혹은 IRAP) 픽처와 연관된 트레일링 픽처들에 선행한다.
DLP 및 TFD 리딩 픽처는 랜덤 억세스 혹은 스플라이싱이 발생하지 않은 경우의 정상적인 디코딩 과정에서의 트레일링 픽처들과 동일한 방식으로 처리될 수 있다.
도 9는 시간 스케일러빌러티를 지원하는 비트스트림 내 리딩 픽처를 포함한 NAL 유닛들에 대한 시간 레이어 구조를 도시한 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다.
일예로, temporal_id 값이 0, 1, 2인 NAL 유닛들이 비트스트림 내 포함된 경우라 가정하면, 도 9에 도시된 바와 같이 temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(900), temporal_id 값이 1인 NAL 유닛들로 구성된 시간 레이어(910), temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(920)로 계층화될 수 있다. 이때, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(900)가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(920)가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 9에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다. 예를 들어, temporal_id 값이 1인 시간 레이어(910)의 TRAIL_R 픽처는 temporal_id 값이 0인 시간 레이어(900)의 IDR_N_LP 픽처와 TRAIL_R 픽처를 참조 픽처로 사용하고, temporal_id 값이 2인 시간 레이어(920)의 TRAIL_N 픽처들에 의해 참조 픽처로 사용되고 있다.
도 9의 예에서는, temporal_id 값이 2인 시간 레이어(920)의 TRAIL_N 픽처들은 다른 픽처에 의해 참조되지 않는 픽처임을 NAL 유닛 타입을 통해 알 수 있다. 이러한 경우, 상술한 도 5의 실시예에서와 같이 비트스트림 추출 시 비참조되는 TRAIL_N 픽처들은 비트스트림으로부터 제거될 수 있다. 그러나, temporal_id 값이 2인 시간 레이어(920)의 DLP_NUT 및 TFD_NUT 리딩 픽처는 다른 픽처에 의해 참조되는 픽처인지 여부를 구분할 수 있는 정보가 포함되어 있지 않다. 따라서, 비트스트림 추출 과정에서 리딩 픽처를 비트스트림으로부터 제거하여도 디코딩 과정에 영향을 주지 않는지를 판단하기 힘들다.
본 발명에서는 상기와 같은 문제점을 해결하기 위해서, 리딩 픽처가 다른 픽처에 의해 참조되는 픽처인지 여부를 지시하는 정보를 제공한다. 본 발명의 일 실시예에 따르면 리딩 픽처에 대한 NAL 유닛 타입을 아래와 같이 정의한다.
- DLP_R : 참조되는 디코딩 가능한 리딩 픽처(Referenced Decodable Leading Picture). 다시 말해, 다른 픽처에 의해 참조되는 랜던 억세스에 대한 디코딩 가능한 리딩(Random Access Decodable Leading: RADL) 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입.
- DLP_N : 참조되지 않는 디코딩 가능한 리딩 픽처(Non-referenced Decodable Leading Picture). 다시 말해, 다른 픽처에 의해 참조되지 않는 랜덤 억세스에 대한 디코딩 가능한 리딩(Random Access Decodable Leading: RADL) 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입.
- TFD_R : 참조되는 디코딩 불가능한 픽처(참조되는 TFD 픽처). 다시 말해, RAP 픽처에 선행하는 픽처가 가용하지 않은 경우 정상적으로 디코딩 되지 않을 수 있으며 다른 픽처에 의해 참조되는 리딩 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. TFD 리딩 픽처는 버려질 수 있는(스킵될 수 있는) 픽처로, 랜덤 억세스에 대한 스킵되는 리딩(Random Access Skipped Leading: RASL) 픽처라고 할 수 있다.
- TFD_N : 참조되지 않는 디코딩 불가능한 픽처(참조되지 않는 TFD 픽처). 다시 말해, RAP 픽처에 선행하는 픽처가 가용하지 않은 경우 정상적으로 디코딩 되지 않을 수 있으며 다른 픽처에 의해 참조되지 않는 리딩 픽처의 코딩된 슬라이스 세그먼트를 포함하는 NAL 유닛에 대한 타입. TFD 리딩 픽처는 버려질 수 있는(스킵될 수 있는) 픽처로, 랜덤 억세스에 대한 스킵되는 리딩(Random Access Skipped Leading: RASL) 픽처라고 할 수 있다.
상술한 본 발명의 일 실시예에 따른 리딩 픽처에 대한 NAL 유닛 타입 DLP_R, DLP_N, TFD_R, TFD_N은 아직 다른 타입에 의해 사용되지 않은 예비의 NAL 유닛 타입들을 이용하여 정의될 수 있다. 또한, 본 발명의 일 실시예에 따른 리딩 픽처에 대한 NAL 유닛 타입 DLP_R, DLP_N, TFD_R, TFD_N은, NAL 유닛 헤더의 NAL 유닛 타입을 위한 신택스 정보(예컨대, nal_unit_type)에 저장되어 시그널링될 수 있다.
다음은 본 발명의 일 실시예에 따른 리딩 픽처에 대한 NAL 유닛 타입 DLP_R, DLP_N, TFD_R, TFD_N에 적용될 수 있는 실시예들이다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_N 또는 DLP_N일 때, 디코딩되는 픽처는 동일한 시간 레이어의 식별 정보(예컨대, temporal_id)를 가지는 픽처의 참조 픽처 세트(Reference Picture Set, RPS)에 포함되지 않는다.
참조 픽처 세트는 현재 픽처의 참조 픽처들의 집합을 의미하며, 디코딩 순서 상 현재 픽처에 선행하는 참조 픽처들로 구성될 수 있다. 참조 픽처는 현재 픽처의 인터 예측 시 사용될 수 있다. 여기서, 참조 픽처 세트는 POC(Picture Order Count) 순서 상 현재 픽처 이전 혹은 이후의 참조 픽처들로 구성된 단기 참조 픽처 세트(short term reference picture set)(예컨대, RefPicSetStCurrBefore, RefPicSetStCurrAfter)와 장기 참조 픽처 세트(long term reference picture set)(예컨대, RefPicSetLtCurr)일 수 있다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_N 또는 DLP_N인 코딩된 픽처는 동일한 시간 레이어의 식별 정보(예컨대, temporal_id)를 가지는 다른 픽처들의 디코딩 과정에 영향을 주지 않고 버려질 수 있다. 왜냐하면 TFD_N 또는 DLP_N인 코딩된 픽처는 NAL 유닛 타입을 통해 다른 픽처들에 의해 참조되지 않는 픽처인지를 알 수 있으며, 디코딩 시 참조 픽처로 사용되지 않으므로 비트스트림으로부터 추출 가능하다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_N 또는 DLP_N인 코딩된 픽처는, 디코딩이 리딩 픽처와 연관된 랜덤 억세스 포인트로부터 시작되는 경우가 아니라면 상술한 TRAIL_N, TSA_N, 또는 STSA_N 픽처와 유사하게 처리될 수 있다.
- NAL 유닛 타입(예컨대, nal_unit_type)이 TFD_R 또는 DLP_R인 코딩된 픽처는, 디코딩이 리딩 픽처와 연관된 랜덤 억세스 포인트로부터 시작되는 경우가 아니라면 상술한 TRAIL_R, TSA_R, 또는 STSA_R 픽처와 유사하게 처리될 수 있다.
도 10은 본 발명의 일 실시예에 따른 리딩 픽처를 포함한 NAL 유닛들이 비트스트림으로부터 제거되는 것을 설명하는 도면이다.
비트스트림이 시간 스케일러빌러티를 지원하는 경우, 비트스트림에 포함된 NAL 유닛들은 시간 레이어의 식별 정보(예컨대, temporal_id)를 가진다.
일예로, temporal_id 값이 0, 1, 2인 NAL 유닛들이 비트스트림 내 포함된 경우라 가정하면, 도 10에 도시된 바와 같이 temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(1000), temporal_id 값이 1인 NAL 유닛들로 구성된 시간 레이어(1010), temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(1020)로 계층화될 수 있다. 이때, temporal_id 값이 0인 NAL 유닛들로 구성된 시간 레이어(1000)가 가장 낮은 시간 스케일러빌러티를 제공할 수 있으며, temporal_id 값이 2인 NAL 유닛들로 구성된 시간 레이어(1020)가 가장 높은 시간 스케일러빌러티를 제공할 수 있다.
도 10에서, I로 표기된 박스는 I 픽처를 말하고, B로 표기된 박스는 B 픽처를 말한다. 또한, 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다.
도 10에 도시된 바와 같이, temporal_id 값이 2인 시간 레이어(1020)는 TRAIL_N 픽처들, TFD_N 및 DLP_N 리딩 픽처를 포함하고 있다. 상술한 바와 같이, TRAIL_N 픽처는 다른 픽처에 의해 참조되지 않는 트레일링 픽처이기 때문에, 다른 픽처들의 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 제거 가능하다.
또한, 본 발명의 실시예에 따라 리딩 픽처가 다른 픽처에 의해 참조되는 픽처인지 여부를 지시하는 NAL 유닛 타입으로 정의되어 시그널링되므로, NAL 유닛 타입을 통해 비트스트림으로부터 리딩 픽처가 제거 가능한지 여부를 알 수 있다. 도 10에 도시된 바와 같이, TFD_N 및 DLP_N 리딩 픽처는 다른 픽처에 의해 참조되지 않는 리딩 픽처이며, 다른 픽처들의 디코딩 과정에 영향을 주지 않고 비트스트림으로부터 제거될 수 있다. 즉, 리딩 픽처가 참조 픽처인지 비참조 픽처인지에 대한 정보가 NAL 유닛 타입으로부터 유도될 수 있으므로, 리딩 픽처에 대한 비트스트림 추출 과정은 트레일링 픽처의 비트스트림 추출 과정과 유사하게 수행될 수 있다. 따라서, temporal_id 값이 2인 시간 레이어(1020)에 해당하는 픽처들은 비참조 픽처들이므로, 디코딩 시 비트스트림으로부터 상기 temporal_id 값이 2인 시간 레이어(1020)의 비참조 픽처들은 추출될 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 정보의 인코딩 방법을 개략적으로 나타내는 순서도이다. 도 11의 방법은 상술한 도 의 인코딩 장치에서 수행될 수 있다.
도 11을 참조하면, 인코딩 장치는 NAL 유닛 참조 픽처인지 여부에 따라 NAL 유닛 타입을 결정한다(S1100). 이때, NAL 유닛은 현재 픽처를 기반으로 인터 예측을 수행하여 생성된 현재 픽처에 대한 레지듀얼 신호를 포함하는 NAL 유닛일 수 있다.
인코딩 장치는 상기 NAL 유닛이 포함하는 정보(현재 픽처에 대한 레지듀얼 신호)에 따라 NAL 유닛 타입을 결정할 수 있다. 예컨대, 상기 NAL 유닛이 다른 픽처에 의해 참조되는 리딩 픽처인지 상기 NAL 유닛이 다른 픽처에 의해 참조되지 않는 리딩 픽처인지에 따라 NAL 유닛 타입을 결정할 수 있다. 리딩 픽처는 상술한 바와 같이 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처를 말하며, 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 제2 리딩 픽처를 포함할 수 있다.
만일 상기 NAL 유닛이 다른 픽처에 의해 참조되는 제1 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 DLP_R 혹은 RADL_R로 결정할 수 있으며, 상기 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제1 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 DLP_N 혹은 RADL_ N으로 결정할 수 있다.
그렇지 않고 상기 NAL 유닛이 다른 픽처에 의해 참조되는 제2 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 TFD_R 혹은 RASL_R로 결정할 수 있으며, 상기 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제2 리딩 픽처인 경우, 인코딩 장치는 NAL 유닛 타입으로 TFD_N 혹은 RASL_N으로 결정할 수 있다.
인코딩 장치는 상기 NAL 유닛 및 NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 인코딩하여 전송한다(S1110).
인코딩 장치는 NAL 유닛 타입에 대한 정보를 nal_unit_type 신택스로 인코딩하여 NAL 유닛 헤더에 저장할 수 있다. 또한, 인코딩 장치는 시간 스케일러빌러티를 지원하는 비트스트림의 경우 NAL 유닛의 시간 스케일러블 레이어를 식별하기 위한 시간 레이어의 식별 정보를 더 포함하는 비트스트림을 생성할 수 있다. 시간 레이어의 식별 정보는 temporal_id 신택스로로 인코딩되어 NAL 유닛 헤더에 저장될 수 있다.
도 12는 본 발명의 일 실시예에 따른 영상 정보의 디코딩 방법을 개략적으로 나타내는 순서도이다. 도 12의 방법은 상술한 도 2의 디코딩 장치에서 수행될 수 있다.
도 12를 참조하면, 디코딩 장치는 NAL 유닛에 대한 정보를 포함하는 비트스트림을 수신한다(S1200).
NAL 유닛에 대한 정보는 NAL 유닛이 포함하는 픽처의 성질 및 종류에 따라 결정된 NAL 유닛 타입에 대한 정보가 포함되어 있다. NAL 유닛 타입은 해당 NAL 유닛에 포함된 픽처의 성질 및 종류뿐만 아니라 NAL 유닛에 포함된 픽처가 참조 픽처인지 여부에 대한 정보도 함께 유도될 수 있다.
예를 들어, NAL 유닛 타입에 대한 정보는 nal_unit_type 신택스로 NAL 유닛 헤더에 저장되어 비트스트림에 포함될 수 있으며, NAL 유닛 타입에 대한 구체적인 설명은 상술하였으므로 여기서는 설명을 생략한다.
또한, NAL 유닛에 대한 정보는 시간 스케일러빌러티를 지원하는 시간 레이어의 식별 정보가 더 포함되어 있다. 시간 레이어의 식별 정보는 해당 NAL 유닛의 시간 스케일러블 레이어를 식별하기 위한 레이어 식별 정보일 수 있다. 예컨대, 시간 레이어의 식별 정보는 temporal_id 신택스로 NAL 유닛 헤더에 저장되어 비트스트림에 포함될 수 있다.
디코딩 장치는 NAL 유닛 타입에 대한 정보를 기반으로 비트스트림 내 NAL 유닛이 참조 픽처인지 여부를 확인하여 NAL 유닛을 디코딩한다(S1210).
NAL 유닛 타입에 대한 정보를 통해 NAL 유닛이 다른 픽처에 의해 참조되는 참조 픽처인지 다른 픽처에 의해 참조되지 않는 비참조 픽처인지를 유도할 수 있다. 만일, NAL 유닛이 다른 픽처에 의해 참조되지 않는 비참조 픽처이면 디코딩 과정에서 상기 NAL 유닛을 비트스트림으로부터 추출하여 제거할 수 있다.
일예로, NAL 유닛 타입에 대한 정보는, NAL 유닛이 다른 픽처에 의해 참조되는 리딩 픽처인지 NAL 유닛이 다른 픽처에 의해 참조되지 않는 리딩 픽처인지를 지시하는 정보일 수 있다. 리딩 픽처는 상술한 바와 같이 랜덤 억세스 포인트 픽처보다 출력 순서가 선행하고 디코딩 순서는 후행하는 픽처로서, 디코딩 가능한 제1 리딩 픽처와 디코딩 불가능한 버려지는 제2 리딩 픽처를 포함할 수 있다.
만일, 비트스트림 내 포함된 NAL 유닛 타입이 DLP_R 혹은 RADL_R인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되는 제1 리딩 픽처라는 것을 알 수 있으며, 비트스트림 내 포함된 NAL 유닛 타입이 DLP_N 혹은 RADL_ N인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제1 리딩 픽처라는 것을 알 수 있다.
그렇지 않고, 비트스트림 내 포함된 NAL 유닛 타입이 TFD_R 혹은 RASL_R인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되는 제2 리딩 픽처라는 것을 알 수 있으며, 비트스트림 내 포함된 NAL 유닛 타입이 TFD_N 혹은 RASL_N인 경우, 디코딩 장치는 NAL 유닛이 다른 픽처에 의해 참조되지 않는 제2 리딩 픽처라는 것을 알 수 있다.
이때, 디코딩 장치는 NAL 유닛 타입이 DLP_N 혹은 RADL_ N, TFD_N 혹은 RASL_N인 경우, 상기 NAL 유닛 타입에 해당하는 NAL 유닛을 비트스트림으로부터 추출하여 디코딩할 수 있다.
또한, 디코딩 장치는 시간 레이어의 식별 정보를 통해 NAL 유닛의 시간 레이어를 유도할 수 있다. 만일 동일한 시간 레이어의 NAL 유닛들이 다른 픽처에 의해 참조되지 않는 픽처들(예컨대, DLP_N 혹은 RADL_ N 픽처, TFD_N 혹은 RASL_N 픽처)인 경우, 해당 시간 레이어의 NAL 유닛들을 비트스트림으로부터 제거할 수 있다. 여기서, 동일한 시간 레이어의 NAL 유닛들은 시간 레이어의 식별 값이 동일한 NAL 유닛들을 말한다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (8)

  1. NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하는 단계;
    상기 NAL 유닛 타입에 대한 정보를 기반으로, NAL 유닛 타입들 중에서 리딩 픽처에 대한 NAL 유닛 타입인지를 판단하는 단계;
    상기 리딩 픽처에 대한 상기 NAL 유닛 타입을 기반으로, 디코딩 순서에서 상기 리딩 픽처 다음에 디코딩되는 픽처에 대한 인터 예측을 위해 참조 픽처 세트를 구성하는 단계;
    상기 참조 픽처 세트를 기반으로 상기 픽처 내의 현재 블록에 대한 인터 예측을 수행하는 단계; 및
    상기 인터 예측에 의해 도출된 상기 현재 블록의 예측 샘플을 기반으로 상기 픽처를 복원하는 단계를 포함하며,
    상기 리딩 픽처는 연관된 랜덤 억세스 포인트 픽처보다 출력 순서가 앞서는 픽처이며,
    상기 NAL 유닛 타입들은, 디코딩 가능하며 참조 가능한 리딩 픽처를 나타내는 제1 NAL 유닛 타입, 디코딩 가능하며 참조되지 않는 리딩 픽처를 나타내는 제2 NAL 유닛 타입, 참조 가능한 스킵 리딩 픽처를 나타내는 제3 NAL 유닛 타입, 참조되지 않는 스킵 리딩 픽처를 나타내는 제4 NAL 유닛 타입을 포함하고,
    상기 참조 픽처 세트는 RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr를 포함하고,
    상기 제2 NAL 유닛 타입에 대한 상기 리딩 픽처 또는 상기 제4 NAL 유닛 타입에 대한 상기 리딩 픽처는, 상기 리딩 픽처의 시간 레이어 ID와 동일한 값을 가진 상기 픽처에 대한 상기 RefPicSetStCurrBefore, 상기 RefPicSetStCurrAfter 및 상기 RefPicSetLtCurr에 포함되지 않는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 제1 NAL 유닛 타입 또는 상기 제3 NAL 유닛 타입인 상기 리딩 픽처는, 상기 참조 픽처 세트에 포함되고,
    상기 리딩 픽처는 상기 디코딩 순서에서 상기 랜덤 억세스 포인트 픽처 다음 픽처이고 상기 출력 순서에서 상기 랜덤 억세스 포인트 픽처에 앞서는 픽처인 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서,
    랜덤 억세스가 발생하는 상기 랜덤 억세스 포인트 픽처는 IDR(Instantaneous Decoding Refresh) 픽처이며,
    상기 리딩 픽처의 NAL 유닛 타입은 상기 제1 NAL 유닛 타입 또는 상기 제2 NAL 유닛 타입인 것을 특징으로 하는 영상 복호화 방법.
  4. 제1항에 있어서,
    랜덤 억세스가 발생하는 상기 랜덤 억세스 포인트 픽처는 CRA(Clean Random Access) 픽처 또는 BLA(Broken Link Access) 픽처이며,
    상기 리딩 픽처의 NAL 유닛 타입은 상기 제3 NAL 유닛 타입 또는 상기 제4 NAL 유닛 타입이고,
    상기 제3 NAL 유닛 타입 또는 상기 제4 NAL 유닛 타입인 상기 리딩 픽처는 출력되지 않는 것을 특징으로 하는 영상 복호화 방법.
  5. 제1항에 있어서,
    랜덤 억세스가 발생하는 상기 랜덤 억세스 포인트 픽처는 IDR(Instantaneous Decoding Refresh) 픽처, CRA(Clean Random Access) 픽처 또는 BLA(Broken Link Access) 픽처이며,
    메모리에 저장된 픽처들은 참조되지 않는 픽처로 마킹되는 것을 특징으로 하는 영상 복호화 방법.
  6. 제1항에 있어서,
    상기 랜덤 억세스 포인트 픽처에서 랜덤 억세스가 발생한 경우, 상기 제2 NAL 유닛 타입 또는 상기 제4 NAL 유닛 타입인 상기 리딩 픽처에 대해, 상기 리딩 픽처의 시간 레이어 ID와 동일한 값을 가진 다른 픽처의 디코딩에 영향을 주지 않고 제거 가능한 것을 특징으로 하는 영상 복호화 방법.
  7. NAL 유닛 타입들 중에서 리딩 픽처에 대한 NAL 유닛 타입인지를 판단하는 단계;
    상기 NAL 유닛 타입을 기반으로 NAL 유닛 타입에 대한 정보를 생성하는 단계;
    상기 리딩 픽처에 대한 상기 NAL 유닛 타입을 기반으로, 디코딩 순서에서 상기 리딩 픽처 다음에 디코딩되는 픽처에 대한 인터 예측을 위해 참조 픽처 세트를 구성하는 단계;
    상기 참조 픽처 세트를 기반으로 상기 픽처 내의 현재 블록에 대한 인터 예측을 수행하는 단계;
    상기 인터 예측에 의해 도출된 상기 현재 블록의 예측 샘플을 기반으로 레지듀얼 정보를 생성하는 단계; 및
    상기 NAL 유닛 타입에 대한 정보 및 상기 레지듀얼 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하며,
    상기 리딩 픽처는 연관된 랜덤 억세스 포인트 픽처보다 출력 순서가 앞서는 픽처이며,
    상기 NAL 유닛 타입들은, 디코딩 가능하며 참조 가능한 리딩 픽처를 나타내는 제1 NAL 유닛 타입, 디코딩 가능하며 참조되지 않는 리딩 픽처를 나타내는 제2 NAL 유닛 타입, 참조 가능한 스킵 리딩 픽처를 나타내는 제3 NAL 유닛 타입, 참조되지 않는 스킵 리딩 픽처를 나타내는 제4 NAL 유닛 타입을 포함하고,
    상기 참조 픽처 세트는 RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr를 포함하고,
    상기 제2 NAL 유닛 타입에 대한 상기 리딩 픽처 또는 상기 제4 NAL 유닛 타입에 대한 상기 리딩 픽처는, 상기 리딩 픽처의 시간 레이어 ID와 동일한 값을 가진 상기 픽처에 대한 상기 RefPicSetStCurrBefore, 상기 RefPicSetStCurrAfter 및 상기 RefPicSetLtCurr에 포함되지 않는 것을 특징으로 하는 영상 부호화 방법.
  8. 영상 복호화 장치가 영상 복호화 방법을 수행하도록 야기하는 인코딩된 정보를 저장하는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 영상 복호화 방법은,
    NAL 유닛 타입에 대한 정보를 포함하는 비트스트림을 수신하는 단계;
    상기 NAL 유닛 타입에 대한 정보를 기반으로, NAL 유닛 타입들 중에서 리딩 픽처에 대한 NAL 유닛 타입인지를 판단하는 단계;
    상기 리딩 픽처에 대한 상기 NAL 유닛 타입을 기반으로, 디코딩 순서에서 상기 리딩 픽처 다음에 디코딩되는 픽처에 대한 인터 예측을 위해 참조 픽처 세트를 구성하는 단계;
    상기 참조 픽처 세트를 기반으로 상기 픽처 내의 현재 블록에 대한 인터 예측을 수행하는 단계; 및
    상기 인터 예측에 의해 도출된 상기 현재 블록의 예측 샘플을 기반으로 상기 픽처를 복원하는 단계를 포함하며,
    상기 리딩 픽처는 연관된 랜덤 억세스 포인트 픽처보다 출력 순서가 앞서는 픽처이며,
    상기 NAL 유닛 타입들은, 디코딩 가능하며 참조 가능한 리딩 픽처를 나타내는 제1 NAL 유닛 타입, 디코딩 가능하며 참조되지 않는 리딩 픽처를 나타내는 제2 NAL 유닛 타입, 참조 가능한 스킵 리딩 픽처를 나타내는 제3 NAL 유닛 타입, 참조되지 않는 스킵 리딩 픽처를 나타내는 제4 NAL 유닛 타입을 포함하고,
    상기 참조 픽처 세트는 RefPicSetStCurrBefore, RefPicSetStCurrAfter 및 RefPicSetLtCurr를 포함하고,
    상기 제2 NAL 유닛 타입에 대한 상기 리딩 픽처 또는 상기 제4 NAL 유닛 타입에 대한 상기 리딩 픽처는, 상기 리딩 픽처의 시간 레이어 ID와 동일한 값을 가진 상기 픽처에 대한 상기 RefPicSetStCurrBefore, 상기 RefPicSetStCurrAfter 및 상기 RefPicSetLtCurr에 포함되지 않는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
KR1020217003703A 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치 KR102259794B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217016212A KR102349338B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261700335P 2012-09-13 2012-09-13
US61/700,335 2012-09-13
KR1020207029208A KR102215438B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
PCT/KR2013/008303 WO2014042460A1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029208A Division KR102215438B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217016212A Division KR102349338B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210018535A KR20210018535A (ko) 2021-02-17
KR102259794B1 true KR102259794B1 (ko) 2021-06-02

Family

ID=50278476

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020217003703A KR102259794B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227015441A KR102444264B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227029148A KR102477476B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020157006323A KR102167096B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020207029208A KR102215438B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020217016212A KR102349338B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227000377A KR102397259B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227042534A KR102515017B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR1020227015441A KR102444264B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227029148A KR102477476B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020157006323A KR102167096B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020207029208A KR102215438B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020217016212A KR102349338B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227000377A KR102397259B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치
KR1020227042534A KR102515017B1 (ko) 2012-09-13 2013-09-13 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (6) US9794594B2 (ko)
KR (8) KR102259794B1 (ko)
WO (1) WO2014042460A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015082763A1 (en) 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
US9826232B2 (en) 2014-01-08 2017-11-21 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
CN104768011B (zh) * 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
KR102477964B1 (ko) * 2015-10-12 2022-12-16 삼성전자주식회사 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법
CN107592540B (zh) * 2016-07-07 2020-02-11 腾讯科技（深圳）有限公司 一种视频数据处理方法及装置
US11265580B2 (en) * 2019-03-22 2022-03-01 Tencent America LLC Supplemental enhancement information messages for neural network based video post processing
WO2020256050A1 (ja) * 2019-06-18 2020-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
KR20220024879A (ko) * 2019-07-03 2022-03-03 후아웨이 테크놀러지 컴퍼니 리미티드 참조 화상 목록 내의 참조 화상의 유형
US11265357B2 (en) * 2019-10-10 2022-03-01 Microsoft Technology Licensing, Llc AV1 codec for real-time video communication
WO2021132962A1 (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 Nal 유닛 타입 기반 영상 또는 비디오 코딩

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300690B2 (en) 2002-07-16 2012-10-30 Nokia Corporation Method for random access and gradual picture refresh in video coding
ES2383655T3 (es) * 2004-04-28 2012-06-25 Panasonic Corporation Aparato de generación de flujos de imágenes en movimiento, aparato de codificación de imágenes en movimiento, aparato multiplexador de imágenes en movimiento y aparato de descodificación de imágenes en movimiento
KR100997270B1 (ko) 2004-04-28 2010-11-29 파나소닉 주식회사 스트림 생성 장치, 스트림 생성 방법, 및 기록 매체
KR100770704B1 (ko) 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
TW201032597A (en) 2009-01-28 2010-09-01 Nokia Corp Method and apparatus for video coding and decoding
KR20120027194A (ko) 2009-04-21 2012-03-21 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US10034018B2 (en) * 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, "High efficiency video coding (HEVC) text specification draft 8", (JCTVC-J1003_v8), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 10th Meeting: Stockholm, SE, (2012.07.28.)
Hendry, "AHG 9: On referenced and non-referenced DLP and TFD NAL units", (JCTVC-K0159), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 11th Meeting: Shanghai, CN, (2012.10.01.)
Rickard Sjöberg,"NAL unit types for non-reference pictures within the same temporal sub-layer", (JCTVC-J0549), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 10th Meeting: Stockholm, SE, (2012.0

Also Published As

Publication number Publication date
KR102397259B1 (ko) 2022-05-12
US11477488B2 (en) 2022-10-18
US20220408117A1 (en) 2022-12-22
KR102215438B1 (ko) 2021-02-15
US20200177924A1 (en) 2020-06-04
US11831922B2 (en) 2023-11-28
KR20200121374A (ko) 2020-10-23
WO2014042460A1 (ko) 2014-03-20
KR20220008385A (ko) 2022-01-20
US10602189B2 (en) 2020-03-24
US20180352261A1 (en) 2018-12-06
KR102444264B1 (ko) 2022-09-16
US20150237377A1 (en) 2015-08-20
KR20220121917A (ko) 2022-09-01
US9794594B2 (en) 2017-10-17
KR20150054834A (ko) 2015-05-20
US20180054631A1 (en) 2018-02-22
US10972757B2 (en) 2021-04-06
US20210185360A1 (en) 2021-06-17
KR102349338B1 (ko) 2022-01-10
KR102167096B1 (ko) 2020-10-16
KR20210018535A (ko) 2021-02-17
US10075736B2 (en) 2018-09-11
KR20220062694A (ko) 2022-05-17
KR20220165289A (ko) 2022-12-14
KR102515017B1 (ko) 2023-03-29
KR102477476B1 (ko) 2022-12-14
KR20210064438A (ko) 2021-06-02

Similar Documents

Publication Publication Date Title
US11831922B2 (en) Method and apparatus for encoding/decoding images
KR101759855B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
KR102160958B1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant