KR20230079466A - 면 연속성을 사용하는 360 도 비디오 코딩 - Google Patents

면 연속성을 사용하는 360 도 비디오 코딩 Download PDF

Info

Publication number
KR20230079466A
KR20230079466A KR1020237017285A KR20237017285A KR20230079466A KR 20230079466 A KR20230079466 A KR 20230079466A KR 1020237017285 A KR1020237017285 A KR 1020237017285A KR 20237017285 A KR20237017285 A KR 20237017285A KR 20230079466 A KR20230079466 A KR 20230079466A
Authority
KR
South Korea
Prior art keywords
boundary
packed picture
frame
picture
block
Prior art date
Application number
KR1020237017285A
Other languages
English (en)
Inventor
필립 한하트
위원 허
옌 예
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Priority to KR1020237026468A priority Critical patent/KR20230117492A/ko
Publication of KR20230079466A publication Critical patent/KR20230079466A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

코딩 디바이스(예를 들면, 인코더 및/또는 디코더일 수도 있거나 또는 이들을 포함할 수도 있음)가 380 도 비디오의 프레임 패킹된 픽쳐를 수신할 수도 있다. 코딩 디바이스는, 현재의 블록이 속하는 프레임 패킹된 픽쳐에서 면을 식별할 수도 있다. 코딩 디바이스는, 현재의 블록이 속하는 면의 경계에 현재의 블록이 위치된다는 것을 결정할 수도 있다. 코딩 디바이스는 현재의 블록의 다수의 구형의 이웃하는 블록을 식별할 수도 있다. 코딩 디바이스는 면 경계 교차 이웃 블록을 식별할 수도 있다. 코딩 디바이스는, 면 경계 교차 이웃 블록에 대응하는 블록을 프레임 패킹된 픽쳐에서 식별할 수도 있다. 코딩 디바이스는, 식별된 블록의 이용 가능성에 기초하여 식별된 블록을 사용하여 현재의 블록을 코딩할지의 여부를 결정할 수도 있다. 코딩 디바이스는 식별된 블록을 사용하기 위한 결정에 기초하여 현재의 블록을 코딩할 수도 있다.

Description

면 연속성을 사용하는 360 도 비디오 코딩{360-DEGREE VIDEO CODING USING FACE CONTINUITIES}
관련 출원에 대한 교차 참조
본 출원은 2017년 4월 11일자로 출원된 미국 가출원 일련 번호 제62/484,218호 및 2017년 6월 28일자로 출원된 미국 가출원 일련 번호 제62/525,880호의 이점을 주장하는데, 이들 가출원의 내용은 참조에 의해 본원에 통합된다.
가상 현실(VR)은 우리의 일상 생활에 들어가기 시작하였다. 예를 들면, VR은, 건강 관리, 교육, 소셜 네트워킹, 산업 설계/트레이닝, 게임, 영화, 쇼핑, 및/또는 엔터테인먼트를 포함하는, 그러나 이들로 제한되지는 않는 분야에서 많은 애플리케이션을 가지고 있다. VR은, 예를 들면, 뷰어(viewer)를 둘러싸는 가상 환경을 생성하는 것 및 뷰어에 대한 "그곳에서의 존재(being there)"의 진정한 느낌을 생성하는 것에 의해, 뷰어의 경험을 향상시킬 수도 있다. 예를 들면, 유저의 경험은 VR 환경에서 완전한 실제감(full real feeling)을 제공하는 것에 의존할 수도 있다. 예를 들면, VR 시스템은 자세, 제스쳐, 시선(eye gaze), 및/또는 음성을 통한 상호 작용을 지원할 수도 있다. 시스템은, 유저가 VR 세상에서 자연스러운 방식으로 오브젝트와 상호 작용하는 것을 허용하기 위해, 유저에게 햅틱 피드백(haptic feedback)을 제공할 수도 있다. VR 시스템은, 예를 들면, 수평 방향으로 360 도 각도 및/또는 수직 방향으로 180 도 각도에서 장면을 보는 능력을 유저에게 제공하기 위해 360 도 비디오를 사용할 수도 있다.
코딩 디바이스(예를 들면, 인코더 및/또는 디코더를 포함할 수도 있는 또는 포함하지 않을 수도 있는 디바이스)는 360 도 비디오의 프레임 패킹된 픽쳐(frame-packed picture)를 수신할 수도 있다. 프레임 패킹된 픽쳐는 다수의 면(face) 및 현재의 블록을 포함할 수도 있다. 코딩 디바이스는, 현재의 블록이 속하는 프레임 패킹된 픽쳐에서 면을 식별할 수도 있다. 코딩 디바이스는, 현재의 블록이 속하는 면의 출구 경계(exiting boundary)에 현재의 블록이 위치된다는 것을 결정할 수도 있다. 예를 들면, 코딩 디바이스는, 프레임 패킹된 픽쳐의 코딩 순서에 따라 현재의 블록이 속하는 면의 출구 경계에 현재의 블록이 위치된다는 것을 결정할 수도 있다. 현재의 블록이 속하는 면의 출구 경계는, 현재의 블록에 대하여 코딩 순서의 동일한 방향으로 위치될 수도 있다.
프레임 패킹된 픽쳐는 코딩 순서대로 코딩될 수도 있다. 예에서, 코딩 순서는 프레임 패킹된 픽쳐와 관련되는 현재의 블록에 대해 좌측에서 우측으로의 방향을 가질 수도 있다. 예에서, 코딩 순서는 현재의 블록에 대해 상단에서 하단으로의 방향을 가질 수도 있다. 예에서, 코딩 순서는 현재의 블록에 대해 좌측에서 우측으로 그리고 상단에서 하단으로의 방향을 가질 수도 있다. 예를 들면, 코딩 순서가 현재의 블록에 대해 좌측에서 우측으로의 방향을 갖는 경우, 면의 출구 경계는 우측(예를 들면, 현재의 블록이 속하는 면의 가장 우측)에 위치될 수도 있다. 예를 들면, 코딩 순서가 현재의 블록에 대해 상단에서 하단으로의 방향을 갖는 경우, 면의 출구 경계는 하단 측(bottom side)(예를 들면, 현재의 블록이 속하는 면의 최하단(bottommost) 측)에 위치될 수도 있다. 예를 들면, 코딩 순서가 현재의 블록에 대해 좌측에서 우측으로 그리고 상단에서 하단으로의 방향을 갖는 경우, 면의 출구 경계는 우측 및 하단 측(예를 들면, 현재의 블록이 속하는 면의 가장 우측 및 최하단 측)에 위치될 수도 있다.
현재의 블록이 속하는 면의 출구 경계에 현재의 블록이 위치된다는 것을 결정하면, 코딩 디바이스는, 현재의 블록을 코딩하기 위해, 현재의 블록이 속하는 면의 출구 경계와 경계를 공유하는 면 상에 위치되는 면 경계 교차 이웃 블록(cross-face boundary neighboring block)을 사용할 수도 있다. 예를 들면, 코딩 디바이스는 현재의 블록의 다수의 구형의 이웃하는 블록(spherical neighboring block)을 식별할 수도 있다. 예를 들면, 코딩 디바이스는 360 도 비디오의 구형 특성에 기초하여 현재의 블록의 다수의 구형의 이웃하는 블록을 식별할 수도 있다. 코딩 디바이스는 현재의 블록과 관련되는 면 경계 교차 이웃 블록을 식별할 수도 있다. 예를 들면, 코딩 디바이스는, 현재의 블록의 식별된 다수의 구형의 이웃하는 블록 중에서 면 경계 교차 이웃 블록을 식별할 수도 있다. 예에서, 면 경계 교차 이웃 블록은, 현재의 블록이 속하는 면의 출구 경계와 경계를 공유하는 면 상에 위치될 수도 있다. 예에서, 면 경계 교차 이웃 블록은, 현재의 블록이 속하는 면 경계의 반대 측에 위치될 수도 있고 현재의 블록에 대해 코딩 순서의 동일한 방향으로 위치될 수도 있다.
코딩 디바이스는 현재의 블록을 코딩하기 위해 면 경계 교차 이웃 블록을 사용할지의 여부를 결정할 수도 있다. 예를 들면, 면 경계 교차 이웃 블록에 대응하는 프레임 패킹된 픽쳐 내의 블록이 식별될 수도 있다. 면 경계 교차 이웃 블록에 대응하는 프레임 패킹된 픽쳐 내의 블록은 360 도 비디오의 프레임 패킹 정보에 기초하여 식별될 수도 있다. 코딩 디바이스는, 프레임 패킹된 픽쳐 내의 식별된 블록의 이용 가능성에 기초하여 현재의 블록을 코딩하기 위해 면 경계 교차 이웃 블록에 대응하는 프레임 패킹된 픽쳐 내의 식별된 블록을 사용할지의 여부를 결정할 수도 있다. 예를 들면, 프레임 패킹된 픽쳐 내의 식별된 블록의 이용 가능성은, 식별된 블록이 코딩되었는지의 여부에 기초하여 결정될 수도 있다. 코딩 디바이스는, 프레임 패킹된 픽쳐 내의 식별된 블록을 사용하는 결정에 기초하여 현재의 블록을 코딩할 수도 있고, 면 경계 교차 이웃 블록에 대응하는 식별된 이용 가능한 블록을 사용하여 현재의 블록을 코딩할 수도 있다.
본원에서 사용될 때, 360 도 비디오는, 구형 비디오(spherical video), 전방향 비디오(omnidirectional video), 가상 현실(virtual reality; VR) 비디오, 파노라마 비디오, 몰입형 비디오(immersive video)(예를 들면, 6 자유도를 포함할 수도 있는 라이트 필드 비디오(light field video)), 포인트 클라우드 비디오(point cloud video), 및/또는 등등을 포함할 수도 있거나 또는 이들일 수도 있다.
도 1a는 경도(φ) 및 위도(θ)의 예시적인 구체 샘플링(sphere sampling)을 묘사한다.
도 1b는 예시적인 구체가 등장방형 투영법(equirectangular projection; ERP)을 사용하여 2D 평면에 투영되는 것을 묘사한다.
도 1c는 ERP를 사용하여 생성되는 예시적인 픽쳐를 묘사한다.
도 2a는 큐브맵 투영법(cubemap projection; CMP)에서의 예시적인 3D 지오메트리 구조체(geometry structure)를 묘사한다.
도 2b는 4×3 프레임 패킹 및 여섯 개의 면을 갖는 예시적인 2D 평면을 묘사한다.
도 2c는 CMP를 사용하여 생성되는 예시적인 픽쳐를 묘사한다.
도 3은 360 도 비디오 시스템에 대한 예시적인 워크플로우를 묘사한다.
도 4a는 ERP를 사용하여 반복적인 패딩(padding) 경계에 의해 생성되는 예시적인 픽쳐를 묘사한다.
도 4b는 CMP를 사용하여 반복적인 패딩 경계에 의해 생성되는 예시적인 픽쳐를 묘사한다.
도 5a는 패딩 지오메트리를 나타내는 ERP에 대한 예시적인 지오메트리 패딩(geometry padding)을 묘사한다.
도 5b는 패딩된 ERP 픽쳐를 나타내는 ERP에 대한 예시적인 지오메트리 패딩을 묘사한다.
도 6a는 패딩 지오메트리를 나타내는 CMP에 대한 예시적인 지오메트리 패딩 프로세스를 묘사한다.
도 6b는 패딩된 CMP 면을 나타내는 CMP에 대한 예시적인 지오메트리 패딩 프로세스를 묘사한다.
도 7은 블록 기반의 비디오 인코더의 예시적인 다이어그램이다.
도 8은 블록 기반의 비디오 디코더의 예시적인 다이어그램이다.
도 9는 고효율 비디오 코딩(high efficiency video coding; HEVC) 인트라 예측을 위해 사용되는 예시적인 기준 샘플을 묘사한다.
도 10은 HEVC에서의 인트라 예측 방향의 예시적인 표시를 묘사한다.
도 11a는 상단 기준 행(top reference row)을 좌측으로 연장하기 위한 좌측 기준 샘플의 예시적인 투영을 묘사한다.
도 11b는 좌측 기준 열을 상방으로 확장하기 위한 위쪽 기준 샘플의 예시적인 투영을 묘사한다.
도 12a 내지 도 12d는, (A) 인트라 모드 2; (B) 인트라 모드 34; (C) 인트라 모드 3-6; 및 (D) 인트라 모드 30-33에 대한 예시적인 경계 예측 필터링을 묘사한다.
도 13은 HEVC 인트라 방향성 프로세스(intra angular process)에서 가장 가능한 모드에 대해 사용되는 예시적인 공간적 이웃을 묘사한다.
도 14는 성분 교차 선형 모델 예측(cross-component linear model prediction)에서 α 및 β의 유도를 위해 사용되는 샘플의 예시적인 위치를 묘사한다.
도 15는 하나의 모션 벡터를 갖는 예시적인 인터 예측을 묘사한다.
도 16은 픽쳐 경계 외부의 기준 샘플에 대한 예시적인 패딩을 묘사한다.
도 17은 HEVC 병합 프로세스에서 병합 후보에 대해 사용되는 예시적인 공간적 이웃을 묘사한다.
도 18a는 CMP의 예시적인 3D 표현을 묘사한다.
도 18b는 CMP의 예시적인 3×2 프레임 패킹 구성을 묘사한다.
도 19는 인트라 및 인터 코딩에서 현재의 블록을 예측하기 위해 사용되는 예시적인 재구성된 샘플(reconstructed sample)을 묘사한다.
도 20a 내지 도 20c는, (A) 우측 면 경계; (B) 하단 면(bottom face) 경계; 및 (C) 하단 우측 면 경계에서의 예시적인 공간적 이웃을 묘사한다.
도 21a 내지 도 21c는, (A) 우측 면 경계; (B) 하단 면 경계; 및 (C) 하단 우측 면 경계에서의 재구성된 샘플의 예시적인 이용 가능성을 묘사한다.
도 22a 및 도 22b는, (A) 우측 면 경계; 및 (B) 하단 면 경계에서의 예시적인 추가적 인트라 예측 모드를 묘사한다.
도 23a 내지 도 23d는, (A-B) 우측 면 경계; 및 (C-D) 하단 면 경계에서의 예시적인 추가적 인트라 예측 모드를 묘사한다.
도 24a 내지 도 24d는, (A-B) 우측 면 경계; 및 (C-D) 하단 면 경계에서의 예시적인 양방향 인트라 예측을 묘사한다.
도 25a 내지 도 25h는: (A) 인트라 모드 2; (B) 인트라 모드 3-6; (C) 인트라 모드 7-9; (D) 인트라 모드 10; (E) 인트라 모드 11-17; (F) 인트라 모드 18; (G) 인트라 모드 19-21; 및 (H) 인트라 모드 22에 대한 우측 면 경계에서의 예시적인 경계 예측 필터링을 묘사한다.
도 26a 내지 도 26h는: (A) 인트라 모드 14; (B) 인트라 모드 15-17; (C) 인트라 모드 18; (D) 인트라 모드 19-25; (E) 인트라 모드 26; (F) 인트라 모드 27-29; (G) 인트라 모드 30-33; 및 (H) 인트라 모드 34에 대한 하단 면 경계에서의 예시적인 경계 예측 필터링을 묘사한다.
도 27a 내지 도 27c는, (A) 우측 면 경계; (B) 하단 면 경계; 및 (C) 하단 우측 면 경계에서의 성분 교차 선형 모델 예측을 위해 사용되는 샘플의 예시적인 위치를 묘사한다.
도 28은 선형 모델 파라미터를 계산하기 위한 예시적인 수학식(예를 들면, 수학식 (38), (41), (43) 및 (44))을 예시한다.
도 29a 및 도 29b는, CMP 3×2 패킹 구성에 대한 블록 프로세싱 순서의 예를 묘사한다: (A) 래스터 스캔 순서; 및 (B) 면 스캔 순서.
도 30은 예시적인 코딩 트리 단위(coding tree unit; CTU) 및 블록 구획화를 묘사한다.
도 31은 예시적인 3×2 패킹 구성을 묘사한다. 점선은 CTU 경계를 나타낼 수도 있고, 화살표는 두 면 사이의 공유된 경계를 나타낼 수도 있다.
도 32는 본원에서 설명되는 바와 같은 예시적인 3×2 패킹 구성을 묘사한다. 점선은 CTU 경계를 나타낼 수도 있고, 화살표는 두 면 사이의 공유된 경계를 나타낼 수도 있다.
도 33a는 하나 이상의 개시된 실시형태가 구현될 수도 있는 예시적인 통신 시스템을 예시하는 시스템 도면이다.
도 33b는 실시형태에 따른 도 33a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)을 예시하는 시스템 도면이다.
도 33c는 실시형태에 따른 도 33a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 무선 액세스 네트워크(radio access network; RAN) 및 예시적인 코어 네트워크(core network; CN)를 예시하는 시스템 도면이다.
도 33d는 실시형태에 따른 도 33a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 추가적인 예시적 RAN 및 추가적인 예시적 CN을 예시하는 시스템 도면이다.
이제, 예시적인 실시형태의 상세한 설명이 다양한 도면을 참조하여 설명될 것이다. 비록 이 설명이 가능한 구현예의 상세한 예를 제공하지만, 세부 사항은 예시적인 것으로 의도되며 본 출원의 범위를 어떤 식으로든 제한하도록 의도되는 것이 아니다는 것을 유의해야 한다.
VR 시스템 및/또는 360 도 비디오는, 예를 들면, 초고선명(Ultra High Definition; UHD) 서비스를 능가하는 미디어 소비를 위한 것일 수도 있다. VR에서 360 도 비디오의 품질을 향상시키는 것 및/또는 클라이언트의 상호 운용성을 위해 프로세싱 체인을 표준화하는 것은 하나 이상의 그룹에 의해 집중되었을 수도 있다. 예에서, 전방향 미디어 애플리케이션 포맷에 대한 요건 및/또는 기술에 대해 작업하기 위해 애드혹 그룹이 ISO/IEC/MPEG에서 설립될 수도 있다. 예에서, 애드혹 그룹이 360 도 3D 비디오 애플리케이션에 대한 탐색 실험을 수행했을 수도 있다. 애드혹 그룹은 360 도 비디오(예를 들면, 전방향 비디오) 기반의 시스템 및/또는 멀티 뷰 기반의 시스템에 대해 테스트했을 수도 있다. 차세대 비디오 코딩 표준을 위한 기술을 연구하고 있는 MPEG 및 ITU-T로부터의 공동 비디오 탐구 팀(joint video exploration team; JVET)은 VR을 비롯한 테스트 시퀀스에 대한 요구를 발표하였다. 애드혹 그룹(AHG8)이 확립되었으며 AHG8 그룹의 임무(mandate)는 360 도 비디오 코딩에 대한 일반적인 테스트 조건, 테스트 시퀀스 포맷, 및 평가 기준을 만드는 것이다. AHG8은, 상이한 투영 방법이 적용되는 경우의 압축에 대한 영향 뿐만 아니라 변환 소프트웨어를 연구할 수도 있다. 하나 이상의 회사는, 360 도 비디오의 코딩 기술을 개발하기 위해 몇몇 360 도 비디오를 테스트 시퀀스로서 기꺼이 제공하였다. 일반적인 테스트 조건 및 평가 프로시져의 세트를 따르는 실험을 행하기 위해 투영 포맷 변환을 수행하기 위한 그리고 객관적인 360도 비디오 품질 메트릭을 측정하기 위한 기준 소프트웨어 360Lib가 JVET에 의해 확립되었다. 360 도 비디오 코딩에 대한 관심을 고려하여, JVET는 HEVC를 능가하는 성능을 갖는 비디오 압축에 대한 증거를 위해 예비 공동 요청에 360 도 비디오를 포함시킬 것을 합의하였다.
캡쳐, 프로세싱, 디스플레이, 및/또는 애플리케이션을 비롯한, VR 프로세싱 체인에서의 하나 이상의 양태의 품질 및/또는 유저의 경험이 향상될 수도 있다. 예를 들면, 캡쳐 측에서, VR 시스템은 하나 이상의 상이한 뷰(예를 들면, 6 내지 12 뷰)로부터 장면을 캡쳐하기 위해 하나 이상의 카메라를 사용할 수도 있다. 상이한 뷰는 함께 스티칭되어 고해상도(예를 들면, 4 K 또는 8 K)의 360 도 비디오를 형성할 수도 있다. 예를 들면, 클라이언트 및/또는 유저 측에서, VR 시스템은 계산 플랫폼, 헤드 마운트형 디스플레이(head mounted display; HMD), 및/또는 머리 추적 센서를 포함할 수도 있다. 계산 플랫폼은 360 도 비디오를 수신 및/또는 디코딩할 수도 있고 디스플레이를 위한 뷰포트(viewport)를 생성할 수도 있다. 각각의 눈에 대해 하나씩의 두 개의 픽쳐가 뷰포트에 대해 렌더링될 수도 있다. 두 개의 픽쳐는 스테레오 뷰잉(stereo viewing)을 위해 HMD에서 디스플레이될 수도 있다. 렌즈는 더 나은 시야를 위해 HMD에서 디스플레이되는 이미지를 확대하기 위해 사용될 수도 있다. 머리 추적 센서는 뷰어의 머리 방위를 계속(예를 들면, 지속적으로 계속) 추적할 수도 있고, 그 방위에 대한 뷰포트 픽쳐를 디스플레이하기 위해 방위 정보를 시스템에 공급할 수도 있다. VR 시스템은, 뷰어가, 예를 들면, 가상 세계에서 오브젝트와 상호 작용하기 위한 터치 디바이스(예를 들면, 특수한 터치 디바이스)를 제공할 수도 있다. 예에서, VR 시스템은 GPU를 지원을 갖는 워크스테이션에 의해 구동될 수도 있다. 예에서, VR 시스템은 스마트 폰을, 계산 플랫폼, HMD 디스플레이, 및/또는 머리 추적 센서로서 사용할 수도 있다. 공간적 HMD 해상도는, 예를 들면, 2160×1200일 수도 있다. 리프레시율은 90 Hz일 수도 있고, 시야(field of view; FOV)는 110 도일 수도 있다. 머리 추적 센서에 대한 샘플링 레이트는 1000 Hz일 수도 있는데, 이것은 빠른(예를 들면, 매우 빠른) 움직임을 캡쳐할 수도 있다. VR 시스템의 예는 스마트 폰을 계산 플랫폼으로서 사용할 수도 있고 렌즈 및/또는 카드보드(cardboard)를 포함할 수도 있다. 360 도 비디오 스트리밍 서비스가 있을 수도 있다.
상호 작용 및/또는 햅틱 피드백과 같은 경험의 품질은 VR 시스템에서 향상될 수도 있다. 예를 들면, HMD가 너무 클 수도 있고 및/또는 착용하기에 불편할 수도 있다. HMD에 의해 제공되는 해상도(예를 들면, 입체 뷰의 경우 2160×1200)는 충분하지 않을 수도 있고, 유저에게 현기증 및/또는 불편함을 야기할 수도 있다. 해상도는 증가될 수도 있다. VR 환경에서의 시각(vision)으로부터의 느낌은 현실 세계에서의 피드백(예를 들면, 힘 피드백)과 결합될 수도 있고 VR 경험을 향상시킬 수도 있다. VR 롤러 코스터는 그러한 조합된 애플리케이션의 예일 수도 있다.
360 도 비디오 전달은, 예를 들면, 구체 지오메트리 구조체를 사용하여 360 도 정보를 나타낼 수도 있다. 예를 들면, 하나 이상의 카메라에 의해 캡쳐되는 동기화된 하나 이상의 뷰는, 구체 상에서 일체형 구조체로서 스티칭될 수도 있다. 구체 정보는 지오메트리 변환 프로세스를 통해 2D 평면 표면으로 투영될 수도 있다. 예를 들면, 등장방형 투영법(ERP) 및/또는 큐브맵 투영법(CMP)이 사용되어 투영 포맷을 예시할 수도 있다.
ERP는 구형 구체의 위도 및/또는 경도 좌표를 그리드의 수평 및/또는 수직 좌표에 (예를 들면, 직접적으로) 매핑할 수도 있다. 도 1a는 경도(φ)와 위도(θ)에서의 구체 샘플링의 예를 묘사한다. 도 1b는, 예를 들면, ERP를 사용하여 2D 평면에 투영되는 구체의 예를 묘사한다. 도 1c는 ERP를 통한 투영 픽쳐의 예를 묘사한다. 범위 [-π,π]의 경도(φ)는 요(yaw)일 수도 있고, 범위 [-π/2,π/2]의 위도(θ)는 항공학에서의 피치(pitch)일 수도 있다. π는 원의 원주 대 그 직경의 비율일 수도 있다. 도 1a 및 도 1b에서, (x, y, z)는 3D 공간에서의 한 포인트의 좌표를 나타낼 수도 있고, (ue, ve)는 2D 평면에서 한 포인트의 좌표를 나타낼 수도 있다. ERP는, 수학식 (1) 및/또는 수학식 (2)에서 도시되는 바와 같이, 수학적으로 표현될 수도 있는데:
Figure pat00001
여기서 W 및 H는 2D 평면 픽쳐의 폭 및 높이일 수도 있다. 도 1a에서 도시되는 바와 같이, 구체 상의 경도 L4와 위도 A1 사이의 교차 포인트인 포인트 P는, 수학식 (1) 및/또는 (2)를 사용하여, 2D 평면의 고유 포인트 q(예를 들면, 도 1b)로 매핑될 수도 있다. 2D 평면의 포인트 q는 역투영(inverse projection)을 통해 구체 상의 포인트 P로 역투영될 수도 있다. 도 1b에서의 시야(FOV)는, 구체에서의 FOV가, 대략 110 도인 X 축을 따르는 시야각을 가지고 2D 평면으로 매핑될 수도 있는 예를 도시할 수도 있다.
360 도 비디오는 ERP를 사용하여 2D 비디오로 매핑될 수도 있다. 예를 들면, 360 도 비디오는 H.264 및/또는 HEVC와 같은 비디오 코덱을 사용하여 인코딩될 수도 있다. 인코딩된 360 도 비디오는 클라이언트에게 전달될 수도 있다. 클라이언트 측에서, 등장방형 비디오는 디코딩될 수도 있다. 등장방형 비디오는, 예를 들면, 등장방형 픽쳐에서 FOV에 속하는 부분을 HMD 상으로 투영 및/또는 디스플레이하는 것에 의해 유저의 뷰포트에 기초하여 렌더링될 수도 있다. 구형 비디오는 ERP를 사용하여 인코딩하기 위해 2D 평면 픽쳐로 변환될 수도 있다. 등장방형 2D 픽쳐의 특성은 2D 픽쳐(예를 들면, 직선형 비디오)와는 상이할 수도 있다.
도 1c는 ERP를 사용하여 생성되는 예시적인 픽쳐를 묘사한다. 도 1c에서 도시되는 바와 같이, ERP 픽쳐의 상단 및/또는 하단 부분(예를 들면, 각각, 북극 및/또는 남극)은, 예를 들면, 픽쳐의 중간 부분(예를 들면, 적도)과 비교하여 신장될 수도 있다. ERP 픽쳐의 상단 및/또는 하단 부분의 신장은, 구형 샘플링 밀도가 ERP 포맷에 대해 고르지 않을 수도 있다는 것을 나타낼 수도 있다. 이웃하는 ERP 픽쳐 사이의 시간적 상관 관계를 설명할 수도 있는 모션 필드는 2D 비디오보다 복잡하게 될 수도 있다.
비디오 코덱(예를 들면, MPEG-2, H.264, 또는 HEVC)은 모션 필드를 설명하기 위해 변환 모델을 사용할 수도 있다. 비디오 코덱은, 등장방형의 투영된 2D 평면 픽쳐에서 형상이 변하는 움직임을 나타낼 수 없을 수도 있다(예를 들면, 효율적으로 나타낼 수 없을 수도 있다). 도 1c에서 도시되는 바와 같이, ERP에서 극(예를 들면, 북극 및/또는 남극)에 더 가까운 영역은, 뷰어 및/또는 콘텐츠 공급자에게 덜 흥미로울 수도 있다. 예를 들면, 뷰어는 긴 지속 기간 동안 상단 및/또는 하단 영역에 초점을 맞추지 않을 수도 있다. 휨 효과(warping effect)에 기초하여, 신장된 영역은 ERP 이후에 2D 평면의 큰 부분이 될 수도 있고, 이들 영역을 압축하는 것은 많은 비트를 필요로 할 수도 있다. 등장방형 픽쳐 코딩은, 극 영역에 평활화와 같은 사전 프로세싱을 적용하여 극 영역을 코딩하기 위한 대역폭을 감소시키는 것에 의해 향상될 수도 있다. 360 도 비디오를 다수의 면에 매핑하기 위해, 하나 이상의 기하학적 투영법(geometric projection)이 사용될 수도 있다. 예를 들면, 하나 이상의 기하학적 투영법은, 큐브맵, 등적(equal-area), 원통, 피라미드, 및/또는 팔면체를 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다.
큐브맵 투영(CMP)은 압축 친화적 포맷일 수도 있다. CMP는 6 개의 면을 포함한다. 예를 들면, CMP는 6 개의 정사각형 면을 포함할 수도 있다. 면은 평면 정사각형일 수도 있다. 도 2a는 CMP에서의 예시적인 3D 지오메트리 구조체를 묘사한다. 접하는 구체의 반경이 1(예를 들면, 도 2a)인 경우, CMP의 하나 이상의 면(예를 들면, 정사각형 면)의 측방향 길이는 2일 수도 있다. 도 2b는 6 개의 면을, 인코딩 및/또는 전달을 위해 사용될 수도 있는 직사각형 픽쳐로 배치하기 위한 예시적인 2D 패킹 방법을 묘사한다. 도 2c는 CMP를 사용하여 생성되는 예시적인 픽쳐를 묘사한다. 도 2c에서 도시되는 음영 부분은 직사각형 픽쳐를 채우기 위한 패딩된 영역일 수도 있다. 면의 경우, 픽쳐는 2D 픽쳐와 동일하게 보일 수도 있다. 면의 경계는 연속적이지 않을 수도 있다. 예를 들면, 두 개의 이웃하는 면을 가로지르는 직선은 굴곡될 수도 있고 및/또는 두 면의 경계에서 다수의 선분(line segment)(예를 들면, 두 개의 선분)이 될 수도 있다. 면 경계에서의 모션은 불연속적일 수도 있다.
하나 이상의 상이한 지오메트리 투영법의 코딩 효율성에 대해, 하나 이상의 객관적인 품질 메트릭이 제안되었다. 예를 들면, 피크 신호 대 노이즈 비(peak signal-to-noise ratio; PSNR) 측정은 구형 PSNR(spherical PSNR; S-PSNR) 및 뷰포트 PSNR을 포함할 수도 있다. S-PSNR에서, 왜곡은 미리 정의된 샘플 세트(예를 들면, 이들은 구체 상에서 균일하게 분포될 수도 있음)에 걸쳐 계산되는 평균 제곱 오차(mean square error; MSE)를 사용하여 측정될 수도 있다. 위도 기반의 PSNR(L-PSNR)이 사용될 수도 있다. L-PSNR은, 샘플의 위도에 기초하여 하나 이상의 샘플에 가중치를 부여하는 것에 의해 뷰어의 뷰잉 거동(viewing behavior)을 고려할 수도 있다. 뷰어가 트레이닝 시퀀스를 볼 때 뷰어의 시야각을 추적하는 것에 의해 가중치가 유도될 수도 있다. 그것을 빈번하게 보는 경우, 가중치는 더 클 수도 있다. 통계로부터, 적도 주위의 가중치가 더 클 수도 있다. 예를 들면, 적도 주위의 가중치는, 흥미로운 콘텐츠가 적도 주위에 위치될 수도 있기 때문에, 극(들) 근처의 가중치보다 더 클 수도 있다. 뷰포트 PSNR의 경우, 뷰포트가 렌더링될 수도 있고 PSNR은 렌더링된 뷰포트 상에서 계산될 수도 있다. 구체의 일부분은, 예를 들면, 왜곡 측정을 위해 고려될 수도 있다. 평균 뷰포트 PSNR은 구체의 상이한 부분을 커버하는 다수의 뷰포트에 대해 계산될 수도 있다. S-PSNR은 다수의 샘플을 고려할 수도 있다. 예를 들면, S-PSNR은 구체 상에 균일하게 분포될 수도 있는 샘플을 고려할 수도 있다. 가중 대 구형 균일 PSNR(weighted to spherically uniform PSNR; WS-PSNR)이 사용될 수도 있다. WS-PSNR은 2D 투영 평면 상에서 이용 가능한 하나 이상의(예를 들면, 모든) 샘플을 사용하여 PSNR을 계산할 수도 있다. 2D 투영 평면 상의 하나 이상의 위치에 대해, 왜곡은 그 샘플 위치에 의해 커버되는 구형 영역에 의해 가중될 수도 있다. WS-PSNR은, 예를 들면, 투영 평면에서 직접적으로 계산될 수도 있다. 상이한 투영 포맷에 대해 상이한 가중치가 유도될 수도 있다. 크래스터 포물선 투영(Craster Parabolic Projecting; CPP)이 360 도 이미지를 투영하기 위해 사용될 수도 있고 및/또는 투영된 이미지 상에서 PSNR을 계산할 수도 있다. 이 접근법은 CPP-PSNR일 수도 있다.
등장방형 포맷은 360 도 카메라 및/또는 스티칭 프로시져를 통해 지원될 수도 있다. 큐브맵 지오메트리에서 360 도 비디오를 인코딩하는 것은, 큐브맵 포맷으로의 등장방형 포맷의 변환을 사용할 수도 있다. 등장방형은 큐브맵과 관계를 가질 수도 있다. 도 2a에는, 여섯 개의 면(예를 들면, PX, NX, PY, NY, PZ, 및 NZ), 및 구체의 중심(예를 들면, O)으로부터 면의 중심으로 진행하는 세 개의 축(예를 들면, X, Y 및 Z)이 있다. "P"는 포지티브(positve)를 나타낼 수도 있고, "N"은 네가티브(negative)를 나타낼 수도 있다. PX는 구체의 중심으로부터 양의(positive) x 축을 따르는 방향일 수도 있고, NX는 PX의 역방향일 수도 있다. PY, NY, PZ 및 NZ에 대해 유사한 개념이 사용될 수도 있다. 여섯 개의 면(예를 들면, PX, NX, PY, NY, PZ, 및 NZ)은, 각각, 전방 면, 후방 면(back face), 상단 면, 하단 면, 좌측 면 및 우측 면에 대응할 수도 있다. 면은 다음과 0에서부터 5까지 인덱싱될 수도 있다(예를 들면, PX (0), NX (1), PY (2), NY (3), PZ (4), 및 NZ (5)). Ps(X_s, Y_s, Z_s)는 반경이 1인 구체 상의 한 포인트일 수도 있다. Ps는, 다음과 같이 요(φ)와 피치(θ)로 표현될 수도 있다:
Figure pat00002
Figure pat00003
Pf는, 라인이 구체 중심으로부터 Ps로 연장될 때의 큐브 상의 한 포인트일 수도 있고, Pf는 면 NZ 상에 있을 수도 있다. Pf의 좌표인 (X_f, Y_f, Z_f)는 다음과 같이 계산될 수도 있는데:
Figure pat00004
여기서 |x|는 변수 x의 절대 값일 수도 있다. 면 NZ의 2D 평면에서의 Pf의 좌표인 (uc, vc)는 다음과 같이 계산될 수도 있다:
Figure pat00005
하나 이상의 수학식 (3) 내지 (10)을 사용하면, 특정한 면 상의 큐브맵에서의 좌표 (uc, vc)와 구체 상에서의 좌표 (φ, θ) 사이의 관계가 있을 수도 있다. 구체 상의 포인트 (φ, θ)와 등장방형 포인트 (ue, ve) 사이의 관계는, 수학식 (1) 및/또는 (2)으로부터 알려질 수도 있다. 등장방형 지오메트리와 큐브맵 지오메트리 사이에 관계가 있을 수도 있다. 큐브맵으로부터 등장방형으로의 지오메트리 매핑은 표현될 수도 있다. 예를 들면, 포인트 (uc, vc)는 큐브맵 상의 면 상에 주어질 수도 있다. 등장방형 평면 상의 출력(ue, ve)은 계산될 수도 있다. 예를 들면, 면 상의 3D 포인트 P_f의 좌표는, 수학식 (9) 및 수학식 (10)에 기초하여 (uc, vc)를 사용하여 계산될 수도 있다. 구체 상의 3D 포인트 P_s의 좌표는 수학식 (6), (7) 및 (8)에 기초하여 P_f를 사용하여 계산될 수도 있다. 구체 상의 (φ, θ)는 수학식 (3), (4) 및 (5)에 기초하여 P_s를 사용하여 계산될 수도 있다. 등장방형 픽쳐 상의 포인트 (ue, ve)의 좌표는 수학식 (1) 및 수학식 (2)에 기초하여 (φ, θ)로부터 계산될 수도 있다.
360 도 비디오는 2D 픽쳐에서 표현될 수도 있다. 예를 들면, 360 도 비디오는 큐브맵을 사용하여 2D 픽쳐에서 제시될 수도 있다. 큐브맵의 여섯 개의 면은 직사각형 영역으로 패킹될 수도 있다. 이것은 프레임 패킹일 수도 있다. 프레임 패킹 픽쳐는, 2D 픽쳐로서 취급(예를 들면, 코딩)될 수도 있다. 상이한 프레임 패킹 구성(들)이 사용될 수도 있다(예를 들면, 3×2 및/또는 4×3 패킹 구성). 3×2 구성에서, 여섯 개의 큐브맵 면은, 하나의 행에서 3 개의 면을 가지면서 2 개의 행으로 패킹될 수도 있다. 4×3 구성에서, 4 개의 면(예를 들면, PX, NZ, NX 및 PZ)은 하나의 행(예를 들면, 중앙 행)으로 패킹될 수도 있고, 면 PY 및 NY는 두 개의 상이한 행(예를 들면, 상단 및 하단 행)으로 패킹(예를 들면, 개별적으로 패킹)될 수도 있다. 도 2c는 도 1c에서의 등장방형 픽쳐에 대응하는 4×3 프레임 패킹의 예를 묘사한다.
등장방형 포맷의 360 도 비디오가 입력될 수도 있고 큐브맵 포맷으로 변환될 수도 있다. 큐브맵 포맷의 (예를 들면, 각각의) 샘플 포지션(uc, vc)의 경우, 등장방형 포맷의 대응하는 좌표 (ue, ve)가 계산될 수도 있다. 등장방형의 계산된 좌표 (ue, ve)가 정수 샘플 포지션에 있지 않으면, 보간 필터가 사용될 수도 있다. 예를 들면, 보간 필터는, 이웃하는 정수 포지션으로부터의 샘플을 사용하여 분수 포지션에서 샘플 값(fractional position)을 획득하기 위해 사용될 수도 있다.
도 3은 360 도 비디오 시스템에 대한 예시적인 워크 플로우를 묘사한다. 워크 플로우는, (예를 들면, 전체 구체 공간을 커버하는) 하나 이상의 카메라를 사용한 360 도 비디오 캡쳐를 포함할 수도 있다. 비디오는 (예를 들면, 등장방형 지오메트리 구조체를 사용하여) 지오메트리 구조체에서 함께 스티칭될 수도 있다. 등장방형 지오메트리 구조체는, 인코딩(예를 들면, 비디오 코덱을 사용한 인코딩)을 위해 다른 지오메트리 구조체(예를 들면, 큐브맵 또는 다른 투영 포맷)로 변환될 수도 있다. 코딩된 비디오는, 예를 들면, 동적 스트리밍 및/또는 브로드캐스팅을 통해 클라이언트에게 전달될 수도 있다. 비디오는 디코딩될 수도 있다. 예를 들면, 비디오는 수신기에서 디코딩될 수도 있다. 압축 해제된 프레임은 언패킹되어(unpacked) 지오메트리(예를 들면, 등장방형)를 디스플레이할 수도 있다. 지오메트리는 (예를 들면, 유저의 시야각에 따르는 뷰포트 투영을 통한) 렌더링을 위해 사용될 수도 있다.
크로마 성분(chroma component)은, 예를 들면, 더 작은 해상도로 서브샘플링될 수도 있다. 예를 들면, 크로마 성분은, 루마 성분(luma component)의 해상도보다 더 작은 해상도로 서브샘플링될 수도 있다. 크로마 서브샘플링은, 인코딩을 위해 사용되는 비디오 데이터의 양을 감소시킬 수도 있고 대역폭 및/또는 컴퓨팅 능력을 절약할 수도 있으며 비디오 품질에 영향을 주지 않으면서(예를 들면, 유의미하게 영향을 주지 않으면서) 그렇게 할 수도 있다. 4:2:0 크로마 포맷에서, 크로마 성분 둘 모두는 루마 해상도의 1/4이 되도록 서브샘플링될 수도 있다(예를 들면, 수평으로 1/2 그리고 수직으로 1/2). 크로마 서브샘플링 이후, 크로마 샘플링 그리드는 루마 샘플링 그리드와는 상이할 수도 있다. 도 3에서, 프로세싱 플로우의 전반에 걸쳐, 각각의 스테이지에서 프로세싱되고 있는 360 도 비디오는, 크로마 성분이 서브샘플링되었을 수도 있는 크로마 포맷일 수도 있다.
비디오 코덱(들)은 평면 상에서 캡쳐되는 2D 비디오를 고려하여 설계될 수도 있다. 모션 보상 예측이 기준 픽쳐의 경계 외부의 하나 이상의 샘플을 사용하는 경우, 픽쳐 경계로부터 샘플 값을 복사하는 것에 의해 패딩이 수행될 수도 있다. 예를 들면, 반복적인 패딩은 픽쳐 경계로부터 샘플 값을 복사하는 것에 의해 수행될 수도 있다. 도 4a 및 도 4b는 ERP(예를 들면, 도 4a) 및 CMP(예를 들면, 도 4b)에 대한 반복적인 패딩에 의해 생성되는 확장된 픽쳐의 예를 묘사한다. 도 4a 및 도 4b에서, 원본 픽쳐(original picture)는 점선 박스 내에 있을 수도 있고, 확장된 경계는 점선 박스 외측에 있을 수도 있다. 360 도 비디오는 전체 구체 상에 비디오 정보를 포함할 수도 있고 순환 속성을 가질 수도 있다. 360 도 비디오의 순환 속성을 고려할 때, 360 도 비디오의 픽쳐가 포함하는 정보가 구체 주위에 랩핑될(wrapped) 수도 있기 때문에, 360 도 비디오의 기준 픽쳐는 경계를 가지지 않을 수도 있다. 순환 속성은 하나 이상의 상이한 투영 포맷에 대해 유지될 수도 있거나 또는 2D 평면 상에서 360 도 비디오를 나타내기 위해 프레임 패킹이 사용된다. 360 도 비디오 코딩을 위해 지오메트리 패딩이 사용될 수도 있다. 예를 들면, 샘플을 패딩하는 것에 의해 및/또는 360 도 비디오에서 표현되는 3D 지오메트리 구조체를 고려하는 것에 의해 360 도 비디오 코딩을 위해 지오메트리 패딩이 사용될 수도 있다.
ERP에 대한 지오메트리 패딩은 경도 및/또는 위도를 갖는 구체 상에서 정의될 수도 있다. 예를 들면, (예를 들면, ERP 픽쳐 외부에) 패딩될 포인트 (u, v)가 주어지면, 패딩 샘플을 유도하기 위해 사용되는 포인트 (u', v')는 다음과 같이 계산될 수도 있는데:
Figure pat00006
여기서 W 및 H는 ERP 픽쳐의 폭 및 높이일 수도 있다. 도 5a는 ERP에 대한 예시적인 지오메트리 패딩 프로세스를 묘사한다. 픽쳐의 좌측 경계 외부, 즉 도 5a의 A, B 및 C에 있는 샘플을 패딩하기 위해, 샘플은, 픽쳐의 우측 경계 내부에 위치되는 A', B' 및 C'에 있는 대응하는 샘플로 패딩될 수도 있다. 픽쳐의 우측 경계 외부(예를 들면, 도 5a의 D, E 및 F에 있는 샘플)를 패딩하기 위해, 샘플은, 픽쳐의 좌측 경계 내부에 위치되는 D', E' 및 F'에 있는 대응하는 샘플로 패딩될 수도 있다. 상단 경계 외부에 위치되는 샘플, 즉 도 5a의 G, H, I, 및 J에 있는 샘플의 경우, 샘플은, 폭 절반의 오프셋을 가지고 픽쳐의 상단 경계 내부에 위치되는 G', H', I', 및 J'에 있는 대응하는 샘플로 패딩된다. 픽쳐의 하단 경계 외부에 위치되는 샘플(예를 들면, 도 5a에서 K, L, M, 및 N에 있는 샘플)의 경우, 샘플은, 폭 절반의 오프셋을 가지고 픽쳐의 하단 경계 내부에 위치되는 K', L', M', 및 N'에 있는 대응하는 샘플로 패딩될 수도 있다. 도 5b는 지오메트리 패딩을 사용하는 예시적인 확장된 ERP 픽쳐를 묘사한다. 도 5a 및 도 5b에서 도시되는 지오메트리 패딩은 의미있는 샘플을 제공할 수도 있고 및/또는 ERP 픽쳐 경계 외부의 영역에 대한 이웃하는 샘플의 연속성을 향상시킬 수도 있다.
코딩된 픽쳐가 CMP 포맷인 경우, 이웃하는 면의 샘플을 현재의 면의 확장 영역 상으로 투영하는 것을 통해 지오메트리 패딩을 사용하는 것에 의해 CMP의 면이 확장될 수도 있다. 도 6a는 3D 지오메트리에서 주어진 CMP 면에 대해 지오메트리 패딩이 어떻게 수행될 수도 있는지의 예를 묘사한다. 도 6a에서, 포인트 P는 면 F1 상에 있을 수도 있고 면 F1의 경계 외부에 있을 수도 있다. 포인트 P가 패딩될 수도 있다. 포인트 O는 구체의 중심일 수도 있다. R은 P에 가장 가까운 좌측 경계 포인트일 수도 있고 면 F1 내부에 있을 수도 있다. 포인트 Q는 중심 포인트 O로부터 면 F2 상의 포인트 P의 투영 포인트일 수도 있다. 지오메트리 패딩은, (예를 들면, 포인트 P에서 샘플 값을 채우기 위해 포인트 R에서 샘플 값을 사용하는 대신) 포인트 P에서 샘플 값을 채우기 위해 포인트 Q에서 샘플 값을 사용할 수도 있다. 도 6b는 CMP 3×2 픽쳐에 대한 지오메트리 패딩을 갖는 예시적인 확장된 면을 묘사한다. 도 6a 및 도 6b에서 도시되는 지오메트리 패딩은, CMP 면 경계 외부의 영역에 대한 의미있는 샘플을 제공할 수도 있다.
도 7은 예시적인 블록 기반의 하이브리드 비디오 인코딩 시스템(600)을 예시한다. 입력 비디오 신호(602)는 블록 단위로(block by block) 프로세싱될 수도 있다. 고해상도(예를 들면, 1080p 및/또는 그 이상) 비디오 신호를 압축하기 위해, 확장된 블록 사이즈(예를 들면, 코딩 단위(coding unit) 또는 CU)가 (예를 들면, HEVC에서) 사용될 수도 있다. CU는 (예를 들면, HEVC에서) 64×64 픽셀까지 가질 수도 있다. CU는 또한, 예측 단위(prediction unit) 또는 PU로 구획될 수도 있는데, 이것에 대해 별개의 예측 방법이 적용될 수도 있다. 입력 비디오 블록(예를 들면, 매크로블록(macroblock; MB) 또는 CU)에 대해, 공간 예측(660) 및/또는 시간 예측(662)이 수행될 수도 있다. 공간 예측(예를 들면, "인트라 예측")은, 현재 비디오 블록을 예측하기 위해, 동일한 비디오 픽쳐 및/또는 슬라이스에서의 이미 코딩된 이웃하는 블록으로부터의 픽셀을 사용할 수도 있다. 공간 예측은, 비디오 신호에서는 본질적인 공간 중복성(spatial redundancy)을 감소시킬 수도 있다. 시간 예측(예를 들면, "인터 예측" 또는 "모션 보상 예측")은, 현재 비디오 블록을 예측하기 위해, 이미 코딩된 비디오 픽쳐로부터의 픽셀을 사용할 수도 있다. 시간 예측은, 비디오 신호에서는 본질적인 시간 중복성을 감소시킬 수도 있다. 주어진 비디오 블록에 대한 시간 예측 신호는, 현재 블록과 그것의 기준 블록 사이의 모션의 양 및/또는 방향을 나타내는 하나 이상의 모션 벡터에 의해 시그널링될 수도 있다. (예를 들면, H.264/AVC 또는 HEVC에서) 다수의 기준 픽쳐가 지원되는 경우, 비디오 블록의 기준 픽쳐 인덱스가 디코더로 시그널링될 수도 있다. 기준 픽쳐 인덱스는, 시간 예측 신호가 기준 픽쳐 저장소(664)의 어떤 기준 픽쳐로부터 유래할 수도 있는지를 식별하기 위해 사용될 수도 있다.
공간 및/또는 시간 예측 이후, 인코더 내의 모드 결정(680)은, 예를 들면, 레이트 왜곡 최적화(rate-distortion optimization)에 기초하여, 예측 모드를 선택할 수도 있다. 예측 블록은 616에서 현재 비디오 블록으로부터 감산될 수도 있다. 예측 잔차(prediction residual)는, 목표 비트 레이트를 달성하기 위해, 변환 모듈(604) 및 양자화 모듈(606)을 사용하여 상관 해제될 수도 있다. 양자화된 잔차 계수는 610에서 역양자화되고 612에서 역변환되어 재구성된 잔차를 형성할 수도 있다. 재구성된 잔차는 626에서 예측 블록에 다시 추가되어 재구성된 비디오 블록을 형성할 수도 있다. 재구성된 비디오 블록이 기준 픽쳐 저장소(664)에 놓이기 이전에, 666에서, 재구성된 비디오 블록에 디블로킹 필터 및/또는 적응형 루프 필터(adaptive loop filter)와 같은 루프 내 필터(in-loop filter)가 적용될 수도 있다. 기준 픽쳐 저장소(664) 내의 기준 픽쳐는 미래의 비디오 블록을 코딩하기 위해 사용될 수도 있다. 출력 비디오 비트스트림(620)이 형성될 수도 있다. 코딩 모드(예를 들면, 인터 또는 인트라), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔차 계수는, 엔트로피 코딩 유닛(608)으로 전송되고 압축 및 패킹되어 비트스트림(620)을 형성할 수도 있다.
도 8은 예시적인 블록 기반의 하이브리드 비디오 디코더를 예시한다. 도 8에서의 디코더는 도 7에서의 인코더에 대응할 수도 있다. 비디오 비트스트림(202)은, 엔트로피 디코딩 유닛(208)에서, 수신될 수도 있고, 언패킹될 수도 있고, 및/또는 엔트로피 디코딩될 수도 있다. 코딩 모드 및/또는 예측 정보는 (예를 들면, 인트라 코딩된 경우) 공간 예측 유닛(260)으로 및/또는 (예를 들면, 인터 코딩된 경우) 시간 예측 유닛(262)으로 전송될 수도 있다. 공간 예측 유닛(260) 및/또는 시간 예측 유닛(262)에서 예측 블록이 형성될 수도 있다. 잔차 변환 계수는 역양자화 유닛(210) 및 역변환 유닛(212)으로 전송되어 잔차 블록을 재구성할 수도 있다. 그 다음, 예측 블록 및 잔차 블록은 226에서 가산될 수도 있다. 재구성된 블록은 루프 내 필터링(266)을 통과할 수도 있고 기준 픽쳐 저장소(264)에 저장될 수도 있다. 기준 픽쳐 저장소(264) 내의 재구성된 비디오는, 디스플레이 디바이스를 구동하기 위해 및/또는 미래의 비디오 블록을 예측하기 위해 사용될 수도 있다.
H.264 및/또는 HEVC와 같은 비디오 코덱(들)은 2D 평면 직선형 비디오(들)를 코딩하기 위해 사용될 수도 있다. 비디오 코딩은, 예를 들면, 정보 중복성을 제거하기 위해, 공간 및/또는 시간 상관 관계(들)를 활용할 수도 있다. 인트라 예측 및/또는 인터 예측과 같은 다양한 예측 기법이 비디오 코딩 동안 적용될 수도 있다. 인트라 예측은, 이웃하는 재구성된 샘플을 사용하여 샘플 값을 예측할 수도 있다. 도 9는, 현재의 변환 단위(transform unit; TU)를 인트라 예측하기 위해 사용될 수도 있는 예시적인 기준 샘플을 묘사한다. 본원에서 설명되는 현재 TU는 현재의 블록일 수도 있고, 두 용어는 상호 교환 가능하게 사용될 수도 있다. 본원에서 설명되는 바와 같이, 기준 샘플은 현재의 TU의 위쪽 및/또는 좌측에 위치되는 재구성된 샘플을 포함할 수도 있다.
하나 이상의 인트라 예측 모드가 선택될 수도 있다. 예를 들면, HEVC는, 도 10에서 도시되는 바와 같이, 평면 (0), DC (1), 및/또는 방향성 예측(angular prediction) (2 내지 34)을 포함하는 35 개의 인트라 예측 모드를 명시할 수도 있다. 평면 예측은, 예를 들면, 상단 및/또는 좌측 재구성된 샘플을 사용하여, 현재의 블록에 대한 1차 근사를 생성할 수도 있다. 상단 우측 및 하단 좌측 샘플 값은, (예를 들면, 래스터 스캔 순서 때문에) 우측 열 및 하단 행을 따라 각각 복사될 수도 있다. 수직 예측기(predictor)가, 예를 들면, 대응하는 상단 및 하단 샘플의 가중된 평균을 사용하여, 블록 내의 하나 이상의 위치에 대해 형성될 수도 있다. 대응하는 좌측 및 우측 샘플을 사용하여 수평 예측기가 형성될 수도 있다. 최종 예측기는, 예를 들면, 수직 및 수평 예측기를 평균하는 것에 의해 형성될 수도 있다. 하단 우측 샘플 값은, 상단 우측 및 하단 좌측 샘플 값의 평균으로 외삽될(extrapolated) 수도 있다. 우측 열(예를 들면, 하단 행)은 상단 우측 및 하단 우측 샘플(예를 들면, 하단 좌측 및 하단 우측 샘플)을 사용하여 외삽될 수도 있다.
방향성 예측은 방향성 텍스쳐(directional texture)를 예측하도록 설계될 수도 있다. 예를 들면, HEVC에서, 인트라 방향성 예측 프로세스는 주어진 방향을 활용하여 재구성된 기준 샘플로부터 샘플 값을 외삽하는 것에 의해 수행될 수도 있다. 현재의 블록 내의 하나 이상의(예를 들면, 모든) 샘플 위치는 (예를 들면, 방향성 모드(angular mode)에 따라) 기준 행 또는 열로 투영될 수도 있다. 투영된 픽셀 위치가 음의 인덱스를 갖는 경우, 수직 예측을 위해 좌측 기준 열을 투영하는 것에 의해 기준 행은 좌측으로 연장될 수도 있고, 반면 수평 예측을 위해 상단 기준 행을 투영하는 것에 의해 기준 열은 상방으로 확장될 수도 있다. 도 11a 및 도 11b는 좌측 기준 샘플(예를 들면, 도 11a) 및 위쪽 기준 샘플(예를 들면, 도 11b)에 대한 예시적인 투영을 묘사한다. 도 11a 및 도 11b에서의 굵은 화살표는 예측 방향을 나타낼 수도 있고 가는(thin) 화살표는 기준 샘플 투영을 나타낼 수도 있다. 도 11a는 좌측 기준 열로부터의 샘플을 사용하여 상단 기준 행을 확장하기 위한 예시적인 프로세스를 묘사한다. 예측된 샘플은 블록화 아티팩트(blocking artifact)를 감소시키기 위해 블록 경계에서 필터링될 수도 있다(예를 들면, 인트라 예측 블록이 생성되었음). (예를 들면, HEVC에서의) 수직 인트라 모드의 경우, 예측 샘플의 가장 좌측 열 si,j는 좌측 기준 열 Ri,j를 사용하여 다음과 같이 조정될 수도 있다:
Figure pat00007
수평 인트라 모드의 경우, 예측 샘플의 최상단(top-most) 행은 유사한 프로세스를 사용하여 조정될 수도 있다. 도 12a 내지 도 12d는 다른 방향성 모드에 대한 경계 예측 필터링의 예를 묘사한다. 예를 들면, 도 12a는 인트라 모드 2에 대한 예시적인 경계 예측 필터링을 묘사한다. 예를 들면, 도 12b는 인트라 모드 34에 대한 예시적인 경계 예측 필터링을 묘사한다. 예를 들면, 도 12c는 인트라 모드 3-6에 대한 예시적인 경계 예측 필터링을 묘사한다. 예를 들면, 도 12d는 인트라 모드 30-33에 대한 예시적인 경계 예측 필터링을 묘사한다. 하나 이상의 인트라 예측 모드에 의해 생성되는 예측과 원본 샘플 사이의 왜곡을 최소화하는 것에 의해, 적절한 인트라 예측 모드가 인코더 측에서 선택될 수도 있다. 가장 가능한 모드(most probable mode; MPM)는 (예를 들면, 인트라 예측 모드를 효율적으로 인코딩하기 위해) 인트라 코딩을 위해 사용될 수도 있다. MPM은 공간적 이웃 PU(spatial neighboring PU)의 인트라 방향성 모드를 재사용할 수도 있다. 예를 들면, MPM은, 그것이 현재의 PU에 대해 인트라 방향성 모드를 코딩하지 않을 수도 있도록, 공간적 이웃 PU의 인트라 방향성 모드를 재사용할 수도 있다.
도 13은 MPM 후보 유도를 위해 사용되는 예시적인 공간적 이웃(예를 들면, 하단 좌측(bottom left; BL), 좌측(left; L), 우측 위쪽(above right; AR), 상단(top; A), 좌측 위쪽(above left; AL))을 묘사한다. 선택된 MPM 후보 인덱스가 코딩될 수도 있다. MPM 후보 목록은 디코더 측에서 인코더 측과 동일한 방식으로 구성될 수도 있다. 시그널링된 MPM 후보 인덱스를 갖는 엔트리는 현재의 PU의 인트라 방향성 모드로서 사용될 수도 있다. 예를 들면, 상이한 채널 사이의 상관 관계를 감소시키기 위해 RGB 대 YUV 컬러 변환(RGB to YUV color conversion)이 수행될 수도 있다. 루마 채널과 크로마 채널 사이의 상관 관계가 존재할 수도 있다. 성분 교차 선형 모델 예측은 이 상관 관계를 활용하여, 라이너 모델(liner model)을 사용하여 루마 채널로부터 크로마 채널을 예측하여, 다음과 같이(예를 들면, N×N 샘플의 크로마 블록을 가정하고 도 9에서와 동일한 표기법을 따름), 다운샘플링된 재구성된 루마 샘플 값
Figure pat00008
로부터 크로마 샘플 값 pi,j를 예측할 수도 있다:
Figure pat00009
다운샘플링된 루마 샘플은 다음과 같이 계산될 수도 있다:
Figure pat00010
선형 모델의 파라미터는, 상단 및 좌측의 이웃하는 재구성된 샘플 사이의 회귀 오차를 최소화하는 것에 의해 유도될 수도 있다. 선형 모델의 파라미터는 다음과 같이 계산될 수도 있다:
Figure pat00011
도 14는 α 및 β의 유도를 위해 사용되는 상단 및 좌측의 이웃하는 재구성된 샘플의 예시적인 위치를 묘사한다. 도 15는 하나의 모션 벡터(motion vector; MV)를 갖는 예시적인 인터 예측을 묘사한다. 기준 픽쳐에서의 블록 B0' 및 B1'은, 각각, 블록 B0 및 B1의 기준 블록일 수도 있다. 기준 블록 B0'은 부분적으로 픽쳐 경계 외부에 있을 수도 있다. (예를 들면, HEVC/H.264에서의) 패딩 프로세스는 픽쳐 경계 외부의 미지의 샘플을 채우도록 구성될 수도 있다. 도 16은 HEVC/H.264에서 픽쳐 경계 외부의 기준 샘플(예를 들면, 블록 B0')에 대한 예시적인 패딩을 묘사한다. 블록 B0'은 4 개의 부분, 예를 들면, P0, P1, P2 및 P3을 가질 수도 있다. 부분 P0, P1, 및 P2는 픽쳐 경계 외부에 있을 수도 있고, 예를 들면, 패딩 프로세스를 통해 채워질 수도 있다. 부분 P0는 픽쳐의 상단 좌측 샘플로 채워질 수도 있다. 부분 P1은 픽쳐의 최상단 행을 사용하여 수직 패딩을 통해 채워질 수도 있다. 부분 P2는 픽쳐의 가장 좌측 열을 사용하여 수평 패딩을 통해 채워질 수도 있다. 모션 벡터 예측 및 병합 모드는 모션 벡터 정보를 인코딩하기 위해 인터 코딩을 위해 사용될 수도 있다. 모션 벡터 예측은, 현재의 MV의 예측기로서, 이웃하는 PU 또는 시간적으로 병치된(temporal collocated) PU로부터의 모션 벡터를 사용할 수도 있다. 인코더 및/또는 디코더는, 예를 들면, 동일한 방식으로, 모션 벡터 예측기 후보 목록을 형성할 수도 있다. 후보 목록으로부터의 선택된 MV 예측기의 인덱스는 코딩되어 디코더로 시그널링될 수도 있다. 디코더는 MV 예측기 목록을 구성할 수도 있고, 시그널링된 인덱스를 갖는 엔트리는 현재의 PU의 MV의 예측기로서 사용될 수도 있다. 병합 모드는 공간 및 시간적 이웃 PU의 MV 정보를 재사용할 수도 있고, 그 결과, 병합 모드는 현재의 PU에 대한 모션 벡터를 코딩하지 않을 수도 있다. 인코더 및/또는 디코더는, 예를 들면, 동일한 방식으로, 모션 벡터 병합 후보 목록을 형성할 수도 있다. 도 17은 병합 후보 유도를 위해 사용되는 예시적인 공간적 이웃(예를 들면, 하단 좌측, 좌측, 우측 위쪽, 위쪽, 좌측 위쪽)을 묘사한다. 선택된 병합 후보 인덱스는 코딩될 수도 있다. 병합 후보 목록은, 예를 들면, 인코더와 동일한 방식으로 디코더 측에서 구성될 수도 있다. 시그널링된 병합 후보 인덱스를 갖는 엔트리는 현재의 PU의 MV로서 사용될 수도 있다.
프레임 패킹된 360 도 비디오는 2D 비디오와 상이한 특성을 가질 수도 있다. 360 도 비디오는 뷰어를 둘러싸는 환경의 360 도 정보를 포함할 수도 있다. 360 도 정보는, 360 도 비디오가 고유 원형 대칭을 갖는다는 것을 나타낼 수도 있다. 2D 비디오는 이 대칭 특성을 갖지 않는다. 비디오 코덱(들)은 2D 비디오용으로 설계되었을 수도 있으며 360 도 비디오의 대칭 피쳐를 고려하지 않을 수도 있다. 예를 들면, 코덱(들)은 비디오를 코딩 순서대로 프로세싱(예를 들면, 코딩)할 수도 있다. 예를 들면, 코덱(들)은, 블록을 상단에서 하단으로 및/또는 좌측에서 우측으로 코딩하는, 래스터 스캔 순서와 같은 코딩 순서를 사용하여 비디오 신호를 블록 단위로 프로세싱할 수도 있다. 현재의 블록을 코딩하기 위한 정보는 현재의 블록의 위쪽 및/또는 좌측에 위치되는 블록으로부터 추론될 수도 있다.
360 도 비디오의 경우, 프레임 패킹된 픽쳐에서 이웃하는 블록은, 예를 들면, 현재의 블록을 코딩하는 것과 관련되는 것이 아닐 수도 있다. 프레임 패킹된 픽쳐에서 현재의 블록의 이웃인 블록은 프레임 패킹된 이웃일 수도 있다. 3D 지오메트리에서 현재의 블록의 이웃인 블록은 면 이웃(face neighbor) 또는 구형의 이웃하는 블록일 수도 있다. 도 18a 및 도 18b는 CMP의 예를 묘사한다. 도 18a는 CMP의 예시적인 3D 표현을 묘사한다. 도 18b는 CMP의 예시적인 3×2 프레임 패킹 구성을 묘사한다. 도 18a 및 도 18b에서, 블록 A는 블록 C 위쪽에 위치되는 프레임 패킹된 이웃일 수도 있다. 3D 지오메트리를 고려하여, 블록 D는 블록 A 위쪽에 위치되는 정확한 면 이웃(예를 들면, 또는 구형의 이웃하는 블록)일 수도 있다. 360 도 비디오 코딩에서 추가적인 면 이웃 블록이 사용될 수도 있다. 예를 들면, 현재의 블록이 프레임 패킹된 픽쳐의 면과 관련되는 우측 및/또는 하단 면 경계에 있는 경우, 우측 및/또는 하단 면 이웃 블록이 사용될 수도 있다. 우측 및/또는 하단 면 이웃 블록은 경계의 다른 측 상에(예를 들면, 반대 측 상에 또는 면을 교차하여) 있는 면에 위치될 수도 있다. 예를 들면, 우측 및/또는 하단 면 이웃 블록은, 현재의 블록이 속하는 면의 우측 및/또는 하단 면 경계에 위치되는 경계를 공유할 수도 있다. 면 배열 및/또는 스캔 프로세싱 순서(예를 들면, 래스터 스캔 순서)는, 본원에서 설명되는 바와 같이 현재의 블록을 코딩하기 위해 어떤 블록이 사용될 수도 있는지를 결정하기 위해 사용될 수도 있다. 도 18b에서 묘사되는 예에서, 블록 B는 블록 A와 관련하여 우측 면 이웃일 수도 있다. 블록 B가 블록 A와 관련하여 우측 면 이웃인 경우, 우측 면 이웃은 우측 프레임 패킹된 이웃과 매칭할 수도 있다. 블록이 좌측에서 우측으로 스캔되는 경우(예를 들면, 좌측에서 우측으로 이동하는 스캔 순서를 갖는 래스터 스캔), 블록 A를 코딩할 때 블록 B는 코딩되지 않을 수도 있고, 우측 면 이웃은 이용 가능하지 않을 수도 있다(예를 들면, 아직 코딩되지 않았을 수도 있다). 블록 E를 인코딩하는 경우, 그것의 우측 면 이웃(예를 들면, 360 도 비디오의 고유의 구형 특성을 사용하는 블록 F)은 코딩되었을 수도 있고 블록 E를 코딩(예를 들면, 예측)하기 위해 사용될 수도 있다. 블록 G를 인코딩하는 경우, 그것의 아래쪽 면 이웃(예를 들면, 360 도 비디오의 고유의 구형 특성을 사용하는 블록 H)은 코딩되었을 수도 있고 블록 G를 코딩(예를 들면, 예측)하기 위해 사용될 수도 있다. 도 18a 및 도 18b에서, 빗금 친(hatched) 영역(예를 들면, 도 18b) 중 한 영역의 면 경계에 위치되는 블록은 현재의 블록의 코딩(예를 들면, 예측) 프로세스에서 자신의 우측 및/또는 아래쪽 면 이웃 블록(들)을 사용할 수도 있는데, 예를 들면, 360 도 비디오의 구면 특성(들)을 고려하여, 그들의 우측 및/또는 하단 이웃이 이미 코딩되었기 때문이다(예를 들면, 이용 가능하기 때문이다). 우측 및/또는 하단 면 이웃 블록은 기준 블록으로서 사용될 수도 있다.
예를 들면, 좌측(L), 위쪽(above; A), 우측 위쪽(AR), 좌측 위쪽(AL), 및/또는 좌측 아래쪽(below left; BL) 이웃은 (예를 들면, 도 13 및 도 17에서 도시되는 바와 같은) 2D 비디오 코딩에서 (예를 들면, 래스터 스캔 프로세싱과 같은 스캔 순서 때문에) 정보를 추론하기 위해 사용될 수도 있다. 360 도 비디오에서, 현재의 블록이 우측 면 경계에 있는 경우, 우측(right; R) 및 우측 아래쪽(below right; BR) 면 이웃 블록은, 모션 벡터 예측 및/또는 병합 모드에서 모션 벡터 후보를 유도하기 위한 (예를 들면, 인트라 예측에서 MPM 목록을 유도하기 위한) 속성을 추론하기 위해 사용될 수도 있다. 현재의 블록이 하단 면 경계에 있는 경우, 아래쪽(below; B) 및 우측 아래쪽(BR) 면 이웃 블록은 속성(들)을 추론하기 위해 사용될 수도 있다. 하나 이상의 추가적인 공간 후보가 이웃 블록으로부터 속성(들)을 추론하기 위해 사용될 수도 있다.
예를 들면, 현재의 블록의 위쪽에 및/또는 좌측 상에 위치되는 재구성된 샘플은 (예를 들면, 도 9에서 도시되는 바와 같이) 현재의 블록을 예측하기 위한 2D 비디오 코딩에서 (예를 들면, 래스터 스캔 프로세싱 때문에) 사용될 수도 있다. 360 도 비디오에서, 이웃하는 재구성된 샘플이 현재의 블록이 속하는 면 외부에 위치되는 경우, 샘플은, 예를 들면, 지오메트리 패딩을 사용하여 외삽될 수도 있다. 예를 들면, 블록이 우측 면 경계에 있는 경우, 샘플 RN+1,0, ..., R2N,0은 지오메트리 패딩을 사용하여 획득될 수도 있다. 블록의 우측 상에 위치되는 재구성된 샘플(예를 들면, 도 19에서 도시되는 RN+1,0, ..., RN+1,2N)이 사용될 수도 있다. 도 19는 인트라 및 인터 코딩에서 현재의 블록을 예측하기 위해 사용되는 예시적인 재구성된 샘플을 묘사한다. 블록이 하단 면 경계에 있는 경우, 블록의 하단 측 상에 위치되는 샘플(예를 들면, R0,N+1, ..., R2N,N+1)이 사용될 수도 있다. 본원에 설명되는 바와 같이, 재구성된 샘플(예를 들면, 추가적인 및/또는 더욱 의미있는 재구성된 샘플)은 상이한 예측 방법(예를 들면, 인트라 예측, 성분 교차 선형 모델 예측, 경계 예측 필터링, 및/또는 루프 내 필터링에서의, DC, 평면, 및/또는 방향성 모드) 에서 사용될 수도 있다.
360 도 비디오 코딩은 인트라 예측 및/또는 인터 예측을 위해 공간적 이웃 및 재구성된 샘플을 사용할 수도 있다. 본원에서 설명되는 블록은 현재의 블록 또는 서브 블록을 포함할 수도 있으며 상호 교환 가능하게 사용될 수도 있다. 블록이 우측(예를 들면, 또는 하단) 면 경계 상에 있는 경우, 그것의 우측 및 우측 아래쪽(예를 들면, 또는 아래쪽 및 우측 아래쪽) 면 이웃 블록은, (예를 들면, 인트라 방향성 프로세스에서 MPM을 유도하기 위한, 인터 예측에서 병합 모드를 유도하기 위한, 모션 벡터 예측을 위한 및/또는 등등을 위한) 공간적 이웃으로부터 속성을 추론하는 상이한 프로시져(들)에 대한 후보(들)로서 간주될 수도 있다. 현재의 면 외부의 블록은 이웃하는 면(들)으로부터 획득될 수도 있다. 면 경계에서의 공간 후보의 위치가 본원에서 설명될 수도 있다.
인트라 및/또는 인터 예측의 경우, 블록(예를 들면, 현재의 블록)이 우측(예를 들면, 또는 하단) 면 경계 상에 있는 경우, 그것의 우측 및 우측 아래쪽(예를 들면, 아래쪽 또는 우측 아래쪽) 면 이웃 블록으로부터의 재구성된 샘플은 현재의 블록을 코딩(예를 들면, 예측)하기 위해 사용될 수도 있다. 재구성된 샘플은 현재의 면 외부에 있을 수도 있고, 예를 들면, 지오메트리 패딩을 사용하여 획득될 수도 있다. 면 경계에서의 재구성된 샘플의 위치는 본원에 설명되는 바와 같이 식별될 수도 있다.
인트라 예측의 경우, 블록이 우측(예를 들면, 또는 하단) 면 경계 상에 있는 경우, 그것의 우측 및 우측 아래쪽(예를 들면, 또는 아래쪽 및 우측 아래쪽) 면 이웃 블록으로부터의 재구성된 샘플은 기준 샘플을 유도하기 위해 사용될 수도 있다. 블록이 우측(예를 들면, 또는 하단) 면 경계 상에 있는 경우, 하나 이상의 추가적인 수평(예를 들면, 또는 수직) 방향성 예측 모드가 정의될 수도 있다. 기준 샘플 유도 프로세스 및 면 경계에서의 하나 이상의 추가적인 방향성 모드가 본원에서 설명될 수도 있다.
인트라 방향성 예측의 경우, 블록이 우측(예를 들면, 또는 하단) 면 경계 상에 있는 경우, 경계 필터링은 블록 우측(예를 들면, 또는 하단) 경계에서 적용될 수도 있다. 예를 들면, 경계 필터링은, 보간된 샘플과 재구성된 샘플 사이의 교선(intersection)에서 나타날 수도 있는 불연속성을 감소시키기 위해 블록 우측(예를 들면, 하단) 경계에서 적용될 수도 있다. 면 경계에서의 경계 예측 필터링이 본원에서 설명될 수도 있다.
2D 비디오 코딩에서, 상단, 우측, 하단, 및/또는 좌측 픽쳐 경계는, 예를 들면, 루프 내 필터링 프로세스 동안 필터링되지 않을 수도 있다. 디블로킹(deblocking)의 경우, 경계(예를 들면, 상단, 우측, 하단, 및/또는 좌측) 외부의 샘플(들)은 존재하지 않을 수도 있다. 360 도 비디오 코딩의 경우, 면의 상단, 우측, 하단, 및/또는 좌측 경계는 다른 면 경계에 연결될 수도 있다. 예를 들면, 360 도 비디오 코딩의 경우, 360 도 비디오의 고유의 원형 특성 때문에, 면의 상단, 우측, 하단, 및/또는 좌측 경계는 다른 면 경계에 연결될 수도 있다. 루프 내 필터링은 하나 이상의(예를 들면, 모든) 면 경계에 걸쳐 적용될 수도 있다. 면 경계에서의 루프 내 필터링 프로세스가 본원에서 설명될 수도 있다.
성분 교차 선형 모델 예측의 경우, 블록이 우측(예를 들면, 또는 하단) 면 경계 상에 있는 경우, 그것의 우측(예를 들면, 또는 아래쪽) 면 이웃 블록으로부터의 재구성된 샘플은 선형 모델의 파라미터를 추정하기 위해 사용될 수도 있다. 재구성된 샘플은 현재의 면 외부에 있을 수도 있고, 예를 들면, 지오메트리 패딩을 사용하여 획득될 수도 있다. 면 경계에서의 재구성된 샘플의 위치, 재구성된 루마 샘플의 다운샘플링, 및/또는 선형 모델 파라미터의 유도가 본원에서 설명될 수도 있다.
하나 이상의 면은, 면 내에서 스캔 순서(예를 들면, 래스터 스캔 순서)를 사용하는 것에 의해 프로세싱(예를 들면, 순차적으로 프로세싱)될 수도 있다. 면 스캔 순서에서, 면 이웃 블록의 가용성은 증가될 수도 있다. 면 스캔 순서가 본원에서 설명된다.
CMP 및/또는 관련된 큐브 기반의 지오메트리의 경우, 하나 이상의 면은 본원에서 설명되는 구성을 사용하여 패킹될 수도 있다. 예를 들면, 하나 이상의 면은, 예를 들면, 3×2 패킹 구성을 가지면서 패킹될 수도 있다. 본원에서 설명되는 3×2 패킹 구성은 면 이웃 블록의 이용 가능성을 최대화할 수도 있다.
코딩 디바이스(예를 들면, 인코더 및/또는 디코더일 수도 있는 또는 이들을 포함할 수도 있는 디바이스)는, 예를 들면, 지오메트리 면 내부에서의 현재의 블록의 위치에 기초하여, 하나 이상의 추가적인 이웃 블록을 사용할 수도 있다. 예를 들면, 코딩 디바이스는 지오메트리 면 내부에서의 현재의 블록의 위치에 기초하여 하나 이상의 추가적인 이웃 블록을 사용하여 이웃 블록(들)으로부터 정보를 추론하는 후보의 수를 증가시킬 수도 있다. 코딩 디바이스는 인트라 예측에서 MPM을, 인터 예측에서 모션 추정을, 및/또는 인터 예측에서 병합 모드를 사용하여 이웃하는 블록(들)으로부터 정보를 추론할 수도 있다.
예에서, 코딩 디바이스(예를 들면, 인코더 및/또는 디코더일 수도 있는 또는 이들을 포함할 수도 있는 디바이스)가 코딩된 프레임 패킹된 픽쳐를 코딩 순서대로 수신할 수도 있다. 현재의 블록은, 현재의 블록이 속하는 프레임 패킹된 픽쳐에서 면의 출구 경계에 위치될 수도 있다. 예를 들면, 코딩 디바이스는, 프레임 패킹된 픽쳐의 코딩 순서에 따라 현재의 블록이 속하는 면의 출구 경계에 현재의 블록이 위치된다는 것을 결정할 수도 있다. 현재의 블록이 속하는 면의 출구 경계는, 현재의 블록에 대하여 코딩 순서의 동일한 방향으로 위치될 수도 있다.
예에서, 코딩 블록은 현재의 블록에 대해 좌측에서 우측으로의 방향을 가질 수도 있다. 코딩 블록이 현재의 블록에 대해 좌측에서 우측으로의 방향을 갖는 경우, 현재의 블록이 속하는 프레임 패킹된 픽쳐에서 면의 출구 경계는, 현재의 블록이 속하는(예를 들면, 코딩 순서와 동일한 방향으로 있을 수도 있는) 우측 면 경계(예를 들면, 가장 우측 면 경계)에 위치될 수도 있다. 예에서, 코딩 블록은 현재의 블록에 대해 상단에서 하단으로의 방향을 가질 수도 있다. 코딩 블록이 현재의 블록에 대해 상단에서 하단으로의 방향을 갖는 경우, 현재의 블록이 속하는 프레임 패킹된 픽쳐에서 면의 출구 경계는, 현재의 블록이 속하는(예를 들면, 코딩 순서와 동일한 방향으로 있을 수도 있는) 하단 면 경계(예를 들면, 최하단 면 경계)에 위치될 수도 있다. 예에서, 코딩 블록은 현재의 블록에 대해 좌측에서 우측으로 그리고 상단에서 하단으로의 방향을 가질 수도 있다. 코딩 블록이 현재의 블록에 대해 좌측에서 우측으로 그리고 상단에서 하단으로의 방향을 갖는 경우, 현재의 블록이 속하는 프레임 패킹된 픽쳐에서 면의 출구 경계는, 현재의 블록이 속하는(예를 들면, 코딩 순서와 동일한 방향으로 있을 수도 있는) 우측 및 하단 면 경계(예를 들면, 가장 우측 및 최하단 면 경계)에 위치될 수도 있다.
현재의 블록이 속하는 면의 출구 경계(예를 들면, 현재의 블록이 속하는 가장 우측 및/또는 최하단 면 경계)에 현재의 블록이 위치된다는 것을 코딩 디바이스가 결정하면, 코딩 디바이스는 현재의 블록의 하나 이상의(예를 들면, 다수의) 구형의 이웃하는 블록을 식별할 수도 있다. 예를 들면, 코딩 디바이스는 360 도 비디오의 구형 특성에 기초하여 현재의 블록의 구형의 이웃하는 블록(들)을 식별할 수도 있다.
코딩 디바이스는, 식별된 구형의 이웃하는 블록 중에서 면(예를 들면, 다른 면) 상에 위치되는 면 경계 교차 이웃 블록을 식별할 수도 있다. 면 경계 교차 이웃 블록이 속하는 면은, 현재의 블록이 속하는 면의 경계(예를 들면, 우측 및/또는 하단 면 경계)를 공유할 수도 있다. 예를 들면, 면 경계 교차 이웃 블록은 현재의 블록 외부에 위치될 수도 있고, 현재의 블록이 속하는 면에 걸쳐 및/또는 현재의 블록과는 면 경계의 반대 측에 위치될 수도 있다. 면 경계 교차 이웃 블록은 현재의 블록에 대해 코딩 순서의 동일한 방향으로 위치될 수도 있다. 예를 들면, 면 경계 교차 이웃 블록은 현재의 블록의 우측(R) 블록, 아래쪽(B) 블록, 및/또는 우측 아래쪽(BR) 블록일 수도 있다.
예에서, 현재의 블록이 현재의 블록이 속하는 면의 우측 경계(예를 들면, 가장 우측 경계)에 위치되는 경우, 코딩 디바이스는, 면 교차 이웃 블록(cross-face neighboring block)(예를 들면, 우측(R) 블록 및/또는 우측 아래쪽(BR) 블록)에 대응하는 식별된 블록이, 도 20a에서 묘사되는 바와 같이, 후보(들)(예를 들면, 추가적인 후보(들))로서 사용될 수도 있는지의 여부를 결정할 수도 있다.
도 20a 내지 도 20c는, 현재의 블록이 속하는 면의 우측 면 경계(예를 들면, 도 20a), 하단 면 경계(예를 들면, 도 20b), 및 하단 우측 면 경계(예를 들면, 도 20c)에서의 예시적인 공간적 이웃을 묘사한다. 도 20a 내지 도 20c에서 빗금 친 패턴을 사용하여 묘사되는 블록(들)은 현재의 면 외부에 위치될 수도 있다. 현재의 블록이 하단 면 경계에 있는 경우, 도 20b에서 묘사되는 바와 같이, 아래쪽(B) 및/또는 우측 아래쪽(BR)(예를 들면, 이미 코딩된 이웃하는 블록)은, 예를 들면, 현재의 블록을 예측하기 위해, 도 20b 상에서 묘사되는 바와 같이, 후보(예를 들면, 추가적인 후보)로서 사용될 수도 있다. 하단 면 경계에 위치되는 현재의 블록은, 우측 면 경계에 대해 본원에서 설명되는 바와 유사한 접근법을 따를 수도 있다. 현재의 블록이 하단 우측 면 경계에 있는 경우, 우측, 아래쪽 및/또는 우측 아래쪽(예를 들면, 이미 코딩된 이웃하는 블록)은, 예를 들면, 현재의 블록을 예측하기 위해, 도 20c 상에서 묘사되는 바와 같이, 후보(예를 들면, 추가적인 후보)로서 사용될 수도 있다. 하단 우측 면 경계에 위치되는 현재의 블록은, 우측 면 경계에 대해 본원에서 설명되는 바와 유사한 접근법을 따를 수도 있다. 이웃하는 블록 위치가 현재의 면 외부에 있는 경우, 대응하는 블록은 대응하는 이웃 면으로부터 (예를 들면, 본원에서 설명되는 바와 같이 공간적 이웃 블록을 유도하기 위한 샘플 위치를 매핑하는 것에 의해) 획득될 수도 있다.
면 경계 교차 이웃 블록의 식별시, 코딩 디바이스는 면 교차 이웃 블록에 대응하는 프레임 패킹된 픽쳐 내의 블록을 식별할 수도 있다. 예를 들면, 코딩 디바이스는 360 도 비디오의 프레임 패킹 정보에 기초하여 면 교차 이웃 블록에 대응하는 프레임 패킹된 픽쳐 내의 블록을 식별할 수도 있다.
코딩 디바이스는, 현재의 블록을 코딩하기 위해 면 교차 이웃 블록에 대응하는 프레임 패킹된 픽쳐 내의 식별된 블록을 사용할지의 여부를 결정할 수도 있다. 예를 들면, 코딩 디바이스는, 예를 들면, 프레임 패킹된 픽쳐 내의 식별된 블록의 이용 가능성에 기초하여, 현재의 블록을 코딩하기 위해 면 교차 이웃 블록에 대응하는 식별된 블록을 사용할지의 여부를 결정할 수도 있다. 식별된 블록이 코딩된 경우, 프레임 패킹된 픽쳐 내의 식별된 블록은 이용 가능한 것으로 간주될 수도 있다. 코딩 디바이스는, 면 교차 이웃 블록(예를 들면, 우측 및/또는 우측 아래쪽 블록(들))에 대응하는 식별된 블록이 코딩되었는지 및/또는 현재의 블록을 코딩하는 데 이용 가능한지의 여부를 결정할 수도 있다. 코딩 디바이스가 면 교차 이웃 블록(예를 들면, 우측 및/또는 우측 아래쪽 블록(들))에 대응하는 식별된 블록이 이용 가능하다는 것(예를 들면, 이미 코딩되었다는 것)을 코딩 디바이스가 결정하는 경우, 코딩 디바이스는, 면 교차 이웃 블록에 대응하는 식별된 블록을 사용할 수도 있다.
코딩 디바이스는, 면 교차 이웃 블록에 대응하는 식별된 블록을 사용하지 않을 것을 결정할 수도 있다. 예에서, 코딩 디바이스는, 면 교차 이웃 블록에 대응하는 식별된 블록이 코딩되지 않았다는 것 및/또는 현재의 블록을 코딩하는데 이용 가능하지 않다는 것을 결정할 수도 있다. 예에서, 코딩 디바이스는, 현재의 블록이 속하는 면 내에 현재의 블록이 위치된다는 것을 결정할 수도 있다. 예에서, 코딩 디바이스는, 현재의 블록이 속하는 면의 진입 경계(entering boundary)에 현재의 블록이 위치된다는 것을 결정할 수도 있다. 현재의 블록이 속하는 면의 진입 경계는 프레임 패킹된 픽쳐에 대한 코딩 순서에 따라 위치될 수도 있다. 코딩 디바이스가 면 교차 이웃 블록에 대응하는 식별된 블록을 사용하지 않을 것을 결정하면(예를 들면, 면 교차 이웃 블록이 이용 가능하지 않고 및/또는 코딩되지 않은 경우, 현재의 블록이 면 내에 위치되는 경우, 또는 현재의 블록이 현재의 블록이 속하는 면의 진입 경계에 위치되는 경우), 코딩 디바이스는, 현재의 블록을 코딩하기 위해 코딩된 하나 이상의 구형의 이웃하는 블록(들)을 사용할 수도 있다. 본원에서 설명되는 구형의 이웃하는 블록(들)은 (예를 들면, 이미 코딩된) 3D 지오메트리의 프레임 패킹된 또는 이웃하는 블록의 이웃하는 블록을 포함할 수도 있다. 예를 들면, 코딩 디바이스는, 현재의 블록을 코딩(예를 들면, 예측)하기 위한 하나 이상의 구형의 이웃하는 블록(들)으로서 좌측(L), 위쪽(A), 및/또는 좌측 위쪽 블록 중 적어도 하나를 사용할 수도 있다. 예에서, 코딩 디바이스는 현재의 블록을 코딩(예를 들면, 예측)하기 위해 지오메트리 패딩을 사용할 수도 있다.
코딩 디바이스는, 현재의 블록을 예측하기 위한(예를 들면, 인트라 예측) 하나 이상의 추가적인 블록과 관련되는 이용 가능한 샘플의 수를 증가시키기 위해 (예를 들면, 본원에서 설명되는 면 교차 이웃 블록에 대응하는 식별된 블록과 관련되는) 하나 이상의 추가적인 블록을 사용할 수도 있다. 예를 들면, 코딩 디바이스는, 예를 들면, 지오메트리 면 내부에서의 현재의 블록의 위치에 기초하여, 하나 이상의 추가적인 재구성된 샘플을 사용할 수도 있다. 예를 들면, 코딩 디바이스는, 여기에 설명되고 및/또는 도 19에서 도시되는 면 교차 이웃 블록에 대응하는 식별된 블록과 관련되는 하나 이상의 재구성된 샘플(예를 들면, 추가적인 재구성된 샘플)을 사용할 수도 있다.
예에서, 코딩 디바이스는 하나 이상의(예를 들면, 모든) 재구성된 샘플(예를 들면, 본원에서 설명되는 바와 같은 추가적인 재구성된 샘플)을 사용하지 않을 수도 있다. 예를 들면, 현재의 블록이 면 내에 있다는 것을 코딩 디바이스가 결정하는 경우 및/또는 현재의 블록이 면 경계에 위치되고 현재의 블록이 (예를 들면, 상단 면 경계에서 및/또는 좌측 면 경계에서) 현재의 블록에 대해 코딩 순서의 반대 방향으로 위치되는 경우, 코딩 디바이스는 도 9에서 묘사되는 하나 이상의 재구성된 샘플을 사용할 수도 있다. 예를 들면, 코딩 디바이스는 이용 가능한(예를 들면, 코딩된) 하나 이상의 재구성된 샘플을 사용할 수도 있다. 하나 이상의 이용 가능한 재구성된 샘플은, 현재의 블록(예를 들면, 공간적 이웃 블록(들))의 좌측 및/또는 위쪽 이웃 블록(들)에 위치될 수도 있다. 현재의 블록의 우측 및/또는 하단 이웃 블록에 위치되는 하나 이상의 샘플은 이용 가능하지 않을 수도 있다(예를 들면, 코딩 및/또는 재구성되지 않았을 수도 있다). 하나 이상의 재구성된 샘플이 현재의 블록(예를 들면, 현재의 면과 관련되는 현재의 블록) 외부에 있는 경우, 코딩 디바이스는, 예를 들면, 지오메트리 패딩을 사용하여 하나 이상의 재구성된 샘플을 획득할 수도 있다.
본원에서 설명되는 바와 같이, 코딩 디바이스는, 현재의 블록을 코딩하기 위한 면 교차 이웃 블록에 대응하는 식별된 블록으로부터의 하나 이상의 샘플을 사용할 것을 결정할 수도 있다. 예에서, 현재의 블록이 프레임 패킹된 픽쳐와 관련되는 면의 우측 면 경계에 위치된다는 것을 코딩 디바이스가 결정하는 경우, 코딩 디바이스는 (도 21a 상에서 묘사되는 바와 같이, 예를 들면, 현재의 블록의 좌측 및/또는 위쪽 상에 위치되는 블록(들)과 관련되는 하나 이상의 재구성된 샘플(예를 들면, 각각, R0,0, ..., R0,2N 및/또는 R0,0, ..., RN,0) 외에) 현재의 블록의 우측 상에 위치되는 하나 이상의 재구성된 샘플(예를 들면, RN+1,0, ..., RN+1,2N)을 사용할 수도 있다. 도 21a 내지 도 21c는, 우측 면 경계(예를 들면, 도 21a), 하단 면 경계(예를 들면, 도 21b), 및 하단 우측 면 경계(예를 들면, 도 21c)에서 하나 이상의(예를 들면, 추가적인) 이용 가능한 재구성된 샘플의 예를 묘사한다. 도 21a 내지 도 21c에서 빗금 친 패턴을 사용하여 묘사되는 재구성된 샘플(들)은 현재의 블록(예를 들면, 또는 현재의 면) 외부에 위치될 수도 있다. 코딩 디바이스는 재구성된 샘플 중 하나 이상에 사전 프로세싱을 적용할 수도 있다. 예를 들면, 사전 프로세싱은, 필터링, 보간, 및/또는 재샘플링을 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다. 코딩 디바이스가 현재의 블록의 좌측 상에 위치되는 하나 이상의 재구성된 샘플에 대해 사전 프로세싱(예를 들면, 필터링, 보간, 및/또는 재샘플링)을 적용하는 경우, 코딩 디바이스는 현재의 블록의 우측 상에 위치되는 하나 이상의 재구성된 샘플에 대해 유사한(예를 들면, 동일한) 사전 프로세싱을 적용할 수도 있다.
예에서, 현재의 블록이 프레임 패킹된 픽쳐와 관련되는 면의 하단 면 경계에 위치된다는 것을 코딩 디바이스가 결정하는 경우, 코딩 블록은 (도 21b 상에서 묘사되는 바와 같이, 예를 들면, 현재의 블록의 좌측 및/또는 위쪽 상에 위치되는 블록(들)과 관련되는 하나 이상의 재구성된 샘플(예를 들면, 각각, R0,0, ..., R0,N 및/또는 R0,0, ..., R2N,0) 외에) 현재의 블록 아래쪽에 위치되는 하나 이상의 재구성된 샘플(예를 들면, R0,N+1, ..., R2N,N+1)을 사용할 수도 있다. 코딩 디바이스가 현재의 블록 위쪽에 위치되는 재구성된 샘플(들)에 대해 사전 프로세싱(예를 들면, 필터링, 보간, 및/또는 재샘플링)을 적용하는 경우, 코딩 디바이스는 현재의 블록 아래쪽에 위치되는 재구성된 샘플(들)에 대해 유사한(예를 들면, 동일한) 사전 프로세싱을 적용할 수도 있다.
예에서, 현재의 블록이 프레임 패킹된 픽쳐와 관련되는 면의 하단 우측 면 경계에 위치된다는 것을 코딩 디바이스가 결정하는 경우, 코딩 블록은 (도 21c 상에서 묘사되는 바와 같이, 예를 들면, 현재의 블록의 좌측 및/또는 위쪽 상에 위치되는 블록(들)과 관련되는 하나 이상의 재구성된 샘플(예를 들면, 각각, R0,0, ..., R0,N 및/또는 R0,0, ..., RN,0) 외에) 현재의 블록의 우측 및 아래쪽에 위치되는 하나 이상의 재구성된 샘플(예를 들면, 각각, RN+1,0, ..., RN+1,N+1 및/또는 R0,N+1, ..., RN+1,N+1)을 사용할 수도 있다. 코딩 디바이스가 현재의 블록의 좌측 및/또는 위쪽에 위치되는 재구성된 샘플(들)에 대해 사전 프로세싱(예를 들면, 필터링, 보간, 및/또는 재샘플링)을 적용하는 경우, 코딩 디바이스는 현재의 블록의 우측 및/또는 아래쪽에 위치되는 재구성된 샘플(들)에 대해 유사한(예를 들면, 동일한) 사전 프로세싱을 적용할 수도 있다.
코딩 디바이스는 본원에서 설명되는 하나 이상의(예를 들면, 모든) 경우에서 하나 이상의 기준 샘플 라인을 사용할 수도 있다. 코딩 디바이스는 본원에서 설명되는 하나 이상의 경우를 직사각형 블록(들)에 적용할 수도 있다.
면과 관련되는 현재의 블록이 면의 우측 면 경계에 있는 경우, 면 경계 이웃 블록 상에 위치되는(예를 들면, 현재의 블록의 우측에 위치되는) 샘플(들)(예를 들면, RN+1,0, ..., RN+1,2N)은 도 21a 내지 도 21c에서 묘사되는 바와 같이 사용될 수도 있다. 면 경계 교차 이웃 블록(예를 들면, RN+1,0, ..., RN+1,2N)으로부터 유도되는 예측될 기준 샘플(들)은, 현재의 블록(예를 들면, RN+1,0, ..., R2N,0)의 우측 위쪽(AR) 측 상에 위치되는 샘플에 더 가까이 위치될 수도 있다. 기준 샘플(들)(예를 들면, RN+1,0, ..., RN+1,2N)이 필터링될 수도 있다. 예를 들면, 하나 이상의 기준 샘플(예를 들면, RN+1,0, ..., RN+1,2N)은 (예를 들면, HEVC에서의 인트라 예측 프로세스와 유사한) 예측을 수행하기 이전에 필터링될 수도 있다.
(예를 들면, 본원에서 설명되는 바와 같이) 현재의 블록을 예측하기 위해 면 경계 교차 이웃 블록이 사용될 수도 있다. (예를 들면, 선택된 예측 모드의 방향성(directionality)에 따라) 기준 행 또는 기준 열이 사용될 수도 있다. 위쪽 기준 행은, 도 22a에서 묘사되는 바와 같이, 예를 들면, 우측 기준 열을 투영하는 것에 의해, 우측으로 확장될 수도 있다. 도 22a 및 도 22b는 우측 면 경계(예를 들면, 도 22a) 및 하단 면 경계(예를 들면, 도 22b)에서의 인트라 예측의 예를 묘사한다. 도 22a 및 도 22b에서 도시되는 굵은 화살표는 예측 방향을 나타낼 수도 있고 가는 화살표는 기준 샘플 투영을 나타낼 수도 있다. 도 22a 및 도 22b에서 점선을 사용하여 묘사되는 기준 샘플은 현재의 면 외부에 위치될 수도 있다. 도 10에서 정의되는 인트라 방향성 예측 방향을 고려하여, 샘플 RN+1,N, ..., RN+1,2N은 위쪽 기준 행을 우측으로 확장하기 위해 사용되지 않을 수도 있다. 샘플 RN+1,N, ..., RN+1,2N은 우측 기준 열을 필터링하기 위해 사용될 수도 있다.
현재의 블록의 우측 아래쪽에 위치되는 샘플(예를 들면, RN+1,N+1, ..., RN+1,2N)은, 인트라 방향성 예측 방향을 고려하는 경우, 예를 들면, 도 10에서 묘사되는
Figure pat00012
범위보다 더 넓은 범위를 커버하는 경우 사용될 수도 있다. 우측 기준 열은, 도 23a에서 묘사되는 바와 같이, 사용될 수도 있거나, 또는, 도 23b에서 묘사되는 바와 같이, 위쪽 기준 행을 투영하는 것에 의해 상방으로 확장될 수도 있다. 도 23a 내지 도 23d는 우측 면 경계(예를 들면, 도 23a-b) 및 하단 면 경계(예를 들면, 도 23c 내지 도 23d)에서의 추가적인 인트라 예측 모드의 예를 묘사한다. 도 23a 내지 도 23d에서 도시되는 굵은 화살표는 예측 방향을 나타낼 수도 있고 가는 화살표는 기준 샘플 투영을 나타낼 수도 있다. 도 23a 내지 도 23d에서 점선을 사용하여 묘사되는 기준 샘플은 현재의 면 외부에 위치될 수도 있다.
수평 각도 방향(horizontal angular direction)의 경우, 도 24a 및 도 24b에서 묘사되는 바와 같이, 현재의 블록 샘플을 예측하기 위해, 좌측 및 우측 기준 열 사이의 혼합(blending)이 수행될 수도 있다. 예를 들면, 예측될 샘플과 기준 샘플 사이의 거리를 고려하여, 선형 가중화(linear weighting) 또는 유사한 프로세스가 수행될 수도 있다. 예에서, 투영된 픽셀 위치는 음의 인덱스를 가질 수도 있다. 투영된 픽셀 위치가 음의 인덱스를 갖는 경우, 좌측 기준 열은, 예를 들면, 도 24a에서 묘사되는 바와 같이, 위쪽 기준 행을 투영하는 것에 의해, 상방으로 확장될 수도 있고, 및/또는 우측 기준 열은, 예를 들면, 도 24b에서 묘사되는 바와 같이, 위쪽 기준 행을 투영하는 것에 의해, 상방으로 확장될 수도 있다. 도 24a 내지 도 24d는, 우측 면 경계(예를 들면, 도 24a 및 도 24b) 및 하단 면 경계(예를 들면, 도 24c 및 도 24d)에서의 예시적인 양방향 인트라 예측을 묘사한다. 도 24a 내지 도 24d에서 도시되는 굵은 화살표는 예측 방향을 나타낼 수도 있고 가는 화살표는 기준 샘플 투영을 나타낼 수도 있다. 도 24a 내지 도 24d에서 점선을 사용하여 묘사되는 기준 샘플은 현재의 면 외부에 위치될 수도 있다.
DC 모드의 경우, 현재의 블록이 우측 면 경계에 있는 경우, 현재의 블록의 우측 상에 위치되는 샘플은 DC 예측기를 계산하기 위해 사용될 수도 있다:
Figure pat00013
평면 모드의 경우, 현재의 블록이 우측 면 경계에 있는 경우, 예를 들면, 지오메트리 패딩을 사용하여 획득되는 샘플 RN+1,1, ..., RN+1,N은 수평 예측기에 대해 사용될 수도 있다. 수직 예측기의 경우, 샘플 Ri,N+1(i = 1, ..., N)의 값은, 예를 들면, 이들 두 개의 샘플까지의 거리를 고려한 선형 가중화 또는 유사한 프로세스를 사용하여, R0,N+1 및 RN+1,N+1로부터 보간될 수도 있다. RN+1,N+1의 값은, 대응하는 이용 가능한 재구성된 샘플로부터 획득될 수도 있다.
현재의 블록이 하단 면 경계에 있는 경우, 현재의 블록 아래쪽에 위치되는 샘플(예를 들면, R0,N+1, ..., R2N,N+1)은 도 21b 상에서 묘사되는 바와 같이 사용될 수도 있다. 이러한 방식으로, 본원에서 설명되는 바와 같은 면 경계 교차 이웃 블록과 관련되는 블록으로부터 유도되는 기준 샘플(예를 들면, 재구성된 샘플로부터 유도됨)은 예측될 현재의 블록 샘플에 더 가까울 수도 있다. 기준 샘플 R0,N+1, ..., R2N,N+1은, 예를 들면, 예측을 수행하기 이전에 필터링될 수도 있다. 예를 들면, 기준 샘플 R0,N+1, ..., R2N,N+1은 (예를 들면, HEVC에서의) 인트라 예측 프로세스와 유사한 예측을 수행하기 이전에 필터링될 수도 있다.
예를 들면, 좌측 기준 열은 (예를 들면, 도 22b에서 묘사되는 바와 같이, 아래쪽 기준 행을 투영하는 것에 의해) 하방으로 확장될 수도 있다. 도 10에서의 인트라 방향성 예측 방향을 고려하여, 샘플 RN,N+1, ..., R2N,N+1은 좌측 기준 열을 하방으로 확장하기 위해 사용되지 않을 수도 있다. 샘플 RN,N+1, ..., R2N,N+1은 아래쪽 기준 행을 필터링하기 위해 사용될 수도 있다.
현재의 블록의 우측 아래쪽에 위치되는 샘플(예를 들면, RN+1,N+1, ..., R2N,N+1)은, 인트라 방향성 예측 방향을 고려하는 경우, 예를 들면, 도 10에서 묘사되는
Figure pat00014
범위보다 더 넓은 범위를 커버하는 경우 사용될 수도 있다. 이 경우, 도 23c에서 묘사되는 바와 같이, 아래쪽 기준 행이 사용될 수도 있다. 아래쪽 기준 행은, 예를 들면, 도 23d에서 묘사되는 바와 같이, 좌측 기준 열을 투영하는 것에 의해, 좌측으로 확장될 수도 있다.
수직 각도 방향(vertical angular direction)의 경우, 도 24c 및 도 24d에서 묘사되는 바와 같이, 현재의 블록 샘플을 예측하기 위해, 위쪽 및 아래쪽 기준 행 사이의 혼합이 수행될 수도 있다. 이 경우, 예를 들면, 예측될 샘플과 기준 샘플 사이의 거리를 고려하여, 선형 가중화 또는 유사한 프로세스가 수행될 수도 있다. 몇몇 경우에, 투영된 픽셀 위치는 음의 인덱스를 가질 수도 있다. 투영된 픽셀 위치가 음의 인덱스를 갖는 경우, 위쪽 기준 행은, 예를 들면, 도 24c에서 묘사되는 바와 같이, 좌측 기준 열을 투영하는 것에 의해, 좌측으로 확장될 수도 있다. 아래쪽 기준 행은, 예를 들면, 도 24d에서 묘사되는 바와 같이, 좌측 기준 열을 투영하는 것에 의해, 좌측으로 확장될 수도 있다.
DC 모드의 경우, 현재의 블록이 하단 면 경계에 있는 경우, 현재의 블록 아래쪽에 위치되는 샘플은 DC 예측기를 계산하기 위해 사용될 수도 있다:
Figure pat00015
평면 모드의 경우, 현재의 블록이 하단 면 경계에 있는 경우, 지오메트리 패딩을 사용하여 획득되는 샘플 R1,N+1, ..., RN,N+1은 수직 예측기에 대해 사용될 수도 있다. 수평 예측기의 경우, 샘플 RN+1,j(j = 1, ..., N)의 값은, 예를 들면, 이들 두 개의 샘플까지의 거리를 고려한 선형 가중화 또는 유사한 프로세스를 사용하여, RN+1,0 및 RN+1,N+1로부터 보간될 수도 있다. RN+1,N+1의 값은, 대응하는 이용 가능한 재구성된 샘플로부터 획득될 수도 있다.
현재의 블록이 하단 우측 면 경계에 있는 경우, 현재의 블록의 우측 상에 위치되는 샘플(예를 들면, RN+1,0, ..., RN+1,N+1)이 사용될 수도 있다. 현재의 블록 아래쪽에 위치되는 샘플(예를 들면, R0,N+1, ..., RN+1,N+1)은 도 21c 상에서 묘사되는 바와 같이 사용될 수도 있다. 본원에서 설명되는 바와 같이 면 경계 교차 이웃 블록으로부터 유도되는 기준 샘플은, 예측될 현재의 블록 샘플에 더 가까울 수도 있다.
DC 모드의 경우, 현재의 블록이 하단 우측 면 경계에 있는 경우, 현재의 블록의 우측 상에 및/또는 아래쪽에 위치되는 샘플은 DC 예측기를 계산하기 위해 사용될 수도 있다:
Figure pat00016
평면 모드의 경우, 현재의 블록이 하단 우측 면 경계에 있는 경우, 지오메트리 패딩을 사용하여 획득되는 샘플 RN+1,1, ..., RN+1,N은 수평 예측기에 대해 사용될 수도 있고, 지오메트리 패딩을 사용하여 획득되는 샘플 R1,N+1, ..., RN,N+1은 수직 예측기에 대해 사용될 수도 있다.
하나 이상의 기준 샘플 라인은 본원에 설명되는 하나 이상의(예를 들면, 모든) 경우에서 사용될 수도 있고, 직사각형 블록은 본원에 설명되는 바와 같이 재구성된 샘플을 사용하도록 구성될 수도 있다.
현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 우측, 하단, 및/또는 하단 우측 면 경계에 있는 경우, (예를 들면, 인트라 예측 이후) 추가적인 경계 예측 필터링(들)이 적용될 수도 있다. 예를 들면, 인트라 예측 이후의 추가적인 경계 예측 필터링(들)은, 면 경계에서의 불연속성을 감소시키기 위해 적용될 수도 있다. 본원에서 설명되는 필터링은 경계 예측 필터링의 상단에 대해 적용될 수도 있다. 예에서, 본원에서 설명되는 필터링은, 블록의 상단 행(들)(예를 들면, 최상단 행(들)) 및/또는 좌측 열(들)(예를 들면, 가장 좌측 열(들))에 적용될 수도 있다.
예를 들면, 수평에 가까울 수도 있는 수평 인트라 모드(들)의 경우, 현재의 블록이 우측 면 경계에 있으면, 우측 열(예를 들면, 가장 우측 열)에 위치되는 블록의 예측된 샘플(들) si,j는, 예를 들면, 다음과 같이, 우측 기준 열 Ri,j를 사용하여 조정될 수도 있다:
Figure pat00017
도 25a 내지 도 25h는, 인트라 모드 2(예를 들면, 도 25a), 인트라 모드 3-6(예를 들면, 도 25b), 인트라 모드 7-9(예를 들면, 도 25c), 인트라 모드 10(예를 들면, 도 25d), 인트라 모드 11-17(예를 들면, 도 25e), 인트라 모드 18(예를 들면, 도 25f), 인트라 모드 19-21(예를 들면, 도 25g), 및 인트라 모드 22(예를 들면, 도 25h)에 대한 우측 면 경계에서의 예시적인 경계 예측 필터링을 묘사한다. 도 25a 내지 도 25h에서 점선을 사용하여 묘사되는 기준 샘플은, 현재의 면 외부에 위치될 수도 있다.
다른 인트라 방향성 모드(들)의 경우, 현재의 블록이 우측 면 경계에 있으면, 우측 열(들)(예를 들면, 가장 우측 열(들))에 위치되는 블록의 예측된 샘플(들) si,j는, 예를 들면, 다음과 같이, 우측 기준 열 Ri,j를 사용하여 필터링될 수도 있다:
모드 2(예를 들면, 도 25a)의 경우
Figure pat00018
모드 3-6(예를 들면, 도 25b) 및/또는 모드 7-9(예를 들면, 도 25c)의 경우
Figure pat00019
모드 10(예를 들면, 도 25d)의 경우
Figure pat00020
모드 11-17(예를 들면, 도 25e)의 경우
Figure pat00021
모드 18(예를 들면, 도 25f)의 경우
Figure pat00022
모드 19-21(예를 들면, 도 25g)의 경우
Figure pat00023
모드 22(예를 들면, 도 25h)의 경우
Figure pat00024
여기서 D는 가장 우측 열의 수를 제어하는 파라미터일 수도 있고 필터링될 수도 있다. 가중치 'a', 'b', 및 'c'는, 예를 들면, 인트라 모드 및/또는 기준 샘플까지의 거리에 따라 선택될 수도 있다. 예를 들면, 룩업 테이블(LUT)은, 인트라 모드의 함수로서 파라미터(들)를 얻기 위해 사용될 수도 있다. LUT에서, 인트라 모드에 따라, 현재 위치에 더 가까울 수도 있는 기준 샘플(들)에 더 높은 가중치가 주어질 수도 있다. 예를 들면, 모드 2 및 18의 경우, 블록의 가장 우측 열을 필터링하기 위해 표 1에서 정의되는 가중치가 사용될 수도 있다(예를 들면, 각각, 수학식 (23) 및 (27)).
Figure pat00025
표 1에서 정의되는 가중치는, 수평 모드(예를 들면, 모드 10)에 대해 사용될 수도 있다. 모드 19 내지 22의 경우, 표 2에서 정의되는 가중치가 사용될 수도 있다.
Figure pat00026
다른 모드(들)의 경우, 가중치는, 'b' 및/또는 'c'의 값이 우측 기준 샘플 열에 있는 위치로 매핑될 수도 있도록 결정될 수도 있다. 예측된 샘플은 반대 각도 방향을 고려하여 투영될 수도 있고 이 값을 예측된 샘플 값으로 가중(예를 들면, 동등하게 가중)할 수도 있다. 예를 들면, 모드 3 내지 9의 경우, 가중치는
Figure pat00027
로서 결정될 수도 있는데, 여기서
Figure pat00028
및
Figure pat00029
는, 각각, 각도 방향의 수평 및 수직 성분일 수도 있다.
예를 들면, 수직에 가까울 수도 있는 수직 인트라 모드(들)의 경우, 현재의 블록이, 예를 들면, 360도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 하단 면 경계에 있으면, 최하단 행에 위치되는 블록의 예측된 샘플 si,j는, 예를 들면, 다음과 같이, 아래쪽 기준 행 Ri,j를 사용하여 조정될 수도 있다:
Figure pat00030
필터링(예를 들면, 경계 예측 필터링)은, 예를 들면, 본원에서 설명되는 바와 같은 면 경계 교차 이웃 블록을 사용하여 현재의 블록에 적용될 수도 있다. 도 26a 내지 도 26h는, 인트라 모드 14(예를 들면, 도 26a), 인트라 모드 15-17(예를 들면, 도 26b), 인트라 모드 18(예를 들면, 도 26c), 인트라 모드 19-25(예를 들면, 도 26d), 인트라 모드 26(예를 들면, 도 26e), 인트라 모드 27-29(예를 들면, 도 26f), 인트라 모드 30-33(예를 들면, 도 26g), 및 인트라 모드 34(예를 들면, 도 26h)에 대한 하단 면 경계에서의 예시적인 경계 예측 필터링을 묘사한다. 도 26a 내지 도 26h에서 점선을 사용하여 묘사되는 기준 샘플(들)은, 현재의 면 외부에 위치될 수도 있다.
다른 인트라 방향성 모드(들)의 경우, 현재의 블록이 하단 면 경계에 있으면, 하단 행(들)(예를 들면, 최하단 행(들))에 위치되는 블록의 예측된 샘플(들) si,j는, 예를 들면, 다음과 같이, 아래쪽 기준 행 Ri,j를 사용하여 필터링될 수도 있다:
모드 14(예를 들면, 도 26a)의 경우
Figure pat00031
모드 15-17(예를 들면, 도 26b)의 경우
Figure pat00032
모드 18(예를 들면, 도 26c)의 경우
Figure pat00033
모드 19-25(예를 들면, 도 26d)의 경우
Figure pat00034
모드 26(예를 들면, 도 26e)의 경우
Figure pat00035
모드 27-29(예를 들면, 도 26f) 및 모드 30-33(예를 들면, 도 26g)의 경우
Figure pat00036
모드 34(예를 들면, 도 26h)의 경우
Figure pat00037
여기서 D는 최하단 행의 수를 제어하는 파라미터일 수도 있고 필터링될 수도 있다. 가중치 'a', 'b', 및 'c'는, 예를 들면, 인트라 모드 및/또는 기준 샘플까지의 거리에 따라 선택될 수도 있다.
인트라 방향성 모드(들)의 경우, 현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 하단 우측 면 경계에 있으면, 우측 열(들)(예를 들면, 가장 우측 열(들))에 위치되는 블록의 예측된 샘플은, 예를 들면, 우측 기준 열을 사용하여 필터링될 수도 있고, 하단 행(들)(예를 들면, 최하단 행(들))에 위치되는 블록은, 예를 들면, 본원에서 설명되는 바와 같이, 아래쪽 기준 행을 사용하여 필터링될 수도 있다.
DC 모드의 경우, 현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 우측 면 경계에 있으면, 우측 열(들)(예를 들면, 가장 우측 열(들))에 위치되는 블록의 예측된 샘플(들)은, 예를 들면, (예를 들면, 수학식 (25)에 따라) 우측 기준 열을 사용하여 필터링될 수도 있다. 현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐의 면의 하단 면 경계에 있는 경우, 하단 행(들)(예를 들면, 최하단 행(들))에 위치되는 블록의 예측된 샘플(들)은, 예를 들면, (예를 들면, 수학식 (35)에 따라) 아래쪽 기준 행을 사용하여 필터링될 수도 있다. 현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 하단 우측 면 경계에 있다면, 우측 열(들)(예를 들면, 가장 우측 열(들))에 위치되는 블록의 예측된 샘플(들)은, 예를 들면, 우측 기준 열을 사용하여 필터링될 수도 있고, 하단 행(들)(예를 들면, 최하단 행(들))에 위치되는 블록은, 예를 들면, (예를 들면, 수학식 (25) 및 (35)에 따라) 아래쪽 기준 행을 사용하여 필터링될 수도 있다.
필터링 프로세스는, 예를 들면, 고정 소수점 정밀도 및/또는 비트 시프트 연산을 사용하여 구현될 수도 있다. 예를 들면, 더 미세한 인트라 방향성 세분성(intra angular granularity) 및/또는 직사각형 블록을 고려하는 경우, 우측 열(들)(예를 들면, 가장 우측 열(들))에 위치되는 블록 및/또는 하단 행(들)(예를 들면, 최하단 행(들))에 위치되는 블록에 유사한 필터링 동작이 적용될 수도 있다.
루프 내 필터링의 경우, 필터링은 하나 이상의(예를 들면, 모든) 면 경계에 걸쳐 적용될 수도 있다. 예를 들면, 필터링은, 우측 및/또는 하단 면 경계를 포함하는 면 경계에 걸쳐 적용될 수도 있다. 현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 좌측(예를 들면, 또는 위쪽) 면 경계 상에 있는 경우, 좌측(예를 들면, 또는 위쪽)의 재구성된 샘플(들)은, 블록이 프레임 패킹된 픽쳐 경계 상에 있을 수도 있을지라도, 가장 좌측 열(들)(예를 들면, 또는 최상단 행(들))에 위치되는 블록을 필터링하기 위해 사용될 수도 있다. 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 상단 좌측 면 경계 상에 있는 경우, 좌측 및 위쪽의 재구성된 샘플(들)은, 블록이 프레임 패킹된 픽쳐 경계 상에 있을 수도 있을지라도, 가장 좌측 열(들) 및 최상단 행(들)에 위치되는 블록을 각각 필터링하기 위해 사용될 수도 있다. 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 우측(예를 들면, 또는 하단) 면 경계 상에 있는 경우, 우측(예를 들면, 또는 아래쪽)의 재구성된 샘플(들)은, 블록이 프레임 패킹된 픽쳐 경계 상에 있을 수도 있을지라도, 가장 우측 열(들)(예를 들면, 또는 최하단 행(들))에 위치되는 블록을 필터링하기 위해 사용될 수도 있다. 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 하단 우측 면 경계 상에 있는 경우, 우측 및 아래쪽의 재구성된 샘플(들)은, 블록이 프레임 패킹된 픽쳐 경계 상에 있을 수도 있을지라도, 가장 우측 열(들) 및 최하단 행(들)에 위치되는 블록을 각각 필터링하기 위해 사용될 수도 있다. 재구성된 샘플(들)은 현재의 면 외부에 있을 수도 있고, 재구성된 샘플은, 예를 들면, 지오메트리 패딩을 사용하여 획득될 수도 있다.
성분 교차 선형 모델 예측의 경우, 재구성된 샘플(들)(예를 들면, 추가적인 리소스 샘플(들))이 사용될 수도 있다. 예를 들면, 재구성된 샘플(들)(예를 들면, 추가적인 리소스 샘플(들))은 지오메트리 면 내부에서의 현재의 블록의 위치에 기초할 수도 있다.
도 27a 내지 도 27c는, 우측 면 경계(예를 들면, 도 27a), 하단 면 경계(예를 들면, 도 27b), 및 하단 우측 면 경계(예를 들면, 도 27c)에서 성분 교차 선형 모델 예측을 위해 사용되는 샘플의 예시적인 위치를 묘사한다. 도 27a 내지 도 27c에서 점선을 사용하여 묘사되는 재구성된 샘플은 현재의 면 외부에 위치될 수도 있다. 현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 우측 면 경계에 있는 경우, 도 27a에서 묘사되는 바와 같이, 예를 들면, 선형 모델의 파라미터(들)를 예측하기 위해 현재의 블록의 좌측 상에 위치되는 재구성된 샘플(들) 및/또는 현재의 블록 위쪽에 위치되는 재구성된 샘플(들) 외에, 현재의 블록의 우측 상에 위치되는 재구성된 샘플(들)이 사용될 수도 있다. 이 경우, 선형 모델 파라미터(들)는 다음과 같이 계산될 수도 있다(예를 들면, 수학식 (38) 내지 (40)):
수학식 (38)은 도 28에서 도시되고
Figure pat00038
여기서
Figure pat00039
는, 예를 들면, 현재의 블록의 우측 상에 위치되는 다운샘플링된 재구성된 루마 샘플일 수도 있다.
Figure pat00040
는, 예를 들면, 재구성된 루마 샘플의 이용 가능성 및/또는 크로마 위치를 고려하여, 다음과 같이 계산될 수도 있다:
Figure pat00041
하나 이상의 다운샘플링 필터는, 예를 들면, 면 경계 교차 이웃 블록(들)을 사용하여 적용될 수도 있다. 현재의 블록의 좌측 상에 위치되는 재구성된 샘플에 대해 사전 프로세싱(예를 들면, 필터링)이 적용되는 경우, 유사한(예를 들면, 동일한) 사전 프로세싱이, 현재의 블록의 우측 상에 위치되는 재구성된 샘플에 대해 적용될 수도 있다.
현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 하단 면 경계에 있는 경우, 도 27b에서 묘사되는 바와 같이, 선형 모델의 파라미터를 예측하기 위해, 예를 들면, 현재의 블록의 좌측 상에 위치되는 재구성된 샘플 및/또는 현재의 블록 위쪽에 위치되는 재구성된 샘플 외에, 현재의 블록 아래쪽에 위치되는 재구성된 샘플이 사용될 수도 있다. 이 경우, 선형 모델 파라미터는 다음과 같이 계산될 수도 있다(예를 들면, 수학식 (41) 및 (42)):
수학식 (41)은 도 28에서 도시되고
Figure pat00042
현재의 블록 아래쪽에 위치되는 재구성된 루마 샘플은 (예를 들면, 수학식 (16)에 따라) 다운샘플링될 수도 있다. 하나 이상의 다운샘플링 필터는, 예를 들면, 면 경계 교차 이웃 블록(들)을 사용하여 적용될 수도 있다. 사전 프로세싱(예를 들면, 필터링)이 현재의 블록 위쪽에 위치되는 재구성된 샘플에 대해 적용되는 경우, 유사한(예를 들면, 동일한) 사전 프로세싱이 현재의 블록 아래쪽에 위치되는 재구성된 샘플에 대해 적용될 수도 있다.
현재의 블록이, 예를 들면, 360 도 비디오와 관련되는 프레임 패킹된 픽쳐에서의 면의 하단 우측 면 경계에 있는 경우, 도 27c에서 묘사되는 바와 같이, 선형 모델의 파라미터를 예측하기 위해 (예를 들면, 현재의 블록의 좌측 상에 위치되는 재구성된 샘플 및 현재의 블록 위쪽에 위치되는 재구성된 샘플 외에) 현재의 블록의 우측 상에 그리고 현재의 블록 아래쪽에 위치되는 재구성된 샘플이 사용될 수도 있다. 선형 모델 파라미터는 다음과 같이 계산될 수도 있다(예를 들면, 수학식 (43) 및 (44)):
수학식 (43) 및 (44)는 도 28에 도시되어 있다.
직사각형 블록(들)의 경우, 더 긴 경계의 이웃하는 샘플은, 예를 들면, 면 경계 교차 이웃 블록(들)을 사용하여 서브샘플링될 수도 있다. 예를 들면, 직사각형 블록의 더 긴 경계의 이웃하는 샘플은 더 짧은 경계에 동일한 수의 샘플을 가지도록 서브샘플링될 수도 있다. 본원에 설명되는 성분 교차 선형 모델 예측은 (예를 들면, 샘플 도메인에서 또는 잔차 도메인에서) 두 개의 크로마 성분 사이를 예측하기 위해 사용될 수도 있다. 다수의 성분 교차 선형 모델(cross-component linear model)이 면 경계에서 사용될 수도 있는데, 여기서 하나 이상의 성분 교차 선형 모델 예측은 샘플 값의 범위 상에서 정의될 수도 있고 본원에 설명되는 바와 같이 적용될 수도 있다. 재구성된 샘플(들)이 현재의 면 외부에 있는 경우, 재구성된 샘플은, 예를 들면, 지오메트리 패딩을 사용하여 획득될 수도 있다.
우측 및/또는 하단 면 경계의 다른 측 상에(예를 들면, 현재의 블록 위치와는 면 경계의 반대 측에 그리고 현재의 블록 또는 면 경계 교차 이웃 블록에 대하여 코딩 순서의 동일한 방향으로) 위치되는 하나 이상의 이용 가능한 블록 및/또는 샘플이 예측을 위해 사용될 수도 있다. 면 이웃 블록 및/또는 샘플의 이용 가능성은, 프레임 패킹된 픽쳐의 블록이 프로세싱되는 코딩 순서에 의존할 수도 있다. 예를 들면, 도 29a는 CMP 3×2 패킹 구성에 대한 (예를 들면, 상단에서 하단으로의 및/또는 좌측에서 우측으로의) 예시적인 래스터 스캔 순서를 묘사한다. 블록은, 예를 들면, (예를 들면, 도 29b에서 예시되는 바와 같이) 하나 이상의 면 내에서 래스터 스캔 순서를 사용하여, 면 단위로(face-by-face) 프로세싱될 수도 있다. 도 29b에서 도시되는 면 스캔 순서를 사용하는 것은, 면 이웃 블록 및/또는 샘플의 이용 가능성을 증가시킬 수도 있다. 유사한 결과를 달성하기 위해, 하나 이상의 상이한 프레임 패킹 구성이 사용될 수도 있다. 예를 들면, 도 29a에서 묘사되는 상황에서, (예를 들면, 3×2 패킹 구성 대신 또는 그에 더하여) 6×1 패킹 구성이 사용되면, 래스터 스캔 순서는 하나 이상의 면을 하나씩 프로세싱할 수도 있다. 블록 코딩 순서(예를 들면, 프로세싱 순서)는 사용된 면 배치에 따라 상이할 수도 있다.
제약(들)은, 예를 들면, 블록 구획화 동안 적용될 수도 있다. 예를 들면, 블록 구획화 동안 제약(들)이 적용되어 두 개 이상의 면에 걸쳐 중첩하는 블록을 감소시킬 수도 있다. 하나 이상의 코딩 트리 단위(CTU)가 사용되는 경우, CTU는, CTU 내의 하나 이상의(예를 들면, 모든) 코딩된 블록이 동일한 면에 속하도록 구성될 수도 있다. 면 사이즈가 CTU 사이즈의 배수가 아닌 경우, CTU가 속하는 면 내에 있는 블록이 코딩될 수도 있는 곳에서 중첩하는 CTU가 사용될 수도 있다. 도 30은, 면 사이즈가 CTU 사이즈의 배수가 아닌 면의 예시적인 CTU 및 블록 구획화를 묘사한다. 도 30에서 도시되는 실선은 면 경계를 나타낼 수도 있다. 점선은 CTU 경계를 나타낼 수도 있고 점선은 블록 경계를 나타낼 수도 있다. 빗금 친 패턴을 사용하여 묘사되는 블록은 현재의 면 외부에 위치될 수도 있다. 인트라 및 인터 코딩된 프레임에 대해 하나 이상의 상이한 블록 스캔 순서가 사용될 수도 있다. 예를 들면, 인트라 코딩된 프레임은 면 스캔 순서(예를 들면, 도 29b)를 사용할 수도 있다. 인터 코딩된 프레임은 래스터 스캔 순서(예를 들면, 도 29a)를 사용할 수도 있다. 예를 들면, 면의 코딩 모드(예를 들면, 예측 모드)에 기초하여, 상이한 면 사이에서 및/또는 상이한 면 내에서 상이한 스캔 순서(들)가 사용될 수도 있다.
루프 필터 동작은 (예를 들면, 루프 필터링 동작에서 이미 코딩된 면으로부터 우측 및/또는 하단 경계까지 이웃하는 샘플을 사용하는 본원에서 설명되는 바와 같이) 인에이블될(enabled) 수도 있거나 또는 디스에이블될(disabled) 수도 있다. 예를 들면, 루프 필터 동작은 면 스캔 순서 및/또는 프레임 패킹 구성에 기초하여 인에이블될 수도 있거나 또는 디스에이블될 수도 있다. 3D 지오메트리에서의 적절한 이웃하는 샘플이 디블로킹 필터 또는 다른 루프 내 필터에서 사용되지 않는 경우, 재구성된 비디오에서 면 이음매(face seam) 형태의 불쾌한 시각적 아티팩트가 보이게 될 수도 있다. 예를 들면, 재구성된 비디오가 뷰포트를 렌더링하기 위해 사용되고, 예를 들면, 헤드 마운트 디바이스(head mount device; HMD)를 통해 또는 2D 스크린을 통해, 유저에게 디스플레이되는 경우, 면 이음매가 재구성된 비디오에서 보이게 될 수도 있다. 예를 들면, 도 18b는 3×2 CMP 예를 예시한다. 도 18b에서 도시되는 상단 절반에서의 3 개의 면은 3D 지오메트리에서 수평으로 연속적일 수도 있다. 하단 절반에서의 3 개의 면은 3D 지오메트리에서 수평으로 연속적일 수도 있다. 상단 절반과 하단 절반은 3D 지오메트리에서 불연속적일 수도 있다. 3×2 CMP 픽쳐는 두 개의 타일(예를 들면, 3×2 CMP 픽쳐의 상단 절반을 위한 타일 및 하단 절반을 위한 타일)을 사용하여 코딩될 수도 있고 루프 필터링은 타일 경계에 걸쳐 디스에이블될 수도 있다. 예를 들면, 픽쳐 파라미터 세트(picture parameter set; PPS) 신택스 엘리먼트 loop_filter_across_tiles_enabled_flag의 값을 0으로 설정하는 것에 의해, 예를 들면, 타일 경계에 걸친 루프 필터링은 디스에이블될 수도 있다. 루프 필터링은, 예를 들면, 불연속 에지(예를 들면, 상단 및 하단 절반을 분리하는 수평 에지)를 가로질러 디블로킹 및/또는 다른 루프 내 필터를 적용하는 것을 방지하기 위해 디스에이블될 수도 있다.
면 스캔 순서는 프레임 패킹된 픽쳐에서 블록을 인코딩 및/또는 디코딩하기 위해 사용될 수도 있다. 도 18b에서 도시되는 6 개의 면은 도 29b에서 도시되는 순서를 사용하여 프로세싱될 수도 있다. 면 스캔 순서는 6 개의 면을 6 개의 타일과 정렬하는 것에 의해 달성될 수도 있다. 이 경우, 인디케이터를 설정하는 것(예를 들면, loop_filter_across_tiles_enabled_flag를 0으로 설정하는 것)은, 디블로킹 및 루프 내 필터로 하여금, 타일 사이의 수평 에지(예를 들면, 이들은 불연속적일 수도 있고 디스에이블될 수도 있음)에 걸쳐 그리고 수직 에지(예를 들면, 이들은 연속적일 수도 있고 디스에이블되지 않을 수도 있음)에 걸쳐 디스에이블되게 할 수도 있다. 에지 루프 필터가 적용되는지 또는 에지 루프 필터가 적용되지 않는지의 여부가 명시될 수도 있다. 루프 필터의 타입이 고려될 수도 있다. 예를 들면, 디블로킹 및/또는 적응식 루프 필터(Adaptive Loop Filter; ALF)와 같은 루프 필터는, 필터링 프로세스에서 이웃하는 샘플을 사용하는 N-탭(N-tap) 필터일 수도 있다. 필터에 대해 사용되는 이웃하는 샘플 중 하나 이상은 불연속 에지를 가로지를 수도 있다. 샘플 적응식 오프셋(Sample Adaptive Offset; SAO)과 같은 루프 필터는 오프셋을 추가하여 현재 위치에서 디코딩된 샘플 값을 수정할 수도 있다. 예에서, 루프 필터(예를 들면, SAO)는 필터링 동작에서 이웃하는 샘플 값을 사용하지 않을 수도 있다. 몇몇 타일 및/또는 면 경계에 걸친 디블로킹 및/또는 ALF가 디스에이블될 수도 있다. SAO가 인에이블될 수도 있다. 예를 들면, 몇몇 타일 및/또는 면 경계에 걸친 디블로킹 및/또는 ALF는 디스에이블될 수도 있고, 한편, SAO는 인에이블될 수도 있다.
인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag)에 대한 확장은 (예를 들면, 비트스트림에서) 코딩 디바이스에게 나타내어질 수도 있다. 인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag) 신택스 엘리먼트는 분리될 수도 있다. 예를 들면, loop_filter_across_tiles_enabled_flag 신택스 엘리먼트는 두 개 이상의 신택스 엘리먼트(예를 들면, 두 개의 신택스 엘리먼트)로 분리될 수도 있다. 예에서, 루프 필터를 수평 에지에 적용할지의 여부는, 예를 들면, 신택스 엘리먼트를 통해 나타내어질 수도 있다. 예에서, 수직 에지에 루프 필터를 적용할지의 여부는, 예를 들면, 신택스 엘리먼트를 통해 나타내어질 수도 있다.
인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag) 신택스 엘리먼트는 두 개 이상의 신택스 엘리먼트로 분리될 수도 있고 (예를 들면, 비트스트림에서) 코딩 디바이스에게 나타내어질 수도 있다. 주어진 에지에 걸쳐 루프 필터를 인에이블할지 또는 디스에이블할지의 여부는, 예를 들면, 두 개 이상의 분리된 신택스 엘리먼트를 통해 나타내어질 수도 있다. 예를 들면, M×N 개의 면(예를 들면, M = 3 및 N = 2인 도 18b)을 포함하는 프레임 패킹된 투영 포맷이 고려될 수도 있다. M×N 개의 면을 포함하는 프레임 패킹된 투영 포맷에서, 픽쳐에서의 면 사이에 (M-1)×N 개의 수직 에지가 존재할 수도 있고, 픽쳐에서의 면 사이에 M×(N-1) 개의 수평 에지가 존재할 수도 있다. 이 경우, (M-1)×N + M×(N-1) 개의 표시(indication)(예를 들면, 플래그)는, 수평 및/또는 수직 에지 중 하나 이상을 인에이블할지 또는 디스에이블할지의 여부를 명시할 수도 있다. 인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag) 신택스 엘리먼트의 의미론(semantics)은 연속 면(continuous face) 사이의 에지에 걸쳐 루프 필터를 디스에이블하도록 또는 인에이블하도록 적응될 수도 있다. 이 경우, 예를 들면, 이음매의 발생을 방지하기 위해, 불연속 면(discontinuous face) 사이의 에지에 걸쳐 루프 필터는 디스에이블될 수도 있다. 시그널링은, 어떤 에지가 연속 면 사이에 있는지 및/또는 어떤 에지가 불연속 면 사이에 있는지를 명시하도록 구성될 수도 있다.
인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag) 신택스 엘리먼트는 두 개 이상의 신택스 엘리먼트로 분리될 수도 있다. 두 개 이상의 신택스 엘리먼트는 상이한 타입의 루프 필터를 제어하기 위해 사용될 수도 있다. 예를 들면, 디블로킹을 인에이블 또는 디스에이블하기 위해 표시(예를 들면, 플래그)가 사용될 수도 있다. 표시(예를 들면, 플래그)는, 예를 들면, ALF를 인에이블 또는 디스에이블하기 위해 사용될 수도 있다. 표시(예를 들면, 플래그)는, 예를 들면, SAO를 인에이블 또는 디스에이블하기 위해 사용될 수도 있다. 비디오 인코더 및/또는 디코더(예를 들면, 도 7 및 도 8에 도시됨)에서 더 많은 루프 필터가 사용되면, 더 많은 표시(예를 들면, 플래그)가 사용될 수도 있다. 인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag) 신택스 엘리먼트는 (예를 들면, 두 개의 신택스 엘리먼트로) 분리될 수도 있다. 예를 들면, 표시(예를 들면, 플래그)는 이웃하는 샘플을 사용하는 루프 필터를 제어하는 것일 수도 있다. 예를 들면, 상이한 표시(예를 들면, 플래그)는, 이웃하는 샘플을 사용하지 않는 루프 필터를 제어하는 것일 수도 있다. 인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag) 신택스 엘리먼트는, 이웃하는 샘플을 사용하는 루프 필터를 디스에이블할지 또는 인에이블할지의 여부를 나타낼 수도 있다. 이 경우, 이웃하는 샘플을 사용하지 않는 루프 필터가 인에이블될 수도 있다.
본원에 설명되는 확장은 조합될 수도 있다. 예를 들면, 다수의 표시(예를 들면, 플래그)가 사용되는 경우, 하나 이상의 표시(예를 들면, 플래그)가 루프 필터의 타입을 제어하기 위해 사용될 수도 있고, 하나 이상의 표시(예를 들면, 플래그)의 의미론은 그에 따라 적응될 수도 있다. 예를 들면, 하나 이상의 표시의 의미론은, 연속 면에 걸친 에지에 그 필터를 적용할지의 여부를 제어하도록 적응될 수도 있고, (예를 들면, 이음매의 발생을 방지하기 위해) 불연속 면에 걸친 에지에 대해 그 필터는 디스에이블될 수도 있다.
본원에서 설명되는 인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag)에 대한 확장은 타일을 예시적인 방식으로 사용하는 것일 수도 있다. 기술 분야의 숙련된 자는, 그들이 다른 면 레벨(예를 들면, 슬라이스)에 적용될 수도 있다는 것을 인식할 것이다. 예를 들면, 슬라이드에 걸쳐 루프 필터를 적용할지의 여부를 제어하는 pps_loop_filter_across_slices_enabled_flag 및/또는 slice_loop_filter_across_slices_enabled_flag가 인디케이터(예를 들면, 상이한 인디케이터)로서 사용될 수도 있다. CTU 내의 코딩된 블록이 동일한 타일 및/또는 슬라이스에 속하기 때문에, 타일 및/또는 슬라이스 사이즈는 CTU 사이즈의 배수일 수도 있다. 면 사이즈는 CTU 사이즈의 배수가 아닐 수도 있다. 본원에서 설명되는 타일 및/또는 슬라이스는 (예를 들면, 타일 및/또는 슬라이스의 사용을 방지하기 위해 그리고 본원에서 설명되는 의미론을 변경하기 위해) 면으로 대체될 수도 있다. 예를 들면, 본원에서 설명되는 인디케이터(예를 들면, loop_filter_across_tiles_enabled_flag) 신택스 및 그것의 하나 이상의 확장은, 상이한 인디케이터(예를 들면, loop_filter_across_faces_enabled_flag)로 대체될 수도 있다(예를 들면, 또는 그와 연계하여 사용될 수도 있다). 타일 및/또는 슬라이스가 인에이블되는 경우, 면 기반의 루프 필터 제어 표시(예를 들면, 플래그)가 작동할 수도 있다. 이 경우, 그러한 면 기반의 루프 필터 제어 표시(예를 들면, 플래그)는 면 경계 상의 에지에 적용 가능할 수도 있고, 타일 및/또는 슬라이스 기반의 루프 필터 제어 표시(예를 들면, 플래그)는 타일 및/또는 슬라이스 경계 상의 에지에 적용될 수도 있다.
동일한 면에 속하는 CTU 내의 하나 이상의(예를 들면, 모든) 코딩된 블록 및 CTU가 속하는 면 내에 있는 블록이 코딩될 수도 있도록 중첩하는 CTU. 이러한 방식으로, (예를 들면, 면 사이즈가 CTU 사이즈의 배수가 아닌 경우에도) 타일 및/또는 슬라이스가 사용될 수도 있다.
CMP 및/또는 관련된 큐브 기반의 지오메트리의 경우, 3×2 패킹 구성이 사용될 수도 있다. 예를 들면, 3×2 패킹 구성은 표현(예를 들면, 컴팩트 표현)을 위해 사용될 수도 있고 직사각형 프레임 패킹된 픽쳐를 형성할 수도 있다. 3×2 패킹 구성은, 도 2b에서 도시되는 직사각형 프레임 패킹된 픽쳐(예를 들면, 4×3 패킹 구성)를 형성하기 위해 빈 영역을 디폴트(예를 들면, 보이드(void)) 샘플로 채우는 것을 생략할 수도 있다. 3×2 패킹 구성의 하나 이상의 면은 프레임 픽쳐에서 두 개의 이웃하는 면 사이의 불연속성이 감소될 수도 있도록 배열될 수도 있다. 3×2 패킹 구성은, 도 31에서 묘사되는 바와 같이, 우측 면(front face), 전방 면 및 좌측 면이 상단 행에서 (예를 들면, 이 특정한 순서로) 배치될 수도 있고, 하단 면, 후방 면, 및 상단 면이 하단 행에서 (예를 들면, 이 특정한 순서로) 배치될 수도 있도록 정의될 수도 있다. 도 31은 예시적인 3×2 패킹 구성(예를 들면, 상단 행에 배치되는 우측 면, 전방 면 및 좌측 면 및 하단 행에 배치되는 하단 면, 후방 면 및 상단 면을 가짐)을 예시한다. 도 31의 점선은 CTU 경계를 나타낼 수도 있다. 화살표는 두 면 사이의 공유된 경계를 나타낼 수도 있다. 면 행(face row)(예를 들면, 각각의 면 행) 내에서, 면은 회전될 수도 있다. 예를 들면, 면 행은 두 개의 이웃하는 면 사이에서 불연속성을 최소화하기 위해 회전될 수도 있다. 면 사이즈는 CTU 사이즈의 배수가 아닐 수도 있다. 제2 면 행의 일부는, 예를 들면, 제1 면 행이 완전히 코딩되기 이전에 코딩될 수도 있다. 하단 면, 후방 면, 및 상단 면의 하나 이상의 블록을 코딩할 때, 우측 면, 전방 면, 및/또는 좌측 면의 이웃하는 블록은 이용 가능하지 않을 수도 있다. 예를 들면, 도 31에서 묘사되는 3×2 패킹 구성의 경우, 하단 면의 제1(예를 들면, 부분) CTU 행(예를 들면, 도 31에서의 음영 영역)의 블록을 인코딩할 때, 대응하는 이웃 블록이 아직 인코딩되지 않았을 수도 있기 때문에, 정보는 전방 면 및 좌측 면의 이웃하는 블록으로부터 추론되지 않을 수도 있다. 유사하게, 후방 면의 경우, 제1(예를 들면, 부분) CTU 행(예를 들면, 도 31에서의 음영 영역)에서 사이즈 h = mod(면 사이즈, CTU 사이즈)의 폭 이내의 제1 블록(여기서 mod(x, y)는 모듈로(modulo) 연산자일 수도 있음)은, 대응하는 이웃 블록이 아직 인코딩되지 않았을 수도 있기 때문에, 좌측 면의 이웃하는 블록으로부터 정보를 추론할 수 없을 수도 있다.
3×2 패킹 구성이 사용될 수도 있고 및/또는 비트스트림에서, 예를 들면, 코딩 디바이스로/로부터 시그널링될 수도 있다. 예를 들면, 본원에서 설명되는 3×2 패킹 구성이 사용되는 경우, 제1 면 행의 하나 이상의 이웃하는 면으로부터의 정보는 제2 면 행에 위치되는 면에 대해 추론될 수도 있다. 3×2 패킹 구성은, 도 32에서 묘사되는 바와 같이, 우측 면, 전방 면 및 좌측 면이 제1 면 행에서 (예를 들면, 이 특정한 순서로) 배치되고, 상단 면, 후방 면, 및 하단 면이 제2 면 행에서 (예를 들면, 이 특정한 순서로) 배치되도록 정의될 수도 있다. 도 32는 예시적인 3×2 패킹 구성(예를 들면, 제1 면 행에서 우측 면, 전방 면, 및 좌측 면을 그리고 제2 면 행에서 상단 면, 후방 면, 및 하단 면을 가짐)을 예시한다. 면 행(예를 들면, 각각의 면 행) 내에서, 예를 들면, 두 개의 이웃하는 면 사이의 불연속성을 최소화하기 위해, 면은 회전될 수도 있다. 도 32에서 도시되는 3×2 패킹 구성의 경우, 제2 면 행의 하나 이상의 면은 (예를 들면, 도 31에서 예시되는 3×2 패킹 구성과 비교하여) 180 도 회전될 수도 있다. 도 32에서 도시되는 구성에서, 상단 면, 후방 면 및 하단 면을 인코딩할 때, 우측 면, 전방 면, 및 좌측 면의 이웃하는 블록이 이용 가능할 수도 있다.
본원에서 설명되는 전방 면, 후방 면, 좌측 면, 우측 면, 상단 면, 및/또는 하단 면의 정의는 상대적일 수도 있다. 본원에서 설명되는 바와 유사한 배열을 얻기 위해 큐브에 회전이 적용될 수도 있다.
도 33a는 하나 이상의 개시된 실시형태가 구현될 수도 있는 예시적인 통신 시스템(100)을 예시하는 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트(broadcast), 등등과 같은 콘텐츠를 다수의 무선 유저에게 제공하는 다중 액세스 시스템(multiple access system)일 수도 있다. 통신 시스템(100)은, 무선 대역폭을 비롯한 시스템 리소스의 공유를 통해 다수의 무선 유저가 이러한 콘텐츠에 액세스하는 것을 가능하게 할 수도 있다. 예를 들면, 통신 시스템(100)은 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 싱글 캐리어 FDMA(single-carrier FDMA; SC-FDMA), 제로 테일 고유 워드 DFT 확산 OFDM(zero-tail unique-word DFT-Spread OFDM; ZT UW DTS-s OFDM), 고유 워드 OFDM(unique word OFDM; UW-OFDM), 리소스 블록 필터링 OFDM(resource block-filtered OFDM), 필터 뱅크 멀티캐리어(filter bank multicarrier; FBMC), 및 등등과 같은, 하나 이상의 채널 액세스 방법을 활용할 수도 있다.
도 33a에서 도시되는 바와 같이, 통신 시스템(100)은 무선 송수신 유닛(WTRU)(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), 공중 교환식 전화망(public switched telephone network; PSTN)(108), 인터넷(110), 및 다른 네트워크(112)를 포함할 수도 있지만, 개시된 실시형태는 임의의 수의 WTRU, 기지국(base station), 네트워크, 및/또는 네트워크 엘리먼트를 고려한다는 것이 인식될 것이다. WTRU(102a, 102b, 102c, 102d)의 각각은 무선 환경에서 동작하도록 및/또는 통신하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU(102a, 102b, 102c, 102d) - 이들 중 임의의 것은 "스테이션(station)" 및/또는 "STA"로 칭해질 수도 있음 - 는 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있고 유저 기기(user equipment; UE), 이동국(mobile station), 고정식 또는 이동식 가입자 유닛, 가입 기반의 유닛, 페이저, 셀룰러 전화, 개인 휴대형 정보 단말(personal digital assistant; PDA), 스마트폰, 랩탑, 넷북, 개인용 컴퓨터, 무선 센서, 핫스팟 또는 Mi-Fi 디바이스, 사물 인터넷(Internet of Things; IoT) 디바이스, 워치 또는 다른 웨어러블, 헤드 마운트형 디스플레이(head-mounted display; HMD), 차량, 드론, 의료 디바이스 및 애플리케이션(예를 들면, 원격 수술), 산업용 디바이스 및 애플리케이션(예를 들면, 산업용 및/또는 자동화된 프로세싱 체인 컨텍스트에서 동작하는 로봇 및/또는 다른 무선 디바이스), 소비자 전자장치 디바이스, 상업용 및/또는 산업용 무선 네트워크 상에서 동작하는 디바이스, 및 등등을 포함할 수도 있다. WTRU(102a, 102b, 102c 및 102d) 중 임의의 것은 상호 교환 가능하게 UE로 칭해질 수도 있다.
통신 시스템(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수도 있다. 기지국(114a, 114b)의 각각은, CN(106/115), 인터넷(110), 및/또는 다른 네트워크(112)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국(114a, 114b)은 기지국 트랜스시버(base transceiver station; BTS), Node-B, eNode B, 홈 노드 B, 홈 eNode B, gNB, NR NodeB, 사이트 컨트롤러(site controller), 액세스 포인트(access point; AP), 무선 라우터, 및 등등일 수도 있다. 기지국(114a, 114b) 각각이 단일의 엘리먼트로서 묘사되지만, 기지국(114a, 114b)은 임의의 수의 인터커넥트된(interconnected) 기지국 및/또는 네트워크 엘리먼트를 포함할 수도 있다는 것이 인식될 것이다.
기지국(114a)은, 기지국 컨트롤러(base station controller; BSC), 무선 네트워크 컨트롤러(radio network controller; RNC), 중계 노드, 등등과 같은 다른 기지국 및/또는 네트워크 엘리먼트(도시되지 않음)를 또한 포함할 수도 있는 RAN(104/113)의 일부일 수도 있다. 기지국(114a) 및/또는 기지국(114b)은 하나 이상의 캐리어 주파수 상에서 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있으며, 셀(도시되지 않음)로 칭해질 수도 있다. 이들 주파수는 허가된 스펙트럼(licensed spectrum), 비인가 스펙트럼(unlicensed spectrum), 또는 허가된 스펙트럼 및 비인가 스펙트럼의 조합일 수도 있다. 셀은, 상대적으로 고정될 수도 있는 또는 시간에 걸쳐 변할 수도 있는 무선 서비스에 대한 커버리지를 특정한 지리적 영역에 제공할 수도 있다. 셀은 셀 섹터로 더 분할될 수도 있다. 예를 들면, 기지국(114a)과 관련되는 셀은 세 개의 섹터로 분할될 수도 있다. 따라서, 하나의 실시형태에서, 기지국(114a)은 세 개의 트랜스시버, 즉, 셀의 각각의 섹터에 대해 하나의 트랜스시버를 포함할 수도 있다. 한 실시형태에서, 기지국(114a)은 다중입력 다중출력(multiple-input multiple output; MIMO) 기술을 활용할 수도 있고, 셀의 각각의 섹터에 대해 다수의 트랜스시버를 활용할 수도 있다. 예를 들면, 빔포밍(beamforming)은 소망되는 공간 방향으로 신호를 송신 및/또는 수신하기 위해 사용될 수도 있다.
기지국(114a, 114b)은, 임의의 적절한 무선 통신 링크(예를 들면, 무선 주파수(radio frequency; RF), 마이크로파, 센티미터파, 마이크로미터파, 적외선(infrared; IR), 자외선(ultraviolet; UV), 가시광, 등등)일 수도 있는 무선 인터페이스(air interface; 116)를 통해 WTRU(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수도 있다. 무선 인터페이스(116)는 임의의 적절한 무선 액세스 기술(radio access technology; RAT)을 사용하여 확립될 수도 있다.
더 구체적으로는, 상기에서 언급되는 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수도 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA, 및 등등과 같은 하나 이상의 채널 액세스 스킴(scheme)을 활용할 수도 있다. 예를 들면, RAN(104/113) 내의 기지국(114a) 및 WTRU(102a, 102b, 102c)는, 광대역 CDMA(wideband CDMA; WCDMA)를 사용하여 무선 인터페이스(115/116/117)를 확립할 수도 있는, 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(UMTS Terrestrial Radio Access; UTRA)와 같은 무선 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화된 HSPA(Evolved HSPA; HSPA +)와 같은 통신 프로토콜을 포함할 수도 있다. HSPA는 고속 다운링크(Downlink; DL) 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 UL 패킷 액세스(High-Speed UL Packet Access; HSUPA)를 포함할 수도 있다.
한 실시형태에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, 롱 텀 에볼루션(LTE) 및/또는 LTE-어드밴스드(LTE-Advanced; LTE-A) 및/또는 LTE-어드밴스드 프로(LTE-Advanced Pro; LTE-A Pro)를 사용하여 무선 인터페이스(116)를 확립할 수도 있는 진화형 UMTS 지상 무선 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)와 같은 무선 기술을 구현할 수도 있다.
한 실시형태에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, 뉴 라디오(New Radio; NR)를 사용하여 무선 인터페이스(116)를 확립할 수도 있는 NR 무선 액세스와 같은 무선 기술을 구현할 수도 있다.
한 실시형태에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는 다수의 무선 액세스 기술을 구현할 수도 있다. 예를 들면, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, 예를 들면, 이중 연결성(dual connectivity; DC) 원리를 사용하여, LTE 무선 액세스 및 NR 무선 액세스를 함께 구현할 수도 있다. 따라서, WTRU(102a, 102b, 102c)에 의해 활용되는 무선 인터페이스는, 다수의 타입의 기지국(예를 들면, eNB 및 gNB)으로/으로부터 전송되는 송신 및/또는 다수의 타입의 무선 액세스 기술에 의해 특성 묘사될 수도 있다.
다른 실시형태에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, IEEE 802.11(즉, 무선 충실도(Wireless Fidelity; WiFi)), IEEE 802.16(즉, 와이맥스(Worldwide Interoperability for Microwave Access; WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), 이동 통신용 글로벌 시스템(Global System for Mobile communications; GSM), GSM 에볼루션을 위한 향상된 데이터 레이트(Enhanced Data rates for GSM Evolution; EDGE), GSM EDGE(GERAN), 및 등등과 같은 무선 기술을 구현할 수도 있다.
도 33a의 기지국(114b)은, 예를 들면, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 사업장, 가정, 차량, 캠퍼스, 산업 설비, (예를 들면, 드론에 의한 사용을 위한) 공중 회랑(air corridor), 도로, 및 등등과 같은 로컬화된 영역에서 무선 연결성을 용이하게 하기 위해 임의의 적절한 RAT를 활용할 수도 있다. 하나의 실시형태에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 근거리 통신망(wireless local area network; WLAN)을 확립하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수도 있다. 다른 실시형태에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 사설 영역 네트워크(wireless personal area network; WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수도 있다. 여전히 다른 실시형태에서, 기지국(114b) 및 WTRU(102c, 102d)는 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반의 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR, 등등)를 활용할 수도 있다. 도 33a에서 도시되는 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 연결을 구비할 수도 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스할 필요가 없을 수도 있다.
RAN(104/113)은, WTRU(102a, 102b, 102c, 102d) 중 하나 이상으로 음성, 데이터, 애플리케이션, 및/또는 인터넷 전화 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성되는 임의의 타입의 네트워크일 수도 있는 CN(106/115)과 통신할 수도 있다. 데이터는, 스루풋 요건, 레이턴시 요건, 에러 공차 요건(error tolerance requirement), 신뢰성 요건, 데이터 스루풋 요건, 이동성 요건, 및 등등과 같은 다양한 서비스 품질(quality of service; QoS) 요건을 가질 수도 있다. CN(106/115)은, 호 제어(call control), 과금 서비스, 모바일 위치 기반의 서비스, 선불 통화(pre-paid calling), 인터넷 연결성, 비디오 분배, 등등을 제공할 수도 있고, 및/또는 유저 인증과 같은 하이 레벨의 보안 기능을 수행할 수도 있다. 비록 도 33a에서 도시되지는 않지만, RAN(104/113) 및/또는 CN(106/115)은, RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 활용하는 다른 RAN과 직접적으로 또는 간접적으로 통신할 수도 있다는 것이 인식될 것이다. 예를 들면, NR 무선 기술을 이용할 수도 있는 RAN(104/113)에 연결되는 것 외에, CN(106/115)은, GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 또한 통신할 수도 있다.
CN(106/115)은 WTRU(102a, 102b, 102c, 102d)가 PSTN(108), 인터넷(110), 및/또는 다른 네트워크(112)에 액세스하기 위한 게이트웨이로서 또한 역할을 할 수도 있다. PSTN(108)은, 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화 네트워크(circuit-switched telephone network)를 포함할 수도 있다. 인터넷(110)은, TCP/IP 인터넷 프로토콜 일군(suite)에서의 송신 제어 프로토콜(transmission control protocol; TCP), 유저 데이터그램 프로토콜(user datagram protocol; UDP) 및/또는 인터넷 프로토콜(internet protocol; IP)과 같은 일반적인 통신 프로토콜을 사용하는 인터커넥트된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수도 있다. 네트워크(112)는 다른 서비스 공급자에 의해 소유되는 및/또는 운영되는 유선 및/또는 무선 통신 네트워크를 포함할 수도 있다. 예를 들면, 네트워크(112)는 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 활용할 수도 있는 하나 이상의 RAN에 연결되는 다른 CN을 포함할 수도 있다.
통신 시스템(100)에서의 WTRU(102a, 102b, 102c, 102d) 중 일부 또는 전체는 멀티 모드 성능을 포함할 수도 있다(예를 들면, WTRU(102a, 102b, 102c, 102d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 트랜스시버를 포함할 수도 있다). 예를 들면, 도 33a에서 도시되는 WTRU(102c)는, 셀룰러 기반 무선 기술을 활용할 수도 있는 기지국(114a)과, 그리고 IEEE 802 무선 기술을 활용할 수도 있는 기지국(114b)과 통신하도록 구성될 수도 있다.
도 33b는 예시적인 WTRU(102)를 예시하는 시스템 도면이다. 도 1b에서 도시되는 바와 같이, WTRU(102)는, 다른 것들 중에서도, 프로세서(118), 트랜스시버(120), 송신/수신 엘리먼트(122), 스피커/마이크(124), 키패드(126), 디스플레이/터치패드(128), 비착탈식 메모리(130), 착탈식 메모리(132), 전원(134), 전지구 위치 결정 시스템(global positioning system; GPS) 칩셋(136), 및/또는 다른 주변장치(138)를 포함할 수도 있다. WTRU(102)는 한 실시형태와 여전히 부합하면서 전술한 엘리먼트의 임의의 부조합을 포함할 수도 있다는 것이 인식될 것이다.
프로세서(118)는 범용 프로세서, 특수 목적의 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서, DSP 코어와 관련하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 주문형 집적 회로(Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA) 회로, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신, 및 등등일 수도 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성(functionality)을 수행할 수도 있다. 프로세서(118)는, 송신/수신 엘리먼트(122)에 커플링될 수도 있는 트랜스시버(120)에 커플링될 수도 있다. 도 33b가 프로세서(118) 및 트랜스시버(120)를 별개의 컴포넌트로서 묘사하지만, 프로세서(118) 및 트랜스시버(120)는 전자적 패키지 또는 칩에 함께 집적될 수도 있다는 것이 인식될 것이다.
송신/수신 엘리먼트(122)는 무선 인터페이스(116)를 통해 기지국(예를 들면, 기지국(114a))으로 신호를 송신하거나, 또는 그 기지국으로부터 신호를 수신하도록 구성될 수도 있다. 예를 들면, 하나의 실시형태에서, 송신/수신 엘리먼트(122)는 RF 신호를 송신하도록 및/또는 수신하도록 구성되는 안테나일 수도 있다. 다른 실시형태에서, 송신/수신 엘리먼트(122)는, 예를 들면, IR, UV, 또는 가시광 신호를 송신 및/또는 수신하도록 구성되는 방출기(emitter)/검출기(detector)일 수도 있다. 여전히 다른 실시형태에서, 송신/수신 엘리먼트(122)는 RF 및 광 신호 둘 모두를 송신 및/또는 수신하도록 구성될 수도 있다. 송신/수신 엘리먼트(122)는 무선 신호의 임의의 조합을 송신하도록 및/또는 수신하도록 구성될 수도 있다는 것이 인식될 것이다.
비록 송신/수신 엘리먼트(122)가 도 33b에서 단일의 엘리먼트로서 묘사되지만, WTRU(102)는 임의의 수의 송신/수신 엘리먼트(122)를 포함할 수도 있다. 더 구체적으로는, WTRU(102)는 MIMO 기술을 활용할 수도 있다. 따라서, 하나의 실시형태에서, WTRU(102)는, 무선 인터페이스(116)를 통해 무선 신호를 송신 및 수신하기 위한 두 개 이상의 송신/수신 엘리먼트(122)(예를 들면, 다수의 안테나)를 포함할 수도 있다.
트랜스시버(120)는, 송신/수신 엘리먼트(122)에 의해 송신될 신호를 변조하도록 그리고 송신/수신 엘리먼트(122)에 의해 수신되는 신호를 복조하도록 구성될 수도 있다. 상기에서 언급되는 바와 같이, WTRU(102)는 다중 모드 성능을 가질 수도 있다. 따라서, 트랜스시버(120)는, WTRU(102)가, 예를 들면, NR 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 가능하게 하기 위한 다수의 트랜스시버를 포함할 수도 있다.
WTRU(102)의 프로세서(118)는, 스피커/마이크(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들면, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light- emitting diode; OLED) 디스플레이 유닛)에 커플링될 수도 있고, 그리고 이들로부터 유저 입력 데이터를 수신할 수도 있다. 프로세서(118)는 유저 데이터를 스피커/마이크(124), 키패드(126), 및/또는 디스플레이/터치패드(128)로 또한 출력할 수도 있다. 또한, 프로세서(118)는, 비착탈식 메모리(130) 및/또는 착탈식 메모리(132)와 같은 임의의 타입의 적절한 메모리로의 정보에 액세스할 수도 있고, 그리고 그 임의의 타입의 적절한 메모리에 데이터를 저장할 수도 있다. 비착탈식 메모리(130)는 랜덤 액세스 메모리(random-access memory; RAM), 리드 온리 메모리(read-only memory; ROM), 하드디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수도 있다. 착탈식 메모리(132)는 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 시큐어 디지털(secure digital; SD) 메모리 카드, 및 등등을 포함할 수도 있다. 다른 실시형태에서, 프로세서(118)는, WTRU(102) 상에 물리적으로 위치되지 않는 메모리, 예컨대 서버 또는 가정용 컴퓨터(도시되지 않음) 상의 메모리의 정보에 액세스할 수도 있고, 그리고 그 메모리에 데이터를 저장할 수도 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수도 있고, WTRU(102)의 다른 컴포넌트로 전력을 분배하도록 및/또는 그 전력을 제어하도록 구성될 수도 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수도 있다. 예를 들면, 전원(134)은 하나 이상의 드라이 셀 배터리(예를 들면, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 수소(NiMH), 리튬 이온(Li ion), 등등), 솔라 셀, 연료 전지, 및 등등을 포함할 수도 있다.
프로세서(118)는, WTRU(102)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(136)에 또한 커플링될 수도 있다. 또한, GPS 칩셋(136)으로부터의 정보 외에, 또는 그 정보 대신, WTRU(102)는 무선 인터페이스(116)를 통해 기지국(예를 들면, 기지국(114a, 114b))으로부터 위치 정보를 수신할 수도 있고 및/또는 두 개 이상의 인근의 기지국으로부터 수신되고 있는 신호의 타이밍에 기초하여 자신의 위치를 결정할 수도 있다. WTRU(102)는 한 실시형태와 여전히 부합하면서 임의의 적절한 위치 결정 방법을 통해 위치 정보를 획득할 수도 있다는 것이 인식될 것이다.
프로세서(118)는 또한, 추가적인 피쳐, 기능성, 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수도 있는 다른 주변장치(138)에 커플링될 수도 있다. 예를 들면, 주변장치(138)는, 가속도계, 전자 콤파스, 위성 트랜스시버, (사진 및/또는 비디오용의) 디지털 카메라, 범용 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔레비전 트랜스시버, 핸즈프리 헤드셋, Bluetooth® 모듈, 주파수 변조(frequency modulated; FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실(Virtual Reality) 및/또는 증강 현실(Augmented Reality)(VR/AR) 디바이스, 액티비티 트래커(activity tracker), 및 등등을 포함할 수도 있다. 주변 장치(138)는 하나 이상의 센서를 포함할 수도 있고, 센서는 자이로스코프, 가속도계, 홀 효과 센서(hall effect sensor), 자력계(magnetometer), 방위 센서, 근접 센서, 온도 센서, 시간 센서; 지오로케이션 센서; 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스쳐 센서, 생체 인식 센서(biometric sensor), 및/또는 습도 센서 중 하나 이상일 수도 있다.
WTRU(102)는, (예를 들면, (예를 들면, 송신을 위한) UL 및 (예를 들면, 수신을 위한) 다운링크 둘 모두에 대한 특정한 서브프레임과 관련되는) 신호의 일부 또는 모두의 송신 및 수신이 동시 발생적일 수도 있고 및/또는 동시적일 수도 있는 전이중 무선(full duplex radio)을 포함할 수도 있다. 전이중 무선은, 프로세서(예를 들면, 별개의 프로세서(도시되지 않음) 또는 프로세서(118))를 통한 신호 프로세싱 또는 하드(예를 들면, 초크) 중 어느 하나를 통해 자체 간섭(self-interference)을 감소시키기 위한 및 또는 실질적으로 제거하기 위한 간섭 관리 유닛을 포함할 수도 있다. 한 실시형태에서, WRTU(102)는 반이중 무선(half-duplex radio)을 포함할 수도 있는데, 반이중 무선의 경우, (예를 들면, (예를 들면, 송신을 위한) UL 또는 (예를 들면, 수신을 위한) 다운링크 중 어느 하나에 대한 특정한 서브프레임과 관련되는) 신호의 일부 또는 모두의 송신 및 수신.
도 33c는 한 실시형태에 따른 RAN(104) 및 CN(106)을 예시하는 시스템 도면이다. 상기에서 언급되는 바와 같이, RAN(104)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 E-UTRA 무선 기술을 활용할 수도 있다. RAN(104)은 또한 CN(106)과 통신할 수도 있다.
RAN(104)은 eNode-B(160a, 160b, 160c)를 포함할 수도 있지만, RAN(104)은 한 실시형태와 여전히 부합하면서 임의의 수의 eNode-B를 포함할 수도 있다는 것이 인식될 것이다. eNode-B(160a, 160b, 160c) 각각은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 트랜스시버를 포함할 수도 있다. 하나의 실시형태에서, eNode-B(160a, 160b, 160c)는 MIMO 기술을 구현할 수도 있다. 따라서, eNode-B(160a)는, 예를 들면, WTRU(102a)로 무선 신호를 송신하기 위해, 및/또는 WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수도 있다.
eNode-B(160a, 160b, 160c)의 각각은 특정한 셀(도시되지 않음)과 관련될 수도 있고 무선 리소스 관리 결정, 핸드오버 결정, UL 및/또는 DL에서의 유저의 스케줄링, 및 등등을 핸들링하도록 구성될 수도 있다. 도 33d에서 도시되는 바와 같이, eNode-B(160a, 160b, 160c)는 X2 인터페이스를 통해 서로 통신할 수도 있다.
도 33c에서 도시되는 CN(106)은 이동성 관리 엔티티(mobility management entity; MME)(162), 서빙 게이트웨이(serving gateway; SGW)(164), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(또는 PGW)(166)를 포함할 수도 있다. 전술한 엘리먼트의 각각이 CN(106)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 것은 CN 오퍼레이터 이외의 엔티티에 의해 소유될 수도 있고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B(162a, 162b, 162c)의 각각에 연결될 수도 있고 제어 노드로서 역할을 할 수도 있다. 예를 들면, MME(162)는 WTRU(102a, 102b, 102c)의 유저를 인증하는 것, 베어러 활성화/비활성화, WTRU(102a, 102b, 102c)의 초기 접속 동안 특정한 서빙 게이트웨이를 선택하는 것, 및 등등을 담당할 수도 있다. MME(162)는, GSM 및/또는 WCDMA와 같은 다른 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 RAN(104) 사이를 스위칭하기 위한 제어 평면 기능(control plane function)을 제공할 수도 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104) 내의 eNode B(160a, 160b, 160c)의 각각에 연결될 수도 있다. SGW(164)는 일반적으로 유저 데이터 패킷을, WTRU(102a, 102b, 102c)로/로부터 라우팅 및 포워딩할 수도 있다. SGW(164)는 다른 기능, 예컨대 eNode B간 핸드오버(inter-eNode B handover) 동안 유저 평면(user plane)을 앵커링하는 것, DL 데이터가 WTRU(102a, 102b, 102c)에 대해 이용 가능할 때 페이징을 트리거하는 것, WTRU(102a, 102b, 102c)의 컨텍스트(context)를 관리하고 저장하는 것, 및 등등을 또한 수행할 수도 있다.
SGW(164)는, WTRU(102a, 102b, 102c)와 IP 대응 디바이스(IP-enabled device) 사이의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있는 PGW(166)에 연결될 수도 있다.
CN(106)은 다른 네트워크와의 통신을 용이하게 할 수도 있다. 예를 들면, CN(106)은, WTRU(102a, 102b, 102c)와 전통적인 지상 회선 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다. 예를 들면, CN(106)은, CN(106)과 PSTN(108) 사이의 인터페이스로서 역할을 하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수도 있거나, 또는 그와 통신할 수도 있다. 또한, CN(106)은, 다른 서비스 공급자에 의해 소유되는 및/또는 운영되는 다른 유선 및/또는 무선 네트워크를 포함할 수도 있는 다른 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다.
비록 WTRU가 무선 단말로서 도 33a 내지 도 33d에서 설명되지만, 소정의 대표적인 실시형태에서, 그러한 단말은 통신 네트워크와의 유선 통신 인터페이스를 (예를 들면, 일시적으로 또는 영구적으로) 사용할 수도 있다는 것이 고려된다.
대표적인 실시형태에서, 다른 네트워크(112)는 WLAN일 수도 있다.
인프라(infrastructure) 기본 서비스 세트(Basic Service Set; BSS) 모드의 WLAN은, BSS에 대한 액세스 포인트(AP) 및 AP와 관련되는 하나 이상의 스테이션(STA)을 구비할 수도 있다. AP는, 분배 시스템(distribution system; DS) 또는 BSS 안으로 및/또는 밖으로 트래픽을 반송하는(carry) 다른 타입의 유선/무선 네트워크에 액세스할 수도 있거나 또는 그들에 인터페이싱할 수도 있다. BSS 외부에서 시작하는 STA로의 트래픽은 AP를 통해 도달할 수도 있고 STA로 전달될 수도 있다. BSS 외부의 목적지로의 STA로부터 시작하는 트래픽은, 각각의 목적지로 전달되도록 AP로 전송될 수도 있다. BSS 내의 STA 사이의 트래픽은, 예를 들면, AP를 통해 전송될 수도 있는데, 이 경우, 소스 STA는 트래픽을 AP로 전송할 수도 있고 AP는 그 트래픽을 목적지 STA로 전달할 수도 있다. BSS 내에서 STA 사이의 트래픽은 피어 투 피어 트래픽(peer-to-peer traffic)으로 간주될 수도 있고 및/또는 칭해질 수도 있다. 피어 투 피어 트래픽은 직접 링크 셋업(direct link setup; DLS)을 통해 소스 STA와 목적지 STA 사이에서 (예를 들면, 사이에서 직접적으로) 전송될 수도 있다. 소정의 대표적인 실시형태에서, DLS는 802.11e DLS 또는 802.11z 터널식 DLS(tunneled DLS; TDLS)를 사용할 수도 있다. 독립 BSS(Independent BSS; IBSS) 모드를 사용하는 WLAN은 AP를 구비하지 않을 수도 있고, IBSS 내의 또는 IBSS를 사용하는 STA(예를 들면, 모든 STA)는 서로 직접적으로 통신할 수도 있다. IBSS 통신 모드는 본원에서 때때로 "애드혹(ad-hoc)" 통신 모드로 칭해질 수도 있다.
802.11ac 인프라 동작 모드 또는 유사한 동작 모드를 사용하는 경우, AP는 주 채널(primary channel)과 같은 고정 채널 상에서 비콘을 송신할 수도 있다. 주 채널은 고정 폭(예를 들면, 20 MHz 광대역폭) 또는 시그널링을 통해 동적으로 설정되는 폭일 수도 있다. 주 채널은 BSS의 동작 채널일 수도 있고 AP와의 연결을 확립하기 위해 STA에 의해 사용될 수도 있다. 소정의 대표적인 실시형태에서, 캐리어 감지 다중 액세스/충돌 방지(Carrier Sense Multiple Access with Collision Avoidance; CSMA/CA)는, 예를 들면, 802.11 시스템에서 구현될 수도 있다. CSMA/CA의 경우, AP를 비롯한 STA(예를 들면, 모든 STA)는 주 채널을 감지할 수도 있다. 주 채널이 특정한 STA에 의해 감지/검출되고 및/또는 사용 중인 것으로 결정되면, 특정한 STA는 백 오프될 수도 있다. 하나의 STA(예를 들면, 단지 하나의 스테이션)는 주어진 BSS에서 임의의 주어진 시간에 송신할 수도 있다.
높은 스루풋(High Throughput; HT) STA는, 예를 들면, 20 MHz 주 채널과 인접한 또는 인접하지 않는 20 MHz 채널의 조합을 통한 통신을 위해 40 MHz 폭의 채널을 사용하여 40 MHz 폭의 채널을 형성할 수도 있다.
아주 높은 스루풋(Very High Throughput; VHT) STA는 20 MHz, 40 MHz, 80 MHz, 및/또는 160 MHz 폭의 채널을 지원할 수도 있다. 40 MHz, 및/또는 80 MHz 채널은, 예를 들면, 연속하는 20 MHz 채널을 결합하는 것에 의해 형성될 수도 있다. 8개의 연속하는 20 MHz 채널을 결합하는 것에 의해, 또는 두 개의 연속하지 않는 80 MHz 채널을 결합하는 것에 의해 160 MHz 채널이 형성될 수도 있는데, 두 개의 연속하지 않는 80 MHz 채널을 결합하는 것은, 80 + 80 구성으로 칭해질 수도 있다. 80 + 80 구성의 경우, 데이터는, 채널 인코딩 이후, 그 데이터를 두 개의 스트림으로 분할할 수도 있는 세그먼트 파서(segment parser)를 통과할 수도 있다. 역 고속 푸리에 변환(Inverse fast Fourier transform; IFFT) 프로세싱, 및 시간 도메인 프로세싱은, 각각의 스트림 상에서 개별적으로 행해질 수도 있다. 스트림은 두 개의 80 MHz 채널 상으로 매핑될 수도 있고, 데이터는 송신 STA에 의해 송신될 수도 있다. 수신 STA의 수신기에서, 80 + 80 구성에 대한 상기 설명되는 동작은 역순으로 될 수도 있고, 결합된 데이터는 매체 액세스 제어(Medium Access Control; MAC)로 전송될 수도 있다.
1 GHz 미만(sub 1 GHz)의 동작 모드는, 802.11af 및 802.11ah에 의해 지원될 수도 있다. 채널 동작 대역폭, 및 캐리어는, 802.11n 및 802.11ac에서 사용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 화이트 스페이스(TV White Space; TVWS) 스펙트럼에서 5 MHz, 10 MHz 및 20 MHz 대역폭을 지원하고, 802.11ah는 비 TVWS(non-TVWS) 스펙트럼을 사용하여 1 MHz, 2 MHz, 4 MHz, 8 MHz, 및 16 MHz 대역폭을 지원한다. 대표적인 실시형태에 따르면, 802.11ah는 대규모 커버리지 영역(macro coverage area)에서 MTC 디바이스와 같은 미터 타입 제어(Meter Type Control)/머신 타입 통신(Machine-Type Communication)을 지원할 수도 있다. MTC 디바이스는 소정의 성능, 예를 들면, 소정의 및/또는 제한된 대역폭에 대한 지원(예를 들면, 소정의 및/또는 제한된 대역폭에 대한 지원만)을 포함하는 제한된 성능을 가질 수도 있다. MTC 디바이스는 (예를 들면, 매우 긴 배터리 수명을 유지하기 위해) 임계치를 초과하는 배터리 수명을 갖는 배터리를 포함할 수도 있다.
802.11n, 802.11ac, 802.11af 및 802.11ah와 같은, 다수의 채널, 및 채널 대역폭을 지원할 수도 있는 WLAN 시스템은, 주 채널로 지정될 수도 있는 채널을 포함한다. 주 채널은, BSS 내의 모든 STA에 의해 지원되는 가장 큰 공통 동작 대역폭과 동일한 대역폭을 가질 수도 있다. 주 채널의 대역폭은, 가장 작은 대역폭 동작 모드를 지원하는 BSS에서 동작하는 모든 STA 중에서부터의 한 STA에 의해 설정 및/또는 제한될 수도 있다. 802.11ah의 예에서, AP, 및 BSS 내의 다른 STA가 2 MHz, 4 MHz, 8 MHz, 16 MHz, 및/또는 다른 채널 대역폭 동작 모드를 지원하더라도, 주 채널은, 1 MHz 모드를 지원하는(예를 들면, 1 MHz 모드만을 지원하는) STA(예를 들면, MTC 타입 디바이스)에 대해 1 MHz 폭일 수도 있다. 캐리어 감지 및/또는 네트워크 할당 벡터(Network Allocation Vector; NAV) 설정은 주 채널의 상태에 의존할 수도 있다. 예를 들면, AP로 송신하는 STA(이것은 1 MHz 동작 모드만을 지원함)에 기인하여 주 채널이 사용 중이면, 전체 이용 가능한 주파수 대역은, 주파수 대역의 대부분이 아이들 상태로 유지되고 이용 가능할 수도 있더라도, 사용 중인 것으로 간주될 수도 있다.
미국에서, 802.11ah에 의해 사용될 수도 있는 이용 가능한 주파수 대역은 902 MHz에서부터 928 MHz까지이다. 한국에서, 이용 가능한 주파수 대역은 917.5 MHz에서부터 923.5 MHz까지이다. 일본에서는, 이용 가능한 주파수 대역은 916.5 MHz에서부터 927.5 MHz까지이다. IEEE 802.11ah에 대해 이용 가능한 총 대역폭은 국가 코드에 따라 6 MHz 내지 26 MHz이다.
도 33d는 한 실시형태에 따른 RAN(113) 및 CN(115)을 예시하는 시스템 도면이다. 상기에서 언급되는 바와 같이, RAN(113)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 NR 무선 기술을 활용할 수도 있다. RAN(113)은 또한 CN(115)과 통신할 수도 있다.
RAN(113)은 gNB(180a, 180b, 180c)를 포함할 수도 있지만, RAN(113)은 한 실시형태와 여전히 부합하면서 임의의 수의 gNB를 포함할 수도 있다는 것이 인식될 것이다. gNB(180a, 180b, 180c) 각각은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 트랜스시버를 포함할 수도 있다. 하나의 실시형태에서, gNB(180a, 180b, 180c)는 MIMO 기술을 구현할 수도 있다. 예를 들면, gNB(180a, 108b)는 빔포밍을 활용하여 gNB(180a, 180b, 180c)로 신호를 송신할 수도 있고 및/또는 그로부터 신호를 수신할 수도 있다. 따라서, gNB(180a)는, 예를 들면, 다수의 안테나를 사용하여 WTRU(102a)로 무선 신호를 송신할 수도 있고, 및/또는 그로부터 무선 신호를 수신할 수도 있다. 한 실시형태에서, gNB(180a, 180b, 180c)는 캐리어 애그리게이션 기술(carrier aggregation technology)을 구현할 수도 있다. 예를 들면, gNB(180a)는 다수의 컴포넌트 캐리어(component carrier)를 WTRU(102a)(도시되지 않음)로 송신할 수도 있다. 이들 컴포넌트 캐리어의 서브세트는 비인가 스펙트럼 상에 있을 수도 있고, 동시에 나머지 컴포넌트 캐리어는 허가된 스펙트럼 상에 있을 수도 있다. 한 실시형태에서, gNB(180a, 180b, 180c)는 다지점 협력(Coordinated Multi-Point; CoMP) 기술을 구현할 수도 있다. 예를 들면, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 협력 송신을 수신할 수도 있다.
WTRU(102a, 102b, 102c)는 스케일러블 뉴머롤로지와 관련되는 송신을 사용하여 gNB(180a, 180b, 180c)와 통신할 수도 있다. 예를 들면, OFDM 심볼 간격 및/또는 OFDM 서브캐리어 간격은 상이한 송신, 상이한 셀, 및/또는 무선 송신 스펙트럼의 상이한 부분에 대해 변할 수도 있다. WTRU(102a, 102b, 102c)는 다양한 또는 확장 가능한(scalable) 길이(예를 들면, 다양한 수의 OFDM 심볼을 포함하고 및/또는 다양한 길이의 절대 시간을 지속함)의 서브프레임 또는 송신 시간 간격(transmission time intervals; TTI)을 사용하여 gNB(180a, 180b, 180c)와 통신할 수도 있다.
gNB(180a, 180b, 180c)는 독립형 구성 및/또는 비독립형 구성으로 WTRU(102a, 102b, 102c)와 통신하도록 구성될 수도 있다. 독립형 구성에서, WTRU(102a, 102b, 102c)는 (예를 들면, eNode-B(160a, 160b, 160c)와 같은) 다른 RAN에 또한 액세스하지 않으면서 gNB(180a, 180b, 180c)와 통신할 수도 있다. 독립형 구성에서, WTRU(102a, 102b, 102c)는 이동성 앵커 포인트(mobility anchor point)로서 gNB(180a, 180b, 180c) 중 하나 이상을 활용할 수도 있다. 독립형 구성에서, WTRU(102a, 102b, 102c)는 비인가 대역의 신호를 사용하여 gNB(180a, 180b, 180c)와 통신할 수도 있다. 비독립형 구성에서, WTRU(102a, 102b, 102c)는 eNode-B(160a, 160b, 160c)와 같은 다른 RAN과/에 통신/연결하면서, gNB(180a, 180b, 180c)와/에 또한 통신/연결할 수도 있다. 예를 들면, WTRU(102a, 102b, 102c)는 하나 이상의 gNB(180a, 180b, 180c) 및 하나 이상의 eNode-B(160a, 160b, 160c)와 실질적으로 동시에 통신하기 위해 DC 원리를 구현할 수도 있다. 비독립형 구성에서, eNode-B(160a, 160b, 160c)는 WTRU(102a, 102b, 102c)에 대한 이동성 앵커로서 역할을 할 수도 있고 gNB(180a, 180b, 180c)는 WTRU(102a, 102b, 102c)에 서비스하기 위한 추가 커버리지 및/또는 스루풋을 제공할 수도 있다.
gNB(180a, 180b, 180c)의 각각은 특정한 셀(도시되지 않음)과 관련될 수도 있고 무선 리소스 관리 결정, 핸드오버 결정, UL 및/또는 DL에서의 유저의 스케줄링, 네트워크 슬라이싱의 지원, 이중 연결성, NR과 E-UTRA 사이의 상호 연동, 유저 평면 기능(User Plane Function; UPF)(184a, 184b)을 향한 유저 평면 데이터의 라우팅, 액세스 및 이동성 관리 기능(Access and Mobility Management Function; AMF)(182a, 182b)을 향한 제어 평면 정보의 라우팅 및 등등을 핸들링하도록 구성될 수도 있다. 도 33d에서 도시되는 바와 같이, gNB(180a, 180b, 180c)는 Xn 인터페이스를 통해 서로 통신할 수도 있다.
도 33d에서 도시되는 CN(115)은 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(Session Management Function; SMF)(183a, 183b), 및 어쩌면 데이터 네트워크(Data Network; DN)(185a, 185b)를 포함할 수도 있다. 전술한 엘리먼트의 각각이 CN(115)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 것은 CN 오퍼레이터 이외의 엔티티에 의해 소유될 수도 있고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113) 내의 gNB(180a, 180b, 180c) 중 하나 이상에 연결될 수도 있고 제어 노드로서 역할을 할 수도 있다. 예를 들면, AMF(182a, 182b)는 WTRU(102a, 102b, 102c)의 유저를 인증하는 것, 네트워크 슬라이싱에 대한 지원(예를 들면, 상이한 요건을 갖는 상이한 PDU 세션의 핸들링), 특정한 SMF(183a, 183b)를 선택하는 것, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리, 및 등등을 담당할 수도 있다. WTRU(102a, 102b, 102c)에 활용되고 있는 서비스의 타입에 기초하여 WTRU(102a, 102b, 102c)에 대한 CN 지원을 커스터마이징하기 위해 네트워크 슬라이싱이 AMF(182a, 182b)에 의해 사용될 수도 있다. 예를 들면, 초 신뢰 가능 저 레이턴시(Ultra-Reliable Low Latency; URLLC) 액세스에 의존하는 서비스, 향상된 대규모 모바일 브로드밴드(Enhanced Massive Mobile Broadband; eMBB) 액세스에 의존하는 서비스, 머신 타입 통신(MTC) 액세스에 대한 서비스, 및/또는 등등과 같은 상이한 사용 사례에 대해 상이한 네트워크 슬라이스가 확립될 수도 있다. AMF(162)는, 다른 무선 기술, 예컨대 LTE, LTE-A, LTE-A 프로, 및/또는 비3GPP 액세스 기술 예컨대 WiFi를 활용하는 다른 RAN(도시되지 않음)과 RAN(113) 사이를 스위칭하기 위한 제어 평면 기능을 제공할 수도 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115)의 AMF(182a, 182b)에 연결될 수도 있다. SMF(183a, 183b)는 또한 N4 인터페이스를 통해 CN(115)의 UPF(184a, 184b)에 연결될 수도 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어할 수도 있고 UPF(184a, 184b)를 통한 트래픽의 라우팅을 구성할 수도 있다. SMF(183a, 183b)는 다른 기능, 예컨대 UE IP 어드레스를 관리 및 할당하는 것, PDU 세션을 관리하는 것, 정책 시행 및 QoS를 제어하는 것, 다운링크 데이터 통지를 제공하는 것, 및 등등을 수행할 수도 있다. PDU 세션 타입은 IP 기반일 수도 있거나, 비IP(non-IP) 기반일 수도 있거나, 이더넷 기반일 수도 있거나, 및 등등일 수도 있다.
UPF(184a, 184b)는, WTRU(102a, 102b, 102c)와 IP 대응 디바이스 사이의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있는 N3 인터페이스를 통해 RAN(113) 내의 gNB(180a, 180b, 180c) 중 하나 이상에 연결될 수도 있다. UPF(184, 184b)는 다른 기능, 예컨대 패킷을 라우팅 및 포워딩하는 것, 유저 평면 정책을 시행하는 것, 멀티 홈 PDU 세션(multi-homed PDU session)을 지원하는 것, 유저 평면 QoS를 핸들링하는 것, 다운링크 패킷을 버퍼링하는 것, 이동성 앵커링을 제공하는 것, 및 등등을 수행할 수도 있다.
CN(115)은 다른 네트워크와의 통신을 용이하게 할 수도 있다. 예를 들면, CN(115)은, CN(115)과 PSTN(108) 사이의 인터페이스로서 역할을 하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함할 수도 있거나, 또는 그와 통신할 수도 있다. 또한, CN(115)은, 다른 서비스 공급자에 의해 소유되는 및/또는 운영되는 다른 유선 및/또는 무선 네트워크를 포함할 수도 있는 다른 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다. 하나의 실시형태에서, WTRU(102a, 102b, 102c)는, UPF(184a, 184b)에 대한 N3 인터페이스를 통한 UPF(184a, 184b) 및 UPF(184a, 184b)와 데이터 네트워크(Data Network; DN)(185a, 185b) 사이의 N6 인터페이스를 통해 로컬 데이터 네트워크(Data Network; DN)(185a, 185b)에 연결될 수도 있다.
도 33a 내지 도 33d, 및 도 33a 내지 도 33d의 대응하는 설명을 고려하여, WTRU(102a-d), 기지국(114a-114), eNode-B(160a-c), MME(162), SGW(164), PGW(166), gNB(180a-c), AMF(182a-b), UPF(184a-b), SMF(183a-b), DN(185a-b), 및/또는 본원에서 설명되는 임의의 다른 디바이스(들): 중 하나 이상과 관련하여 본원에서 설명되는 기능 중 하나 이상, 또는 전부는, 하나 이상의 에뮬레이션 디바이스(도시되지 않음)에 의해 수행될 수도 있다. 에뮬레이션 디바이스는 본원에서 설명되는 기능 중 하나 이상 또는 전부를 에뮬레이팅하도록 구성되는 하나 이상의 디바이스일 수도 있다. 예를 들면, 에뮬레이션 디바이스는 다른 디바이스를 테스트하기 위해 및/또는 네트워크 및/또는 WTRU 기능을 시뮬레이팅하기 위해 사용될 수도 있다.
에뮬레이션 디바이스는, 실험실 환경 및/또는 오퍼레이터 네트워크 환경에서 다른 디바이스의 하나 이상의 테스트를 구현하도록 설계될 수도 있다. 예를 들면, 하나 이상의 에뮬레이션 디바이스는, 통신 네트워크 내의 다른 디바이스를 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현 및/또는 배치되는 동안, 하나 이상의 또는 모든 기능을 수행할 수도 있다. 하나 이상의 에뮬레이션 디바이스는, 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현되면서/배치되면서, 하나 이상의, 또는 모든 기능을 수행할 수도 있다. 에뮬레이션 디바이스는 테스트의 목적을 위해 다른 디바이스에 직접 커플링될 수도 있고 및/또는 오버 디 에어(over-the-air) 무선 통신을 사용하여 테스팅을 수행할 수도 있다.
하나 이상의 에뮬레이션 디바이스는, 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되지 않는 동안, 모든 기능을 비롯한, 하나 이상의 기능을 수행할 수도 있다. 예를 들면, 에뮬레이션 디바이스는 하나 이상의 컴포넌트의 테스팅을 구현하기 위해, 비배치된(non-deployed)(예를 들면, 테스팅) 유선 및/또는 무선 통신 네트워크 및/또는 테스팅 실험실의 테스팅 시나리오에서 활용될 수도 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 기기일 수도 있다. RF 회로부(circuitry)(예를 들면, 이것은 하나 이상의 안테나를 포함할 수도 있음)를 통한 직접 RF 커플링 및/또는 무선 통신은, 데이터를 송신 및/또는 수신하기 위해 에뮬레이션 디바이스에 의해 사용될 수도 있다.

Claims (24)

  1. 360도 비디오를 디코딩하는 방법에 있어서,
    비트스트림에서 프레임 패킹된 픽쳐(frame-packed picture)를 획득하는 단계;
    복수의 경계 위치 표시(indication)들 - 상기 복수의 경계 위치 표시들은 상기 프레임 패킹된 픽쳐에서 복수의 경계들의 대응하는 위치들을 나타냄 - 을 획득하는 단계;
    경계 교차 루프 필터 인디케이터(cross boundary loop filter indicator) - 상기 경계 교차 루프 필터 인디케이터는 상기 프레임 패킹된 픽쳐에서 경계에 걸쳐 루프 필터링이 디스에이블되는지의 여부를 나타냄 - 를 획득하는 단계;
    상기 프레임 패킹된 픽쳐에서의 상기 경계에 걸쳐 상기 루프 필터링이 디스에이블됨을 상기 경계 교차 루프 필터 인디케이터가 나타내는 것에 기초하여 그리고 상기 획득된 복수의 경계 위치 표시들에 기초하여, 상기 루프 필터링이 디스에이블되는, 상기 프레임 패킹된 픽쳐에서의 상기 경계의 위치를 결정하는 단계; 및
    상기 프레임 패킹된 픽쳐에서의 상기 경계의 상기 결정된 위치에 걸쳐 상기 루프 필터링을 디스에이블하는 단계를 포함하는, 360도 비디오를 디코딩하는 방법.
  2. 제1항에 있어서,
    상기 프레임 패킹된 픽쳐에서의 상기 경계는 면 경계, 타일 경계, 또는 슬라이스 경계 중 하나 이상을 포함하는 것인, 360도 비디오를 디코딩하는 방법.
  3. 제1항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는, 상기 프레임 패킹된 픽쳐에서의 상기 경계에 걸쳐 상기 루프 필터링이 디스에이블되는지의 여부를 나타내는 경계 교차 루프 필터 플래그(cross boundary loop filter flag)를 포함하는 것인, 360도 비디오를 디코딩하는 방법.
  4. 제1항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는 픽쳐 파라미터 세트(picture parameter set; PPS)에서 획득되는 것인, 360도 비디오를 디코딩하는 방법.
  5. 제1항에 있어서,
    상기 복수의 경계 위치 표시들에 기초하여 상기 프레임 패킹된 픽쳐에서 상기 복수의 경계들을 식별하는 단계; 및
    상기 프레임 패킹된 픽쳐에서의 상기 복수의 식별된 경계들로부터, 상기 루프 필터링이 디스에이블되는 상기 경계의 상기 위치를 결정하는 단계
    를 포함하는, 360도 비디오를 디코딩하는 방법.
  6. 제1항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는, 샘플 적응식 오프셋(sample adaptive offset; SAO) 필터, 디블로킹 필터(deblocking filter), 또는 적응식 루프 필터(adaptive loop filter; ALF) 중 하나 이상을 포함하는 것인, 360도 비디오를 디코딩하는 방법.
  7. 제1항에 있어서,
    상기 복수의 경계 위치 표시들에 기초하여 상기 프레임 패킹된 픽쳐에서 상기 복수의 경계들을 식별하는 단계;
    상기 프레임 패킹된 픽쳐에서의 상기 복수의 식별된 경계들로부터, 상기 루프 필터링이 인에이블되는 상기 경계의 상기 위치를 결정하는 단계; 및
    상기 루프 필터링이 인에이블되는 상기 경계의 상기 결정된 위치에 걸쳐 상기 루프 필터링을 적용하는 단계를 포함하는, 360도 비디오를 디코딩하는 방법.
  8. 제1항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는, 상기 프레임 패킹된 픽쳐의 불연속적인 경계에 걸쳐 상기 루프 필터링이 디스에이블됨을 나타내고 그리고 상기 프레임 패킹된 픽쳐의 연속적인 경계에 걸쳐 상기 루프 필터링이 인에이블됨을 나타내는 것인, 360도 비디오를 디코딩하는 방법.
  9. 제1항에 있어서,
    상기 프레임 패킹된 픽쳐는 상기 프레임 패킹된 픽쳐와 관련되는 수평 경계 및 수직 경계를 포함하는 것인, 360도 비디오를 디코딩하는 방법.
  10. 360도 비디오를 디코딩하기 위한 코딩 디바이스에 있어서,
    프로세서를 포함하고,
    상기 프로세서는:
    비트스트림에서 프레임 패킹된 픽쳐(frame-packed picture)를 획득하도록;
    복수의 경계 위치 표시(indication)들 - 상기 복수의 경계 위치 표시들은 상기 프레임 패킹된 픽쳐에서 복수의 경계들의 대응하는 위치들을 나타냄 - 을 획득하도록;
    경계 교차 루프 필터 인디케이터(cross boundary loop filter indicator) - 상기 경계 교차 루프 필터 인디케이터는 상기 프레임 패킹된 픽쳐에서 경계에 걸쳐 루프 필터링이 디스에이블되는지의 여부를 나타냄 - 를 획득하도록;
    상기 프레임 패킹된 픽쳐에서의 상기 경계에 걸쳐 상기 루프 필터링이 디스에이블됨을 상기 경계 교차 루프 필터 인디케이터가 나타내는 것에 기초하여 그리고 상기 획득된 복수의 경계 위치 표시들에 기초하여, 상기 루프 필터링이 디스에이블되는, 상기 프레임 패킹된 픽쳐에서의 상기 경계의 위치를 결정하도록; 그리고
    상기 프레임 패킹된 픽쳐에서의 상기 경계의 상기 결정된 위치에 걸쳐 상기 루프 필터링을 디스에이블하도록 구성되는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  11. 제10항에 있어서,
    상기 프레임 패킹된 픽쳐에서의 상기 경계는 면 경계, 타일 경계, 또는 슬라이스 경계 중 하나 이상을 포함하는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  12. 제10항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는, 상기 프레임 패킹된 픽쳐에서의 상기 경계에 걸쳐 상기 루프 필터링이 디스에이블되는지의 여부를 나타내는 경계 교차 루프 필터 플래그(cross boundary loop filter flag)를 포함하는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  13. 제10항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는 픽쳐 파라미터 세트(picture parameter set; PPS)에서 획득되는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  14. 제10항에 있어서,
    상기 프로세서는:
    상기 복수의 경계 위치 표시들에 기초하여 상기 프레임 패킹된 픽쳐에서 상기 복수의 경계들을 식별하도록; 그리고
    상기 프레임 패킹된 픽쳐에서의 상기 복수의 식별된 경계들로부터, 상기 루프 필터링이 디스에이블되는 상기 경계의 상기 위치를 결정하도록 구성되는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  15. 제10항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는, 샘플 적응식 오프셋(sample adaptive offset; SAO) 필터, 디블로킹 필터(deblocking filter), 또는 적응식 루프 필터(adaptive loop filter; ALF) 중 하나 이상을 포함하는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  16. 제10항에 있어서,
    상기 프로세서는:
    상기 복수의 경계 위치 표시들에 기초하여 상기 프레임 패킹된 픽쳐에서 상기 복수의 경계들을 식별하도록;
    상기 프레임 패킹된 픽쳐에서의 상기 복수의 식별된 경계들로부터, 상기 루프 필터링이 인에이블되는 상기 경계의 상기 위치를 결정하도록; 그리고
    상기 루프 필터링이 인에이블되는 상기 경계의 상기 결정된 위치에 걸쳐 상기 루프 필터링을 적용하도록 구성되는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  17. 제10항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는, 상기 프레임 패킹된 픽쳐의 불연속적인 경계에 걸쳐 상기 루프 필터링이 디스에이블됨을 나타내고 그리고 상기 프레임 패킹된 픽쳐의 연속적인 경계에 걸쳐 상기 루프 필터링이 인에이블됨을 나타내는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  18. 제10항에 있어서,
    상기 프레임 패킹된 픽쳐는 상기 프레임 패킹된 픽쳐와 관련되는 수평 경계 및 수직 경계를 포함하는 것인, 360도 비디오를 디코딩하기 위한 코딩 디바이스.
  19. 360도 비디오를 디코딩하기 위한 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체에 있어서,
    상기 명령어들은 프로세서가:
    비트스트림에서 프레임 패킹된 픽쳐(frame-packed picture)를 획득하는 것;
    복수의 경계 위치 표시(indication)들 - 상기 복수의 경계 위치 표시들은 상기 프레임 패킹된 픽쳐에서 복수의 경계들의 대응하는 위치들을 나타냄 - 을 획득하는 것;
    경계 교차 루프 필터 인디케이터(cross boundary loop filter indicator) - 상기 경계 교차 루프 필터 인디케이터는 상기 프레임 패킹된 픽쳐에서 경계에 걸쳐 루프 필터링이 디스에이블되는지의 여부를 나타냄 - 를 획득하는 것;
    상기 프레임 패킹된 픽쳐에서의 상기 경계에 걸쳐 상기 루프 필터링이 디스에이블됨을 상기 경계 교차 루프 필터 인디케이터가 나타내는 것에 기초하여 그리고 상기 획득된 복수의 경계 위치 표시들에 기초하여, 상기 루프 필터링이 디스에이블되는, 상기 프레임 패킹된 픽쳐에서의 상기 경계의 위치를 결정하는 것; 및
    상기 프레임 패킹된 픽쳐에서의 상기 경계의 상기 결정된 위치에 걸쳐 상기 루프 필터링을 디스에이블하는 것
    을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제19항에 있어서,
    상기 프레임 패킹된 픽쳐에서의 상기 경계는 면 경계, 타일 경계, 또는 슬라이스 경계 중 하나 이상을 포함하고, 상기 경계 교차 루프 필터 인디케이터는, 상기 프레임 패킹된 픽쳐에서의 상기 경계에 걸쳐 상기 루프 필터링이 디스에이블되는지의 여부를 나타내는 경계 교차 루프 필터 플래그(cross boundary loop filter flag)를 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  21. 제19항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는 픽쳐 파라미터 세트(picture parameter set; PPS)에서 획득되고, 상기 경계 교차 루프 필터 인디케이터는, 샘플 적응식 오프셋(sample adaptive offset; SAO) 필터, 디블로킹 필터(deblocking filter), 또는 적응식 루프 필터(adaptive loop filter; ALF) 중 하나 이상을 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  22. 제19항에 있어서,
    상기 명령어들은 상기 프로세서가:
    상기 복수의 경계 위치 표시들에 기초하여 상기 프레임 패킹된 픽쳐에서 상기 복수의 경계들을 식별하는 것; 및
    상기 프레임 패킹된 픽쳐에서의 상기 복수의 식별된 경계들로부터, 상기 루프 필터링이 디스에이블되는 상기 경계의 상기 위치를 결정하는 것
    을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  23. 제19항에 있어서,
    상기 명령어들은 상기 프로세서가:
    상기 복수의 경계 위치 표시들에 기초하여 상기 프레임 패킹된 픽쳐에서 상기 복수의 경계들을 식별하는 것;
    상기 프레임 패킹된 픽쳐에서의 상기 복수의 식별된 경계들로부터, 상기 루프 필터링이 인에이블되는 상기 경계의 상기 위치를 결정하는 것; 및
    상기 루프 필터링이 인에이블되는 상기 경계의 상기 결정된 위치에 걸쳐 상기 루프 필터링을 적용하는 것
    을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 제19항에 있어서,
    상기 경계 교차 루프 필터 인디케이터는, 상기 프레임 패킹된 픽쳐의 불연속적인 경계에 걸쳐 상기 루프 필터링이 디스에이블됨을 나타내고 그리고 상기 프레임 패킹된 픽쳐의 연속적인 경계에 걸쳐 상기 루프 필터링이 인에이블됨을 나타내고, 상기 프레임 패킹된 픽쳐는 상기 프레임 패킹된 픽쳐와 관련되는 수평 경계 및 수직 경계를 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020237017285A 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩 KR20230079466A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237026468A KR20230117492A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762484218P 2017-04-11 2017-04-11
US62/484,218 2017-04-11
US201762525880P 2017-06-28 2017-06-28
US62/525,880 2017-06-28
KR1020197029737A KR20200005539A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩
PCT/US2018/026828 WO2018191224A1 (en) 2017-04-11 2018-04-10 360-degree video coding using face continuities

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197029737A Division KR20200005539A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237026468A Division KR20230117492A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩

Publications (1)

Publication Number Publication Date
KR20230079466A true KR20230079466A (ko) 2023-06-07

Family

ID=62067880

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237017285A KR20230079466A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩
KR1020197029737A KR20200005539A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩
KR1020237026468A KR20230117492A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020197029737A KR20200005539A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩
KR1020237026468A KR20230117492A (ko) 2017-04-11 2018-04-10 면 연속성을 사용하는 360 도 비디오 코딩

Country Status (9)

Country Link
US (1) US20200120359A1 (ko)
EP (1) EP3610649A1 (ko)
JP (2) JP7169988B2 (ko)
KR (3) KR20230079466A (ko)
CN (1) CN110692249A (ko)
CA (1) CA3059870A1 (ko)
SG (1) SG11201909450WA (ko)
WO (1) WO2018191224A1 (ko)
ZA (1) ZA201906677B (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866774A (zh) * 2016-05-27 2022-08-05 松下电器（美国）知识产权公司 编码装置及解码装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11418816B2 (en) 2017-09-20 2022-08-16 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
WO2019240425A1 (ko) 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
KR20190140387A (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
US11343536B2 (en) 2018-06-27 2022-05-24 Kt Corporation Method and apparatus for processing video signal
US11438579B2 (en) * 2018-07-02 2022-09-06 Lg Electronics Inc. Method and apparatus for processing video signal by using intra-prediction
GB2590844B (en) 2018-08-17 2023-05-03 Beijing Bytedance Network Tech Co Ltd Simplified cross component prediction
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
CN116781880A (zh) * 2018-08-31 2023-09-19 寰发股份有限公司 视频编解码中的子块去块方法及装置
US11094088B2 (en) * 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
TWI820212B (zh) * 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 單行交叉分量線性模型預測模式
WO2020101451A1 (ko) * 2018-11-15 2020-05-22 한국전자통신연구원 지역 기반 화면간/화면내 예측 기술을 이용한 부호화/복호화 방법 및 장치
KR20210094646A (ko) 2018-12-14 2021-07-29 지티이 코포레이션 몰입형 비디오 비트 스트림 처리
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
CN113287311B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
US11089335B2 (en) * 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
WO2020185889A1 (en) * 2019-03-11 2020-09-17 Futurewei Technologies, Inc. Sub-picture level filtering in video coding
CN114424539A (zh) 2019-06-14 2022-04-29 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
US11070848B2 (en) 2019-06-24 2021-07-20 Tencent America LLC Method for efficient signaling of virtual boundary for loop filtering control
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
KR20220058899A (ko) 2019-09-18 2022-05-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 적응형 루프 필터의 2-파트 시그널링
KR20220061980A (ko) 2019-09-22 2022-05-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 패딩 프로세스
KR20220063177A (ko) 2019-09-27 2022-05-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 비디오 유닛들 간의 적응적 루프 필터링
WO2021062772A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 预测方法、编码器、解码器及计算机存储介质
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
WO2021083259A1 (en) 2019-10-29 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Signaling of cross-component adaptive loop filter
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
WO2021163845A1 (en) * 2020-02-17 2021-08-26 Intel Corporation Enhancing 360-degree video using convolutional neural network (cnn) -based filter
CN111612885A (zh) * 2020-04-10 2020-09-01 安徽继远软件有限公司 输电智慧物联环境下数字化杆塔管控方法和***
WO2022002007A1 (en) 2020-06-30 2022-01-06 Beijing Bytedance Network Technology Co., Ltd. Boundary location for adaptive loop filtering
US11638019B2 (en) * 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
WO2022119254A1 (ko) * 2020-12-04 2022-06-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045615B2 (en) * 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
WO2013030458A1 (en) * 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
CN103947203B (zh) * 2011-09-20 2018-08-07 Lg电子株式会社 用于编码/解码图像信息的方法和装置
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
EP2769550A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTRATION
US9161046B2 (en) * 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
WO2013111593A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
WO2013140722A1 (ja) * 2012-03-21 2013-09-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
SI2697973T1 (sl) * 2012-04-16 2017-11-30 Hfi Innovation Inc. Postopek in naprava za zančno filtriranje preko meja rezine ali ploščice
US10575021B2 (en) * 2012-07-03 2020-02-25 Telefonaktiebolaget Lm Ericsson (Publ) Controlling deblocking filtering
WO2014007736A1 (en) * 2012-07-03 2014-01-09 Telefonaktiebolaget L M Ericsson (Publ) Strong deblocking filtering decisions
US9554133B2 (en) * 2012-09-18 2017-01-24 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
CN104813669B (zh) * 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US10244265B2 (en) * 2012-10-04 2019-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Hierarchical deblocking parameter adaptation
CN116320392A (zh) * 2013-01-04 2023-06-23 Ge视频压缩有限责任公司 高效可伸缩编码概念
KR101825575B1 (ko) * 2013-01-07 2018-02-05 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩 방법 및 장치
US20140282678A1 (en) * 2013-03-15 2014-09-18 Cisco Technology, Inc. Method for Enabling 3DTV on Legacy STB
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9369708B2 (en) * 2013-03-27 2016-06-14 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9473784B2 (en) * 2013-05-20 2016-10-18 Texas Instruments Incorporated Sample adaptive offset (SAO) filtering in video coding
US9854252B2 (en) * 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US9510021B2 (en) * 2013-05-24 2016-11-29 Electronics And Telecommunications Research Institute Method and apparatus for filtering pixel blocks
GB2516422A (en) * 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
JP6352317B2 (ja) * 2013-07-14 2018-07-04 シャープ株式会社 復号方法
US20150016503A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Tiles and wavefront processing in multi-layer context
JP6514197B2 (ja) * 2013-07-15 2019-05-15 ジーイー ビデオ コンプレッション エルエルシー ネットワーク装置およびエラー処理の方法
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US9237359B2 (en) * 2013-09-25 2016-01-12 Qualcomm Incorporated Filtering video data in video coding
JP6363088B2 (ja) * 2013-10-08 2018-07-25 シャープ株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
US9736488B2 (en) * 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
US9912966B2 (en) * 2014-01-03 2018-03-06 Nokia Technologies Oy Parameter set coding
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
US10205950B2 (en) * 2014-02-21 2019-02-12 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10038919B2 (en) * 2014-05-29 2018-07-31 Apple Inc. In loop chroma deblocking filter
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN111988606B (zh) * 2014-09-15 2022-09-20 寰发股份有限公司 去区块滤波方法、相应地编码装置和存储介质
US9918082B2 (en) * 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
EP3813374A1 (en) * 2014-10-20 2021-04-28 Google LLC Continuous prediction domain
GB2532420A (en) * 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
GB2534409A (en) * 2015-01-23 2016-07-27 Sony Corp Data encoding and decoding
US10306246B2 (en) * 2015-02-13 2019-05-28 Mediatek Inc. Method and apparatus of loop filters for efficient hardware implementation
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
KR20180019549A (ko) * 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
KR102267922B1 (ko) 2015-09-23 2021-06-22 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
JP2018532314A (ja) * 2015-10-17 2018-11-01 コムキャスト ケーブル コミュニケーションズ， エルエルシー 部分および完全サブフレームにおける制御チャネル構成
CN107113422B (zh) * 2015-11-06 2020-08-25 微软技术许可有限责任公司 一种用于视频编码和解码的参考图片管理的计算机***
US9942557B2 (en) * 2016-01-26 2018-04-10 Beamr Imaging Ltd. Method and system of video encoding optimization
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
FI20165114A (fi) * 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
EP3301914A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11172208B2 (en) * 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming

Also Published As

Publication number Publication date
ZA201906677B (en) 2023-01-25
CN110692249A (zh) 2020-01-14
CA3059870A1 (en) 2018-10-18
US20200120359A1 (en) 2020-04-16
JP7357747B2 (ja) 2023-10-06
KR20200005539A (ko) 2020-01-15
WO2018191224A1 (en) 2018-10-18
JP2023002793A (ja) 2023-01-10
EP3610649A1 (en) 2020-02-19
SG11201909450WA (en) 2019-11-28
KR20230117492A (ko) 2023-08-08
JP7169988B2 (ja) 2022-11-11
JP2020517164A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
US20220377385A1 (en) Handling face discontinuities in 360-degree video coding
US12003770B2 (en) Face discontinuity filtering for 360-degree video coding
US11277635B2 (en) Predictive coding for 360-degree video based on geometry padding
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
CN112740701A (zh) 用于360度视频译码的样本导出
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
US11825116B2 (en) Predictive coding for 360-degree video based on geometry padding

Legal Events

Date Code Title Description
A107 Divisional application of patent
A107 Divisional application of patent
E902 Notification of reason for refusal