KR20220123693A - 포인트 클라우드 데이터 프로세싱 - Google Patents

포인트 클라우드 데이터 프로세싱 Download PDF

Info

Publication number
KR20220123693A
KR20220123693A KR1020227026934A KR20227026934A KR20220123693A KR 20220123693 A KR20220123693 A KR 20220123693A KR 1020227026934 A KR1020227026934 A KR 1020227026934A KR 20227026934 A KR20227026934 A KR 20227026934A KR 20220123693 A KR20220123693 A KR 20220123693A
Authority
KR
South Korea
Prior art keywords
point cloud
component
cloud data
preselection
spatial
Prior art date
Application number
KR1020227026934A
Other languages
English (en)
Inventor
쳉 후앙
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20220123693A publication Critical patent/KR20220123693A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

포인트 클라우드 데이터 프로세싱을 수행하기 위한 기술이 서술된다. 포인트 클라우드 데이터 프로세싱의 예시적인 방법은, 포인트 클라우드 데이터의 하나 이상의 삼차원(3D) 공간 영역을 서술하는 하나 이상의 공간 영역 서술자 및 포인트 클라우드 데이터와 연관된 포인트 클라우드 컴포넌트를 서술하는 하나 이상의 사전 선택 엘리먼트를 결정하는 것, 및 하나 이상의 공간 영역 서술자 및 하나 이상의 사전 선택 엘리먼트를 포함하는 미디어 프리젠테이션 서술(MPD) 파일을 송신하는 것을 포함한다.

Description

포인트 클라우드 데이터 프로세싱
이 특허 문서는 멀티미디어 데이터 프로세싱 및 송신 기술 및/또는 포인트 클라우드 데이터 프로세싱 및 송신 방법, 장치 및 시스템에 관한 것이다.
비디오 인코딩은 압축 도구를 사용하여 이차원 비디오 프레임을, 네트워크를 통한 저장 또는 전송에 더 효율적인 압축된 비트스트림 표현으로 인코딩한다. 인코딩을 위해 이차원 비디오 프레임을 사용하는 종래의 비디오 코딩 기술은 때때로 삼차원 시각적 장면의 시각적 정보의 표현에 대해 비효율적이다.
이 특허 문서는, 다른 것들 중에서도, 다차원 포인트 클라우드 데이터에 관련된 시각적 정보를 전달하는 디지털 비디오를 인코딩 및 디코딩하기 위한 기술을 서술한다(describe).
포인트 클라우드 데이터 프로세싱의 방법은, 포인트 클라우드 데이터의 하나 이상의 삼차원(three-dimensional; 3D) 공간 영역을 서술하는 하나 이상의 공간 영역 서술자(spatial region descriptor) 및 포인트 클라우드 데이터와 연관된 포인트 클라우드 컴포넌트를 서술하는 하나 이상의 사전 선택 엘리먼트(preselection element)를 결정하는 단계, 및 하나 이상의 공간 영역 서술자 및 하나 이상의 사전 선택 엘리먼트를 포함하는 미디어 프리젠테이션 서술(media presentation description; MPD) 파일을 송신하는 단계를 포함한다.
포인트 클라우드 데이터 프로세싱의 다른 방법은, 포인트 클라우드 데이터의 하나 이상의 삼차원(3D) 공간 영역을 서술하는 하나 이상의 공간 영역 서술자 및 포인트 클라우드 데이터와 연관된 포인트 클라우드 컴포넌트를 서술하는 하나 이상의 사전 선택 엘리먼트를 포함하는 미디어 프리젠테이션 서술(media presentation description; MPD) 파일을 수신하는 단계, 및 하나 이상의 사전 선택 엘리먼트의 사전 선택을 통해, 포인트 클라우드 데이터의 하나 이상의 3D 공간 영역에 대응하는 포인트 클라우드 컴포넌트에 액세스하는 단계를 포함한다.
여전히 다른 예시적인 양태에서, 상기에서 서술된 방법 및 본 특허 문서에서 서술되는 방법은 프로세서 실행 가능 코드의 형태로 구체화되어 비일시적 컴퓨터 판독 가능 저장 매체에 저장된다. 프로세서에 의해 실행될 때 컴퓨터 판독 가능 저장 매체에 포함되는 코드는, 프로세서로 하여금, 이 특허 문서에서 서술되는 방법을 구현하게 한다.
다른 예시적인 실시형태는 상기에서 서술된 방법 및 본 특허 문서에서 서술되는 방법을 수행하도록 구성되는 또는 동작 가능한 디바이스를 개시한다.
상기 및 다른 양태 및 그들의 구현은 도면, 서술, 및 청구범위에서 더욱 상세하게 서술된다.
도 1은 컴포넌트 적응 세트(component adaptation set)를 사용하여 포인트 클라우드 콘텐츠의 3D 공간 영역에 속하는 비디오 기반의 포인트 클라우드 압축(Video-based point cloud compression; V-PCC) 컴포넌트를 그룹화하기 위한 예시적인 MPEG-DASH 구성을 예시한다.
도 2는 포인트 클라우드 콘텐츠의 3D 공간 영역에 속하는 V-PCC 컴포넌트의 사전 선택을 위한 예시적인 MPEG-DASH 구성을 예시한다.
도 3은 포인트 클라우드의 두 개의 3D 공간 영역에 속하는 V-PCC 컴포넌트의 사전 선택을 위한 예시적인 MPEG-DASH 구성을 예시한다.
도 4a는 포인트 클라우드 데이터 프로세싱 및 송신의 예시적인 방법의 플로우차트이다.
도 4b는 포인트 클라우드 데이터 수신 및 프로세싱의 예시적인 방법의 플로우차트이다.
도 5는 비디오 인코더 또는 비디오 디코더의 일부일 수도 있는 하드웨어 플랫폼(500)의 예시적인 블록도를 도시한다.
비디오 기반의 포인트 클라우드 압축(V-PCC)은 포인트 클라우드 시각 정보의 볼륨 인코딩(volumetric encoding)을 나타내며, AVC, HEVC 및 VVC와 같은 MPEG 비디오 코덱을 활용하는 것에 의해 포인트 클라우드 데이터의 효율적인 캡쳐, 압축, 재구성, 및 렌더링을 가능하게 한다. 코딩된 포인트 클라우드 시퀀스(coded point cloud sequence; CPCS)를 포함하는 V-PCC 비트스트림은, 시퀀스 파라미터 세트(sequence parameter set; SPS) 데이터, 아틀라스(atlas) 정보 비트스트림, 2D 비디오 인코딩된 점유 맵 비트스트림, 2D 비디오 인코딩된 기하구조 비트스트림(video encoded geometry bitstream), 및 제로 개 이상의 2D 비디오 인코딩된 속성 비트스트림을 반송하는(carrying) VPCC 단위로 구성된다. 각각의 V-PCC 단위는 V-PCC 단위의 타입을 서술하는 V-PCC 단위 헤더, 및 V-PCC 단위 페이로드를 갖는다. 점유, 기하구조, 및 속성 V-PCC 단위의 페이로드는, 대응하는 점유, 기하구조, 및 속성 파라미터 세트 V-PCC 단위에서 명시되는 비디오 디코더에 의해 디코딩될 수 있는 비디오 데이터 단위(예를 들면, HEVC NAL 단위)에 대응한다.
이 특허 문서는, 공간 영역 서술자 및 연관된 사전 선택 메커니즘의 사용을 위해 실시형태 2 내지 5에서 추가로 서술되는 바와 같은 포인트 클라우드 콘텐츠의 3D 공간 영역에 속하는 V-PCC 컴포넌트를 그룹화하기 위한 기술을 서술한다. 이 특허 문서에 추가로 서술되는 바와 같이, 서술되는 기술은 포인트 클라우드 데이터의 부분적 액세스 및 전달을 용이하게 하기 위해 사용될 수 있다.
I. V-PCC 국제 표준화 기구 베이스 미디어 파일 포맷(International Organization for Standardization Base Media File Format; ISOBMFF) 컨테이너의 예시적인 구조
V-PCC 기본 스트림에서의 V-PCC 단위는, 그들의 타입에 기초하여 ISOBMFF 파일 내의 개개의 트랙에 매핑된다. 멀티 트랙 ISOBMFF V-PCC 컨테이너에는 두 개의 타입의 트랙: V-PCC 트랙 및 V-PCC 컴포넌트 트랙이 존재한다.
V-PCC 트랙은, 패치 정보 서브비트스트림(sub-bitstream) 및 시퀀스 파라미터 세트를 포함하는 V-PCC 비트스트림에서 볼륨 시각 정보를 반송하는 트랙이다. V-PCC 컴포넌트 트랙은 V-PCC 비트스트림의 점유 맵, 기하구조, 및 속성 서브비트스트림에 대한 2D 비디오 인코딩된 데이터를 반송하는 제한된 비디오 스킴(scheme) 트랙이다. 이 레이아웃에 기초하여, V-PCC ISOBMFF 컨테이너는 다음의 것을 포함할 수 있다:
Figure pct00001
(샘플 엔트리의) 시퀀스 파라미터 세트 및 시퀀스 파라미터 세트 V-PCC 단위(단위 타입 VPCC_VPS) 및 아틀라스 V-PCC 단위(단위 타입 VPCC_AD)의 페이로드를 반송하는 샘플을 포함하는 V-PCC 트랙. 이 트랙은 비디오 압축된 V-PCC 단위(예를 들면, 단위 타입 VPCC_OVD, VPCC_GVD, 및 VPCC_AVD)의 페이로드를 반송하는 다른 트랙에 대한 트랙 참조를 또한 포함한다.
Figure pct00002
샘플이 점유 맵 데이터에 대한 비디오 코딩된 기본 스트림의 액세스 단위(예를 들면, 타입 VPCC_OVD의 V-PCC 단위의 페이로드)를 포함하는 제한된 비디오 스킴 트랙.
Figure pct00003
샘플이 기하구조 데이터에 대한 비디오 코딩된 기본 스트림의 액세스 단위(예를 들면, 타입 VPCC_GVD의 V-PCC 단위의 페이로드)를 포함하는 하나 이상의 제한된 비디오 스킴 트랙.
Figure pct00004
샘플이 속성 데이터에 대한 비디오 코딩된 기본 스트림의 액세스 단위(예를 들면, 타입 VPCC_AVD의 V-PCC 단위의 페이로드)를 포함하는 제로 개 이상의 제한된 비디오 스킴 트랙.
II. MPEG-DASH의 캡슐화(encapsulation) 및 시그널링
6 자유도(6-DoF(degrees of freedom))의 몰입형 미디어 경험을 제공하기 위해 포인트 클라우드 데이터와 같은 볼륨 시각 미디어(volumetric visual media)가 주목을 받고 있다. MPEG DASH와 같은 적응형 스트리밍 기반의 콘텐츠 배포 기술은 포인트 클라우드 데이터 송신을 지원할 필요가 있다.
전통적인 미디어 콘텐츠와는 달리, V-PCC 미디어 콘텐츠로서 명시되는 포인트 클라우드 데이터는, 아틀라스 데이터, 점유 맵, 기하구조, 또는 V-PCC 포인트 클라우드 표현과 연관된 특정한 타입의 속성을 포함하는 다수의 상이한 V-PCC 컴포넌트로 구성된다. 기하구조 및 속성의 V-PCC 컴포넌트는 다수의 레이어를 가질 수도 있다. 각각의 V-PCC 컴포넌트(및/또는 레이어)는 V-PCC 비트스트림의 서브스트림(sub-stream)으로서 별개로 인코딩된다. 기하구조, 점유 맵 및 속성의 V-PCC 컴포넌트 서브스트림은 종래의 비디오 인코더(예를 들면, H.264/AVC 또는 H.265/HEVC)를 사용하여 인코딩된다. 그러나, 이들 서브스트림은, 포인트 클라우드 데이터를 재구성하고 렌더링하기 위해, 아틀라스 서브스트림의 패치 데이터와 함께 집합적으로 디코딩될 필요가 있다.
III. 포인트 클라우드 데이터의 부분적 액세스 및 전달
유저는 포인트 클라우드 오브젝트를 보기 위해 통상적으로 6-DoF를 갖는다. 임의의 특정한 시점에서, 유저의 위치, 뷰포트, 시야, 등등에 따라, 이용 가능한 포인트 클라우드 오브젝트의 일부만이 유저에게 보일 것이다. 따라서, 많은 애플리케이션의 경우, 전체 포인트 클라우드 데이터는 동시에 전달, 디코딩 및 렌더링될 필요가 없다.
3D 공간 내의 특정한 영역에 대한 공간적 액세스를 가능하게 하기 위해, 포인트 클라우드 오브젝트에 대한 경계 박스(bounding box)는 다수의 3D 공간 영역으로 분할될 수도 있다. 포인트 클라우드 오브젝트의 동일한 부분에 속하는 포인트는 함께 그룹화되어 각각의 3D 공간 영역에 의해 표현될 수도 있다. 결과적으로 나타나는 3D 공간 영역 각각 내의 포인트의 투영으로부터 발생하는 패치는 V-PCC 트랙의 2D 프레임에서 함께 압축된다. 포인트 클라우드의 경계 박스 내의 3D 공간 영역은 하나 이상의 V-PCC 컴포넌트 트랙 그룹과 연관될 수도 있다.
포인트 클라우드 오브젝트의 부분적 액세스 및 전달을 지원하기 위해, 유저의 6-DoF 뷰포트 및 하나 이상의 연관된 V-PCC 컴포넌트 트랙 그룹을 완전히 포괄하기 위한 하나 이상의 3D 공간 서브영역을 식별할 필요가 있다.
IV. 간략한 논의
섹션 표제(section heading)는 본 문서에서 가독성을 향상시키기 위해서만 사용되며, 각각의 섹션에서의 개시된 실시형태 및 기술의 범위를 그 섹션으로만 제한하지는 않는다. 소정의 피쳐는 H.264/AVC 및 H.265/HEVC 및 MPEG 표준의 예를 사용하여 서술된다. 그러나, 개시된 기술의 적용 가능성은 H.264/AVC 또는 H.265/HEVC 시스템으로만 제한되지는 않는다.
본 문서에서, 포인트 클라우드 데이터 프로세싱에 대한 상이한 섹션에서 다양한 신택스 엘리먼트가 개시된다. 그러나, 동일한 이름을 갖는 신택스 엘리먼트는, 달리 언급되지 않는 한, 상이한 섹션에서 사용되는 것과 동일한 포맷 및 신택스를 가질 것이다는 것이 이해된다. 더구나, 상이한 섹션 표제 하에서 서술되는 상이한 신택스 엘리먼트 및 구조는 다양한 실시형태에서 함께 결합될 수도 있다. 또한, 특정한 구조가 구현예로서 서술되지만, 본 문서에서 달리 언급하지 않는 한, 신택스 구조의 다양한 엔트리의 순서는 변경될 수도 있다는 것이 이해될 것이다.
일반적으로, 개시된 기술에 기초한 실시형태는 비디오 데이터 프로세싱을 위해 사용될 수도 있다. 몇몇 실시형태에서, 전방향(omnidirectional) 비디오 데이터는 국제 표준화 기구(International Organization for Standardization; ISO) 기본 미디어 파일 포맷에 기초한 파일에 저장된다. 그들 중, 제한된 스킴 정보 박스, 트랙 참조 박스, 및 트랙 그룹 박스와 같은 ISO 베이직 미디어 파일 포맷은 동작하기 위해 ISO/IEC JTC1/SC29/WG11 동영상 전문가 그룹(Moving Picture Experts Group; MPEG) MPEG-4 파트 12 ISO 베이스 미디어 파일 포맷(Base Media File Format)을 참조할 수 있다.
ISO 베이직 파일 포맷의 모든 데이터는 박스에서 설치된다. MPEG 4(MP4) 파일에 의해 표현되는 ISO 베이직 파일 포맷은 여러 개의 박스로 구성되는데, 그 각각은 타입 및 길이를 가지며 데이터 오브젝트로서 간주될 수 있다. 박스는 컨테이너 박스로 칭해지는 다른 박스를 포함할 수 있다. MP4 파일은, 먼저, 파일 포맷의 마크업으로서, 단지 하나의 "ftyp" 타입의 박스만을 가지며 파일에 대한 몇몇 정보를 포함할 것이다. 자신의 서브박스가 미디어에 대한 메타데이터 정보를 포함하는 컨테이너 박스인 단지 하나의 "MOOV" 타입의 박스(동영상 박스(Movie Box))만이 있을 것이다. MP4 파일의 미디어 데이터는 "mdat" 타입의 미디어 박스(미디어 데이터 박스(Media Data Box))에 포함되는데, 이것도 또한 컨테이너 박스이며, 이것은 이용 가능할 수도 있거나 또는 이용 가능하지 않을 수도 있고(미디어 데이터가 다른 파일을 가리키는 경우), 미디어 데이터의 구조는 메타데이터로 구성된다.
타이밍이 조절된(timed) 메타데이터 트랙은, 특정한 샘플과 연관된 타이밍이 조절된 메타데이터를 확립하는 ISO 베이스 미디어 파일 포맷(ISOBMFF)의 메커니즘이다. 타이밍이 조절된 메타데이터는 미디어 데이터에 덜 커플링되며 일반적으로 "설명적"이다.
본 문서에서, MP4 또는 ISOBMFF 포맷과 같은 전통적인 2D 비디오 포맷과 호환 가능한 포맷으로의, MPEG의 V-PCC 데이터와 같은 포인트 클라우드 데이터의 3D 또는 공간 영역의 표현을 허용하기 위해, 여러 가지 기술적 솔루션이 제공된다. 제안된 솔루션의 한 가지 유리한 양태는, 새로운 기능성(functionality)의 구현을 위해 전통적인 2D 비디오 기술 및 신택스를 재사용할 수 있다는 것이다.
[0034] V. 실시형태 1: 비디오 기반의 포인트 클라우드 데이터의 운반
V.(a). 공간 영역 정보 구조
몇몇 실시형태에서, 포인트 클라우드 데이터의 공간 영역 정보는 다음의 것 중 임의의 하나 이상을 포함하거나, 또는 그 임의의 하나 이상을 사용하여 서술된다: SpatialRegionInfoStruct() 및 BoundingBoxInfoStruct()는, 3D 공간 영역, 및 그것의 소스 경계 박스의 폭, 높이, 및 깊이 및 x, y, z 좌표 오프셋을 비롯한, 포인트 클라우드 데이터의 공간 영역 정보를 제공한다.
신택스 예
Figure pct00005
의미론(semantics) 예
region_id는 포인트 클라우드 데이터의 3D 공간 영역의 아이덴티티를 명시한다.
reference_x, reference_y 및 reference_z는, 데카르트 좌표(Cartesian coordinates)에서 포인트 클라우드 데이터의 3D 공간 부분에 대응하는 공간 영역의 x, y 및 z 좌표 값을 각각 명시한다.
delta_included_flag는 SpatialRegionInfoStruct()에서 공간 영역을 명시하기 위해 delta_x, delta_y, 및 delta_z가 사용되는지의 여부를 나타낸다.
delta_x, delta_y 및 delta_z는, 각각, x, y, 및 z 축을 따르는 데카르트 좌표에서의 3D 공간 영역의 치수(dimension)를 명시한다.
폭, 높이, 및 깊이는, 각각, x, y, 및 z 축을 따르는 데카르트 좌표에서의 3D 공간 영역의 폭, 높이, 및 깊이를 나타낸다.
3d_bounding_box_present_flag는 포인트 클라우드 데이터의 3D 경계 박스 파라미터가 존재하는지의 여부를 나타낸다.
bounding_box_x, bounding_box_y 및 bounding_box_z는, 각각, 원점(0,0,0)을 기준으로 x, y, 및 z 축을 따르는 데카르트 좌표에서의 포인트 클라우드 데이터의 3D 경계 박스 확장을 명시한다.
V.(b). 비디오 인코딩된 V-PCC 컴포넌트 트랙
플레이어 측에서 포인트 클라우드를 재구성하지 않으면서 속성, 기하구조, 또는 점유 맵 트랙으로부터 디코딩된 프레임을 디스플레이하는 것이 의미가 없을 수도 있기 때문에, 이들 비디오 코딩된 트랙에 대해 제한된 비디오 스킴 타입이 정의될 수도 있다. 예를 들면, V-PCC 컴포넌트 비디오 트랙은 파일에서 제한된 비디오로서 표현될 수도 있고 그들의 제한된 비디오 샘플 엔트리의 RestrictedSchemeInfoBox의 SchemeTypeBox의 scheme_type 필드에서 'pccv'에 의해 식별될 수도 있다. VPCCUnitHeaderBox를 포함하는 V-PCC 컴포넌트 비디오 트랙에 SchemeInformationBox가 있어야 한다.
V-PCC 컴포넌트 비디오 트랙은 적어도 다음의 것을 포함할 수도 있다: 2D 비디오 인코딩된 점유 맵 트랙, 2D 비디오 인코딩된 기하구조 트랙, 및 제로 개 이상의 2D 비디오 인코딩된 속성 트랙. 포인트 클라우드 데이터의 동일한 공간 영역에 대응하는 모든 V-PCC 컴포넌트 트랙(점유 맵 트랙, 기하구조 트랙 및 속성 트랙)은, 특정한 타입의 VPCCTrackGroupBox('pctg')를 모든 컴포넌트 트랙에 추가하는 것에 의해 ISO/IEC 14496-12의 트랙 그룹화 도구를 사용하여 함께 그룹화될 수도 있다. V-PCC 컴포넌트 비디오 트랙의 예시적인 VPCCTrackGroupBox는 옵션 사항의 구현예와 연계하여 하기에서 서술된다.
VPCCTrackGroupBox
박스 타입: 'pctg'
컨테이너: TrackBox
필수: 아니오
수량: 제로 개 또는 한 개
'pctg'와 동일한 track_group_type을 갖는 TrackGroupTypeBox는, V-PCC 컴포넌트 트랙 그룹을 나타내는 VPCCTrackGroupBox이다.
'pctg'와 동일한 track_group_type을 갖는 TrackGroupTypeBox 내에서 동일한 값의 track_group_id를 갖는 V-PCC 컴포넌트 트랙은 3D 공간 관계를 갖는(예를 들면, 포인트 클라우드 데이터의 동일한 3D 영역에 대응함) 동일한 트랙 그룹에 속한다. 'pctg'와 동일한 track_group_type을 갖는 TrackGroupTypeBox 내의 track_group_id는 포인트 클라우드 데이터의 공간 영역의 식별자로 사용될 수 있다.
동일한 공간 영역에 대응하는 V-PCC 컴포넌트 트랙은 track_group_type 'pctg'에 대해 동일한 값의 track_group_id를 가지며, 하나의 공간 영역으로부터의 트랙의 track_group_id는 임의의 다른 공간 영역으로부터의 트랙의 track_group_id와는 상이하다.
신택스 예
Figure pct00006
V-PCC 컴포넌트 비디오 트랙은 'pctg'와 동일한 track_group_type을 갖는 TrackGroupTypeBox, 즉 VPCCTrackGroupBox를 포함할 수도 있다.
몇몇 실시형태에서, 포인트 클라우드 데이터의 공간 영역 정보는 앞서 서술되는 포맷과 유사한 포맷을 포함하거나, 또는 그 포맷을 사용하여 서술된다(단락 [0034] 이하 참조).
V.(c). V-PCC 트랙
전통적인 평면 2D 비디오 정보를 저장하는 비디오 트랙과는 달리, V-PCC 트랙은 3D 볼륨 시각 정보를 저장하기 위한 새로운 타입의 트랙이다.
다음은 V-PCC 트랙 샘플 엔트리를 서술한다:
샘플 엔트리 타입: 'vpc1', 'vpcg'
컨테이너: SampleDescriptionBox('stsd')
필수: 'vpc1' 또는 'vpcg' 샘플 엔트리가 필수이다.
수량: 하나 이상의 샘플 엔트리가 존재할 수도 있다.
V-PCC 트랙은 'vpc1' 또는 'vpcg'의 샘플 엔트리 타입을 갖는 VolumetricVisualSampleEntry를 확장시키는 VPCCSampleEntry를 사용해야 한다.
VPCC 볼륨 샘플 엔트리는, 본원에서 서술되는 바와 같이, VPCCDecoderConfigurationRecord를 포함하는 VPCCConfigurationBox를 포함해야 한다.
Figure pct00007
신택스 예
Figure pct00008
Figure pct00009
의미론 예
num_regions는 포인트 클라우드 데이터의 3D 영역의 개수를 명시한다.
mapping_type[i]는 포인트 클라우드 데이터의의 region[i]의 매핑 타입을 명시한다.
num_patches[i]는 포인트 클라우드 데이터의 region[i]에서의 패치의 개수를 명시한다.
num_tiles[i]는 포인트 클라우드 데이터의 region[i]에서의 2D 타일의 개수를 명시한다.
tile_track_group_id[i][j]는 포인트 클라우드 데이터의 region[i]의 2D 타일 트랙 그룹 아이덴티티의 어레이를 명시한다.
num_tile_groups[i]는 포인트 클라우드 데이터의 region[i]에서의 타일 그룹의 개수를 명시한다.
tile_group_id[i][j]는 포인트 클라우드 데이터의 region[i]의 타일 그룹 아이덴티티의 어레이를 명시한다.
num_track_groups[i]는 포인트 클라우드 데이터의 region[i]에서의 V-PCC 컴포넌트 트랙 그룹의 개수를 명시한다.
track_group_id[i][j]는 포인트 클라우드 데이터의 region[i]의 V-PCC 컴포넌트 트랙 그룹 아이덴티티의 어레이를 명시한다.
V.(d). V-PCC 타이밍 조절된 메타데이터 트랙
V-PCC 공간 영역 타이밍 조절된 메타데이터 트랙은, 시간이 지남에 따라 동적으로 변경되는 포인트 클라우드 데이터의 대응하는 공간 영역 정보를 나타내는, 'cdsc' 트랙 참조 타입의 TrackReferenceBox를 활용하는 것에 의해 각각의 V-PCC 트랙에 연결된다.
V-PCC 타이밍 조절된 메타데이터 트랙의 샘플 엔트리 및 그것의 샘플 포맷은 다음과 같이 서술될 수도 있다:
포인트 클라우드 데이터의 3D 영역은, 다음과 같이 서술되는 VolumetricTileInfoBox()를 사용하여, 포인트 클라우드 데이터의 3D 영역을 재구성하기 위한 패치 데이터, 2D 타일 데이터 또는 타일 그룹 데이터를 포함할 수도 있는 포인트 클라우드 트랙 패치 프레임의 하나 이상의 2D 영역과 연관된다.
신택스 예
Figure pct00010
샘플 포맷
이 샘플 엔트리 타입 'pcsr'의 샘플 신택스는 다음과 같이 명시된다:
Figure pct00011
VI. 실시형태 2: MPEG-DASH에서의 캡슐화 및 시그널링
VI.(a). 단일 트랙 DASH 모드
DASH의 단일 트랙 모드는, 상이한 비디오 인코딩된 컴포넌트가 단일 트랙으로서 저장되는 V-PCC ISOBMFF 파일의 스트리밍을 가능하게 한다. DASH의 단일 트랙 모드는 하나 이상의 Representations을 갖는 하나의 AdaptationSet로서 표현되어야 한다. 유일한 AdaptationSet 내의 Representations은 대응하는 비디오 인코딩된 컴포넌트에 대해 동일한 코덱을 사용해야 하지만, 그러나 모든 비디오 컴포넌트에 대해 동일한 코덱을 사용할 필요는 없다.
VI.(b). 멀티 트랙 모드
각각의 V-PCC 컴포넌트는 MPEG-DASH 매니페스트 또는 MPEG-Dash 미디어 프리젠테이션 서술(MPD) 파일에서 별개의 AdaptationSet로서 표현될 수도 있다. 아틀라스 정보에 대한 추가적인 AdaptationSet는 V-PCC 콘텐츠에 대한 메인 AdaptationSet로서 역할을 한다. V-PCC 컴포넌트가 다수의 레이어를 갖는 경우, 각각의 레이어는 별개의 AdaptationSet를 사용하여 시그널링될 수도 있다.
메인 AdaptationSet는 'vpc1'로 설정되는 @codecs 속성을 가질 수도 있고, 한편 V-PCC 컴포넌트 AdaptationSets에 대한 @codecs 속성, 또는 @codecs가 AdaptationSet 엘리먼트에 대해 시그널링되지 않는 경우의 Representations은 컴포넌트를 인코딩하기 위해 사용되는 각각의 코덱에 기초하여 설정된다.
메인 AdaptationSet는 적응 세트 레벨에서 단일의 초기화 세그먼트를 포함할 수도 있다. 초기화 세그먼트는, V-PCC 시퀀스 파라미터 세트뿐만 아니라 컴포넌트 서브스트림에 대한 다른 파라미터 세트를 비롯한, V-PCC 디코더를 초기화하는 데 필요한 모든 시퀀스 파라미터 세트를 포함할 수도 있다.
메인 AdaptationSet의 Representation을 위한 미디어 세그먼트는 V-PCC 트랙의 하나 이상의 트랙 단편(track fragment)을 포함할 수도 있다. 컴포넌트 AdaptationSets의 Representations을 위한 미디어 세그먼트는 파일 포맷 레벨에서 대응하는 컴포넌트 트랙의 하나 이상의 트랙 단편을 포함할 수도 있다.
VI.(c). V-PCC 사전 선택
V-PCC 사전 선택은, 포인트 클라우드 컴포넌트에 대응하는 AdaptationSets의 ID가 후속되는 포인트 클라우드에 대한 메인 AdaptationSet의 ID를 포함하는 @preselectionComponents 속성에 대한 식별자(ID) 목록을 갖는 MPEG-DASH(ISO/IEC 23009-1)에서 정의되는 바와 같은 PreSelection 엘리먼트를 사용하여 MPD에서 시그널링된다. PreSelection에 대한 @codecs 속성은 PreSelection 미디어가 비디오 기반의 포인트 클라우드이다는 것을 나타내는 'vpc1'로 설정될 수도 있다. PreSelection은 Period 엘리먼트 내의 PreSelection 엘리먼트 또는 적응 세트 레벨에서의 사전 선택 서술자 중 어느 하나를 사용하여 시그널링될 수도 있다.
VI.(d). VPCCSpatialRegion 서술자
포인트 클라우드의 정적 3D 공간 영역 및 그들의 연관된 V-PCC 컴포넌트 트랙 그룹을 식별하기 위해, VPCCSpatialRegion 서술자가 사용되어야 한다. VPCCSpatialRegion은 "urn:mpeg:mpegI:vpcc:2019:vpsr"와 동일한 @schemeIdUri 속성을 갖는 SupplementalProperty 서술자이다.
최대 하나의 VPCCSpatialRegion 서술자가 멀티 트랙 모드의 경우 포인트 클라우드의 메인 AdaptationSet의, 또는 단일 트랙 모드의 경우 포인트 클라우드의 AdaptationSet의 적응 세트 레벨에 존재할 수도 있다.
포인트 클라우드의 동일한 3D 공간 영역에 대응하는 V-PCC 컴포넌트 AdaptationSets는 동일한 코덱을 사용해야 하지만(예를 들면, 점유 맵은 모든 컴포넌트 AdaptationSets에서 동일한 코덱을 가져야 함) 그러나 모든 포인트 클라우드 컴포넌트에 대해 동일한 코덱을 사용할 필요는 없다(예를 들면, 점유 맵은 하나의 코덱인 AVC를 사용할 수 있고, 기하구조는 제2 코덱인 HEVC에 의해 인코딩될 수 있음).
VPCCSpatialRegion 서술자의 @value 속성은 존재하지 않을 수도 있다. VPCCSpatialRegion 서술자는 테이블 1에서 명시되는 바와 같은 엘리먼트 및 속성을 포함할 수도 있다.
Figure pct00012
Figure pct00013
Figure pct00014
VI.(e). V-PCC 서술자
"urn:mpeg:mpegI:vpcc:2019:vpc"와 동일한 @schemeIdUri 속성을 갖는 EssentialProperty 엘리먼트는 VPCC 서술자로 지칭된다. 최대 하나의 VPCC 서술자가 포인트 클라우드의 메인 AdaptationSet에 대한 적응 세트 레벨에 존재할 수도 있다.
Figure pct00015
Figure pct00016
테이블 1의 상기에서 서술되는 VPCCSpatialRegion 서술자의 엘리먼트 및 속성은 또한, 테이블 3에서 명시되는 바와 같은 VPCC 서술자의 일부일 수 있다.
Figure pct00017
Figure pct00018
MPEG-DASH에서 포인트 클라우드 콘텐츠의 부분적 액세스 및 전달을 지원하기 위해 PreSelections 엘리먼트를 사용하는 VPCCSpatialRegion 서술자, VPCC 서술자 및 연관된 사전 선택 메커니즘의 용도는 다음과 같이 서술된다:
포인트 클라우드 콘텐츠에 대한 메인 AdaptationSet의 적응 세트 레벨에서의 VPCCSpatialRegion 서술자는, 메인 AdaptationSet에서 내포되는 V-PCC 트랙 및 그들 각각의 컴포넌트 AdaptationSets에서 내포되는 연관된 V-PCC 컴포넌트 트랙은 포인트 클라우드 오브젝트의 하나 이상의 정적 3D 공간 영역에 대응한다는 것을 나타낸다.
VPCCSpatialRegion 서술자의 spatialRegion 엘리먼트는, 3D 공간에서의 공간 영역의 x, y, z 오프셋 및 공간 영역의 폭, 높이, 및 깊이를 비롯한, 포인트 클라우드의 공간 영역의 정보, 및 옵션 사항으로 포인트 클라우드의 3D 경계 박스 정보를 제공한다.
동일한 포인트 클라우드의 다수의 버전은 별개의 PreSelections를 사용하여 시그널링될 수 있다. 포인트 클라우드의 동일한 3D 공간 영역의 대안적 버전을 나타내는 PreSelections는 동일한 @pcId 값 및 동일한 @regionIds 값을 갖는 VPCC 서술자를 포함할 수도 있는데, 여기서 @pcId 속성에 할당되는 값은 포인트 클라우드 콘텐츠를 식별하고, @regionIds 속성의 값은 포인트 클라우드의 하나 이상의 3D 공간 영역을 식별한다. 예를 들면, 실시형태 3 및 5의 예시적인 MPD 파일에서 나타내어지는 바와 같이, 두 개의 사전 선택의 @pcId 속성에 할당되는 값은 동일할 수 있는데, 이것은 사전 선택 둘 모두가 동일한 포인트 클라우드 콘텐츠에 속한다는 것을 나타낸다.
@trackGroups 속성이 VPCCSpatialRegion 서술자에 없는 경우, @preselectionComponents 속성에 대한 ID 목록을 갖는 PreSelection 엘리먼트는, 포인트 클라우드의 3D 공간 영역에 속하는 그룹화 V-PCC 컴포넌트를 시그널링하기 위해 사용되는, 포인트 클라우드 컴포넌트에 대응하는 AdaptationSets의 ID가 후속되는 포인트 클라우드에 대한 메인 AdaptationSet의 ID를 포함할 수도 있다.
다수의 V-PCC 컴포넌트 트랙 그룹에 대한 track_group_id의 값을 포함하는 @trackGroups 속성이 VPCCSpatialRegions 서술자에 존재하는 경우, @preselectionComponents 속성에 대한 ID 목록을 갖는 PreSelection 엘리먼트는, 포인트 클라우드의 3D 공간 영역에 속하는 그룹화 V-PCC 컴포넌트를 시그널링하기 위해 사용되는, 포인트 클라우드 컴포넌트에 대응하는 ContentComponents의 ID가 후속되는 포인트 클라우드에 대한 메인 AdaptationSet의 ID를 포함할 수도 있다.
몇몇 실시형태에서, 포인트 클라우드 컴포넌트는 각각의 컴포넌트 AdaptationSets의 단일의 Representation에서 전달될 수도 있고 ContentComponent 엘리먼트에 의해 서술될 수도 있고, 예를 들면, 점유 맵, 기하구조 및 속성 컴포넌트 AdaptationSets는 동일한 컴포넌트 타입의 다수의 V-PCC 컴포넌트 트랙을 포함할 수도 있고 각각의 V-PCC 컴포넌트 트랙은 ContentComponent에 매핑된다. 따라서, 포인트 클라우드에 대한 3D 공간 영역에 대응하는 V-PCC 컴포넌트 트랙(@trackGroups 속성과 동일한 track_group_id 값을 가짐)의 그룹 은 상이한 컴포넌트 AdaptationSets로부터의 ContentComponent 엘리먼트에 매핑될 수 있다.
실시형태 3 내지 5는, VPCCSpatialRegion 서술자 및 연관된 사전 선택 메커니즘의 용도에 대한 실시형태 2에서 서술되는 바와 같은 포인트 클라우드 콘텐츠의 3D 공간 영역에 속하는 V-PCC 컴포넌트를 그룹화하기 위한 기술을 추가로 서술한다.
VII. 실시형태 3
V-PCC 공간 영역의 사전 선택
도 1은 컴포넌트 적응 세트를 사용하여 포인트 클라우드 콘텐츠의 3D 공간 영역에 속하는 V-PCC 컴포넌트를 그룹화하기 위한 예시적인 MPEG-DASH 구성을 예시한다. 이 실시형태에서, V-PCC 시퀀스는 점유, 기하구조, 및 속성의 비디오 코딩된 컴포넌트 및 아틀라스의 V-PCC 컴포넌트를 포함한다.
비디오 코딩된 점유, 기하구조, 및 속성 컴포넌트 각각은 별개의 AdaptationSet에 의해 시그널링된다. 점유, 기하구조, 및 속성 컴포넌트의 각각의 컴포넌트 AdaptationSet는 대응하는 값으로 설정되는 @component_type 속성을 갖는 VPCCComponent 서술자를 포함한다.
아틀라스 서브비트스트림을 포함하는 V-PCC 트랙은 단일의 표현을 갖는 메인 AdaptationSet에 의해 시그널링된다. 메인 AdaptationSet에서 내포되는 V-PCC 트랙 및 그들 각각의 컴포넌트 AdaptationSets에서 내포되는 연관된 V-PCC 컴포넌트 트랙은 포인트 클라우드 오브젝트의 3D 공간 영역 "1" 및 영역 "2"에 대응하기 때문에. 메인 AdaptationSet는, 각각, 3D 공간 영역의 식별자로 설정되는 @regionId 속성을 갖는 두 개의 VPCCSpatialRegion 서술자를 구비한다. VPCCSpatialRegion 서술자의 다른 속성, 예를 들면, @reference_x, @reference_y, @reference_z 및 @delta_x, @delta_y, @delta_z는, 데카르트 좌표에서 포인트 클라우드 데이터의 3D 공간 부분에 대응하는 3D 공간 영역의 x, y, z 좌표 오프셋 및 폭, 높이, 및 깊이를 비롯한, 3D 공간 영역의 공간 영역 정보를 제공한다.
포인트 클라우드의 3D 공간 영역 "1" 및 영역 "2"에 속하는 V-PCC 컴포넌트는 MPD의 두 개의 PreSelection 엘리먼트를 사용하여 별개로 그룹화된다. 공간 영역 "1" 사전 선택을 위한 PreSelection 엘리먼트의 @preselectionComponents 속성은 id 목록을 "1 2 4 6"로서 포함한다. 공간 영역 "2" 사전 선택을 위한 PreSelection 엘리먼트의 @preselectionComponents 속성은 id 목록 "1 3 5 7"을 포함한다. 사전 선택에서의 ID 1은 포인트 클라우드 데이터에 대한 메인 적응 세트(main adaptation set)의 식별자에 대응하고 ID 2, 4, 6, 및 3, 5, 7은 포인트 클라우드 컴포넌트에 대응하는 적응 세트의 식별자에 대응한다.
포인트 클라우드를 식별하기 위해 사용되는 필수 @pcId 속성 외에도, 포인트 클라우드의 3D 공간 영역, 즉 영역 "1" 및 "2"를 각각 서술하기 위해, 각각의 PreSelection 엘리먼트의 VPCC 서술자는 @regionIds 속성을 또한 포함해야 한다.
이들 V-PCC 적응 세트가 적어도 하나의 사전 선택에서 참조된다는 것을 나타내기 위해, @value 속성이 없는 사전 선택 서술자가 각각의 AdaptationSet에서 시그널링된다.
이 실시형태에서 V-PCC 공간 영역의 사전 선택을 시그널링하는 예시적인 MPD 파일이 하기에서 서술된다.
Figure pct00019
Figure pct00020
Figure pct00021
Figure pct00022
Figure pct00023
Figure pct00024
Figure pct00025
Figure pct00026
Figure pct00027
VIII. 실시형태 4
V-PCC 컴포넌트 AdaptationSets를 사용한 V-PCC 공간 영역의 사전 선택
도 2는 포인트 클라우드 콘텐츠의 3D 공간 영역에 속하는 V-PCC 컴포넌트의 사전 선택을 위한 예시적인 MPEG-DASH 구성을 예시한다.
이 실시형태에서, V-PCC 시퀀스는 점유, 기하구조, 및 속성의 비디오 코딩된 컴포넌트 및 아틀라스의 V-PCC 컴포넌트를 포함한다.
비디오 코딩된 점유, 기하구조, 및 속성 컴포넌트 각각은 별개의 AdaptationSet에 의해 시그널링될 수 있다. 점유, 기하구조, 및 속성 컴포넌트의 각각의 컴포넌트 AdaptationSet는 대응하는 값으로 설정되는 @component_type 속성을 갖는 VPCCComponent 서술자를 포함한다.
아틀라스 서브비트스트림을 포함하는 V-PCC 트랙은 단일의 표현을 갖는 메인 AdaptationSet에 의해 시그널링된다. 메인 AdaptationSet에서 내포되는 V-PCC 트랙 및 그들 각각의 컴포넌트 AdaptationSets에서 내포되는 연관된 V-PCC 컴포넌트 트랙이 포인트 클라우드 오브젝트의 3D 공간 영역 "1"에 대응하기 때문에. 메인 AdaptationSet는, 포인트 클라우드 콘텐츠의 3D 공간 영역 식별자로 설정되는 @regionId 속성을 갖는 VPCCSpatialRegion 서술자를 구비한다. VPCCSpatialRegion 서술자의 다른 속성, 예컨대 @reference_x, @reference_y, @reference_z 및 @delta_x, @delta_y, @delta_z는, 데카르트 좌표에서 포인트 클라우드 데이터의 3D 공간 부분에 대응하는 3D 공간 영역의 x, y, z 좌표 오프셋 및 폭, 높이, 및 깊이를 비롯한, 3D 공간 영역의 공간 영역 정보를 제공한다.
이 실시형태에서, 3D 공간 영역 "1"에 대응하는 V-PCC 컴포넌트 트랙이 트랙 그룹 "1" 및 트랙 그룹 "2"에 속하지만, track_group_id의 값을 포함하는 @trackGroups 속성은 VPCCSpatialRegion 서술자에 없다. 트랙 그룹 "1"의 V-PCC 점유, 기하구조, 및 속성 컴포넌트 트랙은, 각각, 컴포넌트 AdaptationSets 2, 4, 및 6에서 내포된다. 트랙 그룹 "2"의 V-PCC 점유, 기하구조, 및 속성 컴포넌트 트랙은, 각각, 컴포넌트 AdaptationSets 3, 5, 및 7에서 내포된다.
포인트 클라우드의 공간 영역 "1"에 속하는 V-PCC 컴포넌트는 MPD의 하나의 PreSelection 엘리먼트를 사용하여 함께 그룹화된다. 공간 영역 "1" 사전 선택을 위한 PreSelection 엘리먼트의 @preselectionComponents 속성은 ID 목록을 "1 2 3 4 5 6 7"로서 포함한다. 사전 선택에서의 ID 1은 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자에 대응하고 ID 2 내지 7은 포인트 클라우드 컴포넌트의 식별자에 대응한다. PreSelection 엘리먼트는, 포인트 클라우드 콘텐츠를 나타내기 위한 필수 @pcId 속성 및 포인트 클라우드의 3D 공간 영역 "1"을 식별하기 위한 @regionIds 속성을 포함하는 VPCC 서술자를 포함할 수도 있다. 이들 V-PCC 적응 세트가 적어도 하나의 사전 선택에서 참조된다는 것을 나타내기 위해, @value 속성이 없는 사전 선택 서술자가 각각의 AdaptationSet에서 시그널링된다.
이 실시형태에서 V-PCC 컴포넌트 AdaptationSets를 사용하여 V-PCC 공간 영역의 사전 선택을 시그널링하는 예시적인 MPD 파일이 하기에서 서술된다.
Figure pct00028
Figure pct00029
Figure pct00030
Figure pct00031
Figure pct00032
Figure pct00033
Figure pct00034
Figure pct00035
IX. 실시형태 5
ContentComponent를 사용한 V-PCC 공간 영역의 사전 선택
도 3은, 콘텐츠 컴포넌트를 사용하여 세 개의 V-PCC 컴포넌트 트랙 그룹에 매핑될 수 있는 포인트 클라우드의 두 개의 3D 공간 영역에 속하는 V-PCC 컴포넌트의 사전 선택을 위한 예시적인 MPEG-DASH 구성을 예시한다. 이 실시형태에서, V-PCC 시퀀스는 점유, 기하구조, 및 속성의 비디오 코딩된 컴포넌트 및 아틀라스의 V-PCC 컴포넌트를 포함한다.
비디오 코딩된 점유, 기하구조, 및 속성 컴포넌트 각각은 별개의 AdaptationSet에 의해 시그널링될 수 있다. 점유, 기하구조, 및 속성 컴포넌트의 각각의 컴포넌트 AdaptationSet는 대응하는 값으로 설정되는 @component_type 속성을 갖는 VPCCComponent 서술자를 포함한다.
이 예에서, 아틀라스 서브비트스트림을 포함하는 V-PCC 트랙은 두 개의 메인 AdaptationSets에 의해 시그널링된다. 각각의 메인 AdaptationSet는, 포인트 클라우드의 3D 공간 영역의 식별자, 즉, "1" 및 "2"로 각각 설정되는 @regionId 속성을 갖는 VPCCSpatialRegion 서술자를 구비한다. 각각의 메인 AdaptationSet의 VPCCSpatialRegion 서술자는, 포인트 클라우드의 3D 공간 영역에 대응하는 V-PCC 컴포넌트 트랙 그룹을 식별하기 위한 @trackGroupIDs 속성을 또한 구비한다. 이 예의 경우, 3D 공간 영역 "1"은 "1 2"의 track_group_id를 갖는 V-PCC 컴포넌트 트랙 그룹에 매핑되고, 3D 공간 영역 "2"는 "2 3"의 track_group_id를 갖는 V-PCC 컴포넌트 트랙 그룹에 매핑된다.
이 예의 경우, V-PCC 점유 맵 컴포넌트 트랙은 컴포넌트 AdaptationSets 3에서 내포되고 ContentComponent 엘리먼트 "1 2 3"에 의해 서술된다. V-PCC 기하구조 컴포넌트 트랙은 컴포넌트 AdaptationSets 4에서 내포되고 ContentComponent 엘리먼트 "4 5 6"에 의해 서술된다. V-PCC 속성 컴포넌트 트랙은 컴포넌트 AdaptationSets 5에서 내포되고 ContentComponent 엘리먼트 "7 8 9"에 의해 서술된다.
track_group_id 속성 값 "1", "2" 및 "3"을 갖는 V-PCC 컴포넌트 트랙 그룹은 id 속성 값 "1 4 7", "2 5 8" 및 "3 6 9"를 갖는 ContentComponent 엘리먼트로 각각 매핑될 것이다.
포인트 클라우드의 3D 공간 영역 "1" 및 영역 "2"에 속하는 V-PCC 컴포넌트는 MPD의 두 개의 PreSelection 엘리먼트를 사용하여 별개로 그룹화된다. 공간 영역 "1" 사전 선택을 위한 PreSelection 엘리먼트의 @preselectionComponents 속성은 id 목록을 "1 2 4 6"로서 포함한다. 공간 영역 "2" 사전 선택을 위한 PreSelection 엘리먼트의 @preselectionComponents 속성은 id 목록 "1 3 5 7"을 포함한다.
포인트 클라우드의 3D 공간 영역 "1" 및 영역 "2"에 속하는 V-PCC 컴포넌트는 MPD의 두 개의 PreSelection 엘리먼트를 사용하여 별개로 그룹화된다. 공간 영역 "1"(이것은 트랙 그룹 "1 2"에 매핑됨) 사전 선택을 위한 PreSelection 엘리먼트의 @preselectionComponents 속성은 id 목록을 "1 1 2 4 5 7 8"로서 포함하고, 공간 영역 "2"(이것은 트랙 그룹 "2 3"에 매핑됨) 사전 선택을 위한 PreSelection 엘리먼트의 @preselectionComponents 속성은 목록 id를 "1 2 3 5 6 8 9"으로서 포함한다. 사전 선택에서의 ID 1은 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자에 대응하고 ID 1, 2, 4, 5, 7, 및 8은 콘텐츠 컴포넌트의 식별자에 대응한다.
포인트 클라우드를 식별하기 위해 사용되는 필수 @pcId 속성 외에도, 포인트 클라우드의 3D 공간 영역, 즉 영역 "1" 및 "2"를 각각 서술하기 위해, 각각의 PreSelection 엘리먼트의 VPCC 서술자는 @regionIds 속성을 또한 포함해야 한다.
이들 V-PCC 적응 세트가 적어도 하나의 사전 선택에서 참조된다는 것을 나타내기 위해, @value 속성이 없는 사전 선택 서술자가 각각의 AdaptationSet에서 시그널링된다.
이 실시형태에서 ContentComponent를 사용하여 V-PCC 공간 영역의 사전 선택을 시그널링하는 예시적인 MPD 파일이 하기에서 서술된다.
Figure pct00036
Figure pct00037
Figure pct00038
Figure pct00039
Figure pct00040
Figure pct00041
Figure pct00042
Figure pct00043
Figure pct00044
3D 파티션이 동적인 경우, 프리젠테이션 타임라인에서 각각의 3D 영역의 위치 및 치수를 시그널링하기 위한 타이밍이 조절된 메타데이터 트랙은, 단일의 표현을 가지며 @associationId 속성을 사용하여 메인 V-PCC 트랙과 연관된 별개의 AdaptationSet에서 내포될 수도 있고, 대응하는 AdaptationSet 또는 Representation에 대한 4CC 'vpcm'을 포함하는 @associationType 값과 함께, MPEG-DASH에 정의될 수도 있다.
도 4a는 포인트 클라우드 데이터 프로세싱 및 송신의 예시적인 방법의 플로우차트이다. 동작(110)은, 포인트 클라우드 데이터의 하나 이상의 삼차원(3D) 공간 영역을 서술하는 하나 이상의 공간 영역 서술자 및 포인트 클라우드 데이터와 연관된 포인트 클라우드 컴포넌트를 서술하는 하나 이상의 사전 선택 엘리먼트를 결정하는 것을 포함한다. 동작(120)은, 하나 이상의 공간 영역 서술자 및 하나 이상의 사전 선택 엘리먼트를 포함하는 미디어 프리젠테이션 서술(MPD) 파일을 송신하는 것을 포함한다.
도 4b는 포인트 클라우드 데이터 수신 및 프로세싱의 예시적인 방법의 플로우차트이다. 동작(150)은, 포인트 클라우드 데이터의 하나 이상의 삼차원(3D) 공간 영역을 서술하는 하나 이상의 공간 영역 서술자 및 포인트 클라우드 데이터와 연관된 포인트 클라우드 컴포넌트를 서술하는 하나 이상의 사전 선택 엘리먼트를 포함하는 미디어 프리젠테이션 서술(MPD) 파일을 수신하는 것을 포함한다. 동작(160)은, 하나 이상의 사전 선택 엘리먼트의 사전 선택을 사용하여, 포인트 클라우드 데이터의 하나 이상의 3D 공간 영역에 대응하는 포인트 클라우드 컴포넌트에 액세스하는 것을 포함한다. 몇몇 실시형태에서, 동작(160)의 액세스는, 포인트 클라우드 데이터의 하나 이상의 3D 공간 영역에 대응하는 포인트 클라우드 컴포넌트에 액세스하기 위해 하나 이상의 사전 선택 엘리먼트의 사전 선택 엘리먼트를 파싱하는 것을 포함할 수도 있다.
다음의 서술된 피쳐는 도 4a, 도 4b에서 그리고 이 특허 문서에서 서술되는 다양한 실시형태에서 서술되는 방법에 적용될 수 있다.
몇몇 실시형태에서, 하나 이상의 공간 영역 서술자는 MPD 파일 내의 포인트 클라우드 데이터에 대한 메인 적응 세트에 포함된다. 몇몇 실시형태에서, 하나 이상의 공간 영역 서술자 각각은 하나 이상의 3D 공간 영역의 오프셋 값 및 치수를 포함한다. 몇몇 실시형태에서, 하나 이상의 공간 영역 서술자 각각은 포인트 클라우드 데이터의 3D 경계 박스 정보를 포함한다. 몇몇 실시형태에서, 하나 이상의 사전 선택 엘리먼트는 포인트 클라우드 데이터의 하나 이상의 인코딩된 버전과 연관되고, 하나 이상의 사전 선택 엘리먼트 각각은 포인트 클라우드 데이터를 식별하는 제1 값 및 하나 이상의 3D 공간 영역을 식별하는 제2 값을 포함한다. 몇몇 실시형태에서, 하나 이상의 사전 선택 엘리먼트 각각은, 제1 값 및 제2 값을 포함하는 포인트 클라우드 서술자 엘리먼트를 포함한다.
몇몇 실시형태에서, 하나 이상의 사전 선택 엘리먼트 각각은 다음의 것을 포함한다: 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자, 및 포인트 클라우드 컴포넌트에 대응하는 적응 세트의 복수의 식별자. 몇몇 실시형태에서, 포인트 클라우드 컴포넌트 트랙 그룹 식별자 속성은 하나 이상의 공간 영역 서술자에 없다. 몇몇 실시형태에서, 하나 이상의 사전 선택 엘리먼트 각각은 다음의 것을 포함한다: 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자, 및 포인트 클라우드 컴포넌트에 대응하는 콘텐츠 컴포넌트의 복수의 식별자. 몇몇 실시형태에서, 포인트 클라우드 컴포넌트 트랙 그룹 식별자는 하나 이상의 공간 영역 서술자에 존재한다.
몇몇 실시형태에서, 하나 이상의 사전 선택 엘리먼트 각각은, 복수의 식별자 및 식별자를 포함하는 사전 선택 컴포넌트 속성을 포함한다. 몇몇 실시형태에서, 하나 이상의 공간 영역 서술자에서의 포인트 클라우드 컴포넌트 트랙 그룹 식별자 속성은 상이한 적응 세트로부터의 콘텐츠 컴포넌트에 매핑되는 하나의 3D 공간 영역에 대응한다. 몇몇 실시형태에서, 포인트 클라우드 컴포넌트는 아틀라스 데이터, 점유 맵 컴포넌트, 기하학적 컴포넌트, 또는 속성 컴포넌트를 포함한다. 몇몇 실시형태에서, 포인트 클라우드 컴포넌트는 포인트 클라우드 데이터의 하나 이상의 3D 공간 영역에 대응한다.
도 5는 비디오 인코더 또는 비디오 디코더의 일부일 수도 있는 하드웨어 플랫폼(500)의 예시적인 블록도를 도시한다. 하드웨어 플랫폼(500)은 적어도 하나의 프로세서(510) 및 명령어가 저장된 메모리(505)를 포함한다. 명령어는, 프로세서(510)에 의한 실행시, 도 1 내지 도 4b에서 또는 도 1 내지 도 4b를 위해 그리고 본 특허 문서에서 서술되는 다양한 실시형태에서 서술되는 동작을 수행하도록 하드웨어 플랫폼(500)을 구성한다. 송신기(515)는 정보 또는 데이터를 다른 디바이스로 송신하거나 또는 전송한다. 예를 들면, 서버의 비디오 인코더 송신기는 인코딩된 비디오를 다른 디바이스(예를 들면, 모바일 디바이스)의 비디오 디코더로 전송할 수 있다. 수신기(520)는 다른 디바이스에 의해 송신되는 또는 전송되는 정보 또는 데이터를 수신한다. 예를 들면, 모바일 디바이스 비디오 디코더는 다른 디바이스(예를 들면, 서버)로부터 인코딩된 비디오 데이터를 수신할 수 있다.
본 문서에서, 용어 "예시적인"은 "~의 예"를 의미하도록 사용되며, 달리 언급되지 않는 한, 이상적인 또는 바람직한 실시형태를 암시하지는 않는다.
본원에서 서술되는 실시형태 중 일부는, 네트워크화된 환경에서 컴퓨터에 의해 실행되는, 프로그램 코드와 같은 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터 판독 가능 매체에서 구체화되는, 컴퓨터 프로그램 제품에 의해 하나의 실시형태에서 구현될 수도 있는 방법 또는 프로세스의 일반적인 맥락에서 서술된다. 컴퓨터 판독 가능 매체는 리드 온리 메모리(Read Only Memory; ROM), 랜덤 액세스 메모리(Random Access Memory; RAM), 컴팩트 디스크(compact disc; CD), 디지털 다기능 디스크(digital versatile disc; DVD), 등등을 포함하는, 그러나 이들로 제한되지는 않는 착탈식 및 비착탈식 스토리지 디바이스를 포함할 수도 있다. 따라서, 컴퓨터 판독 가능 매체는 비일시적 저장 매체를 포함할 수 있다. 일반적으로, 프로그램 모듈은, 특정한 태스크를 수행하는 또는 특정한 추상 데이터 타입을 구현하는, 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 등등을 포함할 수도 있다. 컴퓨터 또는 프로세서 실행 가능 명령어, 연관된 데이터 구조, 및 프로그램 모듈은 본원에서 개시되는 방법의 단계를 실행하기 위한 프로그램 코드의 예를 나타낸다. 그러한 실행 가능한 명령어 또는 연관된 데이터 구조의 특정한 시퀀스는, 그러한 단계 또는 프로세스에서 서술되는 기능을 구현하기 위한 대응하는 액트(act)의 예를 나타낸다.
개시된 실시형태 중 일부는 하드웨어 회로, 소프트웨어, 또는 이들의 조합을 사용하여 디바이스 또는 모듈로서 구현될 수 있다. 예를 들면, 하드웨어 회로 구현예는, 예를 들면, 인쇄 회로 기판의 일부로서 통합되는 이산 아날로그 및/또는 디지털 컴포넌트를 포함할 수 있다. 대안적으로, 또는 추가적으로, 개시된 컴포넌트 또는 모듈은 주문형 집적 회로(Application Specific Integrated Circuit; ASIC) 및/또는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA) 디바이스로서 구현될 수 있다. 몇몇 구현예는, 추가적으로 또는 대안적으로, 본 출원의 개시된 기능성(functionality)과 연관된 디지털 신호 프로세싱의 동작 요구에 대해 최적화되는 아키텍쳐를 갖는 특수 마이크로프로세서인 디지털 신호 프로세서(digital signal processor; DSP)를 포함할 수도 있다. 유사하게, 각각의 모듈 내의 다양한 컴포넌트 또는 서브컴포넌트는 소프트웨어, 하드웨어 또는 펌웨어로 구현될 수도 있다. 모듈 및/또는 모듈 내의 컴포넌트 사이의 연결성은, 적절한 프로토콜을 사용하는 인터넷, 유선 또는 무선 네트워크를 통한 통신을 포함하는, 그러나 이들로 제한되지는 않는, 기술 분야에서 공지되어 있는 연결성 방법 및 매체 중 임의의 하나를 사용하여 제공될 수도 있다.
이 문서가 많은 세부 사항을 포함하지만, 이들은 청구되는 발명의 또는 청구될 수도 있는 것의 범위에 대한 제한으로 해석되지 않아야 하며, 오히려 특정한 실시형태에 고유한 피쳐의 서술으로서 해석되어야 한다. 이 문서에서 별개의 실시형태의 맥락에서 서술되는 소정의 피쳐는 단일의 실시형태에서 조합하여 또한 구현될 수 있다. 반대로, 단일의 실시형태의 맥락에서 서술되는 다양한 피쳐는, 다수의 실시형태에서 개별적으로 또는 임의의 적절한 하위 조합에서 또한 구현될 수 있다. 또한, 피쳐가 소정의 조합에서 작용하는 것으로 상기에서 서술될 수 있고 심지어 처음에 그렇게 주장될 수도 있지만, 청구된 조합으로부터의 하나 이상의 피쳐는, 몇몇 경우에, 조합으로부터 삭제될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형예를 대상으로 할 수도 있다. 유사하게, 동작이 도면에서 특정한 순서로 묘사되지만, 이것은, 바람직한 결과를 달성하기 위해, 그러한 동작이 도시되는 특정한 순서로 또는 순차적인 순서로 수행되어야 한다는 것, 또는 모든 예시된 동작이 수행되어야 한다는 것을 규정하는 것으로 이해되지 않아야 한다.
몇몇 구현예 및 예만이 서술되며, 다른 구현예, 개선예 및 변형예가 본 개시에서 서술되고 예시되는 것에 기초하여 이루어질 수 있다.

Claims (30)

  1. 포인트 클라우드 데이터 프로세싱의 방법으로서,
    포인트 클라우드 데이터의 하나 이상의 삼차원(three-dimensional; 3D) 공간 영역을 서술하는(describe) 하나 이상의 공간 영역 서술자(spatial region descriptor) 및 상기 포인트 클라우드 데이터와 연관된 포인트 클라우드 컴포넌트를 서술하는 하나 이상의 사전 선택 엘리먼트(preselection element)를 결정하는 단계; 및
    상기 하나 이상의 공간 영역 서술자 및 상기 하나 이상의 사전 선택 엘리먼트를 포함하는 미디어 프리젠테이션 서술(media presentation description; MPD) 파일을 송신하는 단계
    를 포함하는, 포인트 클라우드 데이터 프로세싱의 방법.
  2. 제1항에 있어서, 상기 하나 이상의 공간 영역 서술자는, 상기 MPD 파일 내의 상기 포인트 클라우드 데이터에 대한 메인 적응 세트(main adaptation set)에 포함되는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  3. 제1항에 있어서, 상기 하나 이상의 공간 영역 서술자 각각은, 상기 하나 이상의 3D 공간 영역의 오프셋 값 및 치수(dimension)를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  4. 제1항에 있어서, 상기 하나 이상의 공간 영역 서술자 각각은, 상기 포인트 클라우드 데이터의 3D 경계 박스 정보(bounding box information)를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 사전 선택 엘리먼트는 상기 포인트 클라우드 데이터의 하나 이상의 인코딩된 버전과 연관되고,
    상기 하나 이상의 사전 선택 엘리먼트 각각은, 상기 포인트 클라우드 데이터를 식별하는 제1 값 및 상기 하나 이상의 3D 공간 영역을 식별하는 제2 값을 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  6. 제5항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은, 상기 제1 값 및 상기 제2 값을 포함하는 포인트 클라우드 서술자 엘리먼트를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  7. 제1항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은,
    상기 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자, 및
    상기 포인트 클라우드 컴포넌트에 대응하는 적응 세트의 복수의 식별자를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  8. 제7항에 있어서, 상기 하나 이상의 공간 영역 서술자에 포인트 클라우드 컴포넌트 트랙 그룹 식별자 속성이 없는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  9. 제1항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은,
    상기 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자, 및
    포인트 클라우드 컴포넌트에 대응하는 콘텐츠 컴포넌트의 복수의 식별자를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  10. 제9항에 있어서, 상기 하나 이상의 공간 영역 서술자에 포인트 클라우드 컴포넌트 트랙 그룹 식별자가 존재하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  11. 제7항 또는 제9항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은, 상기 식별자 및 상기 복수의 식별자를 포함하는 사전 선택 컴포넌트 속성을 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  12. 제1항에 있어서, 상기 하나 이상의 공간 영역 서술자에서의 포인트 클라우드 컴포넌트 트랙 그룹 식별자 속성이, 상이한 적응 세트로부터의 콘텐츠 컴포넌트에 매핑되는 하나의 3D 공간 영역에 대응하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 포인트 클라우드 컴포넌트는, 아틀라스 데이터(atlas data), 점유 맵 컴포넌트, 기하학적 컴포넌트, 또는 속성 컴포넌트를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  14. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 포인트 클라우드 컴포넌트는, 상기 포인트 클라우드 데이터의 하나 이상의 3D 공간 영역에 대응하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  15. 포인트 클라우드 데이터 프로세싱의 방법으로서,
    포인트 클라우드 데이터의 하나 이상의 삼차원(3D) 공간 영역을 서술하는 하나 이상의 공간 영역 서술자 및 상기 포인트 클라우드 데이터와 연관된 포인트 클라우드 컴포넌트를 서술하는 하나 이상의 사전 선택 엘리먼트를 포함하는 미디어 프리젠테이션 서술(MPD) 파일을 수신하는 단계; 및
    하나 이상의 사전 선택 엘리먼트의 사전 선택으로, 상기 포인트 클라우드 데이터의 하나 이상의 3D 공간 영역에 대응하는 상기 포인트 클라우드 컴포넌트에 액세스하는 단계
    를 포함하는, 포인트 클라우드 데이터 프로세싱의 방법.
  16. 제15항에 있어서, 상기 하나 이상의 공간 영역 서술자는, 상기 MPD 파일 내의 상기 포인트 클라우드 데이터에 대한 메인 적응 세트에 포함되는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  17. 제15항에 있어서, 상기 하나 이상의 공간 영역 서술자 각각은, 상기 하나 이상의 3D 공간 영역의 오프셋 값 및 치수를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  18. 제15항에 있어서, 상기 하나 이상의 공간 영역 서술자 각각은, 상기 포인트 클라우드 데이터의 3D 경계 박스 정보를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  19. 제15항에 있어서,
    상기 하나 이상의 사전 선택 엘리먼트는 상기 포인트 클라우드 데이터의 하나 이상의 인코딩된 버전과 연관되고,
    상기 하나 이상의 사전 선택 엘리먼트 각각은, 상기 포인트 클라우드 데이터를 식별하는 제1 값 및 상기 하나 이상의 3D 공간 영역을 식별하는 제2 값을 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  20. 제19항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은, 상기 제1 값 및 상기 제2 값을 포함하는 포인트 클라우드 서술자 엘리먼트를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  21. 제15항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은,
    상기 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자, 및
    상기 포인트 클라우드 컴포넌트에 대응하는 적응 세트의 복수의 식별자를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  22. 제21항에 있어서, 상기 하나 이상의 공간 영역 서술자에 포인트 클라우드 컴포넌트 트랙 그룹 식별자 속성이 없는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  23. 제15항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은,
    상기 포인트 클라우드 데이터에 대한 메인 적응 세트의 식별자, 및
    포인트 클라우드 컴포넌트에 대응하는 콘텐츠 컴포넌트의 복수의 식별자를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  24. 제23항에 있어서, 상기 하나 이상의 공간 영역 서술자에 포인트 클라우드 컴포넌트 트랙 그룹 식별자가 존재하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  25. 제21항 또는 제23항에 있어서, 상기 하나 이상의 사전 선택 엘리먼트 각각은, 상기 식별자 및 상기 복수의 식별자를 포함하는 사전 선택 컴포넌트 속성을 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  26. 제15항에 있어서, 상기 하나 이상의 공간 영역 서술자에서의 포인트 클라우드 컴포넌트 트랙 그룹 식별자 속성이, 상이한 적응 세트로부터의 콘텐츠 컴포넌트에 매핑되는 하나의 3D 공간 영역에 대응하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  27. 제15항 내지 제26항 중 어느 한 항에 있어서, 상기 포인트 클라우드 컴포넌트는, 아틀라스 데이터, 점유 맵 컴포넌트, 기하학적 컴포넌트, 또는 속성 컴포넌트를 포함하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  28. 제15항 내지 제26항 중 어느 한 항에 있어서, 상기 포인트 클라우드 컴포넌트는, 상기 포인트 클라우드 데이터의 하나 이상의 3D 공간 영역에 대응하는 것인, 포인트 클라우드 데이터 프로세싱의 방법.
  29. 제1항 내지 제28항 중 하나 이상의 항에 기재된 방법을 구현하도록 구성된, 프로세서를 포함하는 비디오 프로세싱 장치.
  30. 코드가 저장되어 있는 비일시적 컴퓨터 판독 가능 프로그램 저장 매체로서, 상기 코드는, 프로세서에 의해 실행될 때, 상기 프로세서가, 제1항 내지 제28항 중 하나 이상의 항에 기재된 방법을 구현하게 하는 것인, 코드가 저장되어 있는 비일시적 컴퓨터 판독 가능 프로그램 저장 매체.
KR1020227026934A 2020-01-08 2020-01-08 포인트 클라우드 데이터 프로세싱 KR20220123693A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/070854 WO2021093153A1 (en) 2020-01-08 2020-01-08 Point cloud data processing

Publications (1)

Publication Number Publication Date
KR20220123693A true KR20220123693A (ko) 2022-09-08

Family

ID=75911708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227026934A KR20220123693A (ko) 2020-01-08 2020-01-08 포인트 클라우드 데이터 프로세싱

Country Status (6)

Country Link
US (1) US12058379B2 (ko)
EP (1) EP4088479A4 (ko)
JP (1) JP7407951B2 (ko)
KR (1) KR20220123693A (ko)
CN (1) CN114731462B (ko)
WO (1) WO2021093153A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516008B1 (ko) 2022-09-21 2023-03-30 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020185578A1 (en) * 2019-03-08 2020-09-17 Vid Scale, Inc. Methods and apparatus for adaptive streaming of point clouds
WO2021211665A1 (en) * 2020-04-14 2021-10-21 Interdigital Patent Holdings, Inc. Partial access support in isobmff containers for video-based point cloud streams
EP4097987A4 (en) 2020-06-24 2023-03-08 ZTE Corporation METHODS AND APPARATUS FOR PROCESSING VOLUMETRIC MULTIMEDIA CONTENT
US20230007210A1 (en) * 2021-06-30 2023-01-05 Lemon Inc. Signaling the Purpose of Preselection
US20230018718A1 (en) * 2021-06-30 2023-01-19 Lemon Inc. Signaling Replacement of Video Data Units in a Picture-in-Picture Region
WO2023159143A2 (en) * 2022-02-17 2023-08-24 Bytedance Inc. Method, apparatus, and medium for video processing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
CN116630452A (zh) 2016-06-14 2023-08-22 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
WO2018038523A1 (ko) 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
US11025919B2 (en) * 2017-10-03 2021-06-01 Koninklijke Kpn N.V. Client-based adaptive streaming of nonlinear media
GB201717011D0 (en) * 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for volumetric video
WO2019158821A1 (en) * 2018-02-19 2019-08-22 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
MX2020010475A (es) * 2018-04-05 2020-12-09 Vid Scale Inc Metadatos de puntos de vista para video omnidireccional.
US11012657B2 (en) * 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
WO2020185578A1 (en) * 2019-03-08 2020-09-17 Vid Scale, Inc. Methods and apparatus for adaptive streaming of point clouds
CN110533645A (zh) * 2019-08-23 2019-12-03 上海交通大学 基于视觉任务的点云数据压缩质量评价方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516008B1 (ko) 2022-09-21 2023-03-30 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치

Also Published As

Publication number Publication date
WO2021093153A1 (en) 2021-05-20
EP4088479A4 (en) 2023-01-11
EP4088479A1 (en) 2022-11-16
JP7407951B2 (ja) 2024-01-04
JP2023510269A (ja) 2023-03-13
CN114731462B (zh) 2023-12-15
US20220353539A1 (en) 2022-11-03
US12058379B2 (en) 2024-08-06
CN114731462A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
JP7407951B2 (ja) 点群データ処理
US11128898B2 (en) Method, device, and computer program for encapsulating scalable partitioned timed media data
US11595670B2 (en) Method and apparatus for storage and signaling of sub-sample entry descriptions
CN112019857A (zh) 用于压缩点云的存储和信号发送的方法和装置
US11412267B2 (en) Storage of multiple atlases from one V-PCC elementary stream in ISOBMFF
CN117978993A (zh) 对点云数据进行编码/解码的设备
WO2022156482A1 (zh) 一种容积媒体处理方法、装置、存储介质及电子装置
US20220215616A1 (en) File format for point cloud data
JP7467646B2 (ja) ３次元コンテンツ処理方法および装置
KR102654999B1 (ko) 강화된 영역별 패킹 및 뷰포트 독립적 hevc 미디어 프로파일
CN115004716A (zh) 容积媒体处理方法和装置
KR20230121856A (ko) 다중-트랙 기반 몰입형 미디어 플레이아웃

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal