KR20230084136A - 지오메트리 기반 포인트 클라우드 압축 (g-pcc) 에서 양자화 파라미터 값들의 스케일링 - Google Patents

지오메트리 기반 포인트 클라우드 압축 (g-pcc) 에서 양자화 파라미터 값들의 스케일링 Download PDF

Info

Publication number
KR20230084136A
KR20230084136A KR1020237009852A KR20237009852A KR20230084136A KR 20230084136 A KR20230084136 A KR 20230084136A KR 1020237009852 A KR1020237009852 A KR 1020237009852A KR 20237009852 A KR20237009852 A KR 20237009852A KR 20230084136 A KR20230084136 A KR 20230084136A
Authority
KR
South Korea
Prior art keywords
point cloud
multiplier
value
node
offset
Prior art date
Application number
KR1020237009852A
Other languages
English (en)
Inventor
아다르쉬 크리쉬난 라마수브라모니안
밥파디트야 레이
더 아우베라 게르트 판
루이스 조셉 케로프스키
마르타 카르체비츠
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230084136A publication Critical patent/KR20230084136A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Complex Calculations (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Generation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

G-PCC 코더는 포인트 클라우드 데이터를 수신하고, 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고, 최종 QP 값을 사용하여 포인트 클라우드 데이터를 코딩하여 코딩된 포인트 클라우드를 생성하도록 구성된다.

Description

지오메트리 기반 포인트 클라우드 압축 (G-PCC) 에서 양자화 파라미터 값들의 스케일링
본 출원은 2021년 10월 1일 출원된 미국 특허출원 제17/492,095호, 및 2020년 10월 5일 출원된 미국 가특허출원 제63/087,805호에 대한 우선권을 주장하며, 이 출원들 각각의 전체 내용은 참조에 의해 본 명세서에 통합된다. 2021년 10월 1일 출원된 미국 특허출원 제17/492,095호는 2020년 10월 5일 출원된 미국 가특허출원 제63/087,805호의 이익을 주장한다.
본 개시는 포인트 클라우드 인코딩 및 디코딩에 관한 것이다.
포인트 클라우드는 3차원 공간 내 포인트들의 집합이다. 포인트들은 3차원 공간 내의 오브젝트들 상의 포인트들에 대응할 수도 있다. 따라서, 포인트 클라우드는 3차원 공간의 물리적 컨텐츠를 표현하는데 사용될 수도 있다. 포인트 클라우드들은 매우 다양한 상황들에서 유용성을 가질 수도 있다. 예를 들어, 포인트 클라우드들은 도로 상의 오브젝트들의 포지션들을 표현하기 위해 자율 차량들의 컨텍스트에서 사용될 수도 있다. 다른 예에 있어서, 포인트 클라우드들은 증강 현실 (AR) 또는 혼합 현실 (MR) 어플리케이션에서 가상 오브젝트들을 포지셔닝하기 위해 환경의 물리적 컨텐츠를 표현하는 컨텍스트에서 사용될 수도 있다. 포인트 클라우드 압축은 포인트 클라우드들을 인코딩 및 디코딩하기 위한 프로세스이다. 포인트 클라우드들을 인코딩하는 것은 포인트 클라우드들의 저장 및 송신에 필요한 데이터의 양을 감소시킬 수도 있다.
일반적으로, 본 개시는 지오메트리 기반 포인트 클라우드들의 양자화 및 스케일링을 개선하는 방법들 및 디바이스들을 설명한다. 특히, 본 개시는 이전 기법들보다 더 낮은 수의 비트들에서 시그널링된 신택스 엘리먼트들을 이용하여 최종 양자화 파라미터 (QP) 값을 결정하기 위한 기법들을 설명한다. 예를 들어, 본 개시는 최종 QP 값들이 지오메트리 QP 승수 (multiplier) 에 의해 곱해진 노드 QP 오프셋의 함수로서 결정되는 기법들을 설명한다. 승수를 사용함으로써, 더 적은 수의 비트들을 갖는 신택스 엘리먼트가 큰 노드 QP 오프셋 항들을 도출하는 데 사용될 수도 있고, 따라서 최종 QP 결정을 위한 시그널링 오버헤드를 감소시킬 수 있다.
일 예에서, 본 개시는 포인트 클라우드를 인코딩하도록 구성된 장치를 설명하며, 상기 장치는 포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되고 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하도록 구성된다.
다른 예에서, 본 개시는 포인트 클라우드를 인코딩하는 방법을 개시하며, 상기 방법은 포인트 클라우드 데이터를 수신하는 단계; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하는 단계를 포함한다.
다른 예에서, 본 개시는 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 설명하며, 상기 명령들은, 실행될 때, 포인트 클라우드를 인코딩하도록 구성된 디바이스의 하나 이상의 프로세서들로 하여금, 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하게 한다.
다른 예에서, 본 개시는 포인트 클라우드를 인코딩하도록 구성된 장치를 설명하며, 상기 장치는 포인트 클라우드 데이터를 수신하기 위한 수단; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하기 위한 수단; 및 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하기 위한 수단을 포함한다.
다른 예에서, 본 개시는 포인트 클라우드를 디코딩하도록 구성된 장치를 설명하며, 상기 장치는 인코딩된 포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되고 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 인코딩된 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하도록 구성된다.
다른 예에서, 본 개시는 포인트 클라우드를 디코딩하는 방법을 설명하며, 상기 방법은, 인코딩된 포인트 클라우드 데이터를 수신하는 단계; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하는 단계를 포함한다.
다른 예에서, 본 개시는 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 설명하며, 상기 명령들은, 실행될 때, 포인트 클라우드를 디코딩하도록 구성된 디바이스의 하나 이상의 프로세서들로 하여금, 인코딩된 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하게 한다.
다른 예에서, 본 개시는 포인트 클라우드를 디코딩하도록 구성된 장치를 설명하며, 상기 장치는 인코딩된 포인트 클라우드 데이터를 수신하기 위한 수단; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하기 위한 수단; 및 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하기 위한 수단을 포함한다.
하나 이상의 예의 상세들이 첨부 도면들 및 하기의 설명에서 기재된다. 다른 특징, 목적 및 이점은 설명, 도면, 및 청구항으로부터 명백해질 것이다.
도 1 은 본 개시의 기법들을 수행할 수도 있는 예시적인 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2 는 예시적인 지오메트리 포인트 클라우드 압축 (G-PCC) 인코더를 예시하는 블록도이다.
도 3 은 예시적인 G-PCC 디코더를 예시하는 블록도이다.
도 4 는 예측 트리의 일 예를 예시하는 개념도이다.
도 5 는 본 개시의 예시적인 인코딩 기법들을 예시하는 흐름도이다.
도 6 은 본 개시의 예시적인 디코딩 기법들을 예시하는 흐름도이다.
도 7 은 본 개시의 하나 이상의 기법들과 함께 사용될 수도 있는 예시적인 거리-측정 (range-finding) 시스템을 예시하는 개념도이다.
도 8 은 본 개시의 하나 이상의 기법들이 사용될 수도 있는 예시적인 차량 기반 시나리오를 예시하는 개념도이다.
도 9 는 본 개시의 하나 이상의 기법들이 사용될 수도 있는 예시적인 확장 현실 시스템을 예시하는 개념도이다.
도 10 은 본 개시의 하나 이상의 기법들이 사용될 수도 있는 예시적인 모바일 디바이스 시스템을 예시하는 개념도이다.
일반적으로, 본 개시는 지오메트리 기반 포인트 클라우드들의 양자화 및 스케일링을 개선하는 방법들 및 디바이스들을 설명한다. 특히, 본 개시는 이전 기법들보다 더 낮은 수의 비트들에서 시그널링된 신택스 엘리먼트들을 이용하여 최종 양자화 파라미터 (QP) 값을 결정하기 위한 기법들을 설명한다. 예를 들어, 본 개시는 최종 QP 값들이 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 결정되는 기법들을 설명한다. 승수를 사용함으로써, 더 적은 수의 비트들을 갖는 신택스 엘리먼트가 큰 노드 QP 오프셋 항들을 도출하는 데 사용될 수도 있고, 따라서 최종 QP 결정을 위한 시그널링 오버헤드를 감소시킬 수 있다.
도 1 은 본 개시의 기법들을 수행할 수도 있는 예시적인 인코딩 및 디코딩 시스템 (100) 을 예시하는 블록도이다. 본 개시의 기법들은 일반적으로 포인트 클라우드 데이터를 코딩 (인코딩 및/또는 디코딩), 즉, 포인트 클라우드 압축을 지원하는 것에 관한 것이다. 일반적으로, 포인트 클라우드 데이터는 포인트 클라우드를 처리하기 위한 임의의 데이터를 포함한다. 코딩은 포인트 클라우드 데이터를 압축 및/또는 압축해제함에 있어서 효과적일 수도 있다.
도 1 에 도시된 바와 같이, 시스템 (100) 은 소스 디바이스 (102) 및 목적지 디바이스 (116) 를 포함한다. 소스 디바이스 (102) 는 목적지 디바이스 (116) 에 의해 디코딩될 인코딩된 포인트 클라우드 데이터를 제공한다. 특히, 도 1 의 예에서, 소스 디바이스 (102) 는 포인트 클라우드 데이터를, 컴퓨터 판독가능 매체 (110) 를 통해 목적지 디바이스 (116) 에 제공한다. 소스 디바이스 (102) 및 목적지 디바이스 (116) 는, 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 전화기 핸드셋들, 예컨대, 스마트폰들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스들, 지상 또는 해양 운송체, 우주선, 항공기, 로봇들, LIDAR 디바이스들, 위성들, 감시 또는 보안 장비 등을 포함하여, 광범위한 디바이스들 중 임의의 것을 포함할 수도 있다. 일부 경우들에 있어서, 소스 디바이스 (102) 및 목적지 디바이스 (116) 는 무선 통신을 위해 장비될 수도 있다.
도 1 의 예에서, 소스 디바이스 (102) 는 데이터 소스 (104), 메모리 (106), G-PCC 인코더 (200), 및 출력 인터페이스 (108) 를 포함한다. 목적지 디바이스 (116) 는 입력 인터페이스 (122), G-PCC 디코더 (300), 메모리 (120), 및 데이터 소비자 (data consumer) (118) 를 포함한다. 본 개시에 따르면, 소스 디바이스 (102) 의 G-PCC 인코더 (200) 및 목적지 디바이스 (116) 의 G-PCC 디코더 (300) 는 양자화 파라미터들의 스케일링과 관련된 본 개시의 기법들을 적용하도록 구성될 수도 있다. 따라서, 소스 디바이스 (102) 는 인코딩 디바이스의 일 예를 나타내는 한편, 목적지 디바이스 (116) 는 디코딩 디바이스의 일 예를 나타낸다. 다른 예들에 있어서, 소스 디바이스 (102) 및 목적지 디바이스 (116) 는 다른 컴포넌트들 또는 배열들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (102) 는 내부 또는 외부 소스로부터 데이터 (예컨대, 포인트 클라우드 데이터) 를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (116) 는 동일한 디바이스에서의 데이터 소비자를 포함하는 것보다는, 외부 데이터 소비자와 인터페이싱할 수도 있다.
도 1 에 도시된 바와 같은 시스템 (100) 은 단지 일 예이다. 일반적으로, 다른 디지털 인코딩 및/또는 디코딩 디바이스들이 양자화 파라미터들의 스케일링과 관련된 본 개시의 기법들을 수행할 수도 있다. 소스 디바이스 (102) 및 목적지 디바이스 (116) 는, 단지, 소스 디바이스 (102) 가 목적지 디바이스 (116) 로의 송신을 위한 코딩된 데이터를 생성하는 그러한 디바이스들의 예들일 뿐이다. 본 개시는 데이터의 코딩 (인코딩 및/또는 디코딩) 을 수행하는 디바이스로서 "코딩" 디바이스를 언급한다. 따라서, G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 는 코딩 디바이스들, 특히 각각 인코더 및 디코더의 예들을 나타낸다. 유사하게, 용어 "코딩" 은 인코딩 또는 디코딩 중 어느 하나를 지칭할 수도 있다. 일부 예들에서, 소스 디바이스 (102) 및 목적지 디바이스 (116) 는, 소스 디바이스 (102) 및 목적지 디바이스 (116) 의 각각이 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 따라서, 시스템 (100) 은, 예컨대, 스트리밍, 플레이백, 브로드캐스팅, 전화, 내비게이션, 및 다른 어플리케이션들을 위한, 소스 디바이스 (102) 와 목적지 디바이스 (116) 사이의 일방향 또는 양방향 송신을 지원할 수도 있다.
일반적으로, 데이터 소스 (104) 는 데이터의 소스 (즉, 원시의, 인코딩되지 않은 포인트 클라우드 데이터) 를 나타내고, 데이터의 순차적인 일련의 "프레임들"을, 그 프레임들에 대한 데이터를 인코딩하는 G-PCC 인코더 (200) 에 제공할 수도 있다. 소스 디바이스 (102) 의 데이터 소스 (104) 는 다양한 카메라들 또는 센서들, 예컨대, 3D 스캐너 또는 광 검출 및 레인징 (LIDAR) 디바이스, 하나 이상의 비디오 카메라들, 이전에 캡처된 데이터를 포함하는 아카이브, 및/또는 데이터 컨텐츠 제공자로부터 데이터를 수신하기 위한 데이터 피드 인터페이스 중 임의의 것과 같은 포인트 클라우드 캡처 디바이스를 포함할 수도 있다. 이러한 방식으로, 데이터 소스 (104) 는 포인트 클라우드를 생성할 수도 있다. 대안적으로 또는 부가적으로, 포인트 클라우드 데이터는 스캐너, 카메라, 센서 또는 다른 데이터로부터 컴퓨터-생성될 수도 있다. 예를 들어, 데이터 소스 (104) 는 컴퓨터 그래픽스 기반 데이터를 소스 데이터로서 생성하거나, 또는 라이브 데이터, 아카이브된 데이터, 및 컴퓨터-생성된 데이터의 조합을 생성할 수도 있다. 각각의 경우에, G-PCC 인코더 (200) 는 캡처된, 사전-캡처된, 또는 컴퓨터-생성된 데이터를 인코딩한다. G-PCC 인코더 (200) 는 픽처들을 수신된 순서 (때때로 "디스플레이 순서" 로서 지칭됨) 로부터, 코딩을 위한 코딩 순서로 재배열할 수도 있다. G-PCC 인코더 (200) 는 인코딩된 데이터를 포함하는 하나 이상의 비트스트림들을 생성할 수도 있다. 그 다음, 소스 디바이스 (102) 는, 예컨대, 목적지 디바이스 (116) 의 입력 인터페이스 (122) 에 의한 수신 및/또는 취출을 위해 인코딩된 데이터를 출력 인터페이스 (108) 를 통해 컴퓨터 판독가능 매체 (110) 상으로 출력할 수도 있다.
소스 디바이스 (102) 의 메모리 (106) 및 목적지 디바이스 (116) 의 메모리 (120) 는 범용 메모리들을 나타낼 수도 있다. 일부 예들에서, 메모리 (106) 및 메모리 (120) 는 원시 데이터, 예를 들어, 데이터 소스 (104) 로부터의 원시 데이터 및 G-PCC 디코더 (300) 로부터의 원시, 디코딩된 데이터를 저장할 수도 있다. 부가적으로 또는 대안적으로, 메모리 (106) 및 메모리 (120) 는, 예컨대, G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 에 의해 각각 실행가능한 소프트웨어 명령들을 저장할 수도 있다. 메모리 (106) 및 메모리 (120) 가 이 예에서는 G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 와는 별도로 도시되지만, G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 는 또한 기능적으로 유사하거나 또는 균등한 목적들을 위한 내부 메모리들을 포함할 수도 있음이 이해되어야 한다. 더욱이, 메모리 (106) 및 메모리 (120) 는, 예컨대, G-PCC 인코더 (200) 로부터 출력되고 G-PCC 디코더 (300) 에 입력되는 인코딩된 데이터를 저장할 수도 있다. 일부 예들에 있어서, 메모리 (106) 및 메모리 (120) 의 부분들은, 예컨대, 원시의, 디코딩된, 및/또는 인코딩된 데이터를 저장하기 위해 하나 이상의 버퍼들로서 할당될 수도 있다. 예를 들어, 메모리 (106) 및 메모리 (120) 는 포인트 클라우드를 나타내는 데이터를 저장할 수도 있다. 즉, 메모리 (106) 및 메모리 (120) 는 포인트 클라우드 데이터를 저장하도록 구성될 수도 있다.
컴퓨터 판독가능 매체 (110) 는 인코딩된 데이터를 소스 디바이스 (102) 로부터 목적지 디바이스 (116) 로 전송할 수 있는 임의의 타입의 매체 또는 디바이스를 나타낼 수도 있다. 일 예에 있어서, 컴퓨터 판독가능 매체 (110) 는, 소스 디바이스 (102) 로 하여금 인코딩된 데이터 (예컨대, 인코딩된 포인트 클라우드) 를 직접 목적지 디바이스 (116) 에 실시간으로, 예컨대, 무선 주파수 네트워크 또는 컴퓨터 기반 네트워크를 통해 송신할 수 있게 하기 위한 통신 매체를 나타낸다. 무선 통신 프로토콜과 같은 통신 표준에 따라, 출력 인터페이스 (108) 는 인코딩된 데이터를 포함하는 송신 신호를 변조할 수도 있고, 입력 인터페이스 (122) 는 수신된 송신 신호를 복조할 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 예컨대 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (102) 로부터 목적지 디바이스 (116) 로의 통신을 가능하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
일부 예들에서, 소스 디바이스 (102) 는 출력 인터페이스 (108) 로부터 저장 디바이스 (112) 로 인코딩된 데이터를 출력할 수도 있다. 유사하게, 목적지 디바이스 (116) 는 입력 인터페이스 (122) 를 통해 저장 디바이스 (112) 로부터의 인코딩된 데이터에 액세스할 수도 있다. 저장 디바이스 (112) 는 하드 드라이브, 블루레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 로컬 액세스된 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다.
일부 예들에 있어서, 소스 디바이스 (102) 는, 소스 디바이스 (102) 에 의해 생성된 인코딩된 데이터를 저장할 수도 있는 파일 서버 (114) 또는 다른 중간 저장 디바이스로 인코딩된 데이터를 출력할 수도 있다. 목적지 디바이스 (116) 는 스트리밍 또는 다운로드를 통해 파일 서버 (114) 로부터의 저장된 데이터에 액세스할 수도 있다. 파일 서버 (114) 는 인코딩된 데이터를 저장하고 그 인코딩된 데이터를 목적지 디바이스 (116) 에 송신할 수 있는 임의의 타입의 서버 디바이스일 수도 있다. 파일 서버 (114) 는 (예컨대, 웹 사이트를 위한) 웹 서버, 파일 전송 프로토콜 (FTP) 서버, 컨텐츠 전달 네트워크 디바이스, 또는 NAS (network attached storage) 디바이스를 나타낼 수도 있다. 목적지 디바이스 (116) 는 인터넷 커넥션을 포함한, 임의의 표준 데이터 커넥션을 통해 파일 서버 (114) 로부터의 인코딩된 데이터에 액세스할 수도 있다. 이것은 파일 서버 (114) 상에 저장된 인코딩된 데이터에 액세스하기에 적합한, 무선 채널 (예컨대, Wi-Fi 커넥션), 유선 커넥션 (예컨대, 디지털 가입자 라인 (DSL), 케이블 모뎀 등), 또는 이들 양자 모두의 조합을 포함할 수도 있다. 파일 서버 (114) 및 입력 인터페이스 (122) 는 스트리밍 송신 프로토콜, 다운로드 송신 프로토콜, 또는 이들의 조합에 따라 동작하도록 구성될 수도 있다.
출력 인터페이스 (108) 및 입력 인터페이스 (122) 는 무선 송신기/수신기, 모뎀, 유선 네트워킹 컴포넌트 (예를 들어, 이더넷 카드), 다양한 IEEE 802.11 표준 중 임의의 것에 따라 동작하는 무선 통신 컴포넌트, 또는 다른 물리적 컴포넌트를 나타낼 수도 있다. 출력 인터페이스 (108) 및 입력 인터페이스 (122) 가 무선 컴포넌트들을 포함하는 예들에 있어서, 출력 인터페이스 (108) 및 입력 인터페이스 (122) 는 4G, 4G-LTE (롱 텀 에볼루션), LTE 어드밴스드, 5G 등과 같은 셀룰러 통신 표준에 따라, 인코딩된 데이터와 같은 데이터를 전송하도록 구성될 수도 있다. 출력 인터페이스 (108) 가 무선 송신기를 포함하는 일부 예들에 있어서, 출력 인터페이스 (108) 및 입력 인터페이스 (122) 는 IEEE 802.11 사양, IEEE 802.15 사양 (예컨대, ZigBee™), Bluetooth™ 표준 등과 같은 다른 무선 표준들에 따라, 인코딩된 데이터와 같은 데이터를 전송하도록 구성될 수도 있다. 일부 예들에 있어서, 소스 디바이스 (102) 및/또는 목적지 디바이스 (116) 는 개별 SoC (system-on-a-chip) 디바이스들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (102) 는 G-PCC 인코더 (200) 및/또는 출력 인터페이스 (108) 에 기인한 기능성을 수행하기 위한 SoC 디바이스를 포함할 수도 있고, 목적지 디바이스 (116) 는 G-PCC 디코더 (300) 및/또는 입력 인터페이스 (122) 에 기인한 기능성을 수행하기 위한 SoC 디바이스를 포함할 수도 있다.
본 개시의 기법들은 자율 차량들 사이의 통신, 스캐너들, 카메라들, 센서들 및 로컬 또는 원격 서버들과 같은 프로세싱 디바이스들 사이의 통신, 지리적 맵핑, 또는 다른 어플리케이션들과 같은 다양한 어플리케이션들 중 임의의 어플리케이션의 지원에 있어서 인코딩 및 디코딩에 적용될 수도 있다.
일부 예들에 있어서, 소스 디바이스 (102) 및/또는 목적지 디바이스 (116) 는 모바일 폰들, 증강 현실 (AR) 디바이스들, 또는 혼합 현실 (MR) 디바이스들과 같은 모바일 디바이스들이다. 그러한 예들에 있어서, 소스 디바이스 (102) 는 소스 디바이스 (102) 의 로컬 환경을 맵핑하기 위한 프로세스의 부분으로서 포인트 클라우드를 생성 및 인코딩할 수도 있다. AR 및 MR 예들에 대하여, 목적지 디바이스 (116) 는 소스 디바이스 (102) 의 로컬 환경에 기초하여 가상 환경을 생성하기 위해 포인트 클라우드를 사용할 수도 있다. 일부 예들에 있어서, 소스 디바이스 (102) 및/또는 목적지 디바이스 (116) 는 지상 또는 해상 운송체들, 우주선, 또는 항공기이다. 그러한 예들에 있어서, 소스 디바이스 (102) 는, 예컨대, 자율 내비게이션, 충돌 포렌식, 및 다른 목적들을 위해, 소스 디바이스의 환경을 맵핑하기 위한 프로세스의 부분으로서 포인트 클라우드를 생성 및 인코딩할 수도 있다.
목적지 디바이스 (116) 의 입력 인터페이스 (122) 는 컴퓨터 판독가능 매체 (110) (예컨대, 통신 매체, 저장 디바이스 (112), 파일 서버 (114) 등) 로부터 인코딩된 비트스트림을 수신한다. 인코딩된 비트스트림은, 코딩된 유닛들 (예컨대, 슬라이스들, 픽처들, 픽처들의 그룹들, 시퀀스들 등) 의 프로세싱 및/또는 특성들을 기술하는 값들을 갖는 신택스 엘리먼트들과 같은, G-PCC 디코더 (300) 에 의해 또한 사용되는 G-PCC 인코더 (200) 에 의해 정의된 시그널링 정보를 포함할 수도 있다. 데이터 소비자 (118) 는 디코딩된 데이터를 사용한다. 예를 들어, 데이터 소비자 (118) 는 물리적 오브젝트들의 위치들을 결정하기 위해 디코딩된 데이터를 사용할 수도 있다. 일부 예들에 있어서, 데이터 소비자 (118) 는 포인트 클라우드에 기초하여 이미저리 (imagery) 를 제시하기 위한 디스플레이를 포함할 수도 있다. 예를 들어, 데이터 소비자 (118) 는 포인트 클라우드의 포인트들을 다각형들의 정점들로서 사용할 수도 있고, 포인트 클라우드의 포인트들의 컬러 속성들을 사용하여 다각형들을 셰이딩할 수도 있다. 이 예에 있어서, 데이터 소비자 (118) 는, 그 다음, 셰이딩된 다각형들에 기초하여 컴퓨터-생성된 이미지들을 제시하기 위해 다각형들을 래스터화할 수도 있다.
G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 는 각각, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 및/또는 디코더 회로부 중 임의의 것으로서 구현될 수도 있다. 기법들이 부분적으로 소프트웨어에서 구현되는 경우, 디바이스는 적합한 비일시적 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 그 명령들을 실행할 수도 있다. G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 개별 디바이스에 있어서 결합된 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다. G-PCC 인코더 (200) 및/또는 G-PCC 디코더 (300) 를 포함하는 디바이스는 하나 이상의 집적 회로들, 마이크로프로세서들, 및/또는 다른 타입들의 디바이스들을 포함할 수도 있다.
G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 는 비디오 포인트 클라우드 압축 (V-PCC) 표준 또는 지오메트리 포인트 클라우드 압축 (G-PCC) 표준과 같은 코딩 표준에 따라 동작할 수도 있다. 본 개시는 일반적으로, 데이터를 인코딩하거나 또는 디코딩하는 프로세스를 포함하도록 픽처들의 코딩 (예컨대, 인코딩 및 디코딩) 을 언급할 수도 있다. 인코딩된 비트스트림은 일반적으로, 코딩 결정들 (예컨대, 코딩 모드들) 을 나타내는 신택스 엘리먼트들에 대한 일련의 값들을 포함한다.
본 개시는 일반적으로 신택스 엘리먼트들과 같은 특정 정보를 "시그널링” 하는 것을 언급할 수도 있다. 용어 "시그널링" 은 일반적으로, 인코딩된 데이터를 디코딩하는 데 사용되는 신택스 엘리먼트들에 대한 값들 및/또는 다른 데이터의 통신을 지칭할 수도 있다. 즉, G-PCC 인코더 (200) 는 비트스트림에서 신택스 엘리먼트들에 대한 값들을 시그널링할 수도 있다. 일반적으로, 시그널링은 비트스트림에서 값을 생성하는 것을 지칭한다. 위에서 언급된 바와 같이, 소스 디바이스 (102) 는 목적지 디바이스 (116) 에 의한 추후 취출을 위해 저장 디바이스 (112) 에 신택스 엘리먼트들을 저장할 때 발생할 수도 있는 바와 같이, 비실시간으로 또는 실질적으로 실시간으로 비트스트림을 목적지 디바이스 (116) 로 전송할 수도 있다.
ISO/IEC MPEG (JTC 1/SC 29/WG 11) 은 현재의 접근법의 압축 능력을 현저하게 능가하는 압축 능력을 갖는 포인트 클라우드 코딩 기술의 표준화에 대한 잠재적인 필요성을 연구하고 있으며, 표준을 생성하는 것을 목표로 할 것이다. 그 그룹은 이 영역에서 그들의 전문가들에 의해 제안된 압축 기술 설계들을 평가하기 위해 3차원 그래픽스 팀 (3DG) 으로서 알려진 협력적 노력으로 이러한 탐구 활동에 대해 함께 작업하고 있다.
포인트 클라우드 압축 활동들은 2개의 상이한 접근법들로 분류된다. 제 1 접근법은 "비디오 포인트 클라우드 압축” (V-PCC) 이고, 이는 3D 오브젝트를 세그먼트화하고 세그먼트들을 다중의 2D 평면들 (이들은 2D 프레임에서 "패치들” 로서 표현됨) 에 투영하며, 이들은 고효율 비디오 코딩 (HEVC) (ITU-T H.265) 코덱과 같은 레거시 2D 비디오 코덱에 의해 추가로 코딩된다. 제 2 접근법은 "지오메트리 기반 포인트 클라우드 압축” (G-PCC) 이며, 이는 3D 지오메트리, 즉, 3D 공간에서의 포인트들의 세트의 포지션, 및 (3D 지오메트리와 연관된 각각의 포인트에 대한) 연관된 속성 값들을 직접 압축한다. G-PCC 는 카테고리 1 (정적 포인트 클라우드들) 및 카테고리 3 (동적으로 포착된 포인트 클라우드들) 양자 모두에서 포인트 클라우드들의 압축을 해결한다. G-PCC 표준의 최근 드래프트는 G-PCC DIS, ISO/IEC JTC1/SC29/WG11 w19088, Brussels, Belgium, January 2020 (이하, "w19088") 에서 입수가능하고, 그 코덱의 설명은 G-PCC Codec Description v6, ISO/IEC JTC1/SC29/WG11 w19091, Brussels, Belgium, January 2020 (이하, "w19091") 에서 입수가능하다.
포인트 클라우드는 3D 공간에서의 포인트들의 세트를 포함하고, 포인트들과 연관된 속성들을 가질 수도 있다. 속성들은 R, G, B 또는 Y, Cb, Cr 과 같은 컬러 정보, 또는 반사율 정보, 또는 다른 속성들일 수도 있다. 포인트 클라우드들은 LIDAR 센서들 및 3D 스캐너들과 같은 다양한 카메라들 또는 센서들에 의해 캡처될 수도 있고, 또한 컴퓨터-생성될 수도 있다. 포인트 클라우드 데이터는 건설 (모델링), 그래픽스 (시각화 및 애니메이션을 위한 3D 모델들), 자동차 산업 (내비게이션에 도움을 주기 위해 사용된 LIDAR 센서들), 모바일 폰들, 태블릿 컴퓨터들, 및 다른 시나리오들을 포함하지만 이에 한정되지 않는 다양한 어플리케이션들에서 사용된다.
포인트 클라우드 데이터에 의해 점유된 3D 공간은 가상 바운딩 박스에 의해 인클로징될 수도 있다. 바운딩 박스에서의 포인트들의 포지션은 특정 정밀도로 표현될 수도 있고; 따라서, 하나 이상의 포인트들의 포지션들은 정밀도에 기초하여 양자화될 수도 있다. 가장 작은 레벨에서, 바운딩 박스는 단위 큐브에 의해 표현되는 공간의 가장 작은 단위인 복셀들로 분할된다. 바운딩 박스에서의 복셀은 제로, 1, 또는 1 초과의 포인트와 연관될 수도 있다. 바운딩 박스는 다중의 큐브/직육면체 영역들로 분할될 수도 있으며, 이는 타일들로 지칭될 수도 있다. 각각의 타일은 하나 이상의 슬라이스들로 코딩될 수도 있다. 바운딩 박스의 슬라이스들 및 타일들로의 파티셔닝은 각각의 파티션에서의 포인트들의 수에 기초하거나, 또는 다른 고려사항들 (예컨대, 특정 영역은 타일들로서 코딩될 수도 있음) 에 기초할 수도 있다. 슬라이스 영역들은 비디오 코덱들에서의 분할 결정들과 유사한 분할 결정들을 사용하여 추가로 파티셔닝될 수도 있다.
도 2 는 G-PCC 인코더 (200) 의 개요를 제공한다. 도 3 은 G-PCC 디코더 (300) 의 개요를 제공한다. 도시된 모듈들은 논리적이며, G-PCC 코덱의 레퍼런스 구현, 즉, ISO/IEC MPEG (JTC 1/SC 29/WG 11) 에 의해 연구된 TMC13 테스트 모델 소프트웨어에서의 구현된 코드에 반드시 일대일로 대응하는 것은 아니다.
G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 양자 모두에서, 포인트 클라우드 포지션들이 먼저 코딩된다. 속성 코딩은 디코딩된 지오메트리에 의존한다. 도 2 및 도 3 에서, 그레이-셰이딩된 모듈들은 카테고리 1 데이터에 대해 통상적으로 사용되는 옵션들이다. 대각선-크로스해칭된 모듈들은 일반적으로 카테고리 3 데이터에 대해 사용되는 옵션들이다. 모든 다른 모듈들은 카테고리 1 과 카테고리 3 사이에 공통된다.
카테고리 3 데이터에 대해, 압축된 지오메트리는 통상적으로, 루트로부터 개별 복셀들의 리프 레벨까지 아래로 내내 옥트리로서 표현된다. 카테고리 1 데이터에 대해, 압축된 지오메트리는 프루닝된 옥트리 (즉, 루트로부터 복셀들보다 더 큰 블록들의 리프 레벨 아래로의 옥트리) 플러스 프루닝된 옥트리의 각각의 리프 내에서 표면을 근사화하는 모델로 통상적으로 표현된다. 이러한 방식으로, 카테고리 1 및 3 데이터 양자 모두는 옥트리 코딩 메커니즘을 공유하는 한편, 카테고리 1 데이터는 추가로, 각각의 리프 내의 복셀들을 표면 모델로 근사화할 수도 있다. 사용된 표면 모델은 블록당 1-10개의 삼각형들을 포함하는 삼각측량이며, 그 결과 삼각형 스프 (triangle soup) 를 초래한다. 따라서, 카테고리 1 지오메트리 코덱은 Trisoup 지오메트리 코덱으로 알려져 있는 한편 카테고리 3 지오메트리 코덱은 Octree 지오메트리 코덱으로 알려져 있다.
옥트리의 각각의 노드에서, 점유율은 그 자식 노드들 중 하나 이상 (최대 8개 노드들) 에 대해 (추론되지 않을 경우) 시그널링된다. (a) 현재 옥트리 노드와 페이스를 공유하는 노드들, (b) 현재 옥트리 노드와 페이스, 에지 또는 정점을 공유하는 노드들 등을 포함하는 다수의 이웃들이 특정된다. 각각의 이웃 내에서, 노드 및/또는 그것의 자식들의 점유는 현재 노드 또는 그것의 자식들의 점유를 예측하는데 사용될 수도 있다. 옥트리의 특정 노드들에서 희박하게 팝퓰레이팅되는 포인트들에 대해, (예컨대, G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 에 의해 구현되는 바와 같은) 코덱은 또한, 포인트의 3D 포지션이 직접 인코딩되는 직접 코딩 모드를 지원한다. 직접 모드가 시그널링됨을 표시하기 위해 플래그가 시그널링될 수도 있다. 최저 레벨에서, 옥트리 노드/리프 노드와 연관된 포인트들의 수가 또한 코딩될 수도 있다.
일단 지오메트리가 코딩되면, 지오메트리 포인트들에 대응하는 속성들이 코딩된다. 하나의 복원된/디코딩된 지오메트리 포인트에 대응하는 다중의 속성 포인트들이 존재할 경우, 복원된 포인트를 나타내는 속성 값이 도출될 수도 있다.
G-PCC에서 3 개의 속성 코딩 방법들: RAHT (Region Adaptive Hierarchical Transform) 코딩, 보간-기반 계층적 최인접-이웃 예측 (Predicting Transform), 및 업데이트/리프팅 스텝 (Lifting Transform) 을 갖는 보간-기반 계층적 최인접-이웃 예측이 있다. RAHT 및 리프팅은 통상적으로 카테고리 1 데이터에 대해 사용되는 한편, 예측은 통상적으로 카테고리 3 데이터에 대해 사용된다. 하지만, 어느 방법이든 임의의 데이터에 대해 사용될 수도 있으며, G-PCC 에서의 지오메트리 코덱들과 유사하게, 포인트 클라우드를 코딩하는 데 사용되는 속성 코딩 방법이 비트스트림에서 명시된다.
속성들의 코딩은 상세 레벨 (level-of-detail; LoD) 에서 수행될 수도 있으며, 여기서, 각각의 상세 레벨에 대해, 포인트 클라우드 속성의 더 미세한 표현이 획득될 수도 있다. 각각의 상세 레벨은 이웃 노드들로부터의 거리 메트릭에 기초하여 또는 샘플링 거리에 기초하여 명시될 수도 있다.
G-PCC 인코더 (200) 에서, 속성들에 대한 코딩 방법들의 출력으로서 획득된 잔차들이 양자화된다. 양자화된 잔차들은 컨텍스트 적응적 산술 코딩을 사용하여 코딩될 수도 있다.
도 2 의 예에서, G-PCC 인코더 (200) 는 좌표 변환 유닛 (202), 컬러 변환 유닛 (204), 복셀화 유닛 (206), 속성 전달 유닛 (208), 옥트리 분석 유닛 (210), 표면 근사화 분석 유닛 (212), 산술 인코딩 유닛 (214), 지오메트리 복원 유닛 (216), RAHT 유닛 (218), LOD 생성 유닛 (220), 리프팅 유닛 (222), 계수 양자화 유닛 (224), 및 산술 인코딩 유닛 (226) 을 포함할 수도 있다.
도 2 의 예에 도시된 바와 같이, G-PCC 인코더 (200) 는 포인트 클라우드의 포인트들의 포지션들의 세트 및 속성들의 세트를 수신할 수도 있다. G-PCC 인코더 (200) 는 데이터 소스 (104) (도 1) 로부터 포인트 클라우드의 포인트들의 포지션들의 세트 및 속성들의 세트를 획득할 수도 있다. 포지션들은 포인트 클라우드의 포인트들의 좌표들을 포함할 수도 있다. 속성들은, 포인트 클라우드의 포인트들과 연관된 컬러들과 같이 포인트 클라우드의 포인트들에 관한 정보를 포함할 수도 있다. G-PCC 인코더 (200) 는, 포인트 클라우드의 포인트들의 포지션들의 인코딩된 표현을 포함하는 지오메트리 비트스트림 (203) 을 생성할 수도 있다. G-PCC 인코더 (200) 는 또한, 속성들의 세트의 인코딩된 표현을 포함하는 속성 비트스트림 (205) 을 생성할 수도 있다.
좌표 변환 유닛 (202) 은 초기 도메인으로부터 변환 도메인으로 좌표들을 변환하기 위해 포인트들의 좌표들에 변환을 적용할 수도 있다. 본 개시는 변환된 좌표들을 변환 좌표들로서 지칭할 수도 있다. 컬러 변환 유닛 (204) 은 속성들의 컬러 정보를 상이한 도메인으로 변환하기 위하여 변환을 적용할 수도 있다. 예를 들어, 컬러 변환 유닛 (204) 은 RGB 컬러 공간으로부터 YCbCr 컬러 공간으로 컬러 정보를 변환할 수도 있다.
또한, 도 2 의 예에서, 복셀화 유닛 (206) 은 변환 좌표들을 복셀화할 수도 있다. 변환 좌표들의 복셀화는 포인트 클라우드의 일부 포인트들을 양자화하여 제거하는 것을 포함할 수도 있다. 즉, 포인트 클라우드의 다수의 포인트들은 단일 "복셀" 내에 포함될 수도 있고, 그 후, 이는 일부 관점에서 하나의 포인트로서 취급될 수도 있다. 또한, 옥트리 분석 유닛(210)은 복셀화된 변환 좌표들에 기초하여 옥트리를 생성할 수도 있다. 추가적으로, 도 2 의 예에서, 표면 근사화 분석 유닛 (212) 은 포인트들의 세트들의 표면 표현을 잠재적으로 결정하기 위해 포인트들을 분석할 수도 있다. 산술 인코딩 유닛 (214) 은 표면 근사화 분석 유닛 (212) 에 의해 결정된 표면들 및/또는 옥트리의 정보를 표현하는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. G-PCC 인코더 (200) 는 지오메트리 비트스트림 (203) 에서 이들 신택스 엘리먼트들을 출력할 수도 있다. 지오메트리 비트스트림 (203) 은 또한, 산술적으로 인코딩되지 않은 신택스 엘리먼트들을 포함하여 다른 신택스 엘리먼트들을 포함할 수도 있다.
지오메트리 복원 유닛 (216) 은 옥트리, 표면 근사화 분석 유닛 (212) 에 의해 결정된 표면들을 표시하는 데이터, 및/또는 다른 정보에 기초하여 포인트 클라우드의 포인트들의 변환 좌표들을 복원할 수도 있다. 지오메트리 복원 유닛 (216) 에 의해 복원된 변환 좌표들의 수는 복셀화 및 표면 근사화 때문에 포인트 클라우드의 포인트들의 원래 수와는 상이할 수도 있다. 본 개시는 결과적인 포인트들을 복원된 포인트들로서 지칭할 수도 있다. 속성 전달 유닛 (208) 은 포인트 클라우드의 오리지널 포인트들의 속성들을 포인트 클라우드의 복원된 포인트들에 전달할 수도 있다.
더욱이, RAHT 유닛 (218) 은 복원된 포인트들의 속성들에 RAHT 코딩을 적용할 수도 있다. 대안적으로 또는 부가적으로, LOD 생성 유닛 (220) 및 리프팅 유닛 (222) 은 복원된 포인트들의 속성들에 LOD 프로세싱 및 리프팅을 각각 적용할 수도 있다. RAHT 유닛 (218) 및 리프팅 유닛 (222) 은 속성들에 기초하여 계수들을 생성할 수도 있다. 계수 양자화 유닛 (224) 은 RAHT 유닛 (218) 또는 리프팅 유닛 (222) 에 의해 생성된 계수들을 양자화할 수도 있다. 산술 인코딩 유닛 (226) 은 양자화된 계수들을 표현하는 신택스 엘리먼트들에 산술 코딩을 적용할 수도 있다. G-PCC 인코더 (200) 는 속성 비트스트림 (205) 에서 이들 신택스 엘리먼트들을 출력할 수도 있다. 속성 비트스트림 (205) 은 또한, 비-산술적으로 인코딩된 신택스 엘리먼트들을 포함하여 다른 신택스 엘리먼트들을 포함할 수도 있다.
하기에서 더 상세히 설명되는 바와 같이, G-PCC 인코더 (200) 는 본 개시의 양자화 및/또는 스케일링 기법들을 수행하도록 구성된 디바이스의 일 예이다. 일 예에서, G-PCC 인코더 (200) 는 포인트 클라우드 데이터를 수신하고, 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고, 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여 인코딩된 포인트 클라우드를 생성하도록 구성될 수도 있다.
도 3 의 예에 있어서, G-PCC 디코더 (300) 는 지오메트리 산술 디코딩 유닛 (302), 속성 산술 디코딩 유닛 (304), 옥트리 합성 유닛 (306), 역 양자화 유닛 (308), 표면 근사화 합성 유닛 (310), 지오메트리 복원 유닛 (312), RAHT 유닛 (314), LOD 생성 유닛 (316), 역 리프팅 유닛 (318), 역 변환 좌표 유닛 (320), 및 역 변환 컬러 유닛 (322) 을 포함할 수도 있다.
G-PCC 디코더 (300) 는 지오메트리 비트스트림 (203) 및 속성 비트스트림 (205) 을 획득할 수도 있다. 디코더 (300) 의 지오메트리 산술 디코딩 유닛 (302) 은 지오메트리 비트스트림에서의 신택스 엘리먼트들에 산술 디코딩 (예컨대, 컨텍스트 적응적 바이너리 산술 코딩 (CABAC) 또는 다른 타입의 산술 디코딩) 을 적용할 수도 있다. 유사하게, 속성 산술 디코딩 유닛 (304) 은 속성 비트스트림에서 신택스 엘리먼트들에 산술 디코딩을 적용할 수도 있다.
옥트리 합성 유닛 (306) 은 지오메트리 비트스트림으로부터 파싱된 신택스 엘리먼트들에 기초하여 옥트리를 합성할 수도 있다. 표면 근사화가 지오메트리 비트스트림에서 사용되는 사례들에서, 표면 근사화 합성 유닛 (310) 은 지오메트리 비트스트림으로부터 파싱된 신택스 엘리먼트들에 기초하여 그리고 옥트리에 기초하여 표면 모델을 결정할 수도 있다.
더욱이, 지오메트리 복원 유닛 (312) 은 포인트 클라우드의 포인트들의 좌표들을 결정하기 위해 복원을 수행할 수도 있다. 역 변환 좌표 유닛 (320) 은 변환 도메인으로부터 다시 초기 도메인으로 포인트 클라우드의 포인트들의 복원된 좌표들 (포지션들) 을 컨버팅하기 위해 복원된 좌표들에 역변환을 적용할 수도 있다.
추가적으로, 도 3 의 예에서, 역 양자화 유닛 (308) 은 속성 값들을 역 양자화할 수도 있다. 속성 값들은 (속성 산술 디코딩 유닛 (304) 에 의해 디코딩되는 신택스 엘리먼트들을 포함하는) 속성 비트스트림으로부터 획득되는 신택스 엘리먼트에 기초할 수도 있다.
속성 값들이 어떻게 인코딩되는지에 의존하여, RAHT 유닛 (314) 은 RAHT 코딩을 수행하여 역 양자화된 속성 값들에 기초하여, 포인트 클라우드의 포인트들에 대한 컬러 값들을 결정할 수도 있다. 대안적으로, LOD 생성 유닛 (316) 및 역 리프팅 유닛 (318) 은 상세 레벨 기반 기법을 사용하여 포인트 클라우드의 포인트들에 대한 컬러 값들을 결정할 수도 있다.
또한, 도 3 의 예에서, 역 변환 컬러 유닛 (322) 은 컬러 값들에 역 컬러 변환을 적용할 수도 있다. 역 컬러 변환은 인코더 (200) 의 컬러 변환 유닛 (204) 에 의해 적용된 컬러 변환의 역일 수도 있다. 예를 들어, 컬러 변환 유닛 (204) 은 RGB 컬러 공간으로부터 YCbCr 컬러 공간으로 컬러 정보를 변환할 수도 있다. 따라서, 역 컬러 변환 유닛 (322) 은 YCbCr 컬러 공간으로부터 RGB 컬러 공간으로 컬러 정보를 변환할 수도 있다.
하기에서 더 상세히 설명되는 바와 같이, G-PCC 디코더 (300) 는 본 개시의 양자화 및/또는 스케일링 기법들을 수행하도록 구성된 디바이스의 일 예이다. 일 예에서, G-PCC 인코더 (300) 는 인코딩된 포인트 클라우드 데이터를 수신하고, 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고, 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여 디코딩된 포인트 클라우드를 생성하도록 구성될 수도 있다.
도 2 및 도 3 의 다양한 유닛들은 인코더 (200) 및 디코더 (300) 에 의해 수행되는 동작들의 이해를 보조하기 위해 예시된다. 유닛들은 고정 기능 회로들, 프로그래밍가능 회로들, 또는 이들의 조합으로서 구현될 수도 있다. 고정 기능 회로들은 특정 기능을 제공하는 회로들을 지칭하고, 수행될 수 있는 동작들에 대해 미리 설정된다. 프로그래밍가능 회로들은 다양한 태스크들을 수행하도록 프로그래밍될 수 있는 회로들을 지칭하며, 수행될 수 있는 동작들에서 유연한 기능을 제공한다. 예를 들어, 프로그래밍가능 회로들은, 프로그래밍가능 회로들이 소프트웨어 또는 펌웨어의 명령들에 의해 정의된 방식으로 동작하게 하는 소프트웨어 또는 펌웨어를 실행할 수도 있다. 고정 기능 회로들은 (예를 들어, 파라미터들을 수신하거나 또는 파라미터들을 출력하기 위해) 소프트웨어 명령들을 실행할 수도 있지만, 고정 기능 회로들이 수행하는 동작들의 타입들은 일반적으로 불변이다. 일부 예들에서, 유닛들 중 하나 이상은 별개의 회로 블록들 (고정 기능 또는 프로그래밍가능) 일 수도 있고, 일부 예들에서, 유닛들 중 하나 이상은 집적 회로들일 수도 있다.
예측 지오메트리 코딩
예측 지오메트리 코딩은 옥트리 지오메트리 코딩에 대한 대안으로서 도입되었으며, 여기서 노드들은 (예측 구조를 정의하는) 트리 구조로 배열되고, 다양한 예측 전략들이 그의 예측기들에 대해 트리에서의 각각의 노드의 좌표들을 예측하기 위해 사용된다. 도 4 는 화살표가 예측 방향을 가리키는 지향성 그래프로 묘사된 예측 트리의 일 예를 예시하는 개념도이다. 노드 400 은 루트 정점이고, 예측기를 갖지 않으며; 노드들 406 은 2 개의 자식들을 갖고; 노드 404 는 3 개의 자식들을 갖고, 노드들 408 은 1 개의 자식을 갖고, 노드들 402 는 리프 노드들이고 자식을 갖지 않는다. 매 노드는 단 하나의 부모 노드를 갖는다.
일 예에서, 그 부모 (p0), 조부모 (p1) 증조부모 (p2) 에 기초하여 각각의 노드에 대해 4 개의 예측 전략들이 특정된다:
- 예측 없음
- 델타 예측 (p0)
- 선형 예측 (2*p0 - p1)
- 평행사변형 예측 (2*p0 + p1 - p2)
G-PCC 인코더 (200) 는 예측 트리를 생성하기 위해 임의의 알고리즘을 이용할 수도 있다. G-PCC 인코더 (200) 는 애플리케이션/사용 사례에 기초하여 알고리즘을 결정할 수도 있고, 여러 전략들이 사용될 수도 있다. 각각의 노드에 대해, G-PCC 인코더 (200) 는 심도-제 1 방식으로 루트 노드로부터 시작하는 비트스트림에서 잔차 좌표 값들을 인코딩한다. 예측 지오메트리 코딩은 주로 카테고리 3 (예를 들어, LIDAR-획득된) 포인트 클라우드 데이터에, 예를 들어, 낮은 레이턴시 애플리케이션들에 대해 유용하다.
비-규범적 양자화 및 스케일링
일부 예들에 있어서, 오리지널 포인트 클라우드는 부동 소수점 포맷으로 또는 매우 높은 비트심도로 표현될 수도 있다. 입력 포인트 클라우드는 양자화되고, 도 2 의 G-PCC 인코더 (200) 의 복셀화 유닛 (206) 에 의해 표기된 특정 비트심도로 복셀화된다. 양자화는 복셀화의 목적으로 복셀화 유닛 (206) 에서의 G-PCC 인코더 (200) 에서 적용될 수도 있고, 스케일링은, 주로, 어플리케이션 특정 물리적 공간에서 (즉, 물리적 차원에서) 디코딩된 포인트 클라우드의 맵핑을 위해 (즉, 복셀 유닛들에서) G-PCC 디코더 (300) 에서 수행될 수도 있다. 이러한 동작을 위해 G-PCC 디코더 (300) 에 의해 사용될 수도 있는 스케일 값은 신택스 엘리먼트들 sps_source_scale_factor_numerator_minus1 및 sps_source_scale_factor_denominator_minus1 을 사용하여 시그널링된다.
(인코딩 이전의) 프리-프로세싱 단계인 양자화 프로세스, 및 (디코딩 이후의) 포스트-프로세싱 단계인 스케일링 프로세스는 전체 코딩 프로세스에 영향을 미치지 않는다. 즉, 양자화 및 스케일링은 본질적으로 비-규범적이다. 코딩 프로세스 외부의 이러한 동작은, 종래의 2D 비디오 프레임들로 디스플레이하기 전에 업샘플링이 뒤따르는 압축을 위해 더 낮은 공간 해상도로의 공간 다운샘플링과 대략 유사하다. 이러한 종래의 2D 비디오 경우에서, 다운 및 업샘플링은 비-규범적이며, 코딩 프로세스에 영향을 미치지 않는다. 시그널링된 스케일 팩터 분자 (sps_source_scale_factor_numerator_minus1) 및 분모 (sps_source_scale_factor_denominator_minus1) 를 표시하는 신택스 엘리먼트들이 하기의 표에 나타내어진다.
Figure pct00001
G-PCC 에서의 예측 지오메트리를 위한 규범적 양자화
코덱 내의 지오메트리 좌표들/포지션들의 양자화/스케일링, 또는 G-PCC 에서 참조되는 바와 같은 지오메트리 스케일링은 지오메트리 파라미터 세트 (GPS) 에서의 플래그 및 양자화 파라미터 (QP) 값에 의해 제어된다. QP 값은 다중 레벨들에서 명시/수정될 수도 있다. GPS 에서 지오메트리 스케일링과 연관된 신택스 엘리먼트들이 하기에서 설명된다.
지오메트리 파라미터 세트 (GPS)
Figure pct00002
여기서, geom_base_qp 는 GPS 를 참조하는 모든 포인트들에 적용 가능한 기본 QP 값을 도출하는 데 사용된다. QP 승수, geom_qp_multiplier (1 << geom_qp_multiplier_log2) 는 모든 QP 값을 곱하는 데 사용된다. 예를 들어, base_qp 가 1 로 설정되고, geom_qp_multiplier_log2 가 2 이면, 사용되는 실제 QP 값은 1 * (1 << 2) = 4 이다. 사실상, geom_qp_multiplier 는 QP 에 대한 스케일 팩터처럼 작용하고, QP 값의 최소 변화를 결정한다. 슬라이스 QP 델타가 또한 시그널링되며, 이는 또한 적용되기 전에 QP 승수에 의해 곱해진다. 옥트리 코딩에서, 노드 QP 오프셋은 특정 옥트리 심도에서 시그널링되고, QP 승수가 또한 이 노드 QP 오프셋에 적용된다.
예측 지오메트리에 대해, G-PCC 인코더 (200) 는 QP 오프셋이 예측 지오메트리 트리에서 얼마나 자주 시그널링되는지를 표시하기 위해 간격을 시그널링한다. 신택스 엘리먼트 geom_qp_offset_intvl_log2 에 더하여, G-PCC 인코더 (200) 는 QP 오프셋이 예측 트리에서 시그널링되는 간격을 업데이트하기 위해 지오메트리 슬라이스 헤더에서 다른 신택스 엘리먼트 geom_qp_offset_intvl_log2_delta 를 시그널링한다. N = geom_qp_offset_intvl_log2 + geom_qp_offset_intvl_log2_delta 인 매 N 개의 노드들에 대해, G-PCC 인코더 (200) 는 예측 지오메트리 트리에서 QP 오프셋을 시그널링한다. G-PCC 디코더 (300) 는 다음과 같이 예측 지오메트리에 대한 최종 QP 값을 결정할 수도 있다:
Figure pct00003
따라서, 시그널링된 값 node_qp_offset 은 노드에 적용된 노드 QP 오프셋과 동일하다.
비디오 압축과 같은 변환 도메인이 아닌 공간 도메인에서 적용되는 양자화 프로세스로 최종 QP 값 (qpFinal) 이 획득된다는 점에 유의한다. 이와 같이, 포인트 클라우드 압축에서, 지오메트리의 양자화는 포인트 클라우드의 크기 및 밀도에 기초하여, 디코딩된 포인트 클라우드에서 더 뚜렷할 수 있다.
G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 는 지오메트리 스케일링 프로세스에 의해 사용된 스텝 사이즈를 도출하기 위해 최종 QP 값 (예를 들어, qpFinal) 을 사용할 수도 있다. 지오메트리 스케일링 프로세스는 다음과 같이 정의된다:
이 프로세스에 대한 입력들은 다음과 같다:
- 스케일링되지 않은 포지션 컴포넌트 값을 나타내는 변수 (val),
- 포지션 컴포넌트 인덱스를 명시하는 변수 (cIdx),
- 양자화 파라미터를 명시하는 변수 (qP).
이 프로세스의 출력은 스케일링된 포지션 컴포넌트 값 (pos) 이다.
(NOTE) geom_scaling_enabled_flag 가 0 과 동일할 때, 이 프로세스의 출력은 입력 값 (pos) 과 동일하다.
변수 scalingExpansionLog2 는 qP / 8 과 동일하게 설정된다.
스케일링되지 않은 포지션 컴포넌트 값의 연접된 부분들을 나타내는 변수들 highPart 및 lowPart 는 다음과 같이 도출된다:
Figure pct00004
스케일 팩터 sF 는 다음과 같이 도출된다:
Figure pct00005
출력 변수 pos 는 다음과 같이 도출된다:
Figure pct00006
전술한 지오메트리의 규범적 양자화를 포함하는 옥트리 지오메트리 코딩에 대해, QP 승수는 시그널링된 임의의 노드 QP 오프셋들을 포함하는 모든 QP 값들에 적용된다. 노드 QP 승수는 예측 트리에서 시그널링되는 시그널링된 노드 QP 오프셋 (예를 들어, node_qp 오프셋) 에 적용되지 않는다. 일부 경우들에서, 노드 QP 오프셋은 더 큰 수일 수도 있으며, 이는 node_qp_offset 신택스 엘리먼트에 대해 많은 수의 비트들이 시그널링될 것을 요구할 수도 있다. 이와 같이, 시그널링 오버헤드는 노드 QP 오프셋의 큰 값들을 증가시킬 수도 있다.
이들 결점을 고려하여, 본 개시는 시그널링 오버헤드를 감소시켜서 코딩 효율을 증가시키는 방식으로 노드 QP 오프셋을 시그널링하고 최종 QP 값을 결정하기 위한 기법을 설명한다. 본 명세서에서 설명된 기법들은 독립적으로 구현되거나 또는 하나 이상의 다른 기법들과 결합될 수도 있다. 용어들 스텝 사이즈, 스케일 값, 스케일 스텝 사이즈 모두는 동일한 값 - G-PCC 디코더 (300) 에서 사용되는 스케일 값을 지칭한다.
본 개시의 일 예에서, G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 는 QP 승수에 의해 곱해지는 노드 QP 오프셋을 포함하도록 스텝 사이즈를 도출하는 데 사용되는 QP 값 (예를 들어, 최종 QP 값) 을 결정하도록 구성될 수도 있다. 일 예로서, G-PCC 디코더 (300) 는 다음의 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 을 사용하여 최종 QP 값 (qpFinal) 을 결정하도록 구성될 수도 있다.
일부 예들에서, G-PCC 인코더 (200) 는 또한 다음의 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 을 사용하여 최종 QP 값 (qpFinal) 을 결정하도록 구성될 수도 있다. 예를 들어, G-PCC 인코더 (200) 는 복원 루프에서 상기 식을 사용할 수도 있다. 그러나, 다른 예들에서, G-PCC 인코더 (200) 는 node_qp_offset 및 geom_qp_multiplier_log2 에 대해 시그널링할 값들을 결정하기 위해, 먼저 최종 QP 값을 결정한 다음, 노드 QP 오프셋의 값을 결정할 수도 있다. 이 예에서, G-PCC 인코더는 이미 결정된 최종 QP 값뿐만 아니라 base_qp 및 slice_qp 가 식 qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 를 만족하도록, node_qp_offset 및 geom_qp_multiplier_log2 의 값들을 결정할 것이다.
상기 식에서, 기본 QP (base_qp) 및 슬라이스 QP (slice_qp) 는 함께 더해진 다음, 왼쪽으로 시프트된다 (예를 들어, geom_qp_multiplier_log2 로부터 도출된 지오메트리 QP 승수의 값에 의해 곱해진다). 그 후, 이 결과적인 값은 (geom_qp_multiplier_log2 로부터 도출된) 지오메트리 QP 승수에 의해 왼쪽으로 시프트된 (예를 들어, 곱해진) 노드 QP 오프셋 (node_qp_offset) 에 더해진다. 이 식은 노드 QP 오프셋이 지오메트리 QP 승수에 의해 곱해진다는 점을 제외하고는 전술한 식과 동일하다 (즉, qpFinal = (base_qp + slice_qp) << geom_qp_multiplier_log2 + node_qp_offset). 이러한 기법은 노드 QP 오프셋을 시그널링하는 데 필요한 비트 수를 감소시킬 수도 있다.
예를 들어, 원하는 노드 QP 오프셋이 20 이었다면, G-PCC 인코더 (200) 는 값 20 과 동일한 다수의 비트들을 갖는 node_qp_offset 신택스 엘리먼트를 시그널링할 것이다. 그러나, 본 개시의 기법들을 사용하여, G-PCC 인코더 (200) 는 노드 QP 오프셋이 지오메트리 QP 승수에 의해 곱해지기 때문에 더 적은 수의 비트들을 갖는 node_qp_offset 신택스 엘리먼트를 시그널링할 수도 있다. 예를 들어, 일부 포인트 클라우드들에 대해, QP 가 4 의 배수들인 값들만을 취하면, 예를 들어, 20 의 node_qp_offset 을 시그널링하는 것은 특정 수의 비트들을 소비할 것이다. 그러나, G-PCC 디코더 (300) 가 전술한 바와 같이 지오메트리 QP 승수를 사용하면, 5 의 값만이 시그널링될 필요가 있고 (20 >> geom_qp_multiplier_log2 = 20 >> 2 = 5) 이는 더 적은 비트들을 소비할 것이다. 여기서, geom_qp_multiplier_log2 가 최종 지오메트리 승수 값인 log2 로서 시그널링되기 때문에, 지오메트리 QP 승수는 4 일 것이고, geom_qp_multiplier_log2 는 2 일 것이다.
따라서, 본 개시의 일 예에서, G-PCC 인코더 (200) 는 최종 노드 QP 오프셋 항 (예를 들어, 최종 노드 QP 오프셋 항은 node_qp_offset << geom_qp_multiplier_log2 임) 을 결정하기 위해 노드 QP 오프셋에 지오메트리 QP 승수를 적용함으로써 포인트 클라우드의 지오메트리를 인코딩하기 위한 최종 QP 값을 결정할 수도 있다. 일 예에서, G-PCC 인코더 (200) 는 식 qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값 (qpFinal) 을 결정할 수도 있다.
G-PCC 인코더 (200) 는 지오메트리 QP 승수에 의해 곱해진 시그널링된 노드 QP 오프셋이 원하는 노드 QP 오프셋 항과 동일하도록 노드 QP 오프셋 (node_qp_offset) 및 지오메트리 QP 승수 (geom_qp_multiplier_log2) 를 나타내는 신택스 엘리먼트들을 인코딩하고 시그널링할 수도 있다.
상반의 방식으로, G-PCC 디코더 (300) 는 노드 QP 오프셋 (node_qp_offset) 및 지오메트리 QP 승수 (geom_qp_multiplier_log2) 에 대한 신택스 엘리먼트들을 수신하고 디코딩할 수도 있다. 그 다음, G-PCC 디코더는 지오메트리 QP 승수 (geom_qp_multiplier_log2) 에 의해 곱해진 노드 QP 오프셋 (예를 들어, node_qp_offset) 의 함수로서 최종 QP 값을 결정할 수도 있다. 일 예에서, G-PCC 디코더 (300) 는 식 qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값 (qpFinal) 을 결정할 수도 있다. 그 다음, G-PCC 디코더 (300) 는 전술한 코딩 기법들 중 하나 이상을 사용하여 포인트 클라우드의 지오메트리의 규범적 양자화를 수행하기 위해 최종 QP 값을 사용할 수도 있다.
다른 예에서, G-PCC 인코더 (200) 및 G-PCC 디코더 (300) 는 (도출된 최종 QP 의) node_qp_offset 이 (1 < geom_qp_multiplier_log2) 의 배수이어야 한다는 제약에 따라 동작할 수도 있다. 이러한 제약은 미리 결정될 수도 있거나 비트스트림에서 시그널링될 수 있다.
다른 예에서, 도출된 최종 QP 값은 (1 << geom_qp_multiplier_log2) 의 배수로 반올림될 수도 있다.
도 5 는 본 개시의 예시적인 인코딩 기법들을 예시하는 흐름도이다. G-PCC 인코더 (200) 의 하나 이상의 구조적 컴포넌트들은 도 5 의 기법들을 수행하도록 구성될 수도 있다.
일 예에서, G-PCC 인코더 (200) 는 포인트 클라우드 데이터를 수신 (500) 하고, 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정 (510) 하도록 구성될 수도 있다. 그 다음, G-PCC 인코더 (200) 는 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여 인코딩된 포인트 클라우드를 생성 (520) 할 수도 있다.
본 개시의 일 예에서, G-PCC 인코더 (200) 는 노드 QP 오프셋을 나타내는 노드 QP 오프셋 신택스 엘리먼트를 인코딩하고, 지오메트리 QP 승수를 나타내는 지오메트리 QP 승수 신택스 엘리먼트를 인코딩할 수도 있다.
본 개시의 다른 예에서, G-PCC 인코더 (200) 는 다음의 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정할 수도 있고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 시그널링된 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수이다.
일 예에서, 노드 QP 오프셋은 1 << geom_qp_multiplier_log2) 의 배수이다.
본 개시의 다른 예에서, G-PCC 인코더 (200) 는 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림할 수도 있다.
도 6 은 본 개시의 예시적인 디코딩 기법들을 예시하는 흐름도이다. G-PCC 디코더 (300) 의 하나 이상의 구조적 컴포넌트들은 도 6 의 기법들을 수행하도록 구성될 수도 있다.
본 개시의 일 예에서, G-PCC 디코더 (300) 는 인코딩된 포인트 클라우드 데이터를 수신 (600) 하고, 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정 (610) 하도록 구성될 수도 있다. G-PCC 디코더 (300) 는 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여 디코딩된 포인트 클라우드를 생성 (620) 하도록 더 구성될 수도 있다.
일 예에서, G-PCC 디코더 (300) 는 노드 QP 오프셋을 결정하기 위해 노드 QP 오프셋 신택스 엘리먼트를 디코딩하고, 지오메트리 QP 승수를 결정하기 위해 지오메트리 QP 승수 신택스 엘리먼트를 디코딩하도록 더 구성될 수도 있다.
다른 예에서, G-PCC 디코더 (300) 는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하도록 더 구성될 수도 있고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 시그널링된 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수이다.
일 예에서, 시그널링된 또는 도출된 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수이다.
다른 예에서, G-PCC 디코더 (300) 는 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하도록 더 구성될 수 있다.
도 7 은 본 개시의 하나 이상의 기법들과 함께 사용될 수도 있는 예시적인 거리-측정 시스템 (900) 을 예시하는 개념도이다. 도 7 의 예에서, 거리-측정 시스템 (900) 은 조명기 (902) 및 센서 (904) 를 포함한다. 조명기 (902) 는 광 (906) 을 방출할 수도 있다. 일부 예들에서, 조명기 (902) 는 하나 이상의 레이저 빔들로서 광 (906) 을 방출할 수도 있다. 광 (906) 은 적외선 파장 또는 가시광 파장과 같은 하나 이상의 파장들일 수도 있다. 다른 예들에서, 광 (906) 은 간섭성이 없는 레이저 광이다. 광 (906) 이 오브젝트 (908) 와 같은 오브젝트에 부딪힐 때, 광 (906) 은 복귀 광 (910) 을 생성한다. 복귀 광 (910) 은 후방산란된 및/또는 반사된 광을 포함할 수도 있다. 복귀 광 (910) 은 센서 (904) 상에 오브젝트 (908) 의 이미지 (912) 를 생성하기 위해 복귀 광 (910) 을 지향시키는 렌즈 (911) 를 통과할 수도 있다. 센서 (904) 는 이미지 (912) 에 기초하여 신호들 (914) 을 생성한다. 이미지 (912) 는 (예를 들어, 도 8 의 이미지 (912) 에 도트들에 의해 표현된 바와 같은) 포인트들의 세트를 포함할 수도 있다.
일부 예들에서, 조명기 (902) 및 센서 (904) 는 조명기 (902) 및 센서 (904) 가 환경의 360도 뷰를 캡처하도록 스피닝 구조 상에 장착될 수도 있다. 다른 예들에서, 거리-측정 시스템 (900) 은 조명기 (902) 및 센서 (904) 가 특정 범위 내에서 (예를 들어, 최대 360 도) 오브젝트들을 검출할 수 있게 하는 하나 이상의 광학 컴포넌트들 (예를 들어, 미러들, 콜리메이터들, 회절 격자들 등) 을 포함할 수도 있다. 도 7 의 예는 단일의 조명기 (902) 및 센서 (904) 만을 도시하지만, 거리-측정 시스템 (900) 은 다중 세트들의 조명기들 및 센서들을 포함할 수도 있다.
일부 예들에서, 조명기 (902) 는 구조화된 광 패턴을 생성한다. 그러한 예들에서, 거리-측정 시스템 (900) 은 구조화된 광 패턴의 개별의 이미지들이 형성되는 다중 센서들 (904) 을 포함할 수도 있다. 거리-측정 시스템 (900) 은, 구조화된 광 패턴이 후방산란하는 오브젝트 (908) 까지의 거리를 결정하기 위해 구조화된 광 패턴의 이미지들 사이의 디스패리티들을 사용할 수도 있다. 구조화된 광 기반 거리-측정 시스템들은 오브젝트 (908) 가 센서 (904) 에 비교적 가까울 때 (예를 들어, 0.2 미터 내지 2 미터), 높은 레벨의 정확도 (예를 들어, 밀리미터 이하 범위의 정확도) 를 가질 수도 있다. 이러한 고 레벨의 정확도는 모바일 디바이스들 (예컨대, 모바일 폰들, 태블릿 컴퓨터들 등) 을 잠금해제하는 것과 같은 안면 인식 애플리케이션들에서 그리고 보안 애플리케이션들에 유용할 수도 있다.
일부 예들에서, 거리-측정 시스템 (900) 은 비행 시간 (time of flight; ToF) 기반 시스템이다. 거리-측정 시스템 (900) 이 ToF 기반 시스템인 일부 예들에서, 조명기 (902) 는 광의 펄스들을 생성한다. 즉, 조명기 (902) 는 방출된 광 (906) 의 진폭을 변조할 수도 있다. 그러한 예들에서, 센서 (904) 는 조명기 (902) 에 의해 생성된 광 (906) 의 펄스들로부터 복귀 광 (910) 을 검출한다. 그 다음, 거리-측정 시스템 (900) 은, 광 (906) 이 방출되고 검출된 때와 공기 중의 광의 기지의 속도 사이의 지연에 기초하여 광 (906) 이 후방산란하는 오브젝트 (908) 까지의 거리를 결정할 수도 있다. 일부 예들에서, 방출된 광 (906) 의 진폭을 변조하기 보다는 (또는 그에 더하여), 조명기 (902) 는 방출된 광 (906) 의 위상을 변조할 수도 있다. 그러한 예들에서, 센서 (904) 는 오브젝트 (908) 로부터 복귀 광 (910) 의 위상을 검출하고 광의 속도를 사용하여 그리고 조명기 (902) 가 특정 위상에서 광 (906) 을 생성할 때와 센서 (904) 가 특정 위상에서 복귀 광 (910) 을 검출할 때 사이의 시간 차이들에 기초하여 오브젝트 (908) 상의 포인트들까지의 거리들을 결정할 수도 있다.
다른 예들에서, 포인트 클라우드는 조명기 (902) 를 사용하지 않고 생성될 수도 있다. 예를 들어, 일부 예들에서, 거리-측정 시스템 (900) 의 센서 (904) 는 2 개 이상의 광학 카메라들을 포함할 수도 있다. 그러한 예들에서, 거리-측정 시스템 (900) 은 그 광학 카메라를 사용하여 오브젝트 (908) 를 포함하는 환경의 스테레오 이미지들을 캡처할 수도 있다. 그 다음, 거리-측정 시스템 (900) (예컨대, 포인트 클라우드 생성기 (920)) 은 스테레오 이미지들에서의 위치들 사이의 디스패리티들을 계산할 수도 있다. 그 다음, 거리-측정 시스템 (900) 은 스테레오 이미지들에서 나타낸 위치들까지의 거리들을 결정하기 위해 디스패리티들을 사용할 수도 있다. 이들 거리들로부터, 포인트 클라우드 생성기 (920) 는 포인트 클라우드를 생성할 수도 있다.
센서들 (904) 은 또한, 컬러 및 반사율 정보와 같은 오브젝트 (908) 의 다른 속성들을 검출할 수도 있다. 도 7 의 예에서, 포인트 클라우드 생성기 (920) 는 센서 (904) 에 의해 생성된 신호들 (918) 에 기초하여 포인트 클라우드를 생성할 수도 있다. 거리-측정 시스템 (900) 및/또는 포인트 클라우드 생성기 (920) 는 데이터 소스 (104) (도 1) 의 일부를 형성할 수도 있다. 최종 QP 값을 도출하기 위한 본 개시의 기법들은 도 7 의 시스템을 이용하여 포인트 클라우드를 인코딩하는 데 필요한 비트 수를 줄일 수도 있다.
도 8 은 본 개시의 하나 이상의 기법들이 사용될 수도 있는 예시적인 차량 기반 시나리오를 예시하는 개념도이다. 도 8 의 예에서, 차량 (1000) 은 LIDAR 시스템과 같은 레이저 패키지 (1002) 를 포함한다. 도 8 의 예에 도시되지 않았지만, 차량 (1000) 은 또한 데이터 소스 (104)(도 1) 와 같은 데이터 소스, 및 G-PCC 인코더 (200)(도 1) 와 같은 G-PCC 인코더를 포함할 수도 있다. 도 8 의 예에서, 레이저 패키지 (1002) 는 보행자들 (1006) 또는 도로의 다른 오브젝트들에서 반사되는 레이저 빔들 (1004) 을 방출한다. 차량 (1000) 의 데이터 소스는 레이저 패키지 (1002) 에 의해 생성된 신호들에 기초하여 포인트 클라우드를 생성할 수도 있다. 차량 (1000) 의 G-PCC 인코더는 포인트 클라우드를 인코딩하여 지오메트리 비트스트림 (203)(도 2) 및 속성 비트스트림(205)(도 2) 과 같은 비트스트림들 (1008) 을 생성할 수도 있다. 비트스트림들 (1008) 은 G-PCC 인코더에 의해 획득된 인코딩되지 않은 포인트 클라우드보다 훨씬 적은 비트들을 포함할 수도 있다. 차량 (1000) 의 출력 인터페이스 (예를 들어, 출력 인터페이스 (108)(도 1)) 는 비트스트림들 (1008) 을 하나 이상의 다른 디바이스들에 송신할 수도 있다. 따라서, 차량 (1000) 은 인코딩되지 않은 포인트 클라우드 데이터보다 더 빠르게 비트스트림 (1008) 을 다른 디바이스들에 송신 가능할 수도 있다. 추가적으로, 비트스트림들 (1008) 은 더 적은 데이터 저장 용량을 요구할 수도 있다.
도 8 의 예에서, 차량 (1000) 은 비트스트림들 (1008) 을 다른 차량 (1010) 에 송신할 수도 있다. 차량 (1010) 은 G-PCC 디코더, 예컨대 G-PCC 디코더 (300)(도 1) 를 포함할 수도 있다. 차량 (1010) 의 G-PCC 디코더는 비트스트림들 (1008) 을 디코딩하여 포인트 클라우드를 복원할 수도 있다. 차량 (1010) 은 다양한 목적들을 위해 복원된 포인트 클라우드를 사용할 수도 있다. 예를 들어, 차량 (1010) 은 복원된 포인트 클라우드에 기초하여, 보행자들 (1006) 이 차량 (1000) 앞의 도로에 있다고 결정하고 따라서 예를 들어, 보행자들 (1006) 이 도로에 있음을 차량 (1010) 의 운전자가 인식하기 전부터, 감속을 시작할 수도 있다. 따라서, 일부 예들에서, 차량 (1010) 은 복원된 포인트 클라우드에 기초하여 자율 내비게이션 동작을 수행하거나, 통지 또는 경고를 생성하거나, 또는 다른 액션을 수행할 수도 있다.
부가적으로 또는 대안적으로, 차량 (1000) 은 비트스트림들 (1008) 을 서버 시스템 (1012) 으로 송신할 수도 있다. 서버 시스템 (1012) 은 다양한 목적들을 위해 비트스트림들 (1008) 을 사용할 수도 있다. 예를 들어, 서버 시스템 (1012) 은 포인트 클라우드들의 후속 복원을 위해 비트스트림들 (1008) 을 저장할 수도 있다. 이 예에서, 서버 시스템 (1012) 은 자율 주행 시스템을 훈련하기 위해 다른 데이터 (예를 들어, 차량 (1000) 에 의해 생성된 차량 원격측정 데이터) 와 함께 포인트 클라우드들을 사용할 수도 있다. 다른 예에 있어서, 서버 시스템 (1012) 은 (예컨대, 차량 (1000) 이 보행자들 (1006) 과 충돌하는 경우) 포렌식 충돌 조사들을 위한 후속 복원을 위해 비트스트림들 (1008) 을 저장할 수도 있다. 최종 QP 값을 도출하기 위한 본 개시의 기법들은 도 8 의 시스템을 이용하여 포인트 클라우드를 인코딩하는 데 필요한 비트 수를 줄일 수도 있다.
도 9 는 본 개시의 하나 이상의 기법들이 사용될 수도 있는 예시적인 확장 현실 시스템을 예시하는 개념도이다. 확장 현실 (XR) 은 증강 현실 (AR), 혼합 현실 (MR), 및 가상 현실 (VR) 을 포함하는 다양한 기술들을 커버하기 위해 사용되는 용어이다. 도 9 의 예에서, 제 1 사용자 (1100) 는 제 1 위치 (1102) 에 위치된다. 사용자 (1100) 는 XR 헤드셋 (1104) 을 착용하고 있다. XR 헤드셋 (1104) 에 대한 대안으로서, 사용자 (1100) 는 모바일 디바이스 (예를 들어, 모바일 폰, 태블릿 컴퓨터 등) 를 사용할 수도 있다. XR 헤드셋 (1104) 은, 위치 (1102) 에서 오브젝트들 (1106) 상의 포인트들의 포지션들을 검출하는, LIDAR 시스템과 같은 심도 검출 센서를 포함한다. XR 헤드셋 (1104) 의 데이터 소스는, 위치 (1102) 에서 오브젝트들 (1106) 의 포인트 클라우드 표현을 생성하기 위해 심도 검출 센서에 의해 생성된 신호들을 사용할 수도 있다. XR 헤드셋 (1104) 은 비트스트림들 (1108) 을 생성하기 위해 포인트 클라우드를 인코딩하도록 구성되는 G-PCC 인코더 (예를 들어, 도 1 의 G-PCC 인코더 (200)) 를 포함할 수도 있다.
XR 헤드셋 (1104) 은, 제 2 위치 (1114) 에서 사용자 (1112) 에 의해 착용된 XR 헤드셋 (1110) 으로 비트스트림들 (1108) 을 (예컨대, 인터넷과 같은 네트워크를 통해) 송신할 수도 있다. XR 헤드셋 (1110) 은 포인트 클라우드를 복원하기 위해 비트스트림들 (1108) 을 디코딩할 수도 있다. XR 헤드셋 (1110) 은, 위치 (1102) 에서의 오브젝트들 (1106) 을 표현하는 XR 시각화 (예컨대, AR, MR, VR 시각화) 를 생성하기 위해 포인트 클라우드를 사용할 수도 있다. 따라서, XR 헤드셋 (1110) 이 VR 시각화를 생성할 때와 같은 일부 예들에 있어서, 위치 (1114) 에서의 사용자 (1112) 는 위치 (1102) 의 3D 몰입형 경험을 가질 수도 있다. 일부 예들에 있어서, XR 헤드셋 (1110) 은 복원된 포인트 클라우드에 기초하여 가상 오브젝트의 포지션을 결정할 수도 있다. 예를 들어, XR 헤드셋 (1110) 은, 복원된 포인트 클라우드에 기초하여, 환경 (예컨대, 위치 (1102)) 이 평평한 표면을 포함함을 결정하고, 그 다음, 가상 오브젝트 (예컨대, 만화 캐릭터) 가 평평한 표면 상에 포지셔닝될 것임을 결정할 수도 있다. XR 헤드셋 (1110) 은, 가상 오브젝트가 결정된 포지션에 있는 XR 시각화를 생성할 수도 있다. 예를 들어, XR 헤드셋 (1110) 은 평평한 표면에 앉아 있는 만화 캐릭터를 나타낼 수도 있다. 최종 QP 값을 도출하기 위한 본 개시의 기법들은 도 9 의 시스템을 이용하여 포인트 클라우드를 인코딩하는 데 필요한 비트 수를 줄일 수도 있다.
도 10 은 본 개시의 하나 이상의 기법들이 사용될 수도 있는 예시적인 모바일 디바이스 시스템을 예시하는 개념도이다. 도 10 의 예에서, 모바일 폰 또는 태블릿 컴퓨터와 같은 모바일 디바이스 (1200) 는 모바일 디바이스 (1200) 의 환경에서 오브젝트들 (1202) 상의 포인트들의 포지션들을 검출하는, LIDAR 시스템과 같은 심도 검출 센서를 포함한다. 모바일 디바이스 (1200) 의 데이터 소스는, 오브젝트들 (1202) 의 포인트 클라우드 표현을 생성하기 위해 심도 검출 센서에 의해 생성된 신호들을 사용할 수도 있다. 모바일 디바이스 (1200) 는 비트스트림들 (1204) 을 생성하기 위해 포인트 클라우드를 인코딩하도록 구성되는 G-PCC 인코더 (예를 들어, 도 1 의 G-PCC 인코더 (200)) 를 포함할 수도 있다. 도 10 의 예에서, 모바일 디바이스 (1200) 는 서버 시스템 또는 다른 모바일 디바이스와 같은 원격 디바이스 (1206) 에 비트스트림들을 송신할 수도 있다. 원격 디바이스 (1206) 는 포인트 클라우드를 복원하기 위해 비트스트림들 (1204) 을 디코딩할 수도 있다. 원격 디바이스 (1206) 는 다양한 목적들을 위해 포인트 클라우드를 사용할 수도 있다. 예를 들어, 원격 디바이스 (1206) 는 모바일 디바이스 (1200) 의 환경의 맵을 생성하기 위해 포인트 클라우드를 사용할 수도 있다. 예를 들어, 원격 디바이스 (1206) 는 복원된 포인트 클라우드에 기초하여 건물 내부의 맵을 생성할 수도 있다. 다른 예에서, 원격 디바이스 (1206) 는 포인트 클라우드에 기초하여 이미저리 (예를 들어, 컴퓨터 그래픽) 를 생성할 수도 있다. 예를 들어, 원격 디바이스 (1206) 는 포인트 클라우드의 포인트들을 다각형들의 정점들로서 사용하고, 포인트들의 컬러 속성들을, 다각형들을 셰이딩하기 위한 기반으로서 사용할 수도 있다. 일부 예들에 있어서, 원격 디바이스 (1206) 는 포인트 클라우드를 사용하여 안면 인식을 수행할 수도 있다. 최종 QP 값을 도출하기 위한 본 개시의 기법들은 도 10 의 시스템을 이용하여 포인트 클라우드를 인코딩하는 데 필요한 비트 수를 줄일 수도 있다.
다음은 본 개시의 하나 이상의 기법들에 따를 수도 있는 양태들의 비제한적인 리스트이다.
양태 1A - 포인트 클라우드를 코딩하는 방법으로서,
포인트 클라우드 데이터를 수신하는 단계; QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및 QP 값을 사용하여 포인트 클라우드 데이터를 코딩하는 단계를 포함하는, 방법.
양태 2A - 양태 1A 에 있어서, QP 값을 결정하는 단계는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 QP 값을 결정하는 단계를 포함하고, 여기서 qpFinal 은 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 QP 승수인, 방법.
양태 3A - 양태 2A 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 방법.
양태 4A - 양태 2A 에 있어서, QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하는 단계를 더 포함하는, 방법.
양태 5A - 포인트 클라우드를 프로세싱하기 위한 디바이스로서, 양태 1A 내지 4A 중 어느 한 양태의 방법을 수행하기 위한 하나 이상의 수단을 포함하는, 디바이스.
양태 6A - 양태 5A 에 있어서, 상기 하나 이상의 수단은 회로부에서 구현된 하나 이상의 프로세서를 포함하는, 디바이스.
양태 7A - 양태 5A 또는 6A 에 있어서, 포인트 클라우드를 표현하는 데이터를 저장하기 위한 메모리를 더 포함하는, 디바이스.
양태 8A - 양태 5A 내지 7A 중 어느 한 양태에 있어서, 상기 디바이스는 디코더를 포함하는, 디바이스.
양태 9A - 양태 5A 내지 8A 중 어느 한 양태에 있어서, 상기 디바이스는 인코더를 포함하는, 디바이스.
양태 10A - 양태 5A 내지 9A 중 어느 한 양태에 있어서, 포인트 클라우드를 생성하기 위한 디바이스를 더 포함하는, 디바이스.
양태 11A - 양태 5A 내지 10A 중 어느 한 양태에 있어서, 포인트 클라우드에 기초하여 이미저리 (imagery) 를 표현하기 위한 디스플레이를 더 포함하는, 디바이스.
양태 12A - 명령들이 저장된 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금 양태 1A 내지 4A 중 어느 한 양태의 방법을 수행하게 하는, 컴퓨터 판독가능 저장 매체.
양태 1B - 포인트 클라우드를 인코딩하도록 구성된 장치로서, 포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되고 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하도록 구성되는, 장치.
양태 2B - 양태 1B 에 있어서, 상기 하나 이상의 프로세서들은, 노드 QP 오프셋을 나타내는 노드 QP 오프셋 신택스 엘리먼트를 인코딩하고, 지오메트리 QP 승수를 나타내는 지오메트리 QP 승수 신택스 엘리먼트를 인코딩하도록 더 구성되는, 장치.
양태 3B - 양태 1B 에 있어서, 최종 QP 값을 결정하기 위해, 상기 하나 이상의 프로세서들은 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하도록 더 구성되고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 장치.
양태 4B - 양태 3B 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 장치.
양태 5B - 양태 3B 에 있어서, 상기 하나 이상의 프로세서들은 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하도록 더 구성되는, 장치.
양태 6B - 양태 1B 에 있어서, 포인트 클라우드 데이터를 생성하도록 구성된 센서를 더 포함하는, 장치.
양태 7B - 포인트 클라우드를 인코딩하는 방법으로서, 포인트 클라우드 데이터를 수신하는 단계; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하는 단계를 포함하는, 방법.
양태 8B - 양태 7B 에 있어서, 노드 QP 오프셋을 나타내는 노드 QP 오프셋 신택스 엘리먼트를 인코딩하는 단계; 및 지오메트리 QP 승수를 나타내는 지오메트리 QP 승수 신택스 엘리먼트를 인코딩하는 단계를 더 포함하는, 방법.
양태 9B - 양태 7B 에 있어서, 최종 QP 값을 결정하는 단계는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하는 단계를 포함하고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 방법.
양태 10B - 양태 9B 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 방법.
양태 11B - 양태 9B 에 있어서, 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하는 단계를 더 포함하는, 방법.
양태 12B - 양태 7B 에 있어서, 포인트 클라우드 데이터를 생성하는 단계를 더 포함하는, 방법.
양태 13B - 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 포인트 클라우드를 인코딩하도록 구성된 디바이스의 하나 이상의 프로세서들로 하여금, 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
양태 14B - 포인트 클라우드를 인코딩하도록 구성된 장치로서, 포인트 클라우드 데이터를 수신하기 위한 수단; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하기 위한 수단; 및 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하기 위한 수단을 포함하는, 장치.
양태 15B - 포인트 클라우드를 디코딩하도록 구성된 장치로서, 인코딩된 포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되고 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 인코딩된 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하도록 구성되는, 장치.
양태 16B - 양태 15B 에 있어서, 상기 하나 이상의 프로세서들은, 노드 QP 오프셋을 결정하기 위해 노드 QP 오프셋 신택스 엘리먼트를 디코딩하도록, 그리고, 지오메트리 QP 승수를 결정하기 위해 지오메트리 QP 승수 신택스 엘리먼트를 디코딩하도록 더 구성되는, 장치.
양태 17B - 양태 15B 에 있어서, 최종 QP 값을 결정하기 위해, 상기 하나 이상의 프로세서들은 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하도록 더 구성되고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 장치.
양태 18B - 양태 17B 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 장치.
양태 19B - 양태 17B 에 있어서, 상기 하나 이상의 프로세서들은 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하도록 더 구성되는, 장치.
양태 20B - 양태 15B 에 있어서, 디코딩된 포인트 클라우드를 디스플레이하도록 구성된 디스플레이를 더 포함하는, 장치.
양태 21B - 포인트 클라우드를 디코딩하는 방법으로서, 포인트 클라우드 데이터를 수신하는 단계; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하는 단계를 포함하는, 방법.
양태 22B - 양태 21B 에 있어서, 노드 QP 오프셋을 결정하기 위해 노드 QP 오프셋 신택스 엘리먼트를 디코딩하는 단계; 및 지오메트리 QP 승수를 결정하기 위해 지오메트리 QP 승수 신택스 엘리먼트를 디코딩하는 단계를 더 포함하는, 방법.
양태 23B - 양태 21B 에 있어서, 최종 QP 값을 결정하는 단계는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하는 단계를 포함하고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 방법.
양태 24B - 양태 23B 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 방법.
양태 25B - 양태 23B 에 있어서, 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하는 단계를 더 포함하는, 방법.
양태 26B - 양태 21B 에 있어서, 디코딩된 포인트 클라우드를 디스플레이하는 단계를 더 포함하는, 방법.
양태 27B - 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 포인트 클라우드를 디코딩하도록 구성된 디바이스의 하나 이상의 프로세서들로 하여금, 인코딩된 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
양태 28B - 포인트 클라우드를 디코딩하도록 구성된 장치로서, 인코딩된 포인트 클라우드 데이터를 수신하기 위한 수단; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하기 위한 수단; 및 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하기 위한 수단을 포함하는, 장치.
양태 1C - 포인트 클라우드를 인코딩하도록 구성된 장치로서, 포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되고 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하도록 구성되는, 장치.
양태 2C - 양태 1C 에 있어서, 상기 하나 이상의 프로세서들은, 노드 QP 오프셋을 나타내는 노드 QP 오프셋 신택스 엘리먼트를 인코딩하고, 지오메트리 QP 승수를 나타내는 지오메트리 QP 승수 신택스 엘리먼트를 인코딩하도록 더 구성되는, 장치.
양태 3C - 양태 1C 또는 2C 에 있어서, 최종 QP 값을 결정하기 위해, 상기 하나 이상의 프로세서들은 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하도록 더 구성되고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 장치.
양태 4C - 양태 3C 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 장치.
양태 5C - 양태 3C 에 있어서, 상기 하나 이상의 프로세서들은 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하도록 더 구성되는, 장치.
양태 6C - 양태 1C 내지 5C 중 어느 한 양태에 있어서, 포인트 클라우드 데이터를 생성하도록 구성된 센서를 더 포함하는, 장치.
양태 7C - 포인트 클라우드를 인코딩하는 방법으로서, 포인트 클라우드 데이터를 수신하는 단계; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및 최종 QP 값을 사용하여 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하는 단계를 포함하는, 방법.
양태 8C - 양태 7C 에 있어서, 노드 QP 오프셋을 나타내는 노드 QP 오프셋 신택스 엘리먼트를 인코딩하는 단계; 및 지오메트리 QP 승수를 나타내는 지오메트리 QP 승수 신택스 엘리먼트를 인코딩하는 단계를 더 포함하는, 방법.
양태 9C - 양태 7C 또는 8C 에 있어서, 최종 QP 값을 결정하는 단계는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하는 단계를 포함하고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 방법.
양태 10C - 양태 9C 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 방법.
양태 11C - 양태 9C 에 있어서, 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하는 단계를 더 포함하는, 방법.
양태 12C - 양태 7C 내지 11C 중 어느 한 양태에 있어서, 포인트 클라우드 데이터를 생성하는 단계를 더 포함하는, 방법.
양태 13C - 포인트 클라우드를 디코딩하도록 구성된 장치로서, 인코딩된 포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되고 메모리와 통신하는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 인코딩된 포인트 클라우드 데이터를 수신하고; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고; 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하도록 구성되는, 장치.
양태 14C - 양태 13C 에 있어서, 상기 하나 이상의 프로세서들은, 노드 QP 오프셋을 결정하기 위해 노드 QP 오프셋 신택스 엘리먼트를 디코딩하도록, 그리고, 지오메트리 QP 승수를 결정하기 위해 지오메트리 QP 승수 신택스 엘리먼트를 디코딩하도록 더 구성되는, 장치.
양태 15C - 양태 13C 또는 14C 에 있어서, 최종 QP 값을 결정하기 위해, 상기 하나 이상의 프로세서들은 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하도록 더 구성되고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 장치.
양태 16C - 양태 15C 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 장치.
양태 17C - 양태 15C 에 있어서, 상기 하나 이상의 프로세서들은 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하도록 더 구성되는, 장치.
양태 18C - 양태 13C 내지 17C 중 어느 한 양태에 있어서 ,디코딩된 포인트 클라우드를 디스플레이하도록 구성된 디스플레이를 더 포함하는, 장치.
양태 19C - 포인트 클라우드를 디코딩하는 방법으로서, 포인트 클라우드 데이터를 수신하는 단계; 지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및 최종 QP 값을 사용하여 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하는 단계를 포함하는, 방법.
양태 20C - 양태 19C 에 있어서, 노드 QP 오프셋을 결정하기 위해 노드 QP 오프셋 신택스 엘리먼트를 디코딩하는 단계; 및 지오메트리 QP 승수를 결정하기 위해 지오메트리 QP 승수 신택스 엘리먼트를 디코딩하는 단계를 더 포함하는, 방법.
양태 21C - 양태 19C 또는 20C 에 있어서, 최종 QP 값을 결정하는 단계는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 최종 QP 값을 결정하는 단계를 포함하고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 지오메트리 QP 승수인, 방법.
양태 22C - 양태 21C 에 있어서, 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 방법.
양태 23C - 양태 21C 에 있어서, 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하는 단계를 더 포함하는, 방법.
양태 24C - 양태 19C 내지 23C 중 어느 한 양태에 있어서, 디코딩된 포인트 클라우드를 디스플레이하는 단계를 더 포함하는, 방법.
본 개시의 다양한 양태들에서의 예들은 개별적으로 또는 임의의 조합으로 사용될 수도 있다.
예에 의존하여, 본원에 설명된 기법들 중 임의의 것의 소정의 액트들 또는 이벤트들은 상이한 시퀀스로 수행될 수 있고, 전체적으로 부가되거나 병합되거나 또는 제거될 수도 있음 (예를 들어, 설명된 모든 액트들 또는 이벤트들이 그 기법들의 실시를 위해 필수적인 것은 아님) 이 인식되어야 한다. 더욱이, 소정의 예들에서, 액트들 또는 이벤트들은 순차적으로 보다는, 예를 들어 다중-스레딩된 프로세싱, 인터럽트 프로세싱, 또는 다중의 프로세서들을 통해 동시에 수행될 수도 있다.
하나 이상의 예에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현되면, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 이를 통해 송신되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들, 또는 예를 들어 통신 프로토콜에 따라 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
예로서, 그리고 비제한적으로, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 희망하는 프로그램 코드를 저장하기 위해 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 불린다. 예를 들어, 명령들이 동축 케이블, 광섬유 케이블, 트위스티드 페어, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 커넥션들, 캐리어파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않지만 대신 비일시적 유형의 저장 매체들로 지향됨이 이해되어야 한다. 본 명세서에서 사용된 바와 같이, 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크(disk)들은 통상 자기적으로 데이터를 재생하는 한편, 디스크(disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 또한, 상기의 조합들은 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 프로세서들, 이를 테면 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 또는 다른 등가의 집적 또는 이산 로직 회로부에 의해 실행될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어들 "프로세서” 및 “프로세싱 회로부" 는 본 명세서에서 설명된 기법들의 구현에 적합한 전술한 구조들 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 추가로, 일부 양태들에서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되거나 또는 결합된 코덱에 통합된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기법들은 하나 이상의 회로 또는 로직 엘리먼트에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여, 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 위에서 설명된 바와 같이, 다양한 유닛들이 코덱 하드웨어 유닛에 결합될 수도 있거나, 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는 상호동작 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
다양한 예들이 기술되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims (28)

  1. 포인트 클라우드를 디코딩하도록 구성된 장치로서,
    인코딩된 포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및
    회로부에서 구현되고 상기 메모리와 통신하는 하나 이상의 프로세서들
    을 포함하고, 상기 하나 이상의 프로세서들은,
    상기 인코딩된 포인트 클라우드 데이터를 수신하고;
    지오메트리 QP 승수 (multiplier) 에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고;
    상기 최종 QP 값을 사용하여 상기 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하도록
    구성되는, 장치.
  2. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로,
    상기 노드 QP 오프셋을 결정하기 위해 노드 QP 오프셋 신택스 엘리먼트를 디코딩하고;
    상기 지오메트리 QP 승수를 결정하기 위해 지오메트리 QP 승수 신택스 엘리먼트를 디코딩하도록
    구성되는, 장치.
  3. 제 1 항에 있어서,
    상기 최종 QP 값을 결정하기 위해, 상기 하나 이상의 프로세서들은 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 상기 최종 QP 값을 결정하도록 더 구성되고, 여기서 qpFinal 은 상기 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 상기 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 상기 지오메트리 QP 승수인, 장치.
  4. 제 3 항에 있어서,
    상기 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 장치.
  5. 제 3 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하도록 더 구성되는, 장치.
  6. 제 1 항에 있어서,
    상기 디코딩된 포인트 클라우드를 디스플레이하도록 구성된 디스플레이를 더 포함하는, 장치.
  7. 포인트 클라우드를 인코딩하도록 구성된 장치로서,
    포인트 클라우드 데이터를 저장하도록 구성된 메모리; 및
    회로부에서 구현되고 상기 메모리와 통신하는 하나 이상의 프로세서들
    을 포함하고, 상기 하나 이상의 프로세서들은,
    상기 포인트 클라우드 데이터를 수신하고;
    지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고;
    상기 최종 QP 값을 사용하여 상기 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하도록
    구성되는, 장치.
  8. 제 7 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로,
    상기 노드 QP 오프셋을 나타내는 위해 노드 QP 오프셋 신택스 엘리먼트를 인코딩하고;
    상기 지오메트리 QP 승수를 나타내는 지오메트리 QP 승수 신택스 엘리먼트를 인코딩하도록
    구성되는, 장치.
  9. 제 7 항에 있어서,
    상기 최종 QP 값을 결정하기 위해, 상기 하나 이상의 프로세서들은 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 상기 최종 QP 값을 결정하도록 더 구성되고, 여기서 qpFinal 은 상기 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 상기 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 상기 지오메트리 QP 승수인, 장치.
  10. 제 9 항에 있어서,
    상기 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 장치.
  11. 제 9 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하도록 더 구성되는, 장치.
  12. 제 7 항에 있어서,
    상기 포인트 클라우드 데이터를 생성하도록 구성된 센서를 더 포함하는, 장치.
  13. 포인트 클라우드를 디코딩하는 방법으로서,
    인코딩된 포인트 클라우드 데이터를 수신하는 단계;
    지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및
    상기 최종 QP 값을 사용하여 상기 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하는 단계를 포함하는, 방법.
  14. 제 13 항에 있어서,
    상기 노드 QP 오프셋을 결정하기 위해 노드 QP 오프셋 신택스 엘리먼트를 디코딩하는 단계; 및
    상기 지오메트리 QP 승수를 결정하기 위해 지오메트리 QP 승수 신택스 엘리먼트를 디코딩하는 단계를 더 포함하는, 방법.
  15. 제 13 항에 있어서,
    상기 최종 QP 값을 결정하는 단계는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 상기 최종 QP 값을 결정하는 단계를 포함하고, 여기서 qpFinal 은 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 상기 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 상기 지오메트리 QP 승수인, 방법.
  16. 제 15 항에 있어서,
    상기 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 방법.
  17. 제 15 항에 있어서,
    상기 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하는 단계를 더 포함하는, 방법.
  18. 제 13 항에 있어서,
    상기 디코딩된 포인트 클라우드를 디스플레이하는 단계를 더 포함하는, 방법.
  19. 포인트 클라우드를 인코딩하는 방법으로서,
    포인트 클라우드 데이터를 수신하는 단계;
    지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하는 단계; 및
    상기 최종 QP 값을 사용하여 상기 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하는 단계를 포함하는, 방법.
  20. 제 19 항에 있어서,
    상기 노드 QP 오프셋을 나타내는 노드 QP 오프셋 신택스 엘리먼트를 인코딩하는 단계; 및
    상기 지오메트리 QP 승수를 나타내는 지오메트리 QP 승수 신택스 엘리먼트를 인코딩하는 단계를 더 포함하는, 방법.
  21. 제 19 항에 있어서,
    상기 최종 QP 값을 결정하는 단계는 식: qpFinal = ((base_qp + slice_qp) << geom_qp_multiplier_log2) + (node_qp_offset << geom_qp_multiplier_log2) 에 따라 상기 최종 QP 값을 결정하는 단계를 포함하고, 여기서 qpFinal 은 상기 최종 QP 값이고, base_qp 는 기본 QP 값이고, slice_qp 는 슬라이스 QP 값이고, node_qp_offset 은 상기 노드 QP 오프셋이고, geom_qp_multiplier_log2 는 상기 지오메트리 QP 승수인, 방법.
  22. 제 21 항에 있어서,
    상기 노드 QP 오프셋은 (1 << geom_qp_multiplier_log2) 의 배수인, 방법.
  23. 제 21 항에 있어서,
    상기 최종 QP 값을 (1 << geom_qp_multiplier_log2) 로 반올림하는 단계를 더 포함하는, 방법.
  24. 제 19 항에 있어서,
    상기 포인트 클라우드 데이터를 생성하는 단계를 더 포함하는, 방법.
  25. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 포인트 클라우드를 인코딩하도록 구성된 디바이스의 하나 이상의 프로세서들로 하여금,
    포인트 클라우드 데이터를 수신하고;
    지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고;
    상기 최종 QP 값을 사용하여 상기 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하게
    하는, 비일시적 컴퓨터 판독가능 저장 매체.
  26. 포인트 클라우드를 인코딩하도록 구성된 장치로서,
    포인트 클라우드 데이터를 수신하기 위한 수단;
    지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하기 위한 수단; 및
    상기 최종 QP 값을 사용하여 상기 포인트 클라우드 데이터를 인코딩하여, 인코딩된 포인트 클라우드를 생성하기 위한 수단을 포함하는, 장치.
  27. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 포인트 클라우드를 디코딩하도록 구성된 디바이스의 하나 이상의 프로세서들로 하여금,
    인코딩된 포인트 클라우드 데이터를 수신하고;
    지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하고;
    상기 최종 QP 값을 사용하여 상기 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하게
    하는, 비일시적 컴퓨터 판독가능 저장 매체.
  28. 포인트 클라우드를 디코딩하도록 구성된 장치로서,
    인코딩된 포인트 클라우드 데이터를 수신하기 위한 수단;
    지오메트리 QP 승수에 의해 곱해진 노드 QP 오프셋의 함수로서 상기 포인트 클라우드 데이터에 대한 최종 양자화 파라미터 (QP) 값을 결정하기 위한 수단; 및
    상기 최종 QP 값을 사용하여 상기 인코딩된 포인트 클라우드 데이터를 디코딩하여, 디코딩된 포인트 클라우드를 생성하기 위한 수단을 포함하는, 장치.
KR1020237009852A 2020-10-05 2021-10-04 지오메트리 기반 포인트 클라우드 압축 (g-pcc) 에서 양자화 파라미터 값들의 스케일링 KR20230084136A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063087805P 2020-10-05 2020-10-05
US63/087,805 2020-10-05
US17/492,095 US11869220B2 (en) 2020-10-05 2021-10-01 Scaling of quantization parameter values in geometry-based point cloud compression (G-PCC)
US17/492,095 2021-10-01
PCT/US2021/053390 WO2022076316A1 (en) 2020-10-05 2021-10-04 Scaling of quantization parameter values in geometry-based point cloud compression (g-pcc)

Publications (1)

Publication Number Publication Date
KR20230084136A true KR20230084136A (ko) 2023-06-12

Family

ID=80931559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237009852A KR20230084136A (ko) 2020-10-05 2021-10-04 지오메트리 기반 포인트 클라우드 압축 (g-pcc) 에서 양자화 파라미터 값들의 스케일링

Country Status (8)

Country Link
US (1) US11869220B2 (ko)
EP (1) EP4226328A1 (ko)
JP (1) JP2023544689A (ko)
KR (1) KR20230084136A (ko)
CN (1) CN116235213A (ko)
BR (1) BR112023005368A2 (ko)
TW (1) TW202232950A (ko)
WO (1) WO2022076316A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869220B2 (en) * 2020-10-05 2024-01-09 Qualcomm Incorporated Scaling of quantization parameter values in geometry-based point cloud compression (G-PCC)
WO2023225091A1 (en) * 2022-05-17 2023-11-23 Qualcomm Incorporated Geometry coordinate scaling for ai-based dynamic point cloud coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2499865B (en) * 2012-03-02 2016-07-06 Canon Kk Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
US10275564B2 (en) * 2016-06-17 2019-04-30 The Boeing Company System for analysis of a repair for a structure
US11477483B2 (en) * 2020-01-08 2022-10-18 Apple Inc. Video-based point cloud compression with variable patch scaling
US11924428B2 (en) * 2020-06-24 2024-03-05 Qualcomm Incorporated Scale factor for quantization parameter values in geometry-based point cloud compression
JP7499665B2 (ja) * 2020-09-29 2024-06-14 Kddi株式会社 点群復号装置、点群復号方法及びプログラム
US11869220B2 (en) * 2020-10-05 2024-01-09 Qualcomm Incorporated Scaling of quantization parameter values in geometry-based point cloud compression (G-PCC)
CN115474058A (zh) * 2021-06-11 2022-12-13 维沃移动通信有限公司 点云编码处理方法、点云解码处理方法及相关设备
WO2023059987A1 (en) * 2021-10-04 2023-04-13 Qualcomm Incorporated Inter prediction coding with radius interpolation for predictive geometry-based point cloud compression

Also Published As

Publication number Publication date
JP2023544689A (ja) 2023-10-25
CN116235213A (zh) 2023-06-06
US11869220B2 (en) 2024-01-09
TW202232950A (zh) 2022-08-16
WO2022076316A1 (en) 2022-04-14
US20220108486A1 (en) 2022-04-07
EP4226328A1 (en) 2023-08-16
BR112023005368A2 (pt) 2023-05-09

Similar Documents

Publication Publication Date Title
US11645812B2 (en) Inter-component residual prediction for color attributes in geometry point cloud compression coding
KR20220166790A (ko) 지오메트리 기반 포인트 클라우드 압축에서의 각도 및 방위각 모드들에 대한 레이저 각도들의 코딩
KR20230020418A (ko) G-pcc 에서의 속성 잔차 코딩
CN116325749A (zh) G-pcc中的预测几何编解码
KR20220164701A (ko) 지오메트리 기반 포인트 클라우드 압축 (g-pcc) 을 위한 2 차 컴포넌트 속성 코딩
KR20220164702A (ko) 지오메트리 기반 포인트 클라우드 압축에서의 각도 및 방위각 모드들에 대한 레이저 각도들의 코딩
KR20220165245A (ko) 지오메트리 기반 포인트 클라우드 압축 (g-pcc) 을 위한 2 차 컴포넌트 속성 코딩
KR20230084147A (ko) 포인트 클라우드 압축을 위한 예측 기하학 코딩에서의 레이저 인덱스 클리핑
KR20230127219A (ko) 지오메트리 코딩을 위한 인터 및 인트라 예측을 위한 하이브리드 트리 코딩
US11869220B2 (en) Scaling of quantization parameter values in geometry-based point cloud compression (G-PCC)
US11651551B2 (en) Coding of component of color attributes in geometry-based point cloud compression (G-PCC)
US12003768B2 (en) Residual coding for geometry point cloud compression
US11924428B2 (en) Scale factor for quantization parameter values in geometry-based point cloud compression
KR20230081708A (ko) 지오메트리 포인트 클라우드 압축에서의 각도 모드 및 트리 내 양자화
US20230177739A1 (en) Local adaptive inter prediction for g-pcc
KR20230167031A (ko) 지오메트리 포인트 클라우드 압축을 위한 잔차 코딩
KR20230027033A (ko) 지오메트리 기반 포인트 클라우드 압축 (g-pcc) 을 위한 소팅된 레이저 각도들
WO2023102484A1 (en) Local adaptive inter prediction for g-pcc
CN117083858A (zh) 用于几何点云压缩的残差译码