KR20190126295A - 인 루프 필터를 선택적으로 적용하여 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 장치 - Google Patents

인 루프 필터를 선택적으로 적용하여 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 장치 Download PDF

Info

Publication number
KR20190126295A
KR20190126295A KR1020197021694A KR20197021694A KR20190126295A KR 20190126295 A KR20190126295 A KR 20190126295A KR 1020197021694 A KR1020197021694 A KR 1020197021694A KR 20197021694 A KR20197021694 A KR 20197021694A KR 20190126295 A KR20190126295 A KR 20190126295A
Authority
KR
South Korea
Prior art keywords
image content
degree image
boundary
projection
loop filter
Prior art date
Application number
KR1020197021694A
Other languages
English (en)
Inventor
스리 니치스 아쿨라
아미스 드소자
아누브하브 싱
람쿠마 코빌 칸타대
쉬라그 푸자라
라지 나라야나 가데
최광표
엘레나 알쉬나
최웅일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190126295A publication Critical patent/KR20190126295A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232—Special driving of display border areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시의 실시예들은 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법을 개시한다. 상기 방법은 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하는 단계를 포함하며, 적어도 하나의 불연속 경계는 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지된다. 또한, 상기 방법은 하나 이상의 재구성된 블록들을 360도 이미지 컨텐츠로부터 획득하는 단계를 포함한다. 재구성된 블록들은 360도 이미지 컨텐츠로부터 생성된다. 또한 상기 방법은 적어도 하나의 이미지 컨텐츠 불연속 경계가 존재하지 않는 경우 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하거나 적어도 하나의 불연속 경계 주위에 위치된 상기 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링함을 수행하는 단계를 포함한다.

Description

인 루프 필터를 선택적으로 적용하여 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 장치
본 발명은 컨텐츠 처리에 관한 것으로, 보다 상세하게는 인 루프 필터를 선택적으로 적용하여 전자 디바이스의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 시스템에 관한 것이다. 본 출원은 2017년 3월 30일자로 출원된 인도 출원 번호 201741011436에 기초하여 우선권을 향유하며, 그 개시 내용은 본원에 참조로써 포함된다.
360도 비디오 컨텐츠를 표현하는 것으로 알려진 다양한 프로젝션 포맷들은 등-직각(equi-rectangualr) 포맷, 20 면체(Icosahedron) 포맷, 8 면체 포맷 및 큐브 매핑 포맷을 포함한다. 비디오 코딩 표준을 사용하는 전자 디바이스에서 직사각형 프로젝션에 360도 비디오를 제작하기 위해 많은 종래의 설계들이 제안된다. 종래의 비디오 코딩 표준은 일반적으로 공간 및 시간 리던던시(redundancy)를 활용하기 위해 블록 기반 코딩 기술을 채택한다. 예를 들어, 기본 접근법으로는 소스 프레임을 복수의 블록들로 분할하고, 각 블록에 대해 인트라 예측/인터 예측을 수행하고, 각 블록의 잔차들을 변환하며, 양자화 및 엔트로피 인코딩을 수행하는 것들이 있다. 또한, 재구성된 프레임이 생성되어, 후속하는 블록들을 코딩하기 위해 사용되는 참조 픽셀 데이터를 제공한다. 특정 비디오 코딩 표준에 대해, 재구성된 프레임의 이미지 품질을 향상시키기 위해 인 루프 필터가 사용될 수 있다. 비디오 인코더에 의해 수행되는 비디오 인코딩 동작의 역 동작을 수행하는데 비디오 디코더가 사용된다. 예를 들어, 후속하는 블록들을 디코딩 하는데 사용되는 참조 픽셀 데이터를 제공하기 위해 비디오 디코더에서 재구성된 프레임이 생성되고, 재구성된 프레임의 이미지 품질을 향상시키기 위해 인 루프 필터가 비디오 디코더에 의해 사용된다.
종래의 비디오 코딩 표준에서, 더 높은 주관적이고 객관적인 품질을 달성하기 위해 인 루프 필터링 처리를 사용함으로써 코딩 오류로 인한 블록 경계 아티팩트가 거의 제거될 수 있다. 그러나 360도 이미지 컨텐츠를 갖는 이미지 프레임은 코딩 오류에 기인하지 않는 이미지 컨텐츠 불연속 엣지를 가질 수 있다. 종래의 인 루프 필터링 처리는 그러한 불연속들을 감지하지 못한다. 결과적으로, 이러한 불연속 엣지는 인 루프 필터링 처리에 의해 국부적으로 흐려질 수 있다. 이로 인해 원하지 않는 이미지 품질 저하가 야기된다. 또한 현재의 프로젝션 포맷은 구형(spherical) 컨텐츠를 2D 평면 컨텐츠로 변환하는 동안 불연속들로 인해 어려움을 겪는다.
따라서, 전술한 단점 또는 다른 단점을 해소하거나 적어도 유용한 대안을 제공함이 바람직하다.
본 개시의 실시예들의 주 목적은 전자 디바이스 내의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하기 위한 방법 및 시스템을 제공하는 것이다.
본 개시의 실시예의 다른 목적은 360도 이미지 컨텐츠로부터 재구성된 블록들의 세트를 획득하는 것이며, 360도 이미지 컨텐츠는 직사각형 프로젝션에 배열 된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현된다.
본 개시의 실시예의 다른 목적은 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하는 것이며, 적어도 하나의 불연속 경계는 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지된다.
본 개시의 실시예의 다른 목적은 구형 컨텐츠를 2 차원 평면 컨텐츠로 변환하는 동안, 이미지 컨텐츠 불연속 경계를 감지하는 것이다.
본 개시의 실시예의 다른 목적은 비 압축 프로젝션 포맷을 2 차원 직사각형 포맷으로 변환하는 동안 이미지 컨텐츠 불연속 경계를 감지하는 것이다.
본 개시의 실시예의 다른 목적은 적어도 하나의 이미지 컨텐츠 불연속 경계가 감지됨에 응답으로 이미지 프레임 내 적어도 하나의 불연속 경계 주위에 위치된 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링하는 것이다.
본 개시의 실시예의 다른 목적은 적어도 하나의 이미지 컨텐츠 불연속 경계가 감지되지 않음에 응답으로 이미지 프레임 내 적어도 하나의 연속 영역에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하는 것이다.
본 개시의 실시예의 다른 목적은 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 블리딩(bleeding) 효과를 관리하기 위해 적어도 하나의 이미지 컨텐츠 불연속 경계 주위에 위치된 재구성된 블록들에 인 루프 필터링 기능을 적용하지 않는 적어도 하나의 인 루프 필터를 제공하는 것이다.
본 개시의 실시예의 다른 목적은 이미지 프레임 내의 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 적어도 하나의 픽셀을 관리하기 위해 적어도 하나의 이미지 컨텐츠 불연속 경계에 위치된 재구성된 블록들에 인 루프 필터링 기능을 적용하지 않는 적어도 하나의 인 루프 필터를 제공하는 것이다.
본 개시의 실시예의 다른 목적은 이미지 프레임 내의 적어도 하나의 연속 영역에 적어도 하나의 인 루프 필터를 적용함으로써 360도 프로젝션 레이아웃을 제작하도록 재구성된 블록들의 세트를 처리하는 것이다.
따라서, 본 개시의 실시예는 전자 디바이스의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법을 개시한다. 본 개시의 방법은 직사각형 프로젝션에 배열된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현되는 360도 이미지 컨텐츠를 획득하는 단계를 포함한다. 또한, 본 개시의 방법은 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하는 단계를 포함한다. 적어도 하나의 불연속 경계는 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지된다. 또한, 본 개시의 방법은 하나 이상의 재구성된 블록들을 360도 이미지 컨텐츠로부터 획득하는 단계를 포함한다. 재구성된 블록들은 360도 이미지 컨텐츠로부터 생성된다. 또한, 본 개시의 방법은 적어도 하나의 이미지 컨텐츠 불연속 경계가 존재하지 않는 경우 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하거나 적어도 하나의 불연속 경계 주위에 위치된 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링함을 수행하는 단계를 포함한다. 또한, 본 개시의 방법은 전자 디바이스의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 적어도 하나의 이미지 컨텐츠 불연속 경계는 이미지 프레임 내에서 이웃하는 재구성된 블록들 사이에 위치된다.
본 개시의 일 실시예에 따르면, 구형 컨텐츠를 2 차원 평면 컨텐츠로 변환하는 동안, 이미지 컨텐츠 불연속 경계가 감지된다.
본 개시의 일 실시예에 따르면, 비 압축 프로젝션 포맷을 2 차원 직사각형 포맷으로 변환하는 동안, 이미지 컨텐츠 불연속 경계가 감지된다.
본 개시의 일 실시예에 따르면, 적어도 하나의 인 루프 필터는 디 블로킹 필터, SAO 필터 및 ALF 중 적어도 하나를 포함한다.
본 개시의 일 실시예에 따르면, 적어도 하나의 인 루프 필터는 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 블리딩 효과를 관리하기 위해 적어도 하나의 이미지 컨텐츠 불연속 경계 주위에 위치된 재구성된 블록들에 인 루프 필터링 기능을 적용하지 않는다.
본 개시의 일 실시예에 따르면, 적어도 하나의 인 루프 필터는 이미지 프레임 내의 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 적어도 하나의 픽셀을 관리하기 위해 적어도 하나의 이미지 컨텐츠 불연속 경계에 위치된 재구성된 블록들에 인 루프 필터링 기능을 적용하지 않는다. 본 개시의 일 실시예에 따르면, 재구성된 블록들의 세트는 이미지 프레임 내의 적어도 하나의 연속 영역에 적어도 하나의 인 루프 필터를 적용함으로써 360도 프로젝션 레이아웃을 제작하도록 처리된다.
본 개시의 일 실시예에 따르면, 적어도 하나의 인 루프 필터는 이미지 프레임 내의 적어도 하나의 연속 영역에 적용되고, 적어도 하나의 인 루프 필터는 이미지 프레임 내의 적어도 하나의 이미지 컨텐츠 불연속 경계에서 제거된다.
본 개시의 일 실시예에 따르면, 적어도 하나의 인 루프 필터는 비디오 인코딩 처리 및 비디오 디코딩 처리 중 적어도 하나에 적용된다.
본 개시의 일 실시예에 따르면, 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 동안, 프로젝션 타입, 프레임 패킹 타입 및 루프 필터 디스 에이블 플래그에 관한 정보 중 적어도 하나는 비트 스트림 헤더에서 시그널링 된다.
따라서, 본 개시의 실시예는 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하기 위한 전자 디바이스를 개시한다. 상기 전자 디바이스는 메모리 및 프로세서에 연결된 인 루프 필터 제어부를 포함한다. 상기 인 루프 필터 제어부는 직사각형 프로젝션에 배열된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현되는 360도 이미지 컨텐츠를 획득하도록 구성된다. 상기 인 루프 필터 제어부는 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하도록 구성된다. 적어도 하나의 불연속 경계는 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지된다. 상기 인 루프 필터 제어부는 하나 이상의 재구성된 블록들을 360도 이미지 컨텐츠로부터 획득하도록 구성된다. 재구성된 블록들은 360도 이미지 컨텐츠로부터 생성된다. 상기 인 루프 필터 제어부는 적어도 하나의 이미지 컨텐츠 불연속 경계가 존재하지 않는 경우 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하거나 적어도 하나의 불연속 경계 주위에 위치된 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링함을 수행하도록 구성된다. 상기 인 루프 필터 제어부는 전자 디바이스의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하도록 구성된다.
본 개시의 실시예의 이러한 측면 및 다른 측면은 다음의 설명 및 첨부된 도면과 관련하여 고려될 때 더 잘 이해되고 명확해질 것이다. 그러나, 다음의 설명은 바람직한 실시예 및 그것의 다수의 특정 세부 사항들을 나타내지만, 이는 예시를 위한 것이지 권리범위 한정을 위한 것이 아님을 이해해야 한다. 본 발명의 사상을 벗어나지 않으면서 본 개시의 실시예의 범위 내에서 많은 변경 및 수정이 이루어질 수 있으며, 본 개시의 실시예는 그러한 모든 수정을 포함한다.
본 개시의 방법은 첨부된 도면들에 도시되어 있으며, 도면 전체에 걸쳐 동일한 참조 부호는 다양한 도면에서 대응하는 부분을 나타낸다. 본 개시의 실시예들은 도면을 참조하여 다음의 설명으로부터 더 잘 이해될 것이다.
도 1은 본 개시의 일 실시예에 따른, 비디오 인코더의 블록도를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른, 전자 디바이스 내의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법을 도시한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른, RSP/CMP의 경우 불연속들을 결정하고 수평 필터링을 디스 에이블링하기 위한 다양한 동작을 도시한 흐름도이다.
도 4a 및 도 4b는 본 개시의 일 실시예에 따른, 코딩 유닛(CU)이 경계를 포함하는지 여부에 기초하여 디 블로킹 필터가 턴 오프되는 예시적인 시나리오를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른, 디 블로킹 필터가 필터링 픽셀 위치에 기초하여 턴 오프되는 예시적인 시나리오를 도시한 도면이다.
도 6a는 본 개시의 일 실시예에 따른, 디 블로킹 필터로 인해 블리딩 효과가 도시되는 예시적인 시나리오를 도시한 도면이다.
도 6b는 본 개시의 일 실시예에 따른, 구형 컨텐츠를 2 차원 평면 컨텐츠로 변환하는 동안, 디 블로킹 필터를 디스 에이블링함으로써 블리딩 효과가 제거되는 예시적인 시나리오를 도시한 도면이다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른, 디 블로킹 온 상태 및 디 블로킹 오프 상태일 때 나타나는 블리딩 효과의 예시적인 시나리오를 도시한 도면이다.
도 8a 내지 도 8d는 본 개시의 일 실시예에 따른, 다양한 상태에 대해 나타나는 블리딩 효과의 예시적인 시나리오를 도시한 도면이다.
도 9a는 본 개시의 일 실시예에 따른, 불연속들이 큐브-맵 기반 프로젝션 포맷에 대한 최대 코딩 유닛(LCU) 경계에 배열되지 않는 예시적인 시나리오를 도시한 도면이다.
도 9b는 본 개시의 일 실시예에 따른, 불연속들이 ISP 기반 프로젝션 포맷에 대한 LCU 경계에 배열되지 않는 예시적인 시나리오를 도시한 도면이다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른, RSP 기반 프로젝션 포맷의 경우에 불연속들을 도시한 도면이다.
본 개시의 실시예 및 그 다양한 특징들 및 세부 사항들은 첨부된 도면들에 도시되고 이하의 상세한 설명에서 상세히 설명되는 비 제한적인 실시 예들을 참조하여 더욱 완전하게 설명된다. 공지된 구성 및 처리 기술의 설명은 본 개시의 실시예를 불필요하게 불명료하게 하지 않기 위해 생략된다. 또한, 새로운 실시예를 형성하기 위해 일부 실시예가 하나 이상의 다른 실시예와 결합될 수 있기 때문에, 본 개시에 설명된 다양한 실시예는 필수적으로 상호 배타적이지 않다. 본 개시에 사용된 용어 "또는"은 달리 명시되지 않는 한 비 배타적인 또는 을 지칭한다. 본 개시에 사용된 실시예는 단지 본 개시의 실시예가 실시될 수 있는 방법의 이해를 용이하게 하고 당업자가 본 개시의 실시예를 실시할 수 있도록 하기 위한 것이다. 따라서, 본 실시예가 본 개시의 실시 양태의 범위를 제한하는 것으로 해석되어서는 안 된다.
당해 기술 분야에서 통상적인 바와 같이, 실시예는 설명된 기능 또는 기능들을 수행하는 블록들에 의해 설명되고 도시될 수 있다. 본 개시에서 부 또는 모듈 등으로 지칭될 수 있는 블록들은 논리 게이트, 집적 회로, 마이크로 프로세서, 마이크로 컨트롤러, 메모리 회로, 수동 전자 부품, 능동 전자 부품, 광학 부품, 하드 와이어드 회로 등과 같은 디지털 회로 또는 아날로그 회로에 의해 물리적으로 구현되고, 선택적으로 펌웨어 및 소프트웨어에 의해 구동될 수 있다. 회로는 예를 들어, 하나 이상의 반도체 칩 또는 인쇄 회로 기판 등과 같은 기판 지지체 상에 구현될 수 있다. 블록을 구성하는 회로는 전용 하드웨어, 또는 프로세서 (예를 들어, 하나 이상의 프로그램된 마이크로 프로세서 및 관련 회로)에 의해, 또는 블록의 일부 기능들을 수행하기 위한 전용 하드웨어와 다른 기능을 수행하기 위한 프로세서의 조합에 의해 구현될 수 있다. 실시예의 각 블록은 발명의 범위를 벗어나지 않으면서 2 이상의 인터랙팅하고 개별적인 블록들로 물리적으로 분리될 수 있다. 마찬가지로, 실시예의 블록은 발명의 범위를 벗어나지 않으면서 더 복잡한 블록으로 물리적으로 결합될 수 있다.
첨부된 도면은 다양한 기술적 특징을 쉽게 이해하도록 하기 위해 사용되며, 본 개시에 제시된 실시예는 첨부 도면에 의해 제한되지 않음을 이해해야 한다. 이처럼, 본 개시는 첨부된 도면에 구체적으로 제시된 것에 추가로 임의의 변경, 등가물 및 대체물로 확장되는 것으로 해석되어야 한다. 본 개시의 제 1, 제 2 등의 용어는 다양한 엘리먼트들을 설명하기 위해 사용될 수 있지만, 이 엘리먼트들이 이 용어들에 의해 제한되어서는 안 된다. 이 용어들은 오직 하나의 엘리먼트를 다른 엘리먼트와 구별하기 위해 사용된다.
따라서, 본 개시의 실시예는 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하기 위한 전자 디바이스를 성취한다. 전자 장치는 메모리 및 프로세서에 연결된 인 루프 필터 제어부를 포함한다. 인 루프 필터 제어부는 직사각형 프로젝션에 배열된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현되는 360도 이미지 컨텐츠를 획득하도록 구성된다. 인 루프 필터 제어부는 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하도록 구성된다. 적어도 하나의 불연속 경계는 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지된다. 인 루프 필터 제어부는 360도 이미지 컨텐츠로부터 하나 이상의 재구성된 블록들을 획득하도록 구성된다. 재구성된 블록들은 360도 이미지 컨텐츠로부터 생성된다. 인 루프 필터 제어부는, 적어도 하나의 이미지 컨텐츠 불연속 경계가 존재하지 않는 경우 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하거나 적어도 하나의 불연속 경계 주위에 위치된 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링함을 수행하도록 구성된다. 또한, 인 루프 필터 제어부는 전자 장치의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하도록 구성된다.
종래의 방법 및 종래의 시스템과는 달리 제안된 방법은 360 비디오 압축을 위해 선택적인 루프 필터링을 수행하는 데 사용될 수 있다. 제안된 방법은 종래의 코덱에서 루프 필터에 기인한 이음(seam) 아티팩트를 줄여 보다 주관적인 품질을 제공함으로써 가상 현실(VR) 시청 경험을 향상시키는 데 사용될 수 있다. 제안된 방법은 360 컨텐츠 용 인 루프 필터가 있는 종래 코덱을 사용함으로써 존재하는 이음새들을 줄임으로써 압축된 360 비디오의 주관적인 품질을 향상시키는 데 사용될 수 있다.
제안된 방법을 사용하면 더 나은 참조 프레임들을 생성할 수 있으므로 낮은 비트 전송률로 더 높은 객관적 품질(BD-Rate)을 얻을 수 있다. 본 개시의 방법은 종래의 비디오 코덱을 사용하여 인코딩 동안 프로젝션 포맷의 불연속에서만 필터 (예를 들어, 디 블로킹 필터, SAO, ALF 등)를 선택적으로 턴 오프할 수 있다. 이것은 이음새들을 가로 지르는 블리딩 효과를 감소시킨다. 감소된 블리딩은 더 높은 압축 효율을 제공해야 하는 패딩(padding)에 대한 요구를 감소시킨다. 패딩은 이음 경계에서 루프 필터의 영향을 줄이는 데 도움을 준다.
본 개시의 방법을 사용하여 불연속 영역의 경계에서 인 루프 필터를 턴 오프할 수 있다. 이것은 블리딩을 피하도록 하므로 객관적/주관적인 품질을 향상시킬 것이다.
본 개시의 방법은 360 비디오 압축을 위한 프로젝션 포맷들의 불연속들들에서 루프 필터들을 피함으로써 압축된 출력 품질을 향상시키는데 사용될 수 있다. 본 개시의 방법은 보다 적은 계산 복잡성을 가지고 출력의 주관적 품질을 향상시키는 데 사용될 수 있다. 프로젝션 포맷들이 표준화되면 이후 비트 스트림에서 추가 정보를 플래그 할 필요가 없다.
이제 도면들을 참조하면, 특히 도 1 내지 도 10b를 참조하면, 바람직한 실시예들이 도시되어있다.
도 1은 본 개시의 일 실시예에 따른, 비디오 인코더(100)의 블록도를 도시한 도면이다. 비디오 인코더(100)는 이미지 프레임을 인코딩하여 출력 비트 스트림으로서 비트 스트림을 생성하도록 구성된다. 일 예시로서, 이미지 프레임은 비디오 캡처 디바이스 (예를 들어, 카메라 등)로부터 생성될 수 있다. 비디오 인코더는 제어 회로 및 인코딩 회로를 포함한다. 제어 회로는 인코딩 회로의 처리 블록들에 걸쳐 인코더 제어 로직을 제공한다. 일 예시로서, 제어 회로는 인코딩 회로에 대한 인코딩 파라미터들 (예를 들어, 제어 신택스 엘리먼트 등)을 결정할 수 있고, 인코딩 파라미터들은 비디오 인코더로부터 생성된 비트 스트림을 통해 비디오 디코더에 시그널링된다.
일반적으로, 인코딩 회로는 잔차 계산 회로(도시하지 않음), 변환 회로("T"로 표기)(102), 양자화 회로("Q"로 표기)(104), 엔트로피 인코딩 회로(예를 들어, 가변 길이 인코더)(106), 역 양자화 회로("IQ"로 표기)(108), 역 변환 회로("IT"로 표기)(110), 재구성 회로(112), 인 루프 필터 제어부(120), 참조 프레임 버퍼(114), 인터 예측 회로(116)(움직임 추정 회로(이는 "ME"로 표기) 및 움직임 보상 회로("MC"로 표기)를 포함), 인트라 예측 회로("IP"로 표기)(118), 인트라/인터 모드 선택 스위치(도시되지 않음) 및 인 루프 필터 제어부(120)를 포함한다. 잔차 계산 회로는 인코딩 될 현재 블록으로부터 예측 블록을 감산하여 후속 변환 회로(102)에 현재 블록의 잔차를 생성하는데 사용된다. 예측 블록은 인트라/인터 모드 선택 스위치가 선택된 인트라 예측 모드에 의해 제어될 때 인트라 예측 회로(118)로부터 생성될 수 있고, 인트라/인터 모드 선택 스위치가 선택된 인터 예측 모드에 의해 제어될 때 인터 예측 회로(116)로부터 생성될 수 있다. 변환 회로(102) 및 양자화 회로(104)에 의해 순차적으로 처리된 후, 현재 블록의 잔차는 양자화된 변환 계수로 변환되고, 양자화된 변환 계수는 엔트로피 인코딩 회로(106)에서 비트 스트림의 일부가 되도록 엔트로피 인코딩된다.
또한, 인코딩 회로는 내부 디코딩 회로를 포함한다. 따라서, 양자화된 변환 계수는 역양자화 회로(108) 및 역변환 회로(110)를 통해 순차적으로 처리되어 현재 블록의 디코딩된 잔차를 후속하는 재구성 회로(112)에 생성한다. 재구성 회로(112)는 현재 프레임의 디코딩된 잔차와 현재 블록의 예측 블록을 결합하여 참조 프레임 버퍼(114)에 저장된 참조 프레임 (재구성된 프레임)의 재구성된 블록을 생성한다. 인터 예측 회로(116)는 인터 예측 모드 하에서 예측 된 블록을 생성하기 위해 참조 프레임 버퍼(114)에서 하나 이상의 참조 프레임들을 사용할 수 있다. 재구성된 블록이 참조 프레임 버퍼(114)에 저장되기 전에, 인 루프 필터 제어부(120)는 재구성된 블록에 인 루프 필터의 인 루프 필터링 기능을 수행할 수 있다. 일 예시로서, 인 루프 필터는 디 블로킹 필터(DBF), 샘플 적응 오프셋(SAF) 필터 및/또는 적응 루프 필터(ALF)를 포함할 수 있다.
일 실시예에 따르면, 인 루프 필터 제어부(120)는 직사각형 프로젝션에 배열된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현되는 360도 이미지 컨텐츠를 획득하도록 구성된다. 또한 인 루프 필터 제어부(120)는 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하도록 구성된다. 적어도 하나의 불연속 경계는 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지된다. 인 루프 필터 제어부(120)는 하나 이상의 재구성된 블록들을 360도 이미지 컨텐츠로부터 획득하도록 구성된다. 재구성된 블록들은 360도 이미지 컨텐츠로부터 생성된다. 인 루프 필터 제어부(120)는 적어도 하나의 이미지 컨텐츠 불연속 경계가 존재하지 않는 경우 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하거나 적어도 하나의 불연속 경계 주위에 위치된 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링함을 수행하도록 구성된다.
다른 실시예로서, 인 루프 필터 제어부(120)는 적어도 하나의 이미지 컨텐츠 불연속 경계가 감지되지 않음에 응답으로 이미지 프레임 내 적어도 하나의 연속 영역에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하도록 구성된다. 인 루프 필터 제어기 (120)는 전자 장치의 직사각형 프로젝션에 360도 이미지 컨텐츠를 생성하도록 구성된다. 인 루프 필터 제어부(120)는 전자 디바이스의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하도록 구성된다.
일 실시예에 따르면, 적어도 하나의 이미지 컨텐츠 불연속 경계는 이미지 프레임 내의 이웃하는 재구성된 블록들 사이에 위치된다.
일 실시예에 따르면, 구형 컨텐츠를 2 차원 평면 컨텐츠로 변환하는 동안, 이미지 컨텐츠 불연속 경계가 감지된다. 다른 실시예로서, 비 압축 프로젝션 포맷을 2 차원 직사각형 포맷으로 변환하는 동안, 이미지 컨텐츠 불연속 경계가 감지된다.
일 실시예에 따르면, 적어도 하나의 인 루프 필터는 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 블리딩 효과를 관리하기 위해 적어도 하나의 이미지 컨텐츠 불연속 경계 주위에 위치된 재구성된 블록들에 인 루프 필터링 기능을 적용하지 않는다.
일 실시예에 따르면, 적어도 하나의 인 루프 필터는 이미지 프레임 내의 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 적어도 하나의 픽셀을 관리하기 위해 적어도 하나의 이미지 컨텐츠 불연속 경계에 위치된 재구성된 블록들에 인 루프 필터링 기능을 적용하지 않는다. 일 실시예에 따르면, 재구성된 블록들의 세트는 이미지 프레임 내의 적어도 하나의 연속 영역에 적어도 하나의 인 루프 필터를 적용함으로써 360도 프로젝션 레이아웃을 제작하도록 처리된다.
일 실시예에 따르면, 적어도 하나의 인 루프 필터는 이미지 프레임 내의 적어도 하나의 연속 영역에 적용되고, 적어도 하나의 인 루프 필터는 이미지 프레임 내의 적어도 하나의 이미지 컨텐츠 불연속 경계에서 제거된다.
일 실시예에 따르면, 적어도 하나의 인 루프 필터는 비디오 인코딩 처리 및 비디오 디코딩 처리 중 적어도 하나에 적용된다.
비디오 인코더와 유사하게: 비디오 디코더는 전송부 (예를 들어, 유선/무선 통신 링크 등)를 통해 비디오 인코더와 통신할 수 있다. 비디오 디코더는 비트 스트림을 입력 비트 스트림으로서 수신하고 수신된 비트 스트림을 디코딩하여 디코딩된 프레임 이미지를 생성하도록 구성된다. 일 예시로서, 디코딩된 프레임 이미지는 디스플레이 디바이스 상에 디스플레이될 수 있다. 비디오 디코더는 엔트로피 디코딩 회로 (예를 들어, 가변 길이 디코더), 역 양자화 회로 ("IQ"로 표기), 역 변환 회로 ("IT"로 표기), 재구성 회로, 움직임 벡터 계산 회로 ("MV Calculation"으로 표기), 움직임 보상 회로 ("MC"로 표기), 인트라 예측 회로 ("IP"로 표기), 인트라/인터 모드 선택 스위치, 적어도 하나의 인 루프 필터 및 참조 프레임 버퍼를 포함한다.
블록이 인터-코딩될 때, 움직임 벡터 계산 회로가 엔트로피 디코딩 회로에 의해 비트 스트림으로부터 파싱된 정보를 참조하여 디코딩되는 프레임의 현재 블록과 재구성된 프레임이며 참조 프레임 버퍼에 저장된 참조 프레임의 예측 블록 사이의 움직임 벡터를 결정한다. 움직임 보상 회로는 보간 필터링을 수행하여 움직임 벡터에 따른 예된 블록을 생성할 수 있다. 예측 블록은 인트라/인터 모드 선택 스위치에 공급된다. 블록이 인터-코딩되어 있기 때문에, 인트라/인터 모드 선택 스위치는 움직임 보상 회로로부터 생성된 예측 블록을 재구성 회로로 출력한다.
블록이 인트라-코딩된 경우, 인트라 예측 회로가 인트라/인터 모드 선택 스위치로 예측 블록을 생성한다. 블록이 인트라 코딩되어 있기 때문에, 인트라/인터 모드 선택 스위치는 인트라 예측 회로로부터 생성된 예측 블록을 재구성 회로로 출력한다.
또한, 엔트로피 디코딩 회로, 역 양자화 회로 및 역 변환 회로를 통해 블록의 디코딩된 잔차를 획득한다. 재구성 회로는 디코딩된 잔차 및 예측 블록을 결합하여 재구성된 블록을 생성한다. 후속하는 블록들을 디코딩하는데 사용될 수 있는 (재구성된 프레임 인) 참조 프레임의 일부가 되기 위해 재구성된 블록은 참조 프레임 버퍼에 저장될 수 있다. 유사하게, 재구성된 블록이 참조 프레임 버퍼에 저장되기 전에, 인 루프 필터(들)은 지정된 인 루프 필터링을 재구성된 블록에 수행할 수 있다.
일 실시예에 따르면, 본 개시는 인 루프 필터가 코딩 에러들에 기인하는 엣지보다 프로젝션 면들의 패킹에 기인하는 엣지에 인 루프 필터 처리를 적용하는 것을 방지하는 인 루프 필터 제어 방식을 제공한다.
일 실시예에 따르면, 비디오 인코더에 의해 인코딩될 이미지 프레임은 360도 가상 현실 (360 VR) 프로젝션 레이아웃으로 배열된 프로젝션 면들에 의해 표현되는 360도 이미지 컨텐츠를 갖는다. 따라서, 비트 스트림이 비디오 디코더에 의해 디코딩된 후, 디코딩된 이미지 프레임 (즉, 재구성된 프레임)은 또한 동일한 360 VR 프로젝션 레이아웃으로 배열된 프로젝션 면들로 표현되는 360도 이미지 컨텐츠를 갖는다. 프로젝션 면들은 이미지 프레임을 형성하기 위해 패킹된다. 보다 우수한 압축 효율을 달성하기 위해, 채용된 360 VR 프로젝션 레이아웃은 상이한 프로젝션 면들 사이의 연속성을 최대로 달성하기 위해 적절한 순열(permutation) 및/또는 회전으로 패킹된 프로젝션 면들을 가질 수 있다. 그러나, 360도 이미지 컨텐츠 및 프로젝션 포맷의 고유 특성들로 인해, 이미지 프레임 내에 프로젝션 면들의 패킹으로 인한 적어도 하나의 이미지 컨텐츠 불연속 엣지가 있다.
슬라이스/타일/세그먼트 경계에 걸친 인 루프 필터링 처리를 디스 에이블링하기 위해 비디오 코딩 표준 (예를 들어, H.264, H.265 또는 VP9)에서 사용할 수 있는 기존 툴(tool)이 사용될 수 있다. 슬라이스/타일/세그먼트 경계가 또한 프로젝션 면들의 패킹으로 인한 이미지 컨텐츠 불연속 엣지인 경우, 비디오 인코더 및 비디오 디코더에 대한 어떠한 추가 변경 없이 기존 툴을 사용함으로써 인-루프 필터링 처리가 이미지 컨텐츠 불연속 엣지에 디스 에이블링될 수 있다.
슬라이스/타일/세그먼트 경계를 넘어 인 루프 필터링 프로세스를 디스 에이블링하기 위해 비디오 코딩 표준 (예를 들어, H.264, H.265 또는 VP9)에서 사용 가능한 기존의 툴을 사용할 수 있기 때문에, 인 루프 필터 제어부(120)는 파티션 경계 (슬라이스 경계, 타일 경계 또는 세그먼트 경계일 수 있음)에서 인 루프 필터를 디스 에이블링하기 위해 제어 신택스 엘리먼트(들)을 적절히 설정하여, 이미지 컨텐츠 불연속 엣지 (이는 파티션 경계이기도 함)에 위치된 재구성된 블록들에 인 루프 필터링이 적용되지 않도록 할 수 있다. 또한, 비디오 인코더(100)에서 인 루프 필터(들)을 제어하는데 사용되는 제어 신택스 엘리먼트(들)은 비트 스트림을 통해 비디오 디코더에 시그널링되어, 파티션 경계에서 인 루프 필터링 처리를 디스 에이블링함과 동일한 목적을 달성하기 위해 비디오 인코더(100)에서의 인 루프 필터(들)이 시그널링된 제어 신택스 엘리먼트(들)에 의해 제어된다.
일 실시예에 따르면, 비트 스트림 헤더에서, 프로젝션 타입, 프레임 패킹 타입 및 루프 필터 디스 에이블 플래그에 관한 정보가 시그널링될 것이다. 3개의 파라미터들로부터, 바이패싱(bypass)될 경계는 고유하게 정의된다. 일 예시로서, 프로젝션 타입이 CMP이고 프레임 패킹 타입이 3x2이고 루프 필터 디스 에이블 플래그가 1로 설정된 경우, 디 블로킹, SAO 및 ALF(In-loop filters)를 수행하는 동안 중간 (노란색) 경계가 바이패싱될 것이다.
omnidirectional_projection_indication( payloadSize ) { Descriptor
omni_flag u(1)
if(omni_flag) { 　
projection_type u(4)
packing_type u(2)
dblk_off
}
} 		u(1)
이 예시에서 프로젝션 타입이 큐브 맵이고 패킹 타입이 3x2이며 dblk_off가 1로 설정되고 이미지가 "큐브 맵 3x2"으로 제목이 붙은 경우, (이텔릭체로 표시된) 경계에 있는 픽셀들이 인 루프 필터링 처리에서 제외될 것이다.
비디오 인코더(100) 및 비디오 디코더는 전자 디바이스에 구현된다. 전자 디바이스는 예를 들어, 스마트 폰, 개인 휴대 정보 단말기(PDA), 태블릿 컴퓨터, 랩톱 컴퓨터, VR 헤드셋 등일 수 있지만, 이에 제한되는 것은 아니다.
도 1은 비디오 인코더(100)의 다양한 하드웨어 구성들을 도시하지만, 다른 실시예들이 이에 제한되는 것은 아님을 이해해야 한다. 다른 실시예들에서, 비디오 인코더(100)는 더 적은 또는 더 많은 수의 구성들을 포함할 수 있다. 또한, 구성들의 라벨 또는 명칭은 설명의 목적으로만 사용되며, 본 개시의 실시예의 범위를 제한하지 않는다. 하나 이상의 구성들은 비디오 인코더(100)에서 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하기 위해 동일하거나 실질적으로 유사한 기능을 수행하도록 함께 결합될 수 있다.
전자 디바이스 내의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법을 도시한 흐름도(200)이다. 동작(202-212)은 인 루프 필터 제어부(120)에 의해 수행된다.
202에서, 상기 방법은 직사각형 프로젝션/직사각형 레이아웃에 배열된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현되는 360도 이미지 컨텐츠를 획득하는 단계를 포함한다. 204에서, 상기 방법은 360도 이미지 컨텐츠로부터 하나 이상의 재구성된 블록들을 획득하는 단계를 포함한다. 206에서, 상기 방법은 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하는 단계를 포함한다. 적어도 하나의 불연속 경계는 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지된다.
적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하지 않으면, 208에서, 상기 방법은 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인 에이블링하는 단계를 포함한다. 적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하면, 210에서, 상기 방법은 적어도 하나의 불연속 경계 주위에 위치된 360도 이미지 컨텐츠의 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링하는 단계를 포함한다. 212에서, 상기 방법은 전자 디바이스의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 단계를 포함한다.
흐름도(200)의 다양한 액션, 동작, 블록, 단계 등은 제시된 순서로, 다른 순서로 또는 동시에 수행될 수 있다. 또한, 일부 실시예들에서, 본 개시의 실시 예들의 범위를 벗어나지 않으면서, 액션, 동작, 블록, 단계 등의 일부가 생략되거나, 추가되거나, 수정되거나, 스킵될 수 있다.
도 3은 본 개시의 실시예에 따른, RSP/CMP의 경우 불연속들을 결정하고 수평 필터링을 디스 에이블링하기 위한 다양한 동작을 도시한 흐름도(300)이다. 동작(302-312)은 인 루프 필터 제어부(120)에 의해 수행된다. 302에서, 상기 방법은 필터링될 블록의 제 1 픽셀의 위치 (X 축 및 Y 축 위치)를 획득하는 단계를 포함한다. 304에서, 상기 방법은 고 레벨 시그널링 메타데이터 또는 임의의 다른 미리 정의된 로직에 기초하여 360 비디오의 프로젝션 포맷을 결정하는 단계를 포함한다. 프로젝션 포맷이 등-직각(equi-rectangualr) 포맷 프로젝션인 경우, 306에서, 상기 방법은 프레임에서 인 루프 필터링을 디스 에이블링하지 않는다. 프로젝션 포맷이 회전된 구형 프로젝션 (RSP) 또는 큐브 맵 (CMP) 또는 조정된 큐브 맵 (ACMP) 중 하나인 경우, 308에서, 상기 방법은 블록의 y 축 위치가 [height/2 - filt_size] 에서 [height/2 + filt_size] 범위 내에 있는지를 검사하는 단계를 포함한다. 블록의 y 축 위치가 [height/2 - filt_size] 에서 [height/2 + filt_size] 범위 내에 있지 않으면 310에서, 상기 방법은 인 루프 필터를 수행하는 단계를 포함한다. 블록의 y 축 위치가 [height/2 - filt_size] 에서 [height/2 + filt_size] 범위 내에 있지 않으면, 312에서, 상기 방법은 블록에 인 루프 필터를 디스 에이블링하는 단계를 포함한다.
일 실시예에 따르면, 픽셀들의 3 차원 좌표들은 이음새 경계의 위치를 계산하는데 사용된다. 좌표 위치에서, 바이패싱될 경계가 고유하게 식별된다. 예를 들어, 인 루프 필터링을 디스 에이블링 하도록 결정한 블록이 식별된다. 블록의 모든 픽셀들의 위도 및 경도 위치들이 식별된다. 식별된 블록의 모든 픽셀들의 위도 및 경도 위치들이 특정 임계 값을 초과하면 식별된 블록에 대해 인 루프 필터링이 디스 에이블링된다. 식별된 블록의 픽셀들의 위도 및 경도 위치들이 특정 임계 값 내에 있으면 상기 블록에 인 루프 필터링이 수행된다. 유사성을 결정하는 임계 값은 고정된 값으로 설정되거나 블록의 위도 및 경도 위치의 평균 분산으로부터 추론될 수 있다.
흐름도(300)의 다양한 액션, 동작, 블록, 단계 등은 제시된 순서로, 다른 순서로 또는 동시에 수행될 수 있다. 또한, 일부 실시예들에서, 본 개시의 실시 예들의 범위를 벗어나지 않으면서, 액션, 동작, 블록, 단계 등의 일부가 생략되거나, 추가되거나, 수정되거나, 스킵될 수 있다.
도 4a 및 도 4b는 본 개시의 일 실시예에 따른, 코딩 유닛(CU)이 경계를 포함하는지 여부에 기초하여 디 블로킹 필터가 턴 오프되는 예시적인 시나리오를 도시한 도면이다. 도 4a에서, 이음새 경계를 따르는 픽셀들은 디 블로킹 필터의 영향을 받으므로, 디 블로킹 필터는 디스 에이블링된다. 도 4b에서, 이음새 경계를 따르는 픽셀들은 디 블로킹 필터의 영향을 받지 않으므로, 블록에 디 블로킹 필터가 인 에이블링된다.
도 5는 본 개시의 일 실시예에 따른, 디 블로킹 필터가 필터링 픽셀 위치에 기초하여 턴 오프되는 예시적인 시나리오를 도시한 도면이다. 인 루프 필터를 디스 에이블링하기 위한 다른 절차가 설명되며, 필터링은 정의된 수의 픽셀들에 대해서만 이음새 경계에 걸쳐서 디스 에이블링된다. 나머지 픽셀들은 인 루프 필터를 사용하여 필터링된다. 필터링 처리는 외부 경계 상의 픽셀들이 필터링 처리에 포함되는지 여부에 따라 픽셀 단위로 제어된다. 픽셀이 외부 경계의 픽셀들로 필터링되는 경우, 상기 픽셀은 필터링되어선 안 된다.
도 6a는 본 개시의 일 실시예에 따른, 디 블로킹 필터로 인해 블리딩 효과가 도시되는 예시적인 시나리오를 도시한 도면이다. 도 6b는 본 개시의 일 실시예에 따른, 구형 컨텐츠를 2 차원 평면 컨텐츠로 변환하는 동안, 디 블로킹 필터를 디스 에이블링함으로써 블리딩 효과가 제거되는 예시적인 시나리오를 도시한 도면이다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른, 디 블로킹 온 상태 및 디 블로킹 오프 상태일 때 나타나는 블리딩 효과의 예시적인 시나리오를 도시한 도면이다. 도 7a는 디 블로킹 필터 없이 블리딩 효과를 도시한 도면이다. 도 7b는 디 블로킹 필터와 함께 블리딩 효과를 도시한 도면이다.
도 8a 내지 도 8d는 본 개시의 일 실시예에 따른, 다양한 상태에 대해 나타나는 블리딩 효과의 예시적인 시나리오를 도시한 도면이다. 도 8a는 디 블로킹 필터 및 ALF가 온 일 때 블리딩 효과를 도시한 도면이다. 도 8b는 디 블로킹 필터 및 ALF가 오프 일 때 블리딩 효과를 도시한 도면이다.
도 8c는 디 블로킹 필터가 온 이고 ALF가 오프 인 경우의 블리딩 효과를 도시한 도면이다. 도 8d는 디 블로킹 필터가 오프이고 ALF가 온 일 때 블리딩 효과를 도시한 도면이다.
도 9a는 본 개시의 일 실시예에 따른, 불연속들이 큐브-맵 기반 프로젝션 포맷에 대한 LCU 경계에 배열되지 않는 예시적인 시나리오를 도시한 도면이다.
타일들은 HEVC의 경우 64x64이고 장래 표준에서 더 높은 LCU 배수 (예를 들어, 256x256)가 될 수 있다. 도 9a는 큐브 맵 기반 프로젝션의 경우로서, 면 불연속들이 LCU 경계 상에 있을 필요가 없다는 것을 나타내며, 이는 타일들을 사용하는 것이 제안된 방법 (즉, 인 루프 필터가 타일에 걸쳐 적용되지 않음)에 대한 대안이 될 수 없다는 것을 의미한다. 유사한 로직이 Icosahedron Projection (ISP), 직사각형 서브 픽처(RSP) 포맷, ACP, EAC, ECP (큐브 맵 기반 프로젝션들) 등과 같은 다른 360 프로젝션 포맷들에도 적용된다.
도 9b는 본 개시의 일 실시예에 따른, 불연속들이 ISP 기반 프로젝션 포맷에 대한 LCU 경계에 배열되지 않는 예시적인 시나리오를 도시한 도면이다. 도 9b에서, 불연속들은 결코 LCU 배열될 수 없는 대각선일 수도 있다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른, RSP 기반 프로젝션 포맷의 경우에 불연속들을 도시한 도면이다. 도 10a에서, 불연속들은 절대로 LCU 배열될 수 없는 아크(arc)일 수도 있다. 도 10b에서, 불연속들은 절대로 LCU 배열될 수 없는 아크일 수도 있다. 아크 엣지들은 불연속들을 포함할 것이다. 이러한 불연속들을 따라 이후의 처리가 수행되면 블리딩 발생할 것이다. 이로 인해 360 비디오들을 결과로 한다. 이러한 불연속들은 LCU 배열될 수 없다.
본 개시의 실시예들은 적어도 하나의 하드웨어 디바이스에서 실행되는 적어도 하나의 소프트웨어 프로그램을 사용하고 엘리먼트들을 제어하기 위한 네트워크 관리 기능들을 수행하여 구현될 수 있다.
특정 실시예에 대해 전술한 설명은 당업자들이, 현재의 지식을 적용함으로써, 일반적 개념을 벗어나지 않으면서 특정 실시예들을 다양한 애플리케이션에 용이하게 수정 및/또는 적응할 수 있는 본원 실시예들의 일반적인 성질을 완전히 밝힐 것이며, 따라서 그러한 적응 및 수정은 개시된 실시예들의 등가물의 의미 및 범위 내에서 이해되어야 한다. 본 개시에 사용된 표현 또는 용어는 설명을 위한 것이지 제한을 위한 것이 아님을 이해해야 한다. 따라서, 본 개시의 실시예들은 바람직한 실시예들과 관련하여 설명되었지만, 당업자는 본 개시의 실시예들이 본원에 설명된 실시예들의 사상 및 범위 내에서 수정되어 실시될 수 있음을 인식할 것이다.

Claims (15)

  1. 전자 디바이스의 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법으로서,
    직사각형 프로젝션에 배열된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현되는 360도 이미지 컨텐츠를 획득하는 단계;
    적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하는 단계 - 상기 적어도 하나의 불연속 경계는 상기 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지됨-;
    하나 이상의 재구성된 블록들을 상기 360도 이미지 컨텐츠로부터 획득하는 단계 - 상기 재구성된 블록들은 상기 360도 이미지 컨텐츠로부터 생성 됨 -;
    상기 적어도 하나의 이미지 컨텐츠 불연속 경계가 존재하지 않는 경우 상기 360도 이미지 컨텐츠의 상기 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블링하거나 상기 적어도 하나의 불연속 경계 주위에 위치된 상기 360도 이미지 컨텐츠의 상기 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링함을 수행하는 단계; 및
    상기 전자 디바이스의 상기 직사각형 프로젝션에 상기 360도 이미지 컨텐츠를 제작하는 단계를 포함하는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  2. 제 1 항에 있어서, 상기 적어도 하나의 이미지 컨텐츠 불연속 경계는 상기 이미지 프레임 내에서 이웃하는 재구성된 블록들 사이에 위치되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  3. 제 1 항에 있어서, 상기 이미지 컨텐츠 불연속 경계는, 구형(spherical) 컨텐츠를 2 차원(2D) 평면 컨텐츠로 변환하는 동안, 감지되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  4. 제 1 항에 있어서, 상기 이미지 컨텐츠 불연속 경계는, 비 압축 프로젝션 포맷을 2 차원 직사각형 포맷으로 변환하는 동안, 감지되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  5. 제 1 항에 있어서, 상기 적어도 하나의 인 루프 필터는 디 블로킹 필터, SAO 필터 및 ALF 중 적어도 하나를 포함하는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  6. 제 1 항에 있어서, 상기 적어도 하나의 인 루프 필터는 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 블리딩(bleeding) 효과를 관리하기 위해 상기 적어도 하나의 이미지 컨텐츠 불연속 경계 주위에 위치된 상기 재구성된 블록들에 상기 인 루프 필터링 기능을 적용하지 않는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  7. 제 1 항에 있어서, 상기 적어도 하나의 인 루프 필터는 상기 이미지 프레임 내의 상기 적어도 하나의 이미지 컨텐츠 불연속 경계에 걸친 적어도 하나의 픽셀을 관리하기 위해 상기 적어도 하나의 이미지 컨텐츠 불연속 경계에 위치된 상기 재구성된 블록들에 상기 인 루프 필터링 기능을 적용하지 않는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  8. 제 1 항에 있어서, 상기 재구성된 블록들의 세트는 상기 이미지 프레임 내의 적어도 하나의 연속 영역에 상기 적어도 하나의 인 루프 필터를 적용함으로써 상기 360도 프로젝션 레이아웃을 제작하도록 처리되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  9. 제 1 항에 있어서, 상기 적어도 하나의 인 루프 필터는 상기 이미지 프레임 내의 적어도 하나의 연속 영역에 적용되고, 상기 적어도 하나의 인 루프 필터는 상기 이미지 프레임 내의 상기 적어도 하나의 이미지 컨텐츠 불연속 경계에서 제거되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  10. 제 1 항에 있어서, 상기 적어도 하나의 인 루프 필터는 비디오 인코딩 처리 및 비디오 디코딩 처리 중 적어도 하나에 적용되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  11. 제 1 항에 있어서, 상기 직사각형 프로젝션에 상기 360도 이미지 컨텐츠를 제작하는 동안, 프로젝션 타입, 프레임 패킹 타입 및 루프 필터 디스 에이블 플래그에 관한 정보 중 적어도 하나는 비트 스트림 헤더에서 시그널링 되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  12. 제 1 항에 있어서, 상기 적어도 하나의 이미지 컨텐츠 불연속 경계는 픽셀들의 좌표에 기초하여 감지되는 것을 특징으로 하는 360도 이미지 컨텐츠를 제작하는 방법.
  13. 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 전자 디바이스로서,
    메모리;
    프로세서; 및
    상기 메모리와 상기 프로세서에 연결된 인 루프 필터 제어부를 포함하며, 상기 인 루프 필터 제어부는:
    직사각형 프로젝션에 배열된 하나 이상의 프로젝션 세그먼트들을 패킹함으로써 표현되는 360도 이미지 컨텐츠를 획득하고;
    적어도 하나의 불연속 경계가 360도 이미지 컨텐츠에 존재하는지 여부를 감지하고 - 상기 적어도 하나의 불연속 경계는 상기 하나 이상의 프로젝션 세그먼트들의 패킹을 사용하여 감지됨-;
    하나 이상의 재구성된 블록들을 상기 360도 이미지 컨텐츠로부터 획득하고 - 상기 재구성된 블록들은 상기 360도 이미지 컨텐츠로부터 생성됨 -;
    상기 적어도 하나의 이미지 컨텐츠 불연속 경계가 존재하지 않는 경우 상기 360도 이미지 컨텐츠의 상기 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 인에이블하거나 상기 적어도 하나의 불연속 경계 주위에 위치된 상기 360도 이미지 컨텐츠의 상기 하나 이상의 재구성된 블록들에 대해 적어도 하나의 인 루프 필터링 기능을 디스 에이블링함을 수행하며; 및
    상기 전자 디바이스의 상기 직사각형 프로젝션에 상기 360도 이미지 컨텐츠를 제작하도록 구성된 것을 특징으로 하는 전자 디바이스.
  14. 제 13 항에 있어서, 상기 적어도 하나의 이미지 컨텐츠 불연속 경계는 상기 이미지 프레임 내에서 이웃하는 재구성된 블록들 사이에 위치되는 것을 특징으로 하는 전자 디바이스.
  15. 제 13 항에 있어서, 상기 이미지 컨텐츠 불연속 경계는, 구형(spherical) 컨텐츠를 2 차원(2D) 평면 컨텐츠로 변환하는 동안, 감지되는 것을 특징으로 하는 전자 디바이스.
KR1020197021694A 2017-03-30 2018-03-30 인 루프 필터를 선택적으로 적용하여 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 장치 KR20190126295A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN201741011436 2017-03-30
IN201741011436(???) 2017-03-30
IN201741011436(????) 2018-03-26
PCT/KR2018/003829 WO2018182377A1 (en) 2017-03-30 2018-03-30 Method and apparatus for producing 360 degree image content on rectangular projection by selectively applying in-loop filter

Publications (1)

Publication Number Publication Date
KR20190126295A true KR20190126295A (ko) 2019-11-11

Family

ID=63682536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197021694A KR20190126295A (ko) 2017-03-30 2018-03-30 인 루프 필터를 선택적으로 적용하여 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 장치

Country Status (4)

Country Link
US (1) US11212497B2 (ko)
EP (1) EP3539290A4 (ko)
KR (1) KR20190126295A (ko)
WO (1) WO2018182377A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11032545B2 (en) * 2017-06-29 2021-06-08 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US11094088B2 (en) * 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
MX2021011016A (es) * 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
CN118138754A (zh) 2019-06-14 2024-06-04 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
JP7291846B2 (ja) 2019-07-09 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングのためのサンプル決定
KR102648121B1 (ko) 2019-07-11 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 샘플 패딩
CN117676168A (zh) * 2019-07-15 2024-03-08 北京字节跳动网络技术有限公司 自适应环路滤波中的分类
MX2022000987A (es) 2019-07-25 2022-10-28 Hfi Innovation Inc Metodo y aparato de filtrado de bucle adaptativo de componentes cruzados con limite virtual para codificacion de video.
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
JP7326600B2 (ja) 2019-09-27 2023-08-15 北京字節跳動網絡技術有限公司 異なるビデオユニット間の適応ループフィルタリング
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US20180048890A1 (en) * 2015-03-02 2018-02-15 Lg Electronics Inc. Method and device for encoding and decoding video signal by using improved prediction filter

Also Published As

Publication number Publication date
EP3539290A1 (en) 2019-09-18
US11212497B2 (en) 2021-12-28
EP3539290A4 (en) 2019-09-18
US20210329204A1 (en) 2021-10-21
WO2018182377A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
US11212497B2 (en) Method and apparatus for producing 360 degree image content on rectangular projection by selectively applying in-loop filter
CN111741289B (zh) 处理立方体面图像的方法和装置
TWI656785B (zh) 視訊編碼方法和設備和相關的視訊解碼方法和設備
CN110754090B (zh) 减少360度视频中的接缝伪影
EP3672249B1 (en) Inter frame prediction method and device for video images
US20170272758A1 (en) Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10666979B2 (en) Image processing device and image processing method for encoding/decoding omnidirectional image divided vertically
TW202044834A (zh) 用於處理視訊內容的方法及系統
CN114208197A (zh) 用于视频编解码的块划分方法
WO2018183533A1 (en) Filter information sharing among color components
US11297324B2 (en) Interpolation filter for an inter prediction apparatus and method for video coding
JP2022547599A (ja) 映像符号化情報をシグナリングするための方法及び装置
US10798417B2 (en) Deblock filtering for 360-degree video coding
US20180262754A1 (en) Image compression apparatus, image decoding apparatus, and image processing method
US11671613B2 (en) Methods for signaling virtual boundaries and wrap-around motion compensation
BR112021004124A2 (pt) método de decodificação de vídeo e decodificador de vídeo
CN113056910A (zh) 用于视频编码的运动矢量预测子索引编码
CN109804631B (zh) 一种用于编码和解码视频信号的装置和方法
JP2022535859A (ja) Ｍｐｍリストを構成する方法、クロマブロックのイントラ予測モードを取得する方法、および装置
JP2023521295A (ja) 映像符号化データをシグナリングするための方法
US20200267385A1 (en) Method for processing synchronised image, and apparatus therefor
JP2010183162A (ja) 動画像符号化装置
WO2024006231A1 (en) Methods and apparatus on chroma motion compensation using adaptive cross-component filtering