KR20230005981A - 톤 매핑 곡선에 대한 파라미터 세트의 결정 - Google Patents

톤 매핑 곡선에 대한 파라미터 세트의 결정 Download PDF

Info

Publication number
KR20230005981A
KR20230005981A KR1020227042307A KR20227042307A KR20230005981A KR 20230005981 A KR20230005981 A KR 20230005981A KR 1020227042307 A KR1020227042307 A KR 1020227042307A KR 20227042307 A KR20227042307 A KR 20227042307A KR 20230005981 A KR20230005981 A KR 20230005981A
Authority
KR
South Korea
Prior art keywords
tone mapping
curve
parameters
metadata
parameter set
Prior art date
Application number
KR1020227042307A
Other languages
English (en)
Inventor
후 첸
이추안 왕
웨이웨이 수
쿠안헤 유
엘레나 알렉산드로브나 앨쉬나
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20230005981A publication Critical patent/KR20230005981A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시는 일반적으로 비디오 처리 분야에 관한 것으로, 보다 구체적으로는 HDR(high dynamic range) 이미지 처리에 관한 것이다. 특히, 본 개시는 톤 매핑 곡선에 대한 파라미터 세트를 결정하기 위한 방법에 관한 것이다. 이 방법은 복수의 파라미터 세트를 획득하는 단계를 포함하며, 여기서 각각의 파라미터 세트는 톤 매핑 곡선을 정의하고, 각각의 파라미터 세트는 복수의 HDR 비디오 프레임 중 하나에 기초하여 도출된다. 또한, 이 방법은 복수의 파라미터 세트를 시간적으로 필터링하여 시간적으로 필터링된 파라미터 세트를 획득하는 단계를 포함한다.

Description

톤 매핑 곡선에 대한 파라미터 세트의 결정
본 개시는 일반적으로 비디오 처리 분야에 관한 것으로, 보다 구체적으로는 HDR(high dynamic range) 비디오 또는 이미지 처리에 관한 것이다. 특히, 본 개시는 HDR 비디오 프레임을 톤 매핑하기 위한 톤 매핑 곡선에 대한 파라미터 세트를 결정하기 위한 방법에 관한 것이다. 또한, 본 개시는 HDR 비디오 프레임을 제각기 인코딩 또는 디코딩하기 위한 인코더 및 디코더에 관한 것이다. 인코더 또는 디코더는 방법을 수행하도록 구성될 수 있다.
디지털 이미징에서 다이내믹 레인지(dynamic range)는 촬영 중인 장면의 휘도 범위, 주어진 디지털 카메라나 필름이 캡처할 수 있는 휘도 범위의 한계 또는 디스플레이의 휘도 범위를 정의할 수 있다. 사실, 일반적인 실제 장면의 다이내믹 레인지는 흔히 10-3 니트(nit) 내지 106 니트(nit)이다. 이에 비해, 소비자용 디스플레이는 일반적으로 다이내믹 레인지가 훨씬 더 작다. 실제 장면을 이러한 디스플레이에 표시하려면 HDR을 더 낮은 다이내믹 레인지로 축소해야 하는데, 이 프로세스를 톤 매핑(tone mapping)이라고 한다. 톤 매핑은 일반적으로 비선형 매핑이다.
HDR 이미지 및 비디오 처리에서, 니트(nit) 또는 cd/m2 단위의 광학 신호를 0과 1 사이의 전기 신호로 전송하기 위해 PQ(Perception Quantization) 곡선이 흔히 사용된다. 일반적인 PQ 곡선에 대한 방정식은 다음과 같다.
Figure pct00001
여기서 L은 선형 영역(linear domain)의 밝기 값이고, 0 니트(nit)에서 10000 니트(nit) 사이의 범위이며, L은 R 값 또는 G 값 또는 B 값 또는 휘도 성분(Y)일 수 있다.
L'은 PQ 영역의 전기적 신호를 나타내며, [0,1] 범위에 포함되고, 흔히 PQ 값 또는 PQ 영역의 값이라고 한다.
Figure pct00002
Figure pct00003
Figure pct00004
Figure pct00005
Figure pct00006
PQ 전달 함수의 입력은 선형 영역의 광학 신호이고, 출력은 PQ 영역의 전기 신호이다. 일대일 매핑이 있기 때문에, 양자화가 적용되지 않으면 입력 및 출력 값은 실제로 동일하다. 이들은 두 개의 다른 영역, 즉 선형 영역과 PQ 영역에만 존재한다.
PQ OETF(PQ Optical-Electro Transfer Function)가 양자화에 흔히 사용된다. 선형 영역의 HDR 이미지는 먼저 PQ 영역으로 전송된 다음, 10비트 또는 12비트로 양자화된다. PQ 영역의 이미지는 코덱에 의해 저장되거나 압축된다. 인간 시각 시스템이 비선형이기 때문에, PQ 영역의 양자화는 인간 시각 시스템에게 더 균일하다. 선형 영역에서 양자화가 수행되면, 지각 왜곡이 훨씬 더 커질 것이다.
전술한 바와 같이, 디스플레이 다이내믹 레인지와 최고 밝기는 흔히 실제 장면이나 소스 HDR 이미지 또는 비디오보다 작다. 따라서, 예를 들어 HDR 비디오 프레임을 디스플레이에 적응시키기 위해 톤 매핑이 사용될 수 있다. 톤 매핑에 비선형 곡선이 사용될 수 있다. 톤 매핑 곡선이 비디오 시퀀스의 모든 HDR 비디오 프레임에 대해 동일한 경우, 이를 정적 톤 매핑이라고 한다. 그러나, 정적 톤 매핑은 각 HDR 비디오 프레임의 이미지 통계에 맞게 조정되지 않기 때문에 최적이 아니다. 이에 비해, 동적 톤 매핑은 각 HDR 비디오 프레임의 통계에 맞게 조정되며, 따라서 톤 매핑 곡선은 프레임마다 상이하다. 동적 톤 매핑은 디스플레이의 다이내믹 레인지를 최대한 활용하여 더 높은 품질을 제공할 것이다.
그러나, 동적 톤 매핑은 제어하기가 더 어렵고, 일반적인 문제 중 하나로 플리커링(flickering) 문제가 있다. 이미지 통계가 프레임마다 다르기 때문에, 톤 매핑 곡선도 마찬가지이다. 특정 응용에서, 톤 매핑 절차를 안내하는 콘텐츠의 주요 정보 또는 특징을 포함하는 메타데이터는 기본적으로 소스(인코더)와 수신기(디코더) 간의 "브리지" 역할을 한다. 그러나, 경우에 따라 연속하는 프레임들 간에 콘텐츠가 많이 변경될 수 있고, 이에 따라 메타 데이터 및 해당 톤 매핑 곡선도 변경될 수 있다. 이로 인해 디스플레이가 불안정해지고 "플리커링" 현상이 발생할 수 있다.
위에서 언급한 플리커링 문제를 해결하기 위한 기존의 접근 방법은, 예를 들면 SMPTE 2094-10, SMPTE 2094-20, SMPTE 2094-30 및 SMPTE 2094-40에서 표준화된 동적 톤 매핑 방식에 의해 주어지는데, 이는 아래에서 설명할 것이다. 동적 톤 매핑은 톤 매핑 곡선 파라미터가 적응적으로 계산된다는 것, 즉, 변화하는 이미지에 맞게 조정되어 프레임마다 상이하다는 것을 의미한다. 동적 톤 매핑은 디스플레이의 다이내믹 레인지를 보다 효율적으로 사용할 수 있게 한다. 그러나, 이러한 기존 접근 방식은 플리커링 문제를 만족스럽게 해결하지 못한다.
Rafal Mantiuk 등에 의해 제안된 종래의 방법(1400)(Display Adaptive Tone Mapping, ACM Transactions on Graphics 27(3), 2008년 8월)은 동적 톤 매핑을 위한 플리커링 방지 필터를 포함하며, 도 14에 도시되어 있다. 이 방법(1400)에서 동적 메타데이터가 HDR 소스(예컨대, HDR 비디오 프레임)로부터 추출되고(1401), 대응하는 톤 매핑 곡선이 메타데이터에 기초하여 생성된다(1402). 그런 다음, 플리커링을 극복하기 위해, 톤 매핑 곡선이 급격하게 변할 때, 톤 매핑 곡선을 시간적으로 필터링(1403)한 후 톤 매핑(1404)을 수행한다. 특히, 최종 톤 매핑 결과를 얻기 전에 톤 매핑 곡선의 노드에 윈도우 선형 위상 FIR 디지털 필터가 적용된다.
그러나, 이 방법은 이전 프레임에 대한 톤 매핑 곡선을 메모리에 저장해야 한다는 단점이 있다. 게다가, 전체 톤 매핑 곡선을 시간적으로 필터링하는 것은 다소 복잡한 프로세스이다. 예를 들어, 128개 값의 LUT(look-up-table)를 사용하여 톤 매핑 곡선을 표현하고, 16 크기의 필터링 윈도우를 적용한다면 16의 128배 값을 메모리에 저장해야 한다.
전술한 문제점 및 단점을 고려하여, 본 발명의 실시예는 HDR 비디오 또는 비디오 프레임의 품질을 개선하기 위한, 예컨대 플리커링을 감소시키기 위한 방법을 제공하는 것을 목적으로 한다.
이 목적은 첨부된 독립항에 제공된 실시예에 의해 달성된다. 실시예의 유리한 구현은 종속항에서 추가로 정의된다.
제1 양태에 따르면, 본 개시는 톤 매핑 곡선에 대한 파라미터 세트를 결정하는 방법에 관한 것으로, 이 방법은 복수의 파라미터 세트를 획득하는 단계 - 각각의 파라미터 세트는 톤 매핑 곡선을 정의하고, 각각의 파라미터 세트는 복수의 HDR 비디오 프레임 중 하나에 기초하여 도출됨 - 와, 시간적으로 필터링된 파라미터 세트를 획득하기 위해 복수의 파라미터 세트를 시간적으로 필터링하는 단계를 포함한다.
제1 양태의 방법에 따르면, 톤 매핑 곡선 자체는 시간적으로 필터링되지 않고, 톤 매핑 곡선을 정의하는 파라미터 세트가 시간적으로 필터링된다. 따라서 시간 및 컴퓨팅 자원이 절감될 수 있다. 특히, 톤 매핑 곡선 전체를 시간적으로 필터링하는 것에 비해 계산 복잡도 및 메모리 요구량이 적어진다. 게다가, 톤 매핑 곡선이 시간적으로 필터링된 파라미터 세트에 기초하여 획득될 수 있으며, 이로 인해 플리커링이 감소 내지는 없게 되고 디스플레이된 콘텐츠(구체적으로는 HDR 비디오)의 안정성이 향상된다. 특히, 장면이 복수의 HDR 비디오 프레임의 연속적인 HDR 비디오 프레임들 사이에서 빠르게 변경되는 경우에도 플리커링이 감소된다.
메타데이터는, 예컨대 HDR 프레임 및/또는 동일 장면의 다른 HDR 프레임으로부터 도출 또는 추출된 해당 HDR 프레임의 밝기 특성을 정의하는 통계 데이터이거나 이를 포함할 수 있다.
이 방법은 인코더, 디코더, 인코더 및 디코더를 포함하는 시스템, HDR 시스템, HDR 텔레비전(TV), HDR 컬러 그레이딩 소프트웨어, HDR 비디오 트랜스코더 등과 같은 전자 장치에 의해 (예컨대 완전히 또는 부분적으로) 수행될 수 있다.
제1 양태의 구현 형태에서, 복수의 파라미터 세트의 시간적 필터링은 복수의 파라미터 세트의 파라미터들 중 적어도 일부분의 평균 또는 가중 평균을 계산하는 것을 포함한다.
이는 파라미터 세트를 시간적으로 필터링하는 효율적이고 효과적인 방법을 제공한다.
제1 양태의 구현 형태에서, 이 방법은 시간적으로 필터링된 파라미터 세트에 기초하여 톤 매핑 곡선을 생성하는 단계를 더 포함한다.
이 방법으로 생성된 톤 매핑 곡선은, 특히 복수의 HDR 비디오 프레임이 HDR 비디오 프레임보다 더 낮은 다이내믹 레인지를 갖는 디스플레이에 디스플레이되는 경우에 플리커링을 감소시키게 된다.
제1 양태의 구현 형태에서, 각각의 파라미터 세트는 톤 매핑 곡선을 직접적으로 또는 간접적으로 정의한다.
예를 들어, 톤 매핑 곡선을 직접적으로 정의하는 파라미터 세트는 곡선 파라미터를 포함할 수 있다. 톤 매핑 곡선을 간접적으로 정의하는 파라미터 세트는 메타데이터를 포함할 수 있으며, 이로부터 그러한 곡선 파라미터가 계산될 수 있다.
제1 양태의 구현 형태에서, 각각의 파라미터 세트는 HDR 비디오 프레임의 메타데이터 또는 톤 매핑 곡선의 하나 이상의 곡선 파라미터를 포함한다.
제1 양태의 구현 형태에서, 각각의 파라미터 세트는 제각기의 상기 HDR 비디오 프레임으로부터 추출된 메타데이터를 포함하고, 시간적으로 필터링된 파라미터 세트는 시간적으로 필터링된 메타데이터를 포함한다.
제1 양태의 구현 형태에서, 이 방법은 시간적으로 필터링된 메타데이터에 기초하여 톤 매핑의 하나 이상의 곡선 파라미터를 계산하는 단계를 더 포함한다.
제1 양태의 구현 형태에서, 이 방법은 하나 이상의 곡선 파라미터에 기초하여 톤 매핑 곡선을 생성하는 단계를 더 포함한다.
이런 방식으로, 톤 매핑 곡선 자체 대신 메타데이터를 시간적으로 필터링한 것에 기반하여 전술한 플리커링 문제가 감소할 수 있다.
제1 양태의 구현 형태에서, 각각의 파라미터 세트는 제각기의 HDR 비디오 프레임으로부터 추출된 메타데이터에 기초하여 톤 매핑 곡선의 하나 이상의 곡선 파라미터를 포함하고, 시간적으로 필터링된 파라미터 세트는 하나 이상의 시간적으로 필터링된 곡선 파라미터를 포함한다.
제1 양태의 구현 형태에서, 이 방법은 하나 이상의 시간적으로 필터링된 곡선 파라미터에 기초하여 톤 매핑 곡선을 생성하는 단계를 더 포함한다.
이런 방식으로, 톤 매핑 곡선 자체 대신 톤 매핑 곡선의 곡선 파라미터를 시간적으로 필터링한 것에 기반하여 전술한 플리커링 문제가 감소할 수 있다.
제1 양태의 구현 형태에서, 톤 매핑 곡선은
Figure pct00007
로 주어지며,
여기서, L은 HDR 비디오 프레임의 입력 픽셀의 밝기이고, m_n은 제1 값이며, 구체적으로는 m_n=1이고, m_m은 제2 값이며, 구체적으로는 m_m=2.4이고, m_b는 미리 결정된 PQ(perception quantization) 값이며, m_p는 밝기 조절 인자이고, m_a는 출력 픽셀의 최대 밝기를 정의하는 스케일링 인자이며, 여기서 하나 이상의 곡선 파라미터는 m_p 및 m_a를 포함한다.
톤 매핑 곡선은 피닉스 곡선이라고도 하며, HDR 비디오 프레임을 낮은 다이내믹 레인지 디스플레이 상에 디스플레이할 때 특정한 낮은 플리커링 및 안정성을 갖게 된다.
제1 양태의 구현 형태에서, 이 방법은 보충/부가 정보로서, 예를 들어 기본 메타데이터 또는 아티스틱 메타데이터로서 복수의 HDR 비디오 프레임과 함께 시간적으로 필터링된 파라미터 세트를 전송하거나 저장하는 단계를 더 포함한다.
제1 양태의 구현 형태에서, 이 방법은 제1 HDR 비디오 프레임의 제1 파라미터 세트를 획득하고 제1 파라미터 세트를 큐에 푸시하는 단계와, 제2 HDR 비디오 프레임의 제2 파라미터 세트를 획득하는 단계와, 제1 HDR 비디오 프레임과 제2 HDR 비디오 프레임 사이에 장면 변경이 발생했는지 여부를 검출하고, 장면 변경이 발생하지 않은 경우에 제2 파라미터 세트를 큐에 푸시하는 단계와, 시간적으로 필터링된 파라미터 세트를 획득하기 위해, 큐 내의 상기 파라미터 세트의 평균을 계산하는 단계를 더 포함한다.
이는 파라미터 세트를 시간적으로 필터링하고 시간적으로 필터링된 파라미터 세트를 획득하기 위한 간단하지만 효율적인 방법을 제공한다.
제1 양태의 구현 형태에서, 이 방법은 장면 변경이 발생하면 큐를 클리어링하는 단계를 더 포함한다.
장면 변경은, 예를 들어 장면 변경의 경우 급속히/급격히 변경되는, HDR 비디오 프레임(들)의 하나 이상의 특징(예컨대, 이미지 통계)에 기초하여 이 방법에 의해 검출될 수 있다.
제1 양태의 구현 형태에서, 이 방법은 인코더 및/또는 디코더에 의해 수행된다.
제2 양태에 따르면, 본 개시는 HDR 비디오 프레임을 인코딩하는 인코더에 관한 것으로, 이 인코더는 제1 양태에 따른 방법 및/또는 제1 양태의 구현 형태들 중 어느 하나를 수행하도록 구성된다.
제3 양태에 따르면, 본 개시는 HDR 비디오 프레임을 디코딩하는 디코더에 관한 것으로, 이 디코더는 제1 양태에 따른 방법 및/또는 제1 양태의 구현 형태들 중 어느 하나를 수행하도록 구성된다.
제4 양태에 따르면, 본 발명은 톤 매핑 곡선을 생성하는 시스템에 관한 것으로, 이 시스템은 제2 양태에 따른 인코더 및/또는 제3 양태에 따른 디코더를 포함한다.
이들 인코더, 디코더 및 시스템은 제1 양태의 방법 및 그 구현 형태들과 관련하여 위에서 설명한 것과 동일한 이점 및 효과를 달성한다.
제5 양태에 따르면, 본 개시는 프로세서에 의해 실행될 경우에, 특히 제2 양태에 따른 인코더의 프로세서 및/또는 제3 양태에 따른 디코더의 프로세서에 의해 실행될 경우에, 제1 양태에 따른 방법 및/또는 임의의 그 구현 형태를 수행하는 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
제6 양태에 따르면, 본 개시는 프로세서에 의해 실행될 경우에, 제1 양태에 따른 방법 및/또는 임의의 그 구현 형태가 수행되도록 하는 실행가능한 프로그램 코드를 저장하는 비일시적 저장 매체를 제공한다.
본 출원에서 설명된 모든 장치, 요소, 유닛 및 수단은 소프트웨어 또는 하드웨어 요소 또는 이들의 임의의 종류의 조합으로 구현될 수 있음에 유의해야 한다. 본 출원에서 설명된 다양한 엔티티에 의해 수행되는 모든 단계 및 다양한 엔티티에 의해 수행되는 것으로 설명된 기능은 각 엔티티가 제각기의 단계 및 기능을 수행하도록 적응되거나 구성됨을 의미한다. 특정 실시예에 대한 다음의 설명에서 외부 엔티티에 의해 수행되는 특정 기능이나 단계가 그 특정 단계나 기능을 수행하는 해당 엔티티의 특정 세부 요소에 대한 설명에 반영되지 않더라도, 이들 방법 및 기능은 제각기의 소프트웨어나 하드웨어 요소 또는 이들의 조합으로 구현될 수 있음이 당업자에게 명확할 것이다.
전술한 양태 및 구현 형태(본 발명의 실시예)는 첨부된 도면과 관련하여 특정 실시예의 다음 설명에서 설명할 것이다.
도 1은 일 실시예에 따른 장치(예컨대, 제각기 HDR 비디오 프레임을 인코딩 및 디코딩하기 위한 인코더 또는 디코더)의 개략도이다.
도 2는 일 실시예에 따른, 톤 매핑 곡선에 대한 파라미터 세트를 결정하기 위한 방법의 개략도이다.
도 3은 일 실시예에 따른, 결정된 파라미터 세트에 기초하여 디코더에 의해 생성될 수 있는 상이한 예시적인 톤 매핑 곡선을 도시한 것이다.
도 4는 상이한 동작 모드에 대한 예시적인 메타데이터의 개략도이다.
도 5는 종래 예에 따른 2개의 톤 매핑 곡선과 일 실시예에 따라 생성된 톤 매핑 곡선의 성능 비교를 도시한 것이다.
도 6은 일 실시예에 따른, 복수의 파라미터 세트를 시간적으로 필터링하기 위한 절차의 개략도이다.
도 7은 메타데이터가 인코더에서 시간적으로 필터링되는, 본 발명의 일 실시예에 따른 방법의 개략도이다.
도 8은 메타데이터가 디코더에서 시간적으로 필터링되는, 본 발명의 일 실시예에 따른 방법의 개략도이다.
도 9는 톤 매핑 곡선의 곡선 파라미터가 디코더에서 시간적으로 필터링되는, 본 발명의 일 실시예에 따른 방법의 개략도이다.
도 10은 메타데이터가 인코더에서 시간적으로 필터링되는, 본 발명의 일 실시예에 따른 방법의 개략도이다.
도 11은 톤 매핑 곡선의 곡선 파라미터가 인코더에서 시간적으로 필터링되는, 본 발명의 일 실시예에 따른 방법의 개략도이다.
도 12는 메타데이터가 인코더에서 시간적으로 필터링되는, 본 발명의 일 실시예에 따른 방법의 개략도이다.
도 13은 HDR 동적 톤 매핑 프로세스의 예시적인 파이프라인의 예를 도시한 것이다.
도 14는 톤 매핑 곡선을 시간적으로 필터링함으로써 플리커링 문제를 해결하기 위한 종래의 접근 방식의 개략도이다.
도 1은 본 발명의 일 실시예에 따른 장치(100)의 개략도이다. 장치(100)는 HDR 비디오 프레임(101)을 인코딩하기 위한 인코더일 수 있다. 대안적으로, 장치(100)는 HDR 비디오 프레임(101)을 디코딩하기 위한 디코더일 수 있다. 장치(100)는 톤 매핑 곡선(300)(예컨대, 예시적인 톤 매핑 곡선(300)에 대해서는 도 3을 참조한다)에 대한 파라미터 세트를 결정하기 위한 방법(200)(도 2에 도시된 방법(200)의 개략도 참조)을 수행하도록 구성될 수 있다. 특히, 결정된 파라미터 세트는 또한 디코더에 의해 사용되어 톤 매핑 곡선(300)을 생성할 수 있다. 톤 매핑 곡선(300)은 HDR 비디오 프레임(101)을 톤 매핑하는 데 사용될 수 있다.
또한 적어도 하나의 이러한 인코더 및/또는 하나의 이러한 디코더를 포함하는 시스템(예컨대, 이러한 시스템의 다양한 예에 대해서는 도 7 내지 도 11 참조한다)이 형성될 수 있다. 특히, 본 발명의 일 실시예에 따른 장치(100)는 일반적으로 이러한 시스템에서 동작한다. 시스템에서, 일반적으로 HDR 비디오 비트 스트림이 인코더에서 디코더로 전송된다. 비트 스트림은 HRD 비디오 프레임(101) 및 각종 메타데이터를 포함할 수 있다.
특히, 본 발명의 실시예는 도 13(특히 인코더 및 디코더의 시스템을 도시함)에 도시된 바와 같이 파이프라인(1300)의 블록(1301/1302) 또는 블록(1303/1304)에서 구현될 수 있다. 특히, 방법(200)은 이들 블록, 즉 디코더 또는 인코더에서 수행될 수 있다.
장치(100)는 (도 2 및 도 3을 참조하여) 복수의 파라미터 세트(102)를 획득(201)하도록 구성될 수 있으며, 각 파라미터 세트(102)는 톤 매핑 곡선(300)을 정의하고, 각 파라미터 세트(102)는 복수의 HDR 비디오 프레임(101), 예를 들면 이전에 처리된 HDR 비디오 프레임(101)(인코더) 또는 코딩된 HDR 비디오 프레임(101)(디코더) 중 하나에 기초하여 도출된다. 또한, 장치(100)는 복수의 파라미터 세트(102)를 시간적으로 필터링(202)하여 시간적으로 필터링된 파라미터 세트(103)를 얻도록 구성된다.
따라서, 나중에 더 상세히 설명되는 바와 같이, 각각의 파라미터 세트(102)는 제각기의 HDR 비디오 프레임(101)의 메타데이터(402)(예컨대, 예시적인 메타데이터(402)에 대해서는 도 4를 참조하되, 도 4에서는 기본 메타데이터(402)로 지칭됨)를 포함할 수 있다. 예를 들어, 메타데이터(402)는 각각의 HDR 비디오 프레임(들)(101)으로부터 추출될 수 있다(즉, 획득 단계(201)로서). 메타데이터(402)는 이후 시간적으로 필터링되어(202) 시간적으로 필터링된 메타데이터(402)를 얻을 수 있고(예컨대, 도 7 참조), 시간적으로 필터링된 메타데이터(403)에 기초하여 톤 매핑 곡선(300)의 하나 이상의 곡선 파라미터(502)(예컨대, 예시적인 곡선 파라미터(502)에 대해서는 도 4 참조)가 계산될 수 있다. 또한, 톤 매핑 곡선(300)은 하나 이상의 곡선 파라미터(502)에 기초하여 생성될 수 있다.
또는, 각각의 파라미터 세트(102)는 톤 매핑 곡선(300)의 하나 이상의 곡선 파라미터(502)를 포함할 수 있다. 톤 매핑 곡선(300)의 하나 이상의 곡선 파라미터(502)는 제각기의 HDR 비디오 프레임(들)(101)으로부터 추출된 메타데이터(402)에 기초하여 계산될 수 있다(즉, 획득 단계(201)로서). 곡선 파라미터(502)가 시간적으로 필터링되어(202), 시간적으로 필터링된 곡선 파라미터(503)(예컨대, 도 9 참조)를 획득할 수 있고, 그 다음에 필터링된 곡선 파라미터(503)에 기초하여 톤 매핑 곡선(300)이 시간적으로 필터링될 수 있다.
파라미터 세트(102)의 시간적 필터링(202)(즉, 메타데이터(402) 또는 곡선 파라미터(502))은 인코더 또는 디코더(장치(100)로서 작용하며, 다양한 실시예는 도 7 내지 도 12와 관련하여 후술함)에서 수행될 수 있다. 시간적으로 필터링된 메타데이터(402)에 기초하여 곡선 파라미터(502)를 생성하는 것은 또한 인코더 또는 디코더에서 행해질 수 있다. 톤 매핑 곡선(300)은 전형적으로 디코더에서 생성된다. 톤 매핑 곡선(300) 자체를 필터링하는 대신에 파라미터 세트(102)를 시간적 필터링(202)하면 전술한 바와 같이 다양한 이점이 있다.
장치(100)(인코더 또는 디코더)는 본 명세서에 기술된 장치(100)의 다양한 동작을 수행하거나 또는 개시하도록 구성된 처리 회로(도 1에 도시되어 있지 않음)를 포함할 수 있다. 처리 회로는 하드웨어 및 소프트웨어를 포함할 수 있다. 하드웨어는 아날로그 회로 또는 디지털 회로, 또는 아날로그 및 디지털 회로 모두를 포함할 수 있다. 디지털 회로는 ASIC(application-specific integrated circuit), FPGA(field-programmable array), DSP(digital signal processor) 또는 다목적 프로세서와 같은 구성 요소를 포함할 수 있다. 일 실시예에서, 처리 회로는 하나 이상의 프로세서 및 하나 이상의 프로세서에 연결된 비일시적 메모리를 포함한다. 비일시적 메모리는 하나 이상의 프로세서에 의해 실행될 때 장치(100)로 하여금 본 명세서에 기술된 동작 또는 방법을 수행, 실행 또는 개시하게 하는 실행 가능한 프로그램 코드를 포함할 수 있다.
특히, 장치(100)는 방법(200)을 수행하기 위한, 즉, 파라미터 세트(102)를 획득(201)하고 파라미터 세트(102)를 시간적으로 필터링(202)하여 필터링된 파라미터 세트(103)를 획득하는 전술한 단계를 수행하도록 장치(100)를 제어하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램을 실행하는 프로세서를 포함할 수 있다.
본 발명의 실시예에 따르면, 본 명세서에서 "피닉스 곡선(phoenix curve)"이라고도 하는 예시적인 톤 매핑 곡선(300)이 다음과 같이 주어질 수 있다.
Figure pct00008
여기서, L은 HDR 비디오 프레임(들)(101)의 입력 픽셀의 밝기이고, m_n은 제1 값이고, 구체적으로는 m_n=1이며, m_m은 제2 값이고, 구체적으로는 m_m=2.4이며, m_b는 미리 결정된 PQ(perception quantization) 값이고, 여기서 m_p는 밝기 조절 인자이며, m_a는 출력 픽셀의 최대 밝기를 정의하는 스케일링 인자이다.
"피닉스 곡선"을 사용하는 다른 실시예는 다른 파라미터를 사용할 수 있는데, 예를 들어 m_m은 1에서 5까지의 범위에 있을 수 있고, m_n은 0.5에서 2까지의 범위에 있을 수 있다.
실시예는 ("피닉스 곡선"이 아닌) 다른 비선형 톤 매핑 곡선을 사용하거나, 이러한 다른 비선형 곡선을 정의하는 데 사용되는 메타데이터의 시간적 필터링을 수행하거나, 또는 이러한 다른 비선형 곡선의 곡선 파라미터의 시간적 필터링을 직접 수행할 수 있다.
전술한 곡선 파라미터(502)는, 특히 파라미터 m_p 및 m_a를 포함할 수 있다.
시간적으로 필터링된 파라미터 세트(103)는 그러한 피닉스 톤 매핑 곡선(300)을 생성하기 위해 디코더에 의해 사용될 수 있다. 따라서, 파라미터 세트(102)의 필터링은 인코더 또는 디코더에 의해 행해질 수 있다. 예를 들어, 시간적으로 필터링된 파라미터 세트(103)는 파라미터 m_p 및 m_a를 포함하는 시간적으로 필터링된 곡선 파라미터(503)를 포함할 수 있다.
따라서, 파라미터 m_p는 밝기 조절 인자의 물리적 의미를 가지며, m_p가 클수록 밝기가 높다. 또한, m_a는 톤 매핑 곡선(300)으로 수행되는 톤 매핑의 최대 출력 밝기를 제어하는 스케일링 인자이다. 톤 매핑 곡선(300)는 PQ 영역에서 설계될 수 있다. 즉, 톤 매핑 곡선(300)의 입력(L) 및 출력은 모두 PQ 값을 참조할 수 있다. 입력(L)의 범위는 0에서 1까지이며, 여기서 PQ 값 0은 선형 영역에서 0니트(nit)이고 PQ 값 1은 선형 영역에서 10000니트(nit)이다. 출력 값의 범위는 0에서 PQ 영역의 최대 디스플레이 밝기와 같거나 그 아래의 PQ 값이다.
상이한 최대 입력 밝기 및 최대 디스플레이 밝기를 갖는 톤 매핑 곡선(300)의 몇 가지 예(300A, 300B 및 300C)가 도 3에 도시되어 있다. 디코더에 의해 생성될 수 있는 예시적인 톤 매핑 곡선(300A, 300B 및 300C)은, 특히, (예컨대, HDR 비디오 프레임(101)과 관련된) 상이한 최대 입력 밝기 및 (예컨대, HDR 비디오 프레임(101)이 톤 매핑되는 디스플레이의) 최대 디스플레이 밝기에 기초하여 생성된다. 또한, 예로서 m_p=5.0이다. 톤 매핑 곡선(300A)은 10000 니트의 최대 입력 밝기 및 500 니트의 최대 디스플레이 밝기에 기초하여 디코더에 의해 생성될 수 있다. 또한, 톤 매핑 곡선(300B)은 10000 니트의 최대 입력 밝기 및 1000 니트의 최대 디스플레이 밝기에 기초하여 디코더에 의해 생성될 수 있다. 또한, 톤 매핑 곡선(300C)은 4000 니트의 최대 입력 밝기 및 1000 니트의 최대 디스플레이 밝기에 기초하여 디코더에 의해 생성될 수 있다.
인코더 및 디코더의 시스템이 동작하는 상이한 모드가 있을 수 있으며, 이 경우 본 발명의 실시예는 상이하게 적용될 수 있다. 시스템의 모드에 따라, 인코더와 디코더는 다르게 동작할 수 있으며, 장치(100)는 인코더 또는 디코더일 수 있다. 즉, 본 발명의 일 실시예에 따른 방법(200)은 모드에 따라 인코더 또는 디코더에서 수행될 수 있다. 인코더와 디코더는 일반적으로 모드들에서 상이한 역할을 가질 수 있다.
일례로, 중국 CUVA(Ultra-HD Video Industrial Alliance) HDR 표준(CUVA HDR standard)을 참조하면, 이하에서 제1 모드를 "자동 모드(automatic mode)"로, 제2 모드를 "아티스틱 모드(artistic mode)"로 지칭할 수 있다. 이들 모드 모두에서, 톤 매핑 곡선(300)을 정의하는 파라미터 세트(102)가 전술한 바와 같이 시간적으로 필터링(202)될 수 있다. CUVA HDR 표준의 이들 두 모드는 아래에 간략히 설명한다.
자동 모드(mode flag tone_mapping_mode = 0). 이 제1 모드에서, 톤 매핑 곡선(300)을 생성하기 위한 곡선 파라미터(502)는 디코더에서 (기본) 메타데이터(402)에 기초하여 계산된다. 메타데이터(402)(또는 일부 실시예에서 시간적으로 필터링된 메타데이터(403))는 인코더에 의해 디코더에 제공된다. 예시적인 메타데이터(402)가 도 4에 도시되어 있고, 전형적인 이미지 통계를 포함할 수 있는데, 예컨대, 하나 이상의 HDR 비디오 프레임(들)(101)과 관련하여, 최소 밝기 값, 최대 밝기 값, 평균 밝기 값 및/또는 밝기 값의 분산을 포함할 수 있다. 메타데이터(402)(또는 일부 실시예에서 시간적으로 필터링된 메타데이터(403))는 곡선 파라미터(502)를 계산하기에 충분할 수 있는 파라미터의 최소 세트를 포함할 수 있다. 예를 들어, 메타데이터(402)는 (CUVA HDR 표준과 관련하여) 다음과 같은 4개의 파라미터를 포함할 수 있다.
· minimum_maxrgb_pq: 프레임 내 모든 픽셀의 maxrgb 값 중 최소값. 값은 PQ 영역 내에 있다.
· average_maxrgb_pq: 프레임 내 모든 픽셀의 maxrgb 값의 평균.
· variance_maxrgb_pq: 프레임 내 모든 픽셀의 maxrgb 값 중 90의 백분위수의 maxrgb 값과 프레임 내 모든 maxrgb 값 중 10의 백분위수 간의 차이
· maximum_maxrgb_pq: 프레임 내 모든 픽셀의 maxrgb 값의 최대값. 값은 PQ 영역 내에 있다.
여기서, 픽셀의 maxrgb 값은 픽셀의 R, G, B 값 중 최대값이다. 값은 PQ 영역 내에 있다. 그리고 위에서 주어진 네 가지 파라미터는 모두 PQ 영역 내의 값이다(따라서 각 값 이름은 _pq로 끝난다).
아티스틱 모드(mode flag tone_mapping_mode = 1). 이 제2 모드에서, 하나 이상의 곡선 파라미터(502)는, 예를 들어 콘텐츠 제작 단계 또는 트랜스코딩 단계에서 알고리즘을 사용하여 계산되어 결정될 수 있다. 아티스틱 모드에서, TH1, TH2, TH3, TH-강도와 같은 추가적인 큐빅 스플라인 파라미터 및 m_a, m_p, m_b와 같은 계산된 "피닉스" 곡선 파라미터(502)가 사용될 수 있다. 도 4에 예시적으로 도시된 바와 같이, 계산된 곡선 파라미터(502)(또는 일부 실시예에서 시간적으로 필터링된 곡선 파라미터(503))는 메타데이터(402)에 추가되어(추가 메타데이터(401)로서, 예컨대, "아티스틱 모드 메타데이터"로서) 메타데이터(402), 추가 메타데이터(401) 및 선택적으로 컬러 메타데이터(404)를 포함하는 확장된 메타데이터를 형성할 수 있다. 확장된 메타데이터는 디코더로 전송될 수 있다. 디코더는, 곡선 파라미터(502 또는 503)가 HDR 비디오 프레임(101)이 표시될 디스플레이에 적합하면, 톤 매핑을 직접 수행하기 위해(즉, 곡선 파라미터(502) 또는 시간적으로 필터링된 곡선 파라미터(503)에 기초하여 톤 매핑 곡선(300)을 생성하고, 생성된 톤 매핑 곡선(300)으로 톤 매핑을 수행하기 위해) 곡선 파라미터(502)(또는 일부 실시예에서 시간적으로 필터링된 곡선 파라미터(503))를 사용하도록 구성될 수 있다. 디코더는 또한 이러한 미리 계산된 곡선 파라미터(502 또는 503)를 버리고 자동 모드로 폴백하도록 구성될 수 있는데, 즉, 디코더는 메타데이터(402)에 기초하여 새로운 곡선 파라미터(502)를 계산할 수 있다. 이 둘의 조합도 가능하다. 특히, 아티스틱 모드는 곡선 파라미터(502 또는 503)가 미리 계산되어 인코더에 의해 추가 메타데이터(401)로서 디코더로 전송될 수 있음을 의미한다. 색상 관련 메타데이터(404)도 뒤따를 수 있지만, 선택 사항이다.
"아티스틱 모드"가 반드시 인간 아티스트나 컬러리스트가 관여한다는 것을 의미하지는 않는다는 점에 유의해야 한다. 인공 지능(AI)이 컬러 그레이딩에서 인간 아티스트 또는 컬러리스트를 대체하고 곡선 파라미터(502)를 결정하는 데 도움을 줄 수도 있다. 따라서, 위 정의에 따르면, 자동 모드와 아티스틱 모드의 근본적인 차이점은 자동 모드에서는 (기본) 메타데이터(402)만 전송되는 반면에, 아티스틱 모드에서는 곡선 파라미터(502 또는 503)가 인코더에서 계산되고 확장된 메타데이터 내에 임베딩될 수 있다는 것이다.
다음은, (기본) 메타데이터(402)에 기초하여 곡선 파라미터(502), 특히 파라미터 m_p 및 m_a를 계산하는 방법을 도 4와 관련하여 설명한다. 메타데이터(402)에서 4개의 매개변수를 제외하고, 다른 모든 변수는 중간 값이거나 미리 설정된 값일 수 있다. 따라서, 곡선 파라미터(502), 즉 m_a 및 m_p는 예시적인 기본 메타데이터(402)의 4개의 파라미터가 주어지면 결정될 수 있다. 다음에서 사용되는 파라미터에 대해 CUVA HDR 표준이 참조된다.
먼저 MAX1과 max_lum의 중간 값을 계산할 수 있다. 여기서, 메타데이터(402)의 두 가지 파라미터인 average_maxrgb 및 variance_maxrgb가 사용될 수 있다.
Figure pct00009
Figure pct00010
A, B는 미리 설정된 가중치이고, MIN은 max_lum에 대한 하한 임계값의 미리 설정된 값이다. MaxRefDisplay는 참조 디스플레이의 최고 밝기이다. 참조 디스플레이는 컬러리스트가 컬러 그레이딩 중에 HDR 비디오를 표시하는 디스플레이이다. 표준 참조 디스플레이 최대 밝기는 1000 니트(nit) 또는 4000 니트(nit)일 수 있지만, 실제로는 다른 값이 있을 수도 있다.
다음으로, 파라미터 m_p를 다음과 같이 계산할 수 있다.
Figure pct00011
여기서, avgL은 프레임 내 모든 픽셀의 maxRGB 값의 평균이고, TPL0 및 TPH0은 avgL에 대해 미리 설정된 임계값이며, PvalueH0 및 PvalueH1은 m_p에 대해 미리 설정된 임계값이고, g0(w0)은 가중치이다.
세 번째로, max_lum을 사용하여 파라미터 m_p를 업데이트될 수 있다.
Figure pct00012
여기서 TPL1 및 TPH1은 max_lum에 대해 미리 설정된 임계값이고, PdeltaH1 및 PdeltaL1은 m_p 오프셋에 대해 미리 설정된 임계값이며, g1(w1)은 가중치이다.
마지막으로, m_p를 사용하여 파라미터 m_a를 계산할 수 있다. 이 단계에서, 다른 중간 값 H(L)이 계산된다.
Figure pct00013
Figure pct00014
여기서 MaxDISPLAY 및 MinDISPLAY는 디스플레이의 최대 및 최소 밝기를 의미하고, MaxSource 및 MinSource는 원본 HDR 비디오의 최대 및 최소 밝기(maxRGB 값)를 의미한다.
유리하게는, 예를 들어 본 발명의 실시예에 따라 생성된 톤 매핑 곡선(300)은, 도 5에 도시된 바와 같이 종래의 톤 매핑 곡선보다 더 안정적이며, 여기서 C1 및 C2는 종래의 톤 매핑 곡선(그래프 C1은 중간에 있는 그래프이고 C2는 3개의 그래프 중 하단 그래프임)을 나타내고, "피닉스(phoenix)"는 본 발명의 일 실시예(예컨대, 도 3에 도시된 예들)에 따른 톤 매핑 곡선(300)(도 5의 3개 그래프 중 상단 그래프에 의해 도시된 개선된 성능)을 나타낸다. '피닉스' 톤 매핑 곡선(300)은 본질적으로 기존의 톤 매핑 곡선보다 더 안정적이기 때문에, 전체 톤 매핑 곡선(300)을 시간적으로 필터링하기 위해 많은 계산을 할 필요가 없다. 따라서, 본 발명의 실시예에 따르면, 그 대신에 파라미터 세트(102)(메타데이터(402) 또는 곡선 파라미터(502))만 시간적으로 필터링(202)하면 된다. 예를 들어, 128개 값의 룩업 테이블(LUT)에 저장되는 완전한 톤 매핑 곡선(300)을 시간적으로 필터링하는 것과 비교하여, 예를 들어 메타데이터(402)는 전술한 4개의 파라미터만을 포함할 수 있다. 따라서, 예를 들어 메타데이터(402)를 시간적으로 필터링(202)하는 것은 톤 매핑 곡선(300)을 완전히 필터링하는 것보다 128/4 = 32배 더 효율적이다.
도 6은 본 발명의 일 일 실시예에 따른 장치(100)의 역할을 하는 인코더 또는 디코더에 의해 수행될 수 있는, 필터링된 파라미터 세트(103)를 얻기 위한 예시적인 절차의 개략도이다. 이 절차는 전술한 바와 같이 메타데이터(402)를 필터링하고 곡선 파라미터(502)를 필터링하기 위해 동일한 방식으로 동작한다. 이 절차는 다음 단계들로 구성된다.
처음에, 제1 HDR 비디오 프레임(101)의 적어도 제1 파라미터 세트(102)가 획득될 수 있고(201), 획득된 제1 파라미터 세트(102)가 큐에 푸시될 수 있다(도시되어 있지 않음). 그 후, 제2 HDR 비디오 프레임(101)의 제2 파라미터 세트(102)가 획득될 수 있다(201)(도시된 바와 같이). 그런 다음, 제1 HDR 비디오 프레임(101)과 제2 HDR 비디오 프레임(101) 사이에 장면 변경이 발생하는지 여부가 (블록 601에서) 검출될 수 있다. 장면 변경이 일어나지 않으면(블록 601에서 N), 제2 파라미터 세트(102)가 큐에 푸시된다(블록 602). 장면 변경이 발생하면(블록 601에서 Y), 큐가 클리어링된다(블록 603에서). 첫 번째 경우(블록(601)에서 N)에서, 큐 내의 파라미터 세트(102)의 평균은 시간적 필터링 단계(202)로서 (블록 604에서) 계산되어 시간적으로 필터링된 파라미터 세트(103)를 얻을 수 있다.
일 실시예에서, 복수의 파라미터 세트(102)의 시간적 필터링(202)은 복수의 파라미터 세트(102)의 파라미터들 중 적어도 일부분의 평균 또는 가중 평균(예컨대, 블록(604)에서 수행됨)을 계산하는 것을 포함한다.
특히, 시간 영역에서 HDR 비디오 프레임(101)의 필터링된 파라미터 세트(103)를 얻기 위해 큐의 가중 평균이 계산될 수 있다(블록 604). 시간적 필터링(202)은 다음 방정식에 기초하여 수행될 수 있다.
Figure pct00015
여기서 Q(k)는 큐의 k번째 값이고 wk는 가중치이다. 모든 가중치의 합은 1이다. 기본적으로 모든 가중치는 같을 수 있는데, 예컨대, w = 1/n이다. 일 실시예에서, 현재 HDR 비디오 프레임(101)(도 6에서 "제2 프레임")에 더 가까운 HDR 비디오 프레임(101)의 파라미터 세트에 대해 더 큰 가중치가 할당될 수 있다. 테스트는 이러한 실시예가 동일한 가중치에 비해 품질 면에서 작은 이득만을 제공한다는 것을 보여주었다. 따라서, 동일한 이득을 갖는 실시예들은 거의 유사한 품질을 제공하지만 덜 복잡하기 때문에 효율적인 구현을 제공한다. n이 항상 대기열의 최대 길이가 아닐 수도 있다는 점에 유의해야 한다. 비디오의 시작 부분 또는 장면 컷(즉, 장면 변경)이 발생하는 HDR 비디오 프레임(101)에서, n은 0으로 리셋된 다음 큐의 최대 길이에 도달할 때까지 프레임 단위로 1씩 증가할 수 있다. 큐가 가득 차면 "선입선출" 규칙을 따를 수 있다. 즉, 큐에서 가장 오래된 HDR 비디오 프레임(101)의 파라미터 세트(102)가 팝 아웃될 수 있고, 최신 HDR 비디오 프레임(101)의 파라미터 세트(102)가 푸시인될 수 있다.
도 6의 절차는 파라미터 세트(102)의 시간적 필터링(202)에 의해 시간 및 컴퓨팅 자원 모두가 절약될 수 있고, 톤 매핑 곡선(300)이 시간적으로 필터링된 파라미터 세트(103)에 기초하여 계산되면, 플리커링없이 디스플레이된 콘텐츠의 안정성이 여전히 보장될 수 있다. 시간적 필터링(202)을 위한 큐 길이는 프레임 레이트 및 기본적으로 0.5초 내지 1초의 HDR 비디오 프레임(101)의 수에 의존할 수 있다. 예를 들어, HDR 비디오의 프레임 레이트가 30fps(초당 프레임 수)인 경우, 합리적인 큐 길이는 15와 30 사이일 수 있다. 일 실시예에서, 2의 거듭제곱이 큐 길이로 취해질 수 있으므로, 30fps의 경우 소프트웨어에서 32개, 15fps의 경우 16개가 취해질 수 있다.
도 7의 이 절차는 (예컨대, 기본) 메타데이터(402)를 시간적으로 필터링(202)하고 곡선 파라미터(502), 예컨대 파라미터 m_p 및 m_a를 시간적으로 필터링(202)하는 데 사용될 수 있다. 아티스틱 모드에서, 곡선 파라미터 m_p 및 m_a도 향상된 메타데이터의 일부일 수 있으며, 향상된 메타데이터를 시간적으로 필터링하는 것도 가능하다.
본 발명의 실시예는 시간적 필터링(202)이 메타데이터(402) 및 곡선 파라미터(502) 모두에 적용될 수 있음을 포함하지만, 다음의 두 가지 이유로 메타데이터(402)를 필터링하는 것이 더 유익할 수 있다.
1) 파라미터 m_a 및 m_p와 같은 곡선 파라미터(502)는 메타데이터(402)의 비선형 함수일 수 있다. 따라서, 비선형 영역에서 그러한 곡선 파라미터(502)를 필터링하는 것은 제어하기가 더 어려울 수 있다. 메타데이터(402)는 그러한 선형 필터링에 더 적합할 수 있다.
2) 자동 모드에서, 파라미터 m_a 및 m_p와 같은 필터링 곡선 파라미터(502)는 디코더에서만 사용될 수 있다. 곡선 곡선 파라미터(502)는 자동 모드에서 인코더에 의해 디코더로 전송되지 않기 때문에, 인코더에서 이를 필터링하는 것이 가능하지 않을 수 있다. 그러나, 자동 모드에서 메타데이터(402)를 필터링하는 것은 디코더뿐만 아니라 인코더에서도 수행될 수 있다.
전술한 실시예들은 톤 매핑 곡선(300) 전체를 시간적으로 필터링하는 것에 비해 계산 복잡도 및 메모리 요구량이 감소되는 장점을 제공한다. 또한, 잠재적인 플리커링 현상이 회피 또는 감소되며, 장면이 연속적인 HDR 비디오 프레임(101) 사이에서 빠르게 변경될 때에도 디스플레이된 콘텐츠의 안정성이 보장될 수 있다.
다음은, 제1 모드(예컨대, 자동 모드)에 대한 일부 특정 실시예를 도 7 내지 도 9와 관련하여 설명한다.
도 7은 장치(100)가 인코더 및 디코더의 시스템에서 인코더인 실시예를 도시한 것이다. 특히, 메타데이터(402)(파라미터 세트(102)임)의 시간적 필터링(202)이 인코더에서 발생한다.
특히, 인코더는 (획득 단계(201)로서) 먼저 복수의 HDR 비디오 프레임(101)으로부터 메타데이터(402)를 추출한다(701). 그런 다음 메타데이터(402)는 인코더에서 시간적으로 필터링된다(202). 시간 필터링(202)에 관해서는, 도 6에 도시된 것과 동일한 처리 절차가 메타데이터(402)에 대해 사용될 수 있다. 필터링된 메타데이터(403)(필터링된 파라미터 세트(103))를 획득한 후, 필터링된 메타데이터(403)는 디코더에 제공된다. 디코더는 시간적으로 필터링된 메타데이터(403)에 기초하여 곡선 파라미터(502)를 계산한다(702). 또한, 디코더는 곡선 파라미터(502)에 기초하여 톤 매핑 곡선(300)을 생성한다(703).
도 8은 장치(100)가 인코더 및 디코더의 시스템에서 디코더인 실시예를 도시한 것이다. 특히, 메타데이터(402)(파라미터 세트(102))의 시간적 필터링(202)이 디코더에서 발생한다.
특히, 인코더는 먼저 복수의 HDR 비디오 프레임(101)으로부터 메타데이터(402)를 추출하고(701), 메타데이터(402)를 디코더로 전송한다. 디코더는 (획득 단계(201)로서) 메타데이터(402)를 수신하고, 메타데이터(402)를 시간적으로 필터링(202)하여 시간적으로 필터링된 메타데이터(403)(필터링된 파라미터 세트(103))를 얻는다. 디코더에서의 시간적 필터링(202)에 관해서는, 도 6에 도시된 것과 동일한 처리 절차가 메타데이터(402)에 대해 사용될 수 있다. 필터링된 메타데이터(403)를 획득한 후, 디코더에서 톤 매핑 곡선(300)을 생성(703)하기 위해 톤 매핑 곡선 파라미터(502)가 디코더에서 계산된다(702).
도 9는 장치(100)가 인코더 및 디코더의 시스템의 디코더인 실시예를 도시한 것이다. 특히, 곡선 파라미터(503)(파라미터 세트(102))의 시간적 필터링(202)이 디코더에서 발생한다.
특히, 인코더는 먼저 복수의 HDR 비디오 프레임(101)으로부터 메타데이터(402)를 추출하고(701), 이를 디코더로 전송한다. 그 후, 디코더는 곡선 파라미터(502)를 계산(702)(획득 단계(201))한 다음, 곡선 파라미터(502)를 시간적으로 필터링(202)하여 시간적으로 필터링된 곡선 파라미터(503)(필터링된 파라미터 세트(103))를 획득한다. 시간 필터링(202)에 대해, 도 6에 도시된 것과 동일한 처리 절차가 곡선 파라미터(502)에 대해 사용될 수 있다. 필터링된 곡선 파라미터(503)를 획득한 후, 디코더는 시간적으로 필터링된 곡선 파라미터(503)에 기초하여 톤 매핑 곡선(300)을 생성한다(703).
다음은, 제2 모드(예컨대, 아티스틱 모드)에 대한 일부 특정 실시예를 도 10 내지 도 12와 관련하여 설명한다.
도 10은 장치(100)가 인코더 및 디코더의 시스템에서 인코더인 실시예를 도시한 것이다. 특히, 메타데이터(402)(파라미터 세트)의 시간적 필터링(202)이 인코더에서 발생한다.
특히, 인코더는 (획득 단계(201)로서) 먼저 복수의 HDR 비디오 프레임(101)으로부터 메타데이터(402)를 추출한다(701). 그 후 인코더에서 메타데이터가 시간적으로 필터링되어(202) 필터링된 메타데이터(103)(시간적으로 필터링된 파라미터 세트(103))를 획득한다. 시간 필터링(202)에 관해서는, 도 6에 도시된 것과 동일한 처리 절차가 메타데이터(402)에 대해 사용될 수 있다. 필터링된 메타데이터(403)를 획득한 후, 인코더는 곡선 파라미터(502)를 계산하고(702), 추가 메타데이터(401)로서 곡선 파라미터를 메타데이터(402)에 추가(1000)하여 확장된 메타데이터(1001)를 얻을 수 있다. 이 확장된 메타데이터(1001)는 디코더로 전송되고, 디코더는 이로부터 추가 메타데이터(401)와, 이에 따라 곡선 파라미터(502)를 추출하고, 이들 추출된 곡선 파라미터(502)에 기초하여 톤 매핑 곡선(300)을 생성한다(703).
도 11은 장치(100)가 인코더 및 디코더의 시스템에서 인코더인 실시예를 도시한 것이다. 특히, 곡선 파라미터(502)(파라미터 세트(102))의 시간적 필터링(202)이 디코더에서 발생한다.
특히, 인코더는 먼저 복수의 HDR 비디오 프레임(101)으로부터 메타데이터(402)를 추출한다(701). 그런 다음 인코더는 (획득 단계(201)로서) 곡선 파라미터(502)를 계산한다(702). 곡선 파라미터(502)는 이후 인코더에서 시간적으로 필터링되어(202), 필터링된 곡선 파라미터(503)(시간적으로 필터링된 파라미터 세트(103))를 얻는다. 시간 필터링(202)에 관해서는, 도 6에 도시된 것과 동일한 처리 절차가 곡선 파라미터(502)에 대해 사용될 수 있다. 시간적으로 필터링된 곡선 파라미터(503)를 획득한 후, 인코더는 시간적으로 필터링된 곡선 파라미터(503)를 추가적인 메타데이터(401)로서 메타데이터(402)에 추가하여(1000), 확장된 메타데이터(1001)를 획득할 수 있다. 이 확장된 메타데이터(1001)는 디코더로 전송되고, 디코더는 이로부터 추가 메타데이터(401)와, 이에 따라 시간적으로 필터링된 곡선 파라미터(503)를 추출하고, 이들 추출된 곡선 파라미터(503)에 기초하여 톤 매핑 곡선(300)을 생성한다(703).
도 12는 장치(100)가 인코더 및 디코더의 시스템에서 인코더인 실시예를 도시한 것이다. 특히, 메타데이터(402)(파라미터 세트(102)임)의 시간적 필터링(202)이 인코더에서 발생한다.
도 12는 SMPTE 2094-10에 대해 메타데이터(402)의 시가적 필터링(202)을 적용하기 위한 예를 도시한 것이다. 이 실시예에서, 메타데이터(402)의 일부(따라서 필터링된 파라미터 세트(103)인 시간적으로 필터링된 메타데이터(403)의 일부)인 "적응점(adaptation point)"은 톤 매핑 곡선 파라미터(502) c1, c2 및 c3를 계산(702)하기 위해 인코더에 의해 사용될 수 있다. 시간적 필터링(202)은 특히 적응점에 적용되어 시간적으로 필터링된 적응점을 얻을 수 있다. 그 후 시간적으로 필터링된 메타데이터(402)는 향상된 메타데이터(1001)의 추가 메타데이터(401)로서(예컨대, 임베딩된 아티스틱 모드 메타데이터로서) 디코더로 전송된다. 마지막으로, 톤 매핑 곡선(300)은 추출된 추가 메타데이터(401) 및 따라서 곡선 파라미터(502)에 기초하여 디코더에 의해 생성된다(703).
유사하게, SMPTE 2094-40에서는, 앵커 포인트가 곡선 파라미터(502)를 결정하는 데 사용될 수 있고, 따라서 특히 시간적 필터링(202)이 또한 이러한 앵커 포인트에 적용될 수 있다. SMPTE 2094-20 및 2094-30에서, 메타데이터(402)의 3개의 파라미터(502)는 "ShadowGainControl", "MidtoneWidthAdjustmentFactor" 및 "HighlighGainControl"을 포함하는 톤 매핑 곡선(300)을 결정하고, 따라서 시간적 필터링(202)이 특히 이들 3개의 파라미터에 적용될 수 있다.
이상의 모든 실시예에서, 메타데이터(402)는 동적 메타데이터일 수 있는데, 즉, 메타데이터(402)는 프레임(101)으로부터 프레임(101)으로 변경될 수 있다. 또한, 이상의 모든 실시예에서, 곡선 파라미터(502)는 피닉스 톤 매핑 곡선(300)을 정의하는 데 사용될 수 있는 파라미터 m_a 및 m_p일 수 있다.
도 9 내지 도 11에 도시된 실시예에서, 메타데이터(402)는, 예를 들어, 메타데이터(402)를 시간적으로 필터링(202)하기 전 또는 후에 곡선 파라미터(502)를 계산하는 데 사용될 수 있다. 그런 다음, 큐빅 스플라인 파라미터 및 계산된 곡선 파라미터(502)가 향상된 메타데이터(1001)에 임베딩된 추가 메타데이터(401)로서 결합될 수 있다.
도 13은 본 발명의 실시예를 구현하도록 구성된 HDR 동적 톤 매핑 프로세스의 신호 처리 파이프라인(1300)의 예를 도시한다. 시스템의 입력은 HDR 비디오, 예컨대, HDR 비디오의 HDR 비디오 프레임이다. 일반적으로, 이 HDR 비디오는 포스트 프로덕션 단계의 출력일 수 있으며, 여기서 컬러리스트는 더 나은 품질이나 특정 예술적 의도를 위해 컬러 그레이딩 시스템을 사용하여 비디오를 편집한다. HDR 비디오는 최대 밝기가 높고, 흔히 1000 니트(nit) 또는 2000 니트(nit)일 수 있으며, 가까운 미래에는 4000니트(nit) 또는 10000 니트(nit)가 될 수 있을 것이다. 또한, 비디오의 픽셀 값은 PQ 영역에 있다.
HDR 전처리 블록(1301)에서, HDR 비디오는 입력과 동일하게 유지된다. 그러나, 메타데이터는 계산된다. 또한, HDR 비디오 코딩 블록(1302)에서, HDR 비디오는, 예를 들어 비디오 코덱, 예컨대 H.265 또는 임의의 다른 비디오 표준(국내, 국제 또는 독점)에 따른 비디오 코덱에 의해 압축된다. 또한, 메타데이터는 인코더로부터 디코더로 전송되는(또는 나중에 디코더가 검색할 수 있도록 저장 매체에 저장되는) 비디오 스트림의 헤더에 임베딩된다. HDR 비디오 디코딩 블록(1303)에서, 디코더는 HDR 비디오 비트스트림을 수신하고, 압축된(또는 코딩된) 비디오를 디코딩하며, 헤더로부터 메타데이터를 추출한다.
또한, HDR 동적 톤 매핑 블록(1304)에서, HDR 비디오를 디스플레이 용량에 적응시키기 위해 톤 매핑이 수행된다.
예를 들어, HDR 전처리 블록(1301) 및/또는 HDR 동적 톤 매핑 블록(1304)은 본 발명의 실시예를 구현할 수 있다.
본 발명은 구현뿐만 아니라 예로서 다양한 실시예와 관련하여 설명되었다. 그러나, 도면, 본 명세서 및 독립항을 살펴보면, 청구된 발명을 실시하는 당업자는해 다른 변형을 이해되고 달성할 수 있을 것이다. 특허청구범위 및 설명에서 "포함"이라는 표현은 다른 요소 또는 단계를 배제하지 않으며 단수형은 복수를 배제하지 않는다. 단일 요소 또는 기타 유닛은 청구범위에 나열된 여러 엔티티나 아이템의 기능을 수행할 수 있다. 서로 다른 종속항에 특정한 수단이 기재되어 있다는 단순한 사실이 이들 수단의 조합이 유리한 구현에 사용될 수 없다는 것을 나타내지는 않는다.

Claims (19)

  1. 톤 매핑 곡선(300)에 대한 파라미터 세트를 결정하는 방법(200)으로서,
    복수의 파라미터 세트(102)를 획득하는 단계(201) - 각각의 파라미터 세트(102)는 톤 매핑 곡선(300)을 정의하고, 각각의 파라미터 세트(102)는 복수의 HDR(High Dynamic Range) 비디오 프레임(101) 중 하나에 기초하여 도출됨 - 와,
    시간적으로 필터링된 파라미터 세트(103)를 획득하기 위해 상기 복수의 파라미터 세트(102)를 시간적으로 필터링(202)하는 단계를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 복수의 파라미터 세트(102)를 시간적으로 필터링하는 단계(202)는, 상기 복수의 파라미터 세트(102)의 파라미터들 중 적어도 일부분의 평균 또는 가중 평균을 계산하는 단계(604)를 포함하는,
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 시간적으로 필터링된 파라미터 세트(103)에 기초하여 상기 톤 매핑 곡선(300)을 생성하는 단계(703)를 더 포함하는,
    방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    각각의 파라미터 세트(102)는 상기 톤 매핑 곡선(300)을 직접적으로 또는 간접적으로 정의하는,
    방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    각각의 파라미터 세트(102)는 상기 HDR 비디오 프레임(101)의 메타데이터(402) 또는 상기 톤 매핑 곡선(300)의 하나 이상의 곡선 파라미터(502)를 포함하는,
    방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    각각의 파라미터 세트(102)는 제각기의 상기 HDR 비디오 프레임(101)으로부터 추출된 메타데이터(402)를 포함하고,
    상기 시간적으로 필터링된 파라미터 세트(103)는 시간적으로 필터링된 메타데이터(403)를 포함하는,
    방법.
  7. 제6항에 있어서,
    상기 시간적으로 필터링된 메타데이터(403)에 기초하여 상기 톤 매핑 곡선(300)의 하나 이상의 곡선 파라미터(502)를 계산하는 단계(702)를 더 포함하는,
    방법.
  8. 제7항에 있어서,
    상기 하나 이상의 곡선 파라미터(502)에 기초하여 상기 톤 매핑 곡선(300)을 생성하는 단계(703)를 더 포함하는,
    방법.
  9. 제1항 내지 제5항 중 어느 한 항에 있어서,
    각각의 파라미터 세트(102)는 제각기의 상기 HDR 비디오 프레임(101)으로부터 추출된 메타데이터(402)에 기초하여 계산된(702) 상기 톤 매핑 곡선(300)의 하나 이상의 곡선 파라미터(502)를 포함하고,
    상기 시간적으로 필터링된 파라미터 세트(103)는 하나 이상의 시간적으로 필터링된 곡선 파라미터(503)를 포함하는,
    방법.
  10. 제9항에 있어서,
    상기 하나 이상의 시간적으로 필터링된 곡선 파라미터(503)에 기초하여 상기 톤 매핑 곡선(300)을 생성하는 단계(703)를 더 포함하는,
    방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 톤 매핑 곡선(300)은
    Figure pct00016
    로 주어지되,
    L은 HDR 비디오 프레임(101)의 입력 픽셀의 밝기이고, m_n은 제1 값이며, 구체적으로 m_n=1이고, m_m은 제2 값이고, 구체적으로는 m_m=2.4이며, m_b는 미리 결정된 PQ(perception quantization) 값이고, m_p는 밝기 조절 인자이며, m_a는 출력 픽셀의 최대 밝기를 정의하는 스케일링 인자이며,
    상기 하나 이상의 곡선 파라미터(502)는 m_p 및 m_a를 포함하는,
    방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 시간적으로 필터링된 파라미터 세트(103)를 상기 복수의 HDR 비디오 프레임(101)과 함께 전송하거나 저장하는 단계를 더 포함하는,
    방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    제1 HDR 비디오 프레임(101)의 제1 파라미터 세트(102)를 획득하고 상기 제1 파라미터 세트(102)를 큐에 푸시하는 단계와,
    제2 HDR 비디오 프레임(101)의 제2 파라미터 세트(102)를 획득하는 단계와,
    상기 제1 HDR 비디오 프레임(101)과 상기 제2 HDR 비디오 프레임(101) 사이에 장면 변경이 발생했는지 여부를 검출하고(601), 장면 변경이 발생하지 않은 경우에 상기 제2 파라미터 세트(102)를 상기 큐에 푸시하는 단계(602)와,
    상기 시간적으로 필터링된 파라미터 세트(103)를 획득하기 위해, 상기 큐 내의 상기 파라미터 세트(102)의 평균을 계산하는 단계(604)를 포함하는,
    방법.
  14. 제13항에 있어서,
    장면 변경이 발생한 경우, 상기 큐를 클리어링(clearing)하는 단계(603)를 포함하는,
    방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 방법은 인코더(100) 및/또는 디코더(100)에 의해 수행되는,
    방법.
  16. HDR 비디오 프레임(101)을 인코딩하는 인코더(100)로서,
    상기 인코더(100)는
    제1항, 제2항, 제4항 내지 제7항, 제9항 및 제11항 내지 제14항 중 어느 한 항에 따른 방법(200)을 수행하도록 구성되는,
    인코더.
  17. HDR 비디오 프레임(101)을 디코딩하는 디코더(100)로서,
    상기 디코더(100)는
    제1항 내지 제14항 중 어느 한 항에 따른 방법(200)을 수행하도록 구성되는,
    디코더.
  18. 톤 매핑 곡선(300)을 생성하는 시스템으로서,
    제16항에 따른 인코더(100) 및/또는 제17항에 따른 디코더(100)를 포함하는,
    시스템.
  19. 프로세서에 의해 실행될 경우, 구체적으로 제16항에 따른 인코더(100)의 프로세서 및/또는 제17항에 따른 디코더(100)의 프로세서에 의해 실행될 경우, 제1항 내지 제15항 중 어느 한 항에 따른 방법(200)을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램.
KR1020227042307A 2020-05-08 2020-05-08 톤 매핑 곡선에 대한 파라미터 세트의 결정 KR20230005981A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/089105 WO2021223193A1 (en) 2020-05-08 2020-05-08 Determination of a parameter set for a tone mapping curve

Publications (1)

Publication Number Publication Date
KR20230005981A true KR20230005981A (ko) 2023-01-10

Family

ID=78467653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227042307A KR20230005981A (ko) 2020-05-08 2020-05-08 톤 매핑 곡선에 대한 파라미터 세트의 결정

Country Status (6)

Country Link
US (1) US20230054477A1 (ko)
EP (1) EP4032257A4 (ko)
JP (1) JP7503655B2 (ko)
KR (1) KR20230005981A (ko)
CN (1) CN115336253A (ko)
WO (1) WO2021223193A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2389458T3 (es) * 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
EP3000097A1 (en) * 2013-05-23 2016-03-30 Thomson Licensing Method for tone-mapping a video sequence
EP3295451B1 (en) 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Metadata filtering for display mapping for high dynamic range images
JP2018525905A (ja) 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US9979895B2 (en) * 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
US10043251B2 (en) 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video

Also Published As

Publication number Publication date
JP7503655B2 (ja) 2024-06-20
EP4032257A4 (en) 2022-10-12
US20230054477A1 (en) 2023-02-23
WO2021223193A1 (en) 2021-11-11
EP4032257A1 (en) 2022-07-27
CN115336253A (zh) 2022-11-11
JP2023524800A (ja) 2023-06-13

Similar Documents

Publication Publication Date Title
CN112106357B (zh) 用于对图像数据进行编码和解码的方法及装置
US10419762B2 (en) Content-adaptive perceptual quantizer for high dynamic range images
CN109155853B (zh) 用于高动态范围图像的色度整形
US10645403B2 (en) Chroma reshaping for high dynamic range images
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
EP3834411B1 (en) Reducing banding artifacts in hdr imaging via adaptive sdr-to-hdr reshaping functions
CN112771567B (zh) Sdr到hdr图像转换中的图像去噪
WO2018231968A1 (en) Efficient end-to-end single layer inverse display management coding
EP3507981A1 (en) Real-time reshaping of single-layer backwards-compatible codec
US11288781B2 (en) Efficient end-to-end single layer inverse display management coding
US20230057829A1 (en) Encoder, decoder, system, and method for determining tone mapping curve parameters
KR20230005981A (ko) 톤 매핑 곡선에 대한 파라미터 세트의 결정
US20230039038A1 (en) Rate-control-aware reshaping in hdr imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal