KR102617258B1 - 이미지 프로세싱 방법 및 장치 - Google Patents

이미지 프로세싱 방법 및 장치 Download PDF

Info

Publication number
KR102617258B1
KR102617258B1 KR1020227001092A KR20227001092A KR102617258B1 KR 102617258 B1 KR102617258 B1 KR 102617258B1 KR 1020227001092 A KR1020227001092 A KR 1020227001092A KR 20227001092 A KR20227001092 A KR 20227001092A KR 102617258 B1 KR102617258 B1 KR 102617258B1
Authority
KR
South Korea
Prior art keywords
interpolation point
interpolation
spline function
tone mapping
point
Prior art date
Application number
KR1020227001092A
Other languages
English (en)
Other versions
KR20220020367A (ko
Inventor
콴허 유
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20220020367A publication Critical patent/KR20220020367A/ko
Application granted granted Critical
Publication of KR102617258B1 publication Critical patent/KR102617258B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 출원은 이미지 프로세싱 방법을 제공하며, 상기 방법은: 목표 픽처 및 상기 목표 픽처의 초기 톤 매핑 곡선(initial tone mapping curve)을 획득하는 단계; 상기 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계; 상기 복수의 보간점을 통과하는 스플라인 함수(spline function)를 결정하는 단계 - 상기 스플라인 함수는 상기 복수의 보간점 중 적어도 하나에서 상기 초기 톤 매핑 곡선에 원활하게 연결됨 - ; 상기 스플라인 함수에 기초하여 상기 초기 톤 매핑 곡선을 수정하여 상기 목표 픽처의 수정된 톤 매핑 곡선을 획득하는 단계; 및 상기 수정된 톤 매핑 곡선에 기초하여 상기 목표 픽처에 대해 톤 매핑(tone mapping)을 수행하는 단계를 포함한다. 본 출원은 이미지 프로세싱 장치를 더 제공한다. 본 출원에서 제공하는 방법의 목적은 디스플레이 디바이스가 현실 세계에서의 장면을 생생하고 사실적으로 재현할 수 있도록 하는 것이다.

Description

이미지 프로세싱 방법 및 장치
삭제
본 출원은 이미지 프로세싱 분야에 관한 것으로, 보다 상세하게는 이미지 프로세싱 방법 및 장치에 관한 것이다.
동적 범위(Dynamic Range, DR)는 픽처의 최대 계조값과 최소 계조값의 비율을 나타내는 데 사용될 수 있다. 동적 범위는 픽처의 최소 휘도 값에 대한 최대 휘도 값의 비율을 나타내는 데도 사용될 수 있다. 현실 세계의 동적 범위는 10-3에서 106 사이이며 하이 동적 범위(high dynamic range, HDR)라고 한다. 다시 말해, 현실 세계의 사물의 휘도 값은 매우 크거나 매우 작을 수 있다. 그렇지만, 디스플레이 디바이스의 디스플레이 능력은 일반적으로 제한적이다. 예를 들어, 현실 세계에서 사물 A의 휘도는 상대적으로 높다. 예를 들어, A의 휘도는 2000 nit이다. 그렇지만, 디스플레이 디바이스가 표시할 수 있는 최대 휘도는 사물 A의 휘도보다 낮다. 예를 들어 디스플레이 디바이스가 표시할 수 있는 최대 휘도는 500 nit에 불과하다. 처리가 수행되지 않으면 디스플레이 디바이스는 현실 세계에서 A를 재생할 수 없다. 또 다른 경우, 현실 세계에서 사물 B의 휘도는 상대적으로 낮다. 예를 들어, 사물 B의 휘도 값은 10 nit이다. 그러나 디스플레이 디바이스가 표시할 수 있는 최소 휘도는 사물 B의 휘도보다 높다. 예를 들어 디스플레이 디바이스가 표시할 수 있는 최소 휘도는 100 nit에 불과하다. 처리가 수행되지 않으면 디스플레이 디바이스는 현실 세계에서 B를 재생할 수 없다. 본 출원은 디스플레이 디바이스가 현실 세계의 장면을 생생하고 사실적으로 재현할 수 있는 방법을 제공한다.
본 출원은 디스플레이 디바이스가 현실 세계의 장면을 생생하고 사실적으로 재현할 수 있도록 하는 이미지 처리 방법 및 장치를 제공한다.
제1 관점에 따르면, 이미지 프로세싱 방법이 제공되고, 이 방법은: 목표 픽처 및 목표 픽처의 초기 톤 매핑 곡선을 획득하는 단계; 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계; 상기 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계 - 상기 스플라인 함수는 상기 복수의 보간점 중 적어도 하나의 초기 톤 매핑 곡선에 원활하게 연결됨 - ; 스플라인 함수에 기초하여 초기 톤 매핑 곡선을 수정하여 목표 픽처의 수정된 톤 매핑 곡선을 획득하는 단계; 및 상기 수정된 톤 매핑 곡선에 기초하여 상기 목표 픽처에 대해 톤 매핑을 수행하는 단계를 포함한다.
목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 것은 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 초기 톤 매핑 곡선을 수정하기 위한 수정 구간을 결정하는 것일 수 있고; 복수의 보간점을 통과하는 스플라인 함수를 결정하는 것은 수정 구간에서 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수를 결정하는 것일 수 있고; 스플라인 함수에 기초하여 초기 톤 매핑 곡선을 수정하여 목표 픽처의 수정된 톤 매핑 곡선을 획득하기 것은 수정 구간에서 초기 톤 매핑 곡선을 스플라인 함수로 수정하여 목표 픽처의 수정된 톤 매핑 곡선을 획득하는 것일 수 있다.
본 출원은 획득된 초기 톤 매핑 곡선을 수정하는 방법을 제공하여, 톤 매핑 곡선을 획득하는 방식이 보다 유연하다. 목표 픽처의 휘도를 분석하고 톤 매핑 곡선을 적절하게 수정하면 다른 휘도 영역에 대해 이미지 표시 효과를 조정할 수 있고 이미지의 휘도 변경 자세한 내용을 향상할 수 있으므로 사용자에게 더 나은 시각적 경험을 제공할 수 있다. 다양한 형태의 톤 매핑 곡선을 미세하게 조정하여 부드럽고, 선명하고, 밝고, 어둡게 등 다양한 스타일의 표시 효과를 얻을 수 있다. 예를 들어, 디스플레이 디바이스의 디바이스 속성 및 촬영 디바이스의 디바이스 속성에 따라 톤 매핑 곡선의 형태가 유연하게 결정되어 보다 생생하고 자연스러운 이미지 표시가 가능하다. 또한, 이미지를 표시하는 과정에서 프레임의 톤 매핑 곡선이 결정될 수 있으며, 프레임에 인접한 프레임에 대해 톤 매핑 곡선을 수정하기 위한 파라미터가 결정되어 과도한 데이터를 추가하지 않고 이미지 표시 효과를 개선할 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값이 두 번째 끝점에 대응하는 휘도 값보다 작고, 목표 픽처에 포함된 어두운 영역 픽셀의 수량이 제2 사전 설정 임계값보다 크거나 같고, 어두운 영역의 휘도 값 픽셀이 미리 설정된 제1 임계값보다 작고, 복수의 보간점이 제1 보간점을 포함하며, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 제1 보간점의 제1 좌표값이 첫 번째 끝점의 제1 좌표값과 동일한 것으로 결정하는 단계를 포함한다.
본 출원의 본 실시예에서, 이미지가 어두운 경우, 전자 디바이스는 보간점이 첫 번째 끝점 또는 첫 번째 끝점에 가까운 위치에 존재하는 것으로 결정하여 어두운 영역의 표시 효과를 개선할 수 있다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 수정 위치는 이미지의 휘도 정도에 따라 결정될 수 있으며, 이에 따라 휘도가 디스플레이 디바이스의 표시 능력보다 낮은 픽셀이 디스플레이 디바이스에 표시될 수 있다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 복수의 보간점은 제2 보간점을 더 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 어두운 영역 픽셀의 수량에 기초하여 제2 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
본 출원의 이 실시예에서, 이미지가 어두울 때, 전자 디바이스는 목표 이미지에서 어두운 영역의 영역에 기초하여 초기 톤 매핑 곡선의 수정 범위를 결정할 수 있으므로, 디스플레이 디바이스의 디스플레이 능력보다 휘도가 낮은 픽셀은 디스플레이 디바이스에 대한 상대적으로 우수한 표시 효과를 가질 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 복수의 보간점은 제3 보간점을 더 포함하고, 목표 픽처는 어두운 영역 천이 픽셀을 더 포함하고, 어두운 영역 천이 픽셀의 휘도 값은 더 크다 제1 사전 설정 임계값보다 크거나 같고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 어두운 영역 천이 픽셀의 수량에 기초하여 제3 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
제3 보간점은 스플라인 함수와 초기 톤 매핑 곡선이 제3 보간점에서 원활하게 천이되도록 하는 천이 점이 될 수 있다. 본 출원 이 실시예에서, 이미지가 어두울 때, 초기 톤 매핑 곡선의 한쪽 끝이 수정될 수 있다. 수정된 톤 매핑 곡선이 원활하게 되도록 보장하기 위해, 즉 이미지 표시 효과를 보장하기 위해, 원활한 연결 효과가 있는 보간점을 결정하여 스플라인 함수가 초기 톤 매핑 곡선에 원활하게 연결되도록 할 수 있다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 제3 보간점을 통과하고, 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제1 보간점과 제2 보간점을 통과하는 제1 스플라인 함수를 획득하는 단계; 및 제2 보간점 및 제3 보간점을 통과하는 제2 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제2 스플라인 함수는 제2 보간점에서 제1 스플라인 함수와 원활하게 연결되고, 제2 스플라인 함수는 제3 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제1 스플라인 함수는 선형 스플라인 함수이고 제2 스플라인 함수는 3차 스플라인 함수이다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 스플라인 함수는 제1 보간점, 제2 보간점, 및 제3 보간점을 통과하는 제3 스플라인 함수를 포함한다. 예를 들어, 제3 스플라인 함수는 3차 스플라인 함수이다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 방법은: 제2 보간점에 대응하는 제1 오프셋을 획득하는 단계 - 여기서 제1 오프셋은 제1 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되고 제1 수정 위치는 제2 보간점의 제1 좌표값임 - ; 및 상기 제1 수정 위치 및 상기 제1 오프셋에서의 상기 초기 톤 매핑 곡선의 함숫값에 기초하여 상기 제2 보간점의 제2 좌표값을 결정하는 단계를 포함하며, 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제2 보간점의 제1 좌표값 및 제2 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제3 스플라인 함수는 제3 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제3 스플라인 함수는 제1 보간점 및 제2 보간점을 통과하는 제4 스플라인 함수, 및 제2 보간점 및 제3 보간점을 통과하는 제5 스플라인 함수를 포함하고, 제2 보간점에서의 제4 스플라인 함수의 2차 미분값은 제2 보간점에서의 제5 스플라인 함수의 2차 미분값과 동일하다.
예를 들어, 제3 스플라인 함수는 3차 스플라인 함수이다.
예를 들어, 전술한 시나리오에서 스플라인 함수의 도함수는 항상 0보다 크다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 복수의 보간점은 제11 보간점을 더 포함하고, 제11 보간점에서의 스플라인 함수의 2차 도함수는 0이다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 매핑 곡선에서 각각 초기 톤의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값이 두 번째 끝점에 대응하는 휘도 값보다 작고, 목표 픽처에 포함된 밝은 영역 픽셀의 수량이 미리 설정된 제4 임계값보다 크거나 같은 경우, 밝기 값 영역 픽셀이 제3 사전 설정 임계값보다 크고, 복수의 보간점은 제4 보간점을 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 제4 보간점의 제1 좌표값이 두 번째 끝점의 제1 좌표값과 같은 것으로 결정하는 단계를 포함한다.
본 출원의 실시예에서, 이미지가 밝은 경우, 전자 디바이스는 두 번째 끝점 또는 두 번째 끝점에 가까운 위치에 보간점이 존재하는 것으로 결정하여 밝은 영역의 표시 효과를 개선할 수 있다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 수정 위치는 이미지의 휘도 정도에 따라 결정될 수 있고, 따라서 디스플레이 디바이스의 표시 능력보다 휘도가 높은 픽셀이 디스플레이 디바이스에 표시될 수 있다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 복수의 보간점은 제5 보간점을 더 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 밝은 영역 픽셀의 수량에 기초하여 제5 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
본 출원의 이 실시예에서, 이미지가 밝을 때, 전자 디바이스는 목표 이미지의 밝은 영역의 면적에 기초하여 초기 톤 매핑 곡선을 수정하기 위한 수정 범위를 결정할 수 있으므로, 디스플레이 디바이스의 표시 능력보다 휘도가 높은 픽셀은 디스플레이 디바이스에 상대적으로 좋은 표시 효과를 가질 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 복수의 보간점은 제6 보간점을 더 포함하고, 목표 픽처는 밝은 영역 천이 픽셀을 더 포함하고, 밝은 영역 천이 픽셀의 휘도 값은 제3 사전 설정 임계값보다 작거나 같고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 밝은 영역 천이 픽셀의 수량에 기초하여 제6 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
제6 보간점은 스플라인 함수와 초기 톤 매핑 곡선이 제6 보간점에서 원활하게 천이되도록 하는 천이 점이 될 수 있다. 본 출원의 이 실시예에서, 이미지가 밝을 때, 초기 톤 매핑 곡선의 한쪽 끝은 수정될 수 있다. 수정된 톤 매핑 곡선이 원활하게 되도록 보장하기 위해, 즉 이미지 표시 효과를 보장하기 위해 원활한 연결 효과가 있는 보간점을 결정하여 스플라인 함수가 초기 톤 매핑 곡선에 원활하게 연결되도록 할 수 있다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 제6 보간점을 통과하고, 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제4 보간점과 제5 보간점을 통과하는 제1 스플라인 함수를 획득하는 단계; 및 제5 보간점과 제6 보간점을 통과하는 제2 스플라인 함수를 결정하는 단계를 포함하고, 여기서 제2 스플라인 함수는 제5 보간점에서 제1 스플라인 함수와 원활하게 연결되고, 제2 스플라인 함수는 제6 보간점에서의 초기 톤 매핑 곡선에 원활하게 연결된다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제1 스플라인 함수는 선형 스플라인 함수이고 제2 스플라인 함수는 3차 스플라인 함수이다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 스플라인 함수는 제4 보간점, 제5 보간점, 및 제6 보간점을 통과하는 제3 스플라인 함수를 포함한다. 예를 들어, 제3 스플라인 함수는 3차 스플라인 함수이다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 방법은: 제5 보간점에 대응하는 제1 오프셋을 획득하는 단계 - 여기서 제1 오프셋은 제1 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되고 제1 수정 위치는 제5 보간점의 제1 좌표값임 - ; 및 상기 제1 수정 위치에서의 상기 초기 톤 매핑 곡선의 함숫값 및 상기 제1 오프셋에 기초하여 상기 제5 보간점의 제2 좌표값을 결정하는 단계를 포함하며, 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제5 보간점의 제1 좌표값 및 제5 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제3 스플라인 함수는 제6 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제3 스플라인 함수는 제4 보간점 및 제5 보간점을 통과하는 제4 스플라인 함수, 및 제5 보간점을 통과하는 제5 스플라인 함수를 포함한다. 상기 제5 보간점에서의 상기 제4 스플라인 함수의 2차 미분값과 상기 제5 보간점에서의 상기 제5 스플라인 함수의 2차 미분값이 동일하다. 제1 관점을 참조하면, 제1 관점의 일부 구현에서, 동적 메타데이터는 다음 항목: 복수의 보간점 각각의 좌표 정보, 영역 휘도 지시 정보, 또는 복수의 좌표 정보 키 픽셀 중 적어도 하나를 포함한다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 동적 메타데이터는 복수의 보간점 각각의 좌표 정보를 포함한다.
본 출원의 이 실시예에서, 이미지 프로세싱 디바이스가 이미지의 픽셀을 분석하지 않고, 동적 메타데이터에만 기초하여 복수의 보간점을 결정할 수 있도록 보간점 정보가 동적 메타데이터에 미리 설정될 수 있다. 따라서 이미지 프로세싱의 계산량을 줄인다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값이 두 번째 끝점에 대응하는 휘도 값보다 작고, 동적 메타데이터가 영역 휘도 지시 정보를 포함하고; 영역 휘도 지시 정보가 어두운 영역을 지시하는 경우, 복수의 보간점은 제1 보간점을 포함하고, 제1 보간점의 제1 좌표값은 첫 번째 끝점의 제1 좌표값과 동일하고; 및/또는 영역 휘도 지시 정보가 밝은 영역을 지시하는 경우, 복수의 보간점은 제2 보간점을 포함하고, 제2 보간점의 제1 좌표값은 두 번째 끝점의 제1 좌표값과 동일하다.
본 출원의 이 실시예에서, 이미지가 어두운 경우, 전자 디바이스는 보간점이 첫 번째 끝점 또는 첫 번째 끝점에 가까운 위치에 존재한다고 결정할 수 있다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 수정 위치는 이미지의 휘도 정도에 따라 결정될 수 있으며, 이에 따라 휘도가 디스플레이 디바이스의 표시 능력보다 낮은 픽셀이 디스플레이 디바이스에 표시될 수 있다. 이미지가 밝은 경우, 전자 디바이스는 두 번째 끝점 또는 두 번째 끝점에 가까운 위치에 보간점이 존재하는 것으로 결정할 수 있다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 수정 위치는 이미지의 휘도 정도에 따라 결정될 수 있고, 따라서 디스플레이 디바이스의 표시 능력보다 휘도가 높은 픽셀이 디스플레이 디바이스에 표시될 수 있다. 동적 메타데이터는 "어두움" 또는 "밝음"을 지정하기 때문에 이미지 프로세싱 디바이스는 이미지의 픽셀을 분석하지 않고 동적 메타데이터만을 기반으로 복수의 보간점을 결정할 수 있어 이미지 처리의 계산량을 줄일 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값이 두 번째 끝점에 대응하는 휘도 값보다 작고, 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응관계에서 P 개의 좌표 정보를 포함하고, P는 양의 정수이고, 목표 픽처의 휘도 정보 및 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계는: P 개의 좌표 정보 및 목표 픽처의 휘도 정보에 기초하여 P 개의 키 픽셀이 어두운 영역 픽셀인지를 결정하는 단계 - 여기서 어두운 영역 픽셀의 휘도 값이 제1 사전 설정 임계값보다 작고, 밝은 영역 픽셀의 휘도 값이 제3 사전 설정 임계값보다 큼 - ; 및 P 개의 키 픽셀이 어두운 영역 픽셀인 경우, 복수의 보간점이 제1 보간점을 포함하는 것으로 결정하거나 - 여기서 제1 보간점의 제1 좌표값은 첫 번째 끝점의 제1 좌표값과 동일함; 또는 P 개의 키 픽셀이 밝은 영역 픽셀인 경우, 복수의 보간점이 제2 보간점을 포함하는 것으로 결정하는 단계 - 여기서 제2 보간점의 제1 좌표값은 두 번째 끝점의 제1 좌표값과 동일함 - 를 포함한다.
본 출원의 이 실시예에서, 이미지가 어두운 경우, 전자 디바이스는 보간점이 첫 번째 끝점 또는 첫 번째 끝점에 가까운 위치에 존재한다고 결정할 수 있다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 수정 위치는 이미지의 휘도 정도에 따라 결정될 수 있으며, 이에 따라 휘도가 디스플레이 디바이스의 표시 능력보다 낮은 픽셀이 디스플레이 디바이스에 표시될 수 있다. 이미지가 밝은 경우, 전자 디바이스는 두 번째 끝점 또는 두 번째 끝점에 가까운 위치에 보간점이 존재하는 것으로 결정할 수 있다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 수정 위치는 이미지의 휘도 정도에 따라 결정될 수 있고, 따라서 디스플레이 디바이스의 표시 능력보다 휘도가 높은 픽셀이 디스플레이 디바이스에 표시될 수 있다. 동적 메타데이터는 픽셀을 지정하기 때문에 이미지 프로세싱 디바이스는 목표 이미지에 대한 장면 분석을 수행할 때 목표 픽셀을 결정할 필요가 없고, 동적 메타데이터로 지정된 목표 픽셀을 기반으로 픽처의 어두운 영역 픽셀과 밝은 영역 픽셀을 직접 결정한다. 따라서, 키 보호 영역 및 대응하는 복수의 보간점을 보다 유연하게 결정할 수 있고, 이미지 프로세싱의 계산량이 감소된다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 목표 픽처는 휘도 값이 제1 휘도 값과 제2 휘도 값 사이에 있는 목표 픽셀을 포함하고, 목표 픽셀의 모든 픽셀에 대한 목표 픽셀의 비율 목표 픽처가 제8 사전 설정 임계값보다 크고, 제1 휘도 값과 제2 휘도 값의 차이가 제7 사전 설정 임계값보다 작고, 복수의 보간점은 제12 보간점을 포함하고, 복수의 보간점을 결정하는 단계는: 목표 픽처의 휘도 정보에 대한 정보는 목표 픽셀의 평균 휘도, 목표 픽처의 최소 휘도값 및 목표 픽처의 최대 휘도값에 기초하여 제12 보간점을 결정하는 단계를 포함한다.
제12 보간점의 제1 좌표값은 전술한 제1 보간점의 제1 좌표값보다 클 수 있다.
제12 보간점의 제1 좌표값은 전술한 제2 보간점의 제1 좌표값보다 클 수 있다.
제12 보간점의 제1 좌표값은 전술한 제3 보간점의 제1 좌표값보다 클 수 있다.
제12 보간점의 제1 좌표값은 전술한 제4 보간점의 제1 좌표값보다 작을 수 있다.
제12 보간점의 제1 좌표값은 전술한 제5 보간점의 제1 좌표값보다 작을 수 있다.
제12 보간점의 제1 좌표값은 전술한 제6 보간점의 제1 좌표값보다 작을 수 있다.
본 출원의 이 실시예에서, 수정 범위는 수정될 픽셀이 위치하는 휘도 구간에 기초하여 초기 톤 매핑 함수에 대해 결정될 수 있다. 다시 말해, 초기 톤 매핑 함수의 임의의 세그먼트에 대해 수정이 수행될 수 있으며 수정 유연성이 상대적으로 높다. 그러나 휘도 구간이 상대적으로 좁으면 이미지의 휘도 콘트라스트가 명확하지 않다. 초기 톤 매핑 곡선을 수정하여 원래의 휘도 콘트라스트가 명확하지 않은 이미지를 전자 디바이스에서 보다 생생하게 표시할 수 있다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 복수의 보간점은 제13 보간점을 더 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 목표 픽셀의 수량을 기반으로 하는 제13 보간점을 결정하는 단계를 포함한다.
본 출원의 본 실시예에서, 수정 범위는 수정될 픽셀의 수량에 기초하여 결정될 수 있으므로, 원래의 휘도 콘트라스트가 명확하지 않은 이미지가 전자 디바이스에서 보다 선명하게 표시된다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 복수의 보간점은 제14 보간점을 더 포함하고, 목표 픽처는 목표 천이 픽셀을 더 포함하고, 목표 천이 픽셀의 휘도 값은 제1 휘도값보다 작거나 제1 휘도값과 같거나, 또는 목표 천이 픽셀의 휘도값은 제2 휘도값보다 크거나 같고, 제1 휘도값이 제2 휘도값보다 작고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 목표 천이 픽셀의 수량에 기초하여 제14 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
일 예에서, 제14 보간점의 제1 좌표값은 제12 보간점의 제1 좌표값보다 크고, 제13 보간점의 제1 좌표값보다 크다.
일 예에서, 제14 보간점의 제1 좌표값은 제12 보간점의 제1 좌표값보다 작고, 제13 보간점의 제1 좌표값보다 작다.
제14 보간점은 스플라인 함수와 초기 톤 매핑 곡선이 제14 보간점에서 원활하게 천이되도록 하는 천이 점이 될 수 있다. 본 출원의 이 실시예에서, 수정된 톤 매핑 곡선이 원활하게 되도록 보장하기 위해, 즉 이미지 표시 효과를 보장하기 위해 원활한 연결 효과가 있는 보간점을 결정하여 스플라인 함수가 초기 톤 매핑 곡선에 원활하게 연결되도록 할 수 있다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 제14 보간점을 통과하고, 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제12 보간점과 제13 보간점을 통과하는 제1 스플라인 함수를 획득하는 단계; 및 상기 제13 보간점과 상기 제14 보간점을 통과하는 제2 스플라인 함수를 결정하는 단계를 포함하며, 여기서 상기 제2 스플라인 함수는 상기 제13 보간점에서 상기 제1 스플라인 함수와 원활하게 연결되고, 상기 제2 스플라인 함수는 제14 보간점에서의 초기 톤 매핑 곡선에 원활하게 연결되는 단계를 포함한다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제1 스플라인 함수는 선형 스플라인 함수이고 제2 스플라인 함수는 3차 스플라인 함수이다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 스플라인 함수는 제12 보간점, 제13 보간점, 및 제14 보간점을 통과하는 제3 스플라인 함수를 포함하고, 제13 보간점의 제1 좌표값은 제12 보간점의 제1 좌표값과 제14 보간점의 제1 좌표값 사이에 있고; 복수의 보간점을 결정하기 전에, 방법은: 제1 오프셋을 획득하는 단계를 더 포함하고, 여기서 제1 오프셋은 제1 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되고, 제1 수정 위치는 제1 제13 보간점의 좌표값이고; 복수의 보간점을 결정하는 단계는: 제1 수정 위치에서의 초기 톤 매핑 곡선의 함숫값 및 제1 오프셋에 기초하여 제13 보간점의 제2 좌표값을 결정하는 단계를 포함하고; 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제13 보간점의 제1 좌표값 및 제13 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제3 스플라인 함수는 제12 보간점 및/또는 제14 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 복수의 보간점은 제7 보간점, 제8 보간점, 및 제9 보간점을 포함하고, 초기 톤 매핑 곡선은 제9 보간점을 통과하며, 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제7 보간점 및 제8 보간점을 통과하는 제1 스플라인 함수를 획득하는 단계; 및 상기 제8 보간점과 상기 제9 보간점을 통과하는 제2 스플라인 함수를 결정하는 단계를 포함하며, 여기서 상기 제2 스플라인 함수는 상기 제8 보간점에서 상기 제1 스플라인 함수와 원활하게 연결되고, 상기 제2 스플라인 함수는 제9 보간점에서의 초기 톤 매핑 곡선에 원활하게 연결된다.
일 예에서, 제7 보간점은 전술한 제1 보간점일 수 있고, 제8 보간점은 전술한 제2 보간점일 수 있으며, 제9 보간점은 전술한 제3 보간점일 수 있다.
일 예에서, 제7 보간점은 전술한 제4 보간점일 수 있고, 제8 보간점은 전술한 제5 보간점일 수 있으며, 제9 보간점은 전술한 제6 보간점일 수 있다.
일 예에서, 제8 보간점은 전술한 제12 보간점일 수 있고, 제7 보간점은 제1 좌표값이 제12 보간점의 제1 좌표값보다 작고 상기 제13 보간점의 제1 좌표값보다 작은 전술한 제14 보간점일 수 있고, 상기 제9 보간점은 제1 좌표값이 제12 보간점의 제1 좌표값보다 크고, 제13 보간점의 제1 좌표값보다 큰 전술한 제14 보간점일 수 있다.
본 출원의 이 실시예에서, 제1 스플라인 함수의 경험적 값은 미리 획득되어, 키 수정 범위(key modification range) 내에서 수정 효과가 보장될 수 있고; 제2 스플라인 함수는 약한 수정 범위(weak modification range) 내에서 약한 수정 효과와 원활한 연결 효과를 달성하는 데 사용된다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제1 스플라인 함수는 선형 스플라인 함수이고 제2 스플라인 함수는 3차 스플라인 함수이다.
본 출원의 이 실시예에서, 제1 스플라인 함수의 파라미터는 경험적 값이고 선형 스플라인 함수에 대해 더 적은 경험적 값을 미리 학습해야 하기 때문에 특정 형태의 제1 스플라인 함수를 결정하는 것이 더 쉽다. 제2 스플라인 함수의 제곱(power)이 상대적으로 낮은 경우, 제2 스플라인 함수의 원활한 연결 효과가 상대적으로 떨어진다. 제2 스플라인 함수의 제곱이 상대적으로 높은 경우, 제2 스플라인 함수의 전제 조건 및 계산량이 상대적으로 크다. 따라서 제2 스플라인 함수에 대해 3차 스플라인 함수를 선택하는 것이 더 적절하다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 복수의 보간점은 제7 보간점, 제8 보간점, 및 제9 보간점을 포함하고, 스플라인 함수는 상기 제7 보간점, 상기 제8 보간점 및 상기 제9 보간점을 통과하는 제3 스플라인 함수를 포함하고, 상기 제8 보간점의 제1 좌표값은 상기 제7 보간점의 제1 좌표값과 상기 제9 보간점의 제1 좌표값 사이에 있고; 복수의 보간점을 결정하기 전에, 방법은: 제1 오프셋을 획득하는 단계를 더 포함하고, 여기서 제1 오프셋은 제1 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되고, 제1 수정 위치는 제1 제8 보간점의 좌표값이고; 복수의 보간점을 결정하는 단계는: 제1 수정 위치에서의 초기 톤 매핑 곡선의 함숫값 및 제1 오프셋에 기초하여 제8 보간점의 제2 좌표값을 결정하는 단계를 포함하고; 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제8 보간점의 제1 좌표값과 제8 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제3 스플라인 함수는 제7 보간점 및/또는 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다.
일 예에서, 제7 보간점은 전술한 제1 보간점일 수 있고, 제8 보간점은 전술한 제2 보간점일 수 있으며, 제9 보간점은 전술한 제3 보간점일 수 있다.
일 예에서, 제7 보간점은 전술한 제4 보간점일 수 있고, 제8 보간점은 전술한 제5 보간점일 수 있으며, 제9 보간점은 전술한 제6 보간점일 수 있다.
일 예에서, 제7 보간점은 전술한 제12 보간점일 수 있고, 제8 보간점은 전술한 제13 보간점일 수 있으며, 제9 보간점은 전술한 제14 보간점일 수 있다.
본 출원의 이 실시예에서, 제1 오프셋의 경험적 값은 미리 획득되어, 키 수정 범위 내에서 수정 효과가 보장될 수 있고; 제3 스플라인 함수는 약한 수정 범위 내에서 약한 수정 효과와 부드러운 연결 효과를 달성하는 데 사용할 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제3 스플라인 함수는 제7 보간점 및 제8 보간점을 통과하는 제4 스플라인 함수, 및 제8 보간점 및 제9 보간점을 통과하는 제5 스플라인 함수를 포함하며, 제8 보간점에서의 제4 스플라인 함수의 2차 미분값은 제8 보간점에서의 제5 스플라인 함수의 2차 미분값과 동일하다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 복수의 보간점은 제10 보간점을 더 포함하고, 제3 스플라인 함수는 제10 보간점을 통과하고, 제10 보간점의 제1 좌표값은 제7 보간점의 제1 좌표값과 제9 보간점의 제1 좌표값 사이에 있고; 복수의 보간점을 결정하기 전에, 방법은: 제2 오프셋을 획득하는 단계를 더 포함하고, 여기서 제2 오프셋은 제2 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 제2 수정 위치는 제10 보간점의 제1 좌표값이고; 복수의 보간점을 결정하는 단계는: 제2 수정 위치에서의 초기 톤 매핑 곡선의 함숫값 및 제2 오프셋에 기초하여 제10 보간점의 제2 좌표값을 결정하는 단계를 포함하고, 그리고 제8 보간점의 제1 좌표값 및 제8 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계는: 제8 보간점의 제1 좌표값 및 제2 좌표값, 및 제10 보간점의 제1 좌표값 및 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제3 스플라인 함수는 제7 보간점과 제9 보간점 모두에서 초기 톤 매핑 곡선에 원활하게 연결된다.
본 출원의 본 실시예에서, 제1 오프셋 및 제2 오프셋의 경험적 값은 미리 획득되어, 키 수정 범위 내에서 수정 효과가 제어된다. 또한, 제3 스플라인 함수는 약한 변형 범위 내에서 약한 변형 효과와 원활한 연결 효과를 얻을 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 제3 스플라인 함수는 3차 스플라인 함수이다.
본 출원의 본 실시예에서, 제3 스플라인 함수의 제곱이 상대적으로 낮은 경우, 제3 스플라인 함수의 원활한 연결 효과는 상대적으로 불량하다. 제3 스플라인 함수의 제곱이 상대적으로 높은 경우, 제3 스플라인 함수의 전제 조건 및 계산량이 상대적으로 크다. 따라서 제3 스플라인 함수에 대해 3차 스플라인 함수를 선택하는 것이 더 적절하다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 스플라인 함수의 도함수는 항상 0보다 크다.
본 출원의 이 실시예에서, 최종적으로 획득된 스플라인 함수와 초기 톤 매핑 곡선 사이의 과도하게 큰 차이, 예를 들어, 진동 스플라인 함수, 과도한 수정을 피한다.
제1 관점을 참조하여, 제1 관점의 일부 구현에서, 복수의 보간점은 제11 보간점을 더 포함하고, 제11 보간점에서의 스플라인 함수의 2차 도함수는 0이다.
본 출원의 이 실시예에서, 제11 보간점의 2차 도함수를 0으로 제한함으로써, 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감소된 속도로 증가하도록 제어될 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 복수의 보간점은 제15 보간점을 더 포함하고, 스플라인 함수는 제15 보간점의 한쪽에서 초기 톤 매핑 함수보다 높고, 스플라인 함수는 제15 보간점의 다른 쪽에서 초기 톤 매핑 함수보다 낮다.
본 출원의 이 실시예에서, 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과하고, 제15 보간점에서 스플라인 함수의 미분 값은 제15 보간점에서 초기 톤 매핑 함수의 미분값과 다르다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
제1 관점을 참조하면, 제1 관점의 일부 구현에서, 초기 톤 매핑 곡선은 다음 공식들 중 하나를 포함하고,
;
;
; 및
,
여기서 L은 선형 신호 값을 나타내고, L'은 비선형 신호 값을 나타내고, p, a, m, b, c1, c2, c3, n, N, 및 ρ는 모두 동적 범위 매핑 계수이며, 0 ≤ L ≤ 1이다.
본 출원의 이 실시예에서, 제1 측면에서 제공된 방법은 복수의 초기 톤 매핑 곡선에 적용될 수 있고, 높은 유연성을 갖는다.
제2 관점에 따르면, 이미지 프로세싱 디바이스가 제공되고, 이 장치는: 목표 픽처 및 목표 픽처의 초기 톤 매핑 곡선을 획득하도록 구성된 획득 모듈; 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하도록 구성된 프로세싱 모듈 - 상기 프로세싱 모듈은 또한 복수의 보간점을 통과하는 스플라인 함수를 결정하도록 구성되고, 여기서 스플라인 함수는 복수의 보간점 중 적어도 하나의 초기 톤 매핑 곡선에 원활하게 연결되고; 상기 프로세싱 모듈은 목표 픽처의 수정된 톤 매핑 곡선을 획득하기 위해 스플라인 함수에 기초하여 초기 톤 매핑 곡선을 수정하도록 더 구성됨 - ; 및 수정된 톤 매핑 곡선에 기초하여 목표 픽처에 대해 톤 매핑을 수행하도록 구성된 톤 매핑 모듈을 포함한다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값이 두 번째 끝점에 대응하는 휘도 값보다 작고, 목표 픽처에 포함된 어두운 영역 픽셀의 수량이 제2 사전 설정 임계값보다 크거나 같은 경우, 어두운 영역의 휘도 값 픽셀은 제1 사전 설정 임계값보다 작고, 복수의 보간점은 제1 보간점을 포함하고; 프로세싱 모듈은 구체적으로 제1 보간점의 제1 좌표값이 첫 번째 끝점의 제1 좌표값과 동일하다고 결정하도록 구성된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제2 보간점을 더 포함하고; 프로세싱 모듈은 구체적으로 어두운 영역 픽셀의 수량에 기초하여 제2 보간점의 제1 좌표값을 결정하도록 구성된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제3 보간점을 더 포함하고, 목표 픽처는 어두운 영역 천이 픽셀을 더 포함하고, 어두운 영역 천이 픽셀의 휘도 값은 제1 사전 설정 임계값보다 크거나 같고; 프로세싱 모듈은 어두운 영역 천이 픽셀의 수량에 기초하여 제3 보간점의 제1 좌표값을 결정하도록 구체적으로 구성된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값이 두 번째 끝점에 대응하는 휘도 값보다 작고, 목표 픽처에 포함된 밝은 영역 픽셀의 수량이 미리 설정된 제4 임계값보다 크거나 같은 경우, 밝기 값 영역 픽셀은 제3 사전 설정 임계값보다 크고, 복수의 보간점은 제4 보간점을 포함하고; 프로세싱 모듈은 구체적으로 제4 보간점의 제1 좌표값이 두 번째 끝점의 제1 좌표값과 동일하다고 결정하도록 구성된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제5 보간점을 더 포함하고; 프로세싱 모듈은 구체적으로 밝은 영역 픽셀의 수량에 기초하여 제5 보간점의 제1 좌표값을 결정하도록 구성된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제6 보간점을 더 포함하고, 목표 픽처는 밝은 영역 천이 픽셀을 더 포함하고, 밝은 영역 천이 픽셀의 휘도 값은 다음과 같다. 제3 사전 설정 임계값보다 작거나 같고; 프로세싱 모듈은 구체적으로 밝은 영역 천이 픽셀의 수량에 기초하여 제6 보간점의 제1 좌표값을 결정하도록 구성된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 동적 메타데이터는 복수의 보간점 각각의 좌표 정보를 포함한다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값이 두 번째 끝점에 대응하는 휘도 값보다 작고, 동적 메타데이터가 영역 휘도 지시 정보를 포함하고; 영역 휘도 지시 정보가 어두운 영역을 지시하는 경우, 복수의 보간점은 제1 보간점을 포함하고, 제1 보간점의 제1 좌표값은 첫 번째 끝점의 제1 좌표값과 동일하고; 및/또는 영역 휘도 지시 정보가 밝은 영역을 지시하는 경우, 복수의 보간점은 제2 보간점을 포함하고, 제2 보간점의 제1 좌표값은 두 번째 끝점의 제1 좌표값과 동일하다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 초기 톤 매핑 곡선은 첫 번째 끝점 및 두 번째 끝점을 포함하고, 첫 번째 끝점 및 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하고, 첫 번째 끝점에 대응하는 휘도 값은 두 번째 끝점에 대응하는 휘도 값보다 작고, 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응관계에서 P 개의 좌표 정보를 포함하고, P는 양의 정수이고; 프로세싱 모듈은 P 개의 좌표 정보 및 목표 픽처의 휘도 정보에 기초하여 P 개의 키 픽셀이 어두운 영역 픽셀 또는 밝은 영역 픽셀인 것으로 결정하도록 구성되며, 여기서 어두운 영역 픽셀의 휘도 값은 제1 사전 설정 임계값보다 작고, 밝은 영역 픽셀의 휘도 값은 제3 사전 설정 임계값보다 크고; P 개의 키 픽셀이 어두운 영역 픽셀일 때, 프로세싱 모듈은 구체적으로 복수의 보간점이 제1 보간점을 포함한다고 결정하도록 구성되며, 여기서 제1 보간점의 제1 좌표값은 첫 번째 끝점의 제1 좌표값과 동일하거나; 또는 P 개의 키 픽셀이 밝은 영역 픽셀일 때, 프로세싱 모듈은 구체적으로 복수의 보간점이 제2 보간점을 포함한다고 결정하도록 구성되며, 여기서 제2 보간점의 제1 좌표값은 두 번째 끝점의 제1 좌표값과 동일하다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제7 보간점, 제8 보간점, 및 제9 보간점을 포함하고, 초기 톤 매핑 곡선은 제9 보간점을 통과하고; 프로세싱 모듈은 구체적으로 제7 보간점 및 제8 보간점을 통과하는 제1 스플라인 함수를 획득하도록 구성되며; 프로세싱 모듈은 구체적으로 제8 보간점 및 제9 보간점을 통과하는 제2 스플라인 함수를 결정하도록 구성되며, 여기서 제2 스플라인 함수는 제8 보간점에서 제1 스플라인 함수에 원활하게 연결되고, 제2 스플라인 함수는 제9 보간점에서 초기 톤 매핑 곡선과 원활하게 연결된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 제1 스플라인 함수는 선형 스플라인 함수이고 제2 스플라인 함수는 3차 스플라인 함수이다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제7 보간점, 제8 보간점, 및 제9 보간점을 포함하고, 스플라인 함수는 상기 제7 보간점, 상기 제8 보간점 및 상기 제9 보간점을 통과하는 제3 스플라인 함수를 포함하고, 상기 제8 보간점의 제1 좌표값이 상기 제7 보간점의 제1 좌표값과 상기 제9 보간점의 제1 좌표값 사이에 있고; 프로세싱 모듈이 복수의 보간점을 결정하기 전에, 획득 모듈은 제1 오프셋을 획득하도록 추가로 구성되며, 여기서 제1 오프셋은 제1 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 제1 수정 위치는 제8 보간점의 제1 좌표값이고; 프로세싱 모듈은 구체적으로 제1 수정 위치 및 제1 오프셋에서의 초기 톤 매핑 곡선의 함숫값에 기초하여 제8 보간점의 제2 좌표값을 결정하도록 구성되고; 프로세싱 모듈은 구체적으로 제8 보간점의 제1 좌표값과 제8 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하도록 구성되며, 여기서 제3 스플라인 함수는 제7 보간점 및/또는 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 제3 스플라인 함수는 제7 보간점 및 제8 보간점을 통과하는 제4 스플라인 함수, 및 제8 보간점 및 제9 보간점을 통과하는 제5 스플라인 함수를 포함하고, 제8 보간점에서의 제4 스플라인 함수의 2차 미분값은 제8 보간점에서의 제5 스플라인 함수의 2차 미분값과 동일하다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제10 보간점을 더 포함하고, 제3 스플라인 함수는 제10 보간점을 통과하며, 제10 보간점의 제1 좌표값은 제7 보간점의 제1 좌표값과 제9 보간점의 제1 좌표값 사이에 있고; 프로세싱 모듈이 복수의 보간점을 결정하기 전에, 획득 모듈은 제2 오프셋을 획득하도록 추가로 구성되며, 여기서 제2 오프셋은 제2 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 제2 수정 위치는 제10 보간점의 제1 좌표값이고; 프로세싱 모듈은 구체적으로 제2 수정 위치 및 제2 오프셋에서의 초기 톤 매핑 곡선의 함숫값에 기초하여 제10 보간점의 제2 좌표값을 결정하도록 구성되고; 프로세싱 모듈은 제8 보간점의 제1 좌표값 및 제2 좌표값, 및 제10 보간점의 제1 좌표값 및 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하도록 구체적으로 구성되며, 여기서 제3 스플라인 함수는 제7 보간점과 제9 보간점 모두에서 초기 톤 매핑 곡선에 원활하게 연결된다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 제3 스플라인 함수는 3차 스플라인 함수이다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 스플라인 함수의 도함수는 항상 0보다 크다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 복수의 보간점은 제11 보간점을 더 포함하고, 제11 보간점에서 스플라인 함수의 2차 도함수는 0이다.
제2 관점을 참조하면, 제2 관점의 일부 구현에서, 초기 톤 매핑 곡선은 다음 공식들 중 하나를 포함하고,
;
;
; 및
,
여기서 L은 선형 신호 값을 나타내고, L'은 비선형 신호 값을 나타내고, p, a, m, b, c1, c2, c3, n, N, 및 ρ는 모두 동적 범위 매핑 계수이며, 0 ≤ L ≤ 1이다.
제3 관점에 따르면, 본 출원은 제1 관점 또는 제1 관점의 구현 중 어느 하나를 수행하도록 구성된 모듈을 포함하는 이미지 프로세싱 디바이스를 제공한다.
제4 관점에 따르면, 본 출원은 프로세서 및 전송 인터페이스를 포함하는 이미지 프로세싱 디바이스를 제공하며, 여기서 전송 인터페이스는 이미지 데이터를 수신 또는 전송하도록 구성되고; 프로세서는 메모리에 저장된 프로그램 명령을 호출하고 프로그램 명령을 실행하여 제1 관점 또는 제1 관점의 구현 중 어느 하나에 따른 방법을 수행하도록 구성된다.
가능한 구현에서, 이미지 프로세싱 디바이스는 메모리를 더 포함할 수 있다.
예를 들어, 이미지 프로세싱 디바이스는 칩일 수 있다.
제5 관점에 따르면, 본 출원은 제1 관점 또는 제1 관점의 구현 중 어느 하나에 따른 방법을 수행하도록 구성된 프로세서 및 메모리를 포함하는 전자 디바이스를 제공한다.
제6 관점에 따르면, 본 출원은 컴퓨터 판독 가능형 저장 매체를 제공하고, 여기서 컴퓨터 판독 가능형 저장 매체는 프로그램 명령을 저장하고, 프로그램 명령이 컴퓨터 또는 프로세서 상에서 실행될 때, 컴퓨터 또는 프로세서는 제1 관점 또는 제1 관점의 구현 중 어느 하나에 따른 방법을 수행하는 것이 가능하다.
제7 관점에 따르면, 본 출원은 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 제공하며, 여기서 컴퓨터 프로그램이 컴퓨터 또는 프로세서 상에서 실행될 때, 컴퓨터 또는 프로세서는 제1 관점 또는 제1 관점의 구현 중 어느 하나에 따른 방법을 수행할 수 있다.
도 1은 본 출원의 실시예를 구현하기 위한 이미지 또는 비디오 전송 시스템의 블록도이다.
도 2는 본 출원의 실시예에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다.
도 3은 본 출원의 실시예에 따른 복수의 초기 톤 매핑 곡선의 개략도이다.
도 4는 본 출원의 실시예에 따른 복수의 스플라인 함수의 개략도이다.
도 5는 본 출원의 실시예에 따른 어두운 영역에 대한 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수의 개략도이다.
도 6은 본 출원의 실시예에 따른 밝은 영역에 대한 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수의 개략도이다.
도 7은 본 출원의 실시예에 따라 휘도 콘트라스트가 약한 영역에 대한 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수의 개략도이다.
도 8은 본 출원의 실시예에 따른 이미지 프로세싱 디바이스의 구조도이다.
도 9는 본 출원의 다른 실시예에 따른 이미지 프로세싱 디바이스의 구조도이다.
도 10은 본 출원의 일 실시예에 따른 전자 디바이스의 구조도이다.
다음은 첨부 도면을 참조하여 본 출원의 기술 솔루션을 설명한다.
본 출원의 실시예에서, 전자 디바이스는 하드웨어 계층, 하드웨어 계층 위에서 실행되는 운영 체제 계층, 및 운영 체제 계층 위에서 실행되는 애플리케이션 계층을 포함한다. 하드웨어 계층은 중앙 처리 장치(central processing unit, CPU), 메모리 관리 장치(memory management unit, MMU) 및 메모리(메인 메모리라고도 함)와 같은 하드웨어를 포함한다. 운영 체제는 프로세스(process)를 통해 서비스 처리를 구현하는 하나 이상의 유형의 컴퓨터 운영 체제일 수 있으며, 예를 들어 Linux 운영 체제, Unix 운영 체제, Android 운영 체제, iOS 운영 체제 또는 Windows 운영 체제일 수 있다. 응용 프로그램 계층에는 브라우저, 주소록, 워드 프로세싱 소프트웨어 및 인스턴트 메시징 소프트웨어와 같은 응용 프로그램이 포함된다. 또한, 본 출원의 실시예들에서 제공되는 방법의 실행 바디의 구체적인 구조는 본 출원의 실시예들에서 특별히 제한되지 않는다. 단, 본 출원의 실시예들에서 제공되는 방법의 코드를 기록하는 프로그램이 본 출원의 실시예에서 제공된 방법에 따라 이미지 프로세싱을 수행하기 위해 실행된다. 예를 들어, 본 출원의 실시예들에서 제공되는 방법은 전자 디바이스 또는 전자 디바이스에 있고 프로그램을 호출하고 실행할 수 있는 기능 모듈에 의해 수행될 수 있다.
또한, 본 출원의 관점 또는 특징은 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하는 방법, 장치 또는 제품으로 구현될 수 있다. 본 출원에서 사용된 "제품"이라는 용어는 컴퓨터로 읽을 수 있는 구성 요소, 캐리어 또는 매체에서 액세스할 수 있는 컴퓨터 프로그램을 포함한다. 예를 들어, 컴퓨터 판독 가능형 매체는 자기 저장 구성요소(예를 들어, 하드 디스크, 플로피 디스크 또는 자기 테이프), 광 디스크(예를 들어, 콤팩트디스크(compact disc, CD) 또는 디지털 다목적 디스크(digital versatile disc, DVD)) 또는 스마트카드 및 플래시 메모리 구성요소(예를 들어, 소거 가능 프로그래머블 읽기 전용 메모리(erasable programmable read-only memory, EPROM), 카드, 스틱 또는 키 드라이브)를 포함할 수 있으나 이에 제한되지 않는다. 또한, 본 명세서에서 설명되는 다양한 저장 매체는 정보를 저장하도록 구성된 하나 이상의 장치 및/또는 다른 기계 판독 가능 매체를 나타낼 수 있다. "기계 판독 가능 매체"라는 용어는 명령 및/또는 데이터를 저장, 포함 및/또는 전달할 수 있는 무선 채널 및 다양한 기타 매체를 포함할 수 있지만 이에 제한되지는 않는다.
다음은 본 출원의 실시예에서 사용되는 시스템 아키텍처를 설명한다. 도 1은 본 출원의 실시예가 적용되는 예시적인 이미지 디스플레이 시스템(10)의 개략적인 블록도이다. 도 1에 도시된 바와 같이, 이미지 표시 시스템(10)은 이미지 획득 디바이스(12) 및 이미지 프로세싱 디바이스(14)를 포함할 수 있다. 이미지 획득 디바이스(12)는 HDR(High Dynamic Range) 이미지를 생성한다. 이미지 프로세싱 디바이스(14)는 이미지 획득 디바이스(12)에 의해 생성된 HDR 이미지를 처리할 수 있다. 이미지 획득 디바이스(12), 이미지 프로세싱 디바이스(14) 또는 본 출원의 각 구현에 예시된 이미지 프로세싱 디바이스는 하나 이상의 프로세서 및 하나 이상의 프로세서에 연결된 메모리를 포함한다. 메모리는 랜덤 액세스 메모리(random access memory, RAM), 읽기 전용 메모리(read-only memory, ROM), EEPROM, 플래시 메모리 또는 본 명세서에 기술된 바와 같이 컴퓨터가 액세스할 수 있는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있는 기타 매체를 포함할 수 있지만 이에 국한되지 않는다. 이미지 획득 디바이스(12) 및 이미지 프로세싱 디바이스(14)는 데스크톱 컴퓨터, 모바일 컴퓨팅 장치, 노트북(예를 들어, 랩톱) 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 소위 "스마트" 전화와 같은 전화 송수화기, 텔레비전, 카메라, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 차량 탑재 컴퓨터, 무선 통신 장치 등을 비롯한 다양한 장치를 포함할 수 있다.
도 1은 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스(14)를 별도의 장치로 도시하지만, 디바이스 실시예는 또한 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스(14)를 모두 포함하거나 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스의 기능을 모두 포함할 수 있고, 즉 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스(14)는 동일한 장치의 서로 다른 두 부분이다. 예를 들어, 이미지 획득 디바이스는 모바일 스마트폰의 카메라일 수 있고, 이미지 프로세싱 디바이스는 모바일 스마트폰의 프로세서일 수 있다. 이러한 실시예에서, 이미지 획득 디바이스(12) 또는 대응하는 기능 및 이미지 프로세싱 디바이스(14) 또는 대응하는 기능은 동일한 하드웨어 및/또는 소프트웨어, 별도의 하드웨어 및/또는 소프트웨어, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다.
이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스(14)는 링크(13)를 사용하여 통신 가능하게 연결될 수 있다. 이미지 프로세싱 디바이스(14)는 링크(13)를 사용하여 이미지 획득 디바이스(12)로부터 HDR 이미지를 수신할 수 있다. 링크(13)는 HDR 이미지를 이미지 획득 디바이스(12)로부터 이미지 프로세싱 디바이스(14)로 이동할 수 있는 하나 이상의 매체 또는 장치를 포함할 수 있다. 일 예에서, 링크(13)는 이미지 획득 디바이스(12)가 하이 동적 범위 이미지를 실시간으로 이미지 프로세싱 디바이스(14)에 직접 전송할 수 있게 하는 하나 이상의 통신 매체를 포함할 수 있다. 하나 이상의 통신 매체는 무선 및/또는 유선 통신 매체, 예를 들어 무선 주파수(radio frequency, RF) 스펙트럼 또는 하나 이상의 물리적 전송 라인을 포함할 수 있다. 하나 이상의 통신 매체는 패킷 기반 네트워크의 일부를 구성할 수 있으며, 패킷 기반 네트워크는, 예를 들면, 근거리 통신망, 광역 통신망 또는 글로벌 네트워크(예를 들어, 인터넷)일 수 있다. 하나 이상의 통신 매체는 라우터, 스위치, 기지국, 또는 이미지 획득 디바이스(12)로부터 이미지 프로세싱 디바이스(14)로의 통신을 용이하게 하는 임의의 다른 장치를 포함할 수 있다.
예를 들어, 이미지 획득 디바이스(12)는 픽처 소스(16) 및 통신 인터페이스(22)를 포함하며, 이는 또한 전송 인터페이스로도 지칭될 수 있다. 또한, 선택적으로, 이미지 획득 디바이스(12)는 이미지 프로세서(20)를 더 포함할 수 있다. 특정 구현 형태에서, 이미지 프로세서(20), 픽처 소스(16), 및 통신 인터페이스(22)는 이미지 획득 디바이스(12)의 하드웨어 구성요소일 수 있고, 또는 이미지 획득 디바이스(12)의 소프트웨어 프로그램일 수 있다. 설명은 다음과 같이 별도로 제공된다.
픽처 소스(16)는 예를 들어, 실제 세계 픽처를 캡처하도록 구성된 임의의 유형의 픽처 캡처링 디바이스를 포함하거나 픽처 캡처링 디바이스일 수 있고; 및/또는 픽처 또는 설명을 생성하기 위한 모든 유형의 장치(스크린 콘텐츠 코딩의 경우 스크린의 일부 텍스트는 코딩될 픽처 또는 이미지의 일부로서 고려된다), 예를 들어 컴퓨터 애니메이션 픽처를 생성하도록 구성된 컴퓨터 그래픽 프로세싱 디바이스일 수 있거나; 또는 실제 세계 픽처 또는 컴퓨터 애니메이션 픽처(예를 들어, 스크린 콘텐츠 또는 가상 현실(vritual reality, VR) 픽처)을 획득 및/또는 제공하도록 구성된 임의의 유형의 장치; 및/또는 이들의 임의의 조합(예를 들어, 증강 현실(augmented reality, AR) 픽처)일 수 있다. 픽처 소스(16)는 픽처를 캡처하도록 구성된 카메라 또는 사진을 저장하도록 구성된 메모리일 수 있다. 픽처 소스(16)는 이전에 캡처되거나 생성된 픽처가 저장되고 및/또는 픽처가 획득 또는 수신되는 임의의 유형의 (내부 또는 외부) 인터페이스를 더 포함할 수 있다. 픽처 소스(16)가 카메라인 경우, 픽처 소스(16)는 예를 들어 로컬 카메라 또는 이미지 획득 디바이스에 통합된 카메라일 수 있다. 픽처 소스(16)가 메모리인 경우, 픽처 소스(16)는 예를 들어 로컬 메모리 또는 이미지 획득 디바이스에 통합된 메모리일 수 있다. 이미지 소스(16)가 인터페이스를 포함하는 경우, 인터페이스는 예를 들어 외부 비디오 소스로부터 이미지를 수신하기 위한 외부 인터페이스일 수 있다. 외부 비디오 소스는 예를 들어 카메라와 같은 외부 픽처 캡처 장치, 외부 메모리 또는 외부 픽처 생성 디바이스이다. 외부 화상 생성 디바이스는, 예를 들어 외부 컴퓨터 그래픽 프로세싱 디바이스, 컴퓨터 또는 서버이다. 인터페이스는 고화질 멀티미디어 인터페이스(high multimedia interface, HDMI), 모바일 산업 프로세서 인터페이스(mobile industry processor interface, MIPI), MIPI 표준 디스플레이 직렬 인터페이스(display serial interface, DSI), 비디오 전자 표준 협회(Video Electronics Standards Association, VESA) 표준 내장 디스플레이 포트(embedded display port, eDP) 또는 V-by-One 인터페이스와 같이, 임의의 등록 또는 표준 인터페이스 프로토콜에 따른 모든 유형의 인터페이스일 수 있다. V-by-One 인터페이스는 이미지 전송을 위해 개발된 디지털 인터페이스 규격으로, 각종 유무선 인터페이스, 광 인터페이스 등이다.
픽처는 픽처 요소(픽처 요소)의 2차원 어레이 또는 매트릭스로 간주될 수 있다. 어레이의 픽셀은 샘플이라고도 할 수 있다. 어레이 또는 픽처의 수평 및 수직 방향(또는 축)의 샘플 양은 픽처의 크기 및/또는 해상도를 정의한다. 색의 표현에는 일반적으로 세 가지 색 성분이 사용된다. 구체적으로, 픽처는 3개의 샘플 어레이로 나타내거나 포함할 수 있다. 예를 들어, RGB 형식 또는 색 공간에서 픽처에는 해당하는 빨강, 녹색 및 파랑 샘플 배열이 포함된다. 그러나 비디오 코딩에서 각 픽셀은 일반적으로 루마/크로마 형식 또는 색 공간으로 표현된다. 예를 들어, YUV 형식의 픽처는 Y로 표시되는 휘도 성분(또는 때때로 L로 표시됨)과 U 및 V로 표시되는 두 개의 채도 성분을 포함한다. 휘도(루마) 성분 Y는 휘도 또는 그레이 레벨 강도를 나타내고(예를 들어, 둘 다 그레이 레벨 픽처에서 동일하다), 두 개의 색차(크로마) 성분 U와 V는 채도 또는 색상 정보 성분을 나타낸다. 이에 상응해서, YUV 형식의 픽처는 루마 샘플 값(Y)의 루마 샘플 어레이 및 크로마 값(U 및 V)의 2개의 크로마 샘플 어레이를 포함한다. RGB 형식의 이미지는 YUV 형식으로 변환 또는 변환될 수 있으며 그 반대의 경우도 마찬가지이다. 이 프로세스를 색상 변환 또는 색상 형식 변환이라고도 한다. 픽처가 모노크롬인 경우 픽처에는 루마 샘플 어레이만 포함될 수 있다. 본 출원의 이 실시예에서, 픽처 소스(16)에 의해 이미지 프로세서로 전송된 픽처는 또한 원시 픽처 데이터(17)로 지칭될 수 있다.
이미지 프로세서(20)는 쉐이핑(shaping), 색상 형식 변환(color format conversion)(예를 들어, RGB 형식에서 YUV 형식으로의 변환), 토닝(toning) 또는 노이즈 제거(denoising)와 같은 이미지 프로세싱을 수행하도록 구성된다.
통신 인터페이스(22)는 처리된 이미지 데이터를 수신하고, 이미지 프로세싱을 거친 픽처 데이터(19)를 저장 또는 직접 재구성을 위해 링크(13)를 통해 이미지 프로세싱 디바이스(14) 또는 임의의 다른 장치(예를 들어, 메모리)로 전송하도록 구성될 수 있다. 다른 장치는 저장에 사용되는 모든 장치일 수 있다. 통신 인터페이스(22)는, 예를 들어, 링크(13)를 통한 전송을 위해, 이미지 프로세싱을 거친 픽처 데이터(19)를 적절한 포맷으로 캡슐화하도록, 예를 들어 데이터 패킷으로 캡슐화하도록 구성될 수 있다.
이미지 프로세싱 디바이스(14)는 통신 인터페이스(28), 이미지 프로세서(32), 및 디스플레이 디바이스(34)를 포함한다. 설명은 다음과 같이 별도로 제공된다.
통신 인터페이스(28)는 이미지 획득 디바이스(12) 또는 임의의 다른 소스로부터 이미지 프로세싱을 거친 픽처 데이터(19)를 수신하도록 구성될 수 있다. 다른 소스는 예를 들어 저장 장치이고, 저장 장치는 이미지 프로세싱을 거친 픽처 데이터를 저장하기 위한 장치이다. 예를 들어, 통신 인터페이스(22) 및 통신 인터페이스(28)의 구체적인 예에 대해서는 인터페이스에 대한 전술한 설명을 참조한다. 자세한 내용은 여기에서 다시 설명되지 않는다. 통신 인터페이스(28)는 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스(14) 사이의 링크(13)를 통해 또는 임의의 유형의 네트워크를 통해 이미지 처리된 픽처 데이터(19)를 송수신하도록 구성될 수 있다. 링크(13)는 예를 들어 직접 유선 또는 무선 연결이다. 임의의 유형의 네트워크는 예를 들어 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 유형의 사설 또는 공용 네트워크 또는 이들의 임의의 조합이다. 통신 인터페이스(28)는 예를 들어, 통신 인터페이스(22)를 통해 전송된 데이터 패킷을 디캡슐레이션하여 이미지 프로세싱을 거친 픽처 데이터(19)를 획득하도록 구성될 수 있다.
통신 인터페이스(28) 및 통신 인터페이스(22) 모두는 단방향 통신 인터페이스 또는 양방향 통신 인터페이스로 구성될 수 있고, 예를 들어 연결을 구축하기 위해 메시지를 송신하고 수신하며, 통신 링크와 같은 임의의 다른 정보 및/또는 이미지 프로세싱을 거친 픽처 데이터의 전송과 같은 데이터 전송을 승인 및 교환하도록 구성될 수 있다.
이미지 프로세서(32)는 이미지 프로세싱을 거친 픽처 데이터(19)에 대해 톤 매핑 프로세싱을 수행하여 톤 매핑 프로세싱을 거친 픽처 데이터(33)를 획득하도록 구성된다. 이미지 프로세서(32)에 의해 수행되는 프로세싱은 컬러 포맷 변환(예를 들어, YUV 포맷에서 RGB 포맷으로의 변환), 토닝, 쉐이핑, 리샘플링, 또는 임의의 다른 프로세싱을 더 포함할 수 있다. 이미지 프로세서(32)는 톤 매핑 프로세싱을 거친 픽처 데이터(33)를 디스플레이 디바이스(34)로 전송하도록 더 구성될 수 있다.
디스플레이 디바이스(34)는 톤 매핑 프로세싱을 거친 픽처 데이터(33)를 수신하여, 예를 들어 사용자 또는 뷰어에게 픽처를 표시하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 픽처를 표시하기 위한 임의의 유형의 디스플레이, 예를 들어 통합 또는 외부 디스플레이 또는 모니터일 수 있거나 이를 포함할 수 있다. 예를 들어, 디스플레이는 액정 디스플레이(liquid crystal display, LCD), 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 플라즈마 디스플레이, 프로젝터, 마이크로 LED 디스플레이, 액정 온 실리콘(liquid crystal on silicon, LCOS), 디지털 조명 프로세서(digital light processor, DLP) 또는 기타 모든 유형의 디스플레이를 포함할 수 있다.
도 1은 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스(14)를 별도의 장치로 도시하지만, 디바이스 실시예는 또한 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스(14)를 모두 포함하거나 이미지 획득 디바이스(12)와 이미지 프로세싱 디바이스의 기능, 즉, 이미지 획득 디바이스(12) 또는 대응하는 기능 및 이미지 프로세싱 디바이스(14) 또는 해당 기능을 모두 포함한다. 이러한 실시예에서, 이미지 획득 디바이스(12) 또는 대응하는 기능 및 이미지 프로세싱 디바이스(14) 또는 대응하는 기능은 동일한 하드웨어 및/또는 소프트웨어, 별도의 하드웨어 및/또는 소프트웨어, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다.
도 1은 이미지 프로세싱 디바이스(14)와 디스플레이 디바이스(34)를 별도의 장치로 도시하지만, 디바이스 실시예는 또한 이미지 프로세싱 디바이스(14)와 디스플레이 디바이스(34) 모두를 포함하거나 이미지 프로세싱 디바이스(14)와 디스플레이 디바이스(34)의 기능, 즉, 이미지 프로세싱 디바이스(14) 또는 대응하는 기능 및 디스플레이 디바이스(34) 또는 대응하는 기능을 모두 포함한다. 이러한 실시예에서, 이미지 프로세싱 디바이스(14) 또는 대응하는 기능 및 디스플레이 디바이스(34) 또는 대응하는 기능은 동일한 하드웨어 및/또는 소프트웨어, 별도의 하드웨어 및/또는 소프트웨어, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다.
설명에 기초하여, 당업자는 상이한 유닛의 기능 또는 도 1에 도시된 이미지 획득 디바이스(12) 및/또는 이미지 프로세싱 디바이스(14)의 기능/기능들의 존재 및 (정확한) 기능의 분할은 실제 장치 및 응용 프로그램에 따라 다를 수 있다는 것을 손쉽게 이해한다. 이미지 획득 디바이스(12) 및 이미지 프로세싱 디바이스(14)는 임의의 유형의 핸드헬드 또는 고정 장치, 예를 들어 노트북 또는 랩톱 컴퓨터, 휴대폰, 스마트폰, 태블릿 또는 태블릿 컴퓨터, 비디오 카메라, 데스크탑 컴퓨터, 셋톱 박스, 텔레비전, 카메라, 차량 탑재 장치, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 장치(예를 들어, 콘텐츠 서비스 서버 또는 콘텐츠 전달 서버), 방송 수신 장치 또는 방송 전송 장치를 의미하며, 모든 유형의 운영 체제를 사용하거나 사용하지 않을 수 있다.
이미지 프로세서(20) 및 이미지 프로세서(32) 각각은 다양한 적절한 회로 중 어느 하나, 예를 들어 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 애플리케이션 특정 집적 회로(application-specific integrated circuit, ASIC), 필드 프로그래머블 게이트 어레이(field-programmable gate array, FPGA), 이산 로직, 하드웨어 또는 이들의 조합으로서 구현될 수 있다. 기술이 소프트웨어를 사용하여 부분적으로 구현되는 경우, 디바이스는 소프트웨어 명령을 적절하고 비일시적인 컴퓨터 판독 가능형 저장 매체에 저장할 수 있고, 본 개시의 기술을 수행하기 위해 하나 이상의 프로세서와 같은 하드웨어를 사용하여 명령을 실행할 수 있다. 전술한 콘텐츠(하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등 포함) 중 하나는 하나 이상의 프로세서로 간주될 수 있다.
이미지 획득 디바이스는 자연 장면으로부터 광학 신호를 수신하여 자연 장면을 포함하는 픽처 또는 비디오를 캡처할 수 있다. 이미지나 이미지의 전송을 용이하게 하기 위해서는 광신호를 전기적 신호로 변환해야 하며, 각 픽셀의 이미지 정보는 휘도값이나 색차값(예를 들어, 0~255 사이의 계조값(grayscale value))을 이용하여 기록해야 한다. 값 범위는 고정되어 있다. 광 신호를 전기 신호로 변환하는 곡선은 광-전기 변환 기능이다. 일반적인 광-전기 변환 기능에는 지각 양자화기(perceptual quantizer, PQ) 광-전기 변환 기능, 하이브리드 로그 감마(hybrid log-gamma, HLG) 광-전기 변환 기능 및 장면 휘도 충실도(scene luminance fidelity, SLF) 광-전기 변환 기능이 포함된다. 디스플레이 디바이스는 픽처나 비디오를 표시하여 자연스러운 장면을 재현할 수 있다. 일반적으로 이미지 획득 디바이스와 디스플레이 디바이스는 서로 다른 두 위치에 위치한다. 따라서, 이미지 획득 디바이스는 종종 프론트-엔드(Front-end) 디바이스로 지칭되고, 디스플레이 디바이스는 백-엔드(back-end) 디바이스로 지칭된다. 디스플레이 디바이스는 광-전기 변환 기능 및 이미지 내의 각 픽셀의 휘도 값 또는 계조 값에 기초하여 촬영 중 피사체의 휘도를 결정할 수 있다. 즉, 전자 디바이스는 단위가 nit인 휘도로 YUV 또는 RGB 정보를 변환할 수 있다. 물체의 휘도가 디스플레이 디바이스의 표시 능력을 초과할 수 있다. 이미지 획득 디바이스에서 획득한 휘도 정보가 디스플레이 디바이스의 휘도 표시 능력과 일치하지 않기 때문에 저휘도 표시 능력의 디스플레이 디바이스를 사용하여 고휘도 이미지를 표시하는 경우와 고휘도 표시 능력을 가진 디스플레이 디바이스는 저휘도 이미지를 표시하는 데 사용된다. 첫 번째 경우는 하이-투-로우(high-to-low) 톤 매핑 프로세스라고도 하고, 두 번째 경우는 로우-투-하이(low-to-high) 톤 매핑 프로세스라고도 한다. 톤 매핑은 동적 범위 표시 기능이 제한된 디스플레이 디바이스에 HDR 이미지를 대략적으로 표시하기 위한 컴퓨터 그래픽 기술이다. 하나의 방식으로, 하이 동적 범위 이미지의 톤은 톤 매핑 곡선에 기초하여 낮은 동적 범위 디스플레이 능력을 갖는 디스플레이 디바이스에 매핑될 수 있다. 톤 매핑 곡선은 디스플레이 디바이스에 의해 결정될 수 있거나 디스플레이 디바이스 외부에 위치한 프로세싱 디바이스에 의해 결정될 수 있다는 점에 유의해야 한다.
그렇지만, 일부 경우에, 결정된 톤 매핑 곡선이 부정확할 때, 하이 동적 범위 이미지의 표시 효과가 좋지 않다. 예를 들어, 비디오 재생 과정에서 비디오에 대해 하나의 톤 매핑 곡선만 결정되면 다른 비디오 프레임 간에 표시되는 이미지 내용이 크게 다를 수 있다. 예를 들어 일부 비디오 프레임에 표시되는 이미지는 매우 어둡지만 다른 비디오 프레임에 표시되는 이미지는 매우 밝다. 전체 이미지에 대해 고정 톤 매핑 곡선을 사용하면 이미지의 각 프레임의 이미지를 디스플레이 디바이스에서 완벽하게 재현할 수 없다. 또한 톤 매핑 곡선은 많은 양의 데이터를 전달한다. 각 이미지 또는 프레임에 대해 하나의 톤 매핑 곡선이 결정되면 데이터 중복의 결과가 발생할 수 있다.
본 출원은 전술한 문제를 피하기 위한 이미지 프로세싱 방법 및 장치를 제공한다.
도 2는 본 출원에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다. 도 2에 도시된 방법은 톤 매핑에 사용되는 프로세서에 의해 수행될 수 있다. 예를 들어, 프로세서는 도 1에 도시된 이미지 프로세싱 디바이스(14), 톤 매핑 프로세서를 포함하는 이미지 획득 디바이스, 또는 톤 매핑 프로세서를 포함하는 디스플레이 디바이스일 수 있다.
201: 목표 픽처 및 목표 픽처의 초기 톤 매핑 곡선을 획득한다.
목표 픽처는 도 1에 도시된 픽처 소스(16)를 사용함으로써 획득될 수 있다. 목표 픽처는 비디오의 픽처 프레임일 수 있거나, 정지 픽처일 수 있거나, 픽처의 영역, 예를 들어, 픽처의 여러 이미지 블록일 수 있다.
초기 톤 매핑 곡선은 톤 매핑 프로세스에 사용될 수 있는 임의의 형태의 곡선일 수 있다. 구체적으로, 도 3은 초기 톤 매핑 곡선의 여러 가능한 형태를 보여준다.
도 3에서 실선으로 도시된 초기 톤 매핑 곡선은 SLF 톤 매핑 곡선이라고도 하며 다음을 충족한다:
,
여기서 L은 선형 신호 값을 나타내고, L'은 비선형 신호 값을 나타내고, p, a, m 및 b는 모두 동적 범위 매핑 계수이며 0 ≤ L ≤ 1 및 0 ≤ L' ≤ 1이고; a는 디스플레이 디바이스의 동적 범위 디스플레이 능력에 정비례하고, 목표 픽처의 동적 범위에 반비례하고; b는 디스플레이 디바이스의 최소 휘도 표시 능력에 정비례한다.
도 3에서 일점쇄선으로 도시된 초기 톤 매핑 곡선은 선형 다항식 톤 매핑 함수이며 다음을 충족한다:
,
여기서 L은 선형 신호 값을 나타내고, L'은 비선형 신호 값을 나타내고, a와 b는 모두 동적 범위 매핑 계수이며 0 ≤ L ≤ 1 및 0 ≤ L' ≤ 1이고; a는 디스플레이 디바이스의 동적 범위 디스플레이 능력에 정비례하고, 목표 픽처의 동적 범위에 반비례하고; b는 디스플레이 디바이스의 최소 휘도 표시 능력에 정비례한다.
도 4에서 점선으로 도시된 초기 톤 매핑 곡선. 3은 S자형 톤 매핑 곡선이라고도 하며 다음을 충족한다:
,
여기서 L은 선형 신호 값을 나타내고, L'은 비선형 신호 값을 나타내고, c1, c2, c3, 및 n은 모두 동적 범위 매핑 계수이며 0 ≤ L ≤ 1 및 0 ≤ L' ≤ 1이고; c1, c2, c3, n은 모두 목표 픽처의 평균 휘도, 최대 휘도, 최소 휘도와 관련되며, 디스플레이 디바이스의 최소 표시 휘도 및 최대 표시 휘도와 관련이 있다.
도 3에서 이중점 파선으로 도시된 초기 톤 매핑 곡선은 베셀(Bessel) 톤 매핑 곡선이라고도 하며 다음을 충족한다:
,
여기서 L은 선형 신호 값을 나타내고, L'은 비선형 신호 값을 나타내고, n, N 및 ρ는 모두 동적 범위 매핑 계수이며 0 ≤ L ≤ 1 및 0 ≤ L' ≤ 1이다. n, N, ρ는 목표 이미지의 휘도 분포와 관련되며, 목표 이미지의 평균 휘도와도 관련이 있다.
전자 디바이스는 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 초기 톤 매핑 곡선에 대한 파라미터를 결정할 수도 있다.
YUV 형식의 휘도 값과 RGB 형식의 그레이스케일 값 모두는 이미지의 휘도를 반영할 수 있다는 것을 이해해야 한다. 따라서, 본 출원에서의 휘도 정보는 예를 들어 YUV 형식의 휘도 값 또는 RGB 형식의 계조 값일 수 있다.
동적 메타데이터는 휘도 범위에 대한 정보 및 각 휘도 범위의 비율에 대한 정보를 포함할 수 있음을 이해해야 한다. 예를 들어, 0-10 nit의 휘도 범위 내의 픽셀 수는 200이다. 동적 메타데이터는 휘도 범위 내의 픽셀의 평균 휘도를 추가로 포함한다. 예를 들어 휘도 범위가 0~10 nit인 픽셀의 평균 휘도는 6.2 nit이다.
SLF 공식을 예로 사용하면, p 및 m은 이미지의 전체 휘도에 의해 결정될 수 있다. 이미지의 전체적인 휘도가 높을 때 p의 값은 상대적으로 작고 m의 값은 상대적으로 크다. 이미지의 전체 휘도가 낮은 경우 p의 값은 상대적으로 크고 m의 값은 상대적으로 작다. p의 값 범위는 3-6일 수 있다. m의 값 범위는 2-4일 수 있으며 m은 일반적으로 2.4이다. 전자 디바이스는 휘도 정보를 통계적으로 분석하여 이미지의 전체적인 휘도를 결정할 수 있다. 전자 디바이스는 동적 메타데이터에 포함된 정보에 기초하여, 밝은 픽셀의 비율이 상대적으로 높은 경우 이미지의 전체 휘도가 높은 것으로 결정할 수 있고, 어두운 픽셀의 비율이 높은 경우 이미지의 전체 휘도가 낮은 것으로 결정할 수 있다.
선택적으로, 초기 톤 매핑 곡선은 정규화 처리(normalization processing)를 거치는 곡선일 수 있고, 즉 초기 톤 매핑 곡선 상의 임의의 지점의 좌표는 (제1 좌표값 1, 제2 좌표값 1)이다. 제1 좌표값 1의 값 범위는 0-1이다. 제2 좌표값 1의 값 범위는 0-1이다. 다음은 정규화 처리를 거친 초기 톤 매핑 곡선을 설명한다. 이것은 본 출원에서 제한되지 않는다는 것을 이해해야 한다.
202: 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정한다.
복수의 보간점을 결정하는 목적은 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수를 결정하는 것이다. 복수의 보간점을 결정함으로써, 스플라인 함수가 복수의 보간점을 통과하도록 정의되어 더 나은 톤 매핑 효과를 갖는 이미지 표시 효과를 얻을 수 있다.
보간점을 결정하는 것은 보간점의 좌표, 또는 보간점의 제1 좌표값 또는 제2 좌표값을 결정하는 것일 수 있다. 보간점의 좌표는 (x, y)로 표현될 수 있으며, 여기서 x는 제1 좌표값을 나타내고, y는 제2 좌표값을 나타낼 수 있다. 전자 디바이스는 이미지의 휘도 정보, 이미지의 동적 메타데이터 또는 이미지의 휘도 정보 및 이미지의 동적 메타데이터에 기반하여 복수의 보간점을 결정할 수 있다. 예를 들어, 전자 디바이스는 보간점 1의 제1 좌표값, 보간점 2의 제2 좌표값, 보간점 3의 좌표를 결정할 수 있다.
본 출원에서, 보간점을 결정하는 목적은 초기 톤 매핑 곡선의 수정 위치를 결정하는 것이다. 다시 말해, 복수의 보간점에 포함된 두 개의 보간점 사이에 수정 범위가 존재할 수 있으며, 전자 디바이스는 수정 범위 내에서 초기 톤 매핑 곡선을 수정할 수 있다.
일 예에서, 전자 디바이스는 보간점 1의 제1 좌표값이 제1 좌표값 1이고, 보간점 2의 제1 좌표값이 제1 좌표값 2이고, 제1 좌표가 값 1은 제1 좌표값 2보다 작은 것으로 결정하고, 전자 디바이스는 제1 좌표값 1에서 제1 좌표값 2까지의 구간에서 초기 톤 매핑 곡선을 수정하기로 결정할 수 있다.
유사하게, 전자 디바이스는 보간점 1의 제2 좌표값이 제2 좌표값 1이고, 보간점 2의 제2 좌표값이 제2 좌표값 2이며, 제2 좌표값 1이 가 제2 좌표값 2보다 작은 것으로 결정하고, 전자 디바이스는 제2 좌표값 1에서 제2 좌표값 2까지의 구간에서 초기 톤 매핑 곡선을 수정하기로 결정할 수 있다.
일 예에서, 전자 디바이스는 보간점 1의 제1 좌표값이 제1 좌표값 1이고, 보간점 2의 제2 좌표값이 제2 좌표값 2인 것으로 결정할 수 있다. 전자 디바이스는 초기 톤 매핑 곡선에 기초하여, 제2 좌표값 2에 대응하는 제1 좌표값이 제1 좌표값 2인 것으로 결정할 수 있다. 전자 디바이스는 제1 좌표값 1이 제1 좌표값 2보다 작은 것으로 결정하고, 제2 좌표값 1에서 제2 좌표값 2까지의 구간에서 초기 톤 매핑 곡선을 수정하기로 결정한다.
유사하게, 전자 디바이스는 보간점 1의 제2 좌표값이 제1 좌표값 1이고, 보간점 2의 제2 좌표값이 제2 좌표값 2인 것으로 결정할 수 있다. 전자 디바이스는 초기 톤 매핑 곡선에 기초하여, 제1 좌표값 1에 대응하는 제2 좌표값이 제2 좌표값 1인 것으로 결정할 수 있다. 전자 디바이스는 제2 좌표값 1이 제2 좌표값 2보다 작은 것으로 결정하고, 제2 좌표값 1에서 제2 좌표값 2까지의 구간에서 초기 톤 매핑 곡선을 수정하는 것으로 결정할 수 있다.
일 예에서, 전자 디바이스는 보간점 1의 좌표가 (제1 좌표값 1, 제2 좌표값 1)이고, 보간점 2의 좌표가 (제1 좌표값 2, 제2 좌표값 2)이며, 그리고 제1 좌표값 1이 제1 좌표값 2보다 작은 것으로 결정하고(초기 톤 매핑 곡선이 일반적으로 단조 증가 함수이기 때문에 제2 좌표값 1이 제2 좌표값 2보다 작다), 제1 좌표값 1에서 제1 좌표값 2까지의 구간(또는 제2 좌표값 1에서 제2 좌표값 2까지의 구간)에서 초기 톤 매핑 곡선을 수정하기로 결정할 수 있다.
초기 톤 매핑 곡선은 각각 첫 번째 끝점 및 두 번째 끝점, 예를 들어 도 4에 도시된 점 1 및 점 5인 2개의 끝점을 포함한다. 첫 번째 끝점에 대응하는 휘도 값이 상대적으로 낮고 첫 번째 끝점은 이미지의 어두운 영역에 위치한다. 두 번째 끝점에 대응하는 휘도 값은 상대적으로 높고 두 번째 끝점은 이미지의 밝은 영역에 위치한다. 이미지가 어두울 경우, 전자 디바이스는 보간점이 첫 번째 끝점 또는 첫 번째 끝점에 가까운 위치에 있다고 결정할 수 있다. 이미지가 밝은 경우, 전자 디바이스는 두 번째 끝점 또는 두 번째 끝점에 가까운 위치에 보간점이 존재하는 것으로 결정할 수 있다. 이미지가 휘도 차이가 상대적으로 작은 픽셀의 일부를 포함하는 경우, 일부 픽셀의 휘도와 이미지의 전체 휘도에 기초하여 보간점의 위치가 결정될 수 있다. 예를 들어, 이미지의 휘도 범위가 100 nit와 300 nit 사이이고, 픽셀의 50%가 195 nit 내지 205 nit 범위에 있는 경우, 초기 톤 매핑 곡선의 중간 부분 부근에 보간점이 존재한다고 결정할 수 있다.
시나리오 1: 이미지가 어두울 때 전자 디바이스는 보간점이 첫 번째 끝점 또는 첫 번째 끝점에 가까운 위치에 존재한다고 결정할 수 있다. 도 5는 이 시나리오에서 보간점과 스플라인 함수를 보여준다.
선택적으로, 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 첫 번째 끝점과 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하며, 첫 번째 끝점에 대응하는 휘도 값은 두 번째 끝점에 대응하는 휘도값보다 작고, 목표 픽처에 포함된 어두운 영역 픽셀의 수량이 제2 사전 설정 임계값보다 크거나 같고, 어두운 영역 픽셀의 휘도 값이 제1 사전 설정 임계값보다 작고, 복수의 보간점은 제1 보간점을 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 제1 보간점의 제1 좌표값이 첫 번째 끝점의 제1 좌표값과 동일한 것으로 결정하는 단계를 포함한다.
본 출원에서, 첫 번째 끝점에 대응하는 휘도 값은 첫 번째 끝점의 제1 좌표값에 대응할 수 있고, 및/또는 첫 번째 끝점의 제2 좌표값에 대응할 수 있다. 두 번째 끝점에 대응하는 휘도 값은 두 번째 끝점의 제1 좌표값에 대응하거나, 및/또는 두 번째 끝점의 제2 좌표값에 대응할 수 있다.
예를 들어, 제1 사전 설정 임계값이 20인 경우, YUV 형식에서 Y 성분의 값이 20보다 작은 픽셀을 어두운 영역 픽셀인 것으로 간주하거나 RGB 형식에서 R/G/B 성분의 값이 20보다 작은 픽셀을 어두운 영역 픽셀인 것으로 간주할 수 있다. 다른 예로, 제1 사전 설정 임계값이 20 nit인 경우, 휘도가 20 nit보다 작은 픽셀을 어두운 영역 픽셀인 것으로 간주할 수 있다.
따라서, 목표 픽처가 충분한 양의 어두운 영역 픽셀을 포함하는 경우, 첫 번째 끝점은 제1 보간점으로 선택될 수 있고, 첫 번째 끝점의 제1 좌표값이 제1 보간점의 제1 좌표값과 동일한 것으로 결정된다. 다시 말해, 목표 픽처가 충분한 양의 어두운 영역 픽셀을 포함하는 경우, 초기 톤 매핑 곡선의 첫 번째 끝점에 가까운 세그먼트가 수정될 수 있다.
선택적으로, 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 첫 번째 끝점과 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하며, 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응관계에서 P 개의 좌표 정보를 포함하고, P는 양의 정수이고, 휘도 정보 및 목표 픽처의 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계는: P 개의 좌표 정보 및 목표 픽처의 휘도 정보에 기초하여, P 개의 키 픽셀이 어두운 영역 픽셀인 것으로 결정하는 단계 - 여기서 어두운 영역 픽셀의 휘도 값은 제1 사전 설정 임계값보다 작음 - ; 및 P 개의 키 픽셀이 어두운 영역 픽셀인 경우, 복수의 보간점이 제1 보간점을 포함하는 것으로 결정하는 단계를 포함하며, 여기서 제1 보간점의 제1 좌표값은 첫 번째 끝점의 제1 좌표값과 동일하다.
예를 들어, 제1 사전 설정 임계값이 20인 경우, YUV 형식에서 Y 성분의 값 또는 평균값이 20보다 작은 픽셀을 어두운 영역 픽셀인 것으로 간주하거나 RGB 형식의 R/G/B 성분 또는 평균값이 20보다 작은 픽셀을 어두운 영역 픽셀인 것으로 간주할 수 있다. 다른 예로, 제1 사전 설정 임계값이 20 nit인 경우, 휘도 또는 평균 휘도가 20 nit보다 작은 픽셀을 어두운 영역 픽셀로 간주할 수 있다.
따라서, 동적 메타데이터는 여러 키 픽셀을 나타내며, 여러 키 픽셀이 어두운 영역 픽셀인지 여부는 키 픽셀의 평균 휘도 또는 최대 휘도에 기초하여 결정될 수 있다. 여러 개의 키 픽셀이 어두운 영역 픽셀인 경우 휘도 매핑 곡선의 첫 번째 끝점을 제1 보간점으로 사용하고 첫 번째 끝점의 제1 좌표값과 제1 보간점의 제1 좌표값이 동일한 것으로 결정한다. 다시 말해, 여러 키 픽셀이 어두운 영역 픽셀인 경우 초기 톤 매핑 곡선에서 첫 번째 끝점에 가까운 세그먼트가 수정될 수 있다.
본 출원에서, 어두운 영역 픽셀은 저휘도를 갖는 픽셀로 이해될 수 있다. 어두운 영역 픽셀은 동적 메타데이터에서 지시하는 키 픽셀일 수 있다. 대안적으로, 어두운 영역 픽셀은 픽셀들의 휘도 분포에 기초하여 전자 디바이스에 의해 자율적으로 결정될 수 있다. 다시 말해, 목표 픽처가 어두운 영역 픽셀을 포함하는지 여부는 다르게 결정될 수 있다.
선택적으로, 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 첫 번째 끝점과 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하며, 동적 메타데이터는 영역 휘도 지시 정보를 포함하고; 영역 휘도 지시 정보가 어두운 영역을 지시하는 경우, 복수의 보간점은 제1 보간점을 포함하고, 제1 보간점의 제1 좌표값은 첫 번째 끝점의 제1 좌표값과 동일하다.
동적 메타데이터가 어두운 영역을 지시하는 지시 정보를 포함하는 경우, 제1 보간점의 제1 좌표값은 첫 번째 끝점의 제1 좌표값과 동일하다. 제1 보간점은, 예를 들어 도 4에 도시된 점 1'이다. 예를 들어, 지시 정보가 0이거나 "어두운(dark)"의 지시를 포함하는 경우, 제1 보간점의 제1 좌표값이 첫 번째 끝점의 제1 좌표값과 동일한 것으로 결정한다.
초기 톤 매핑 곡선은 도 4에 도시되어 있다. 초기 톤 매핑 곡선의 두 끝은 각각 점 1과 점 5이다. 첫 번째 끝점은 도 4에 도시된 점 1일 수 있고, 두 번째 끝점은 도 4에 도시된 점 5일 수 있다. 첫 번째 끝점에 대응하는 휘도 값이 낮고 두 번째 끝점에 대응하는 휘도 값이 높다는 것을 도면으로부터 알 수 있다. 도 4에 도시된 바와 같이, 제1 보간점은 점 1'일 수 있고, 첫 번째 끝점은 점 1일 수 있고, 점 1의 제1 좌표값은 점 1'의 제1 좌표값과 동일하다. 일부의 경우, 점 1은 점 1'과 일치하고, 즉, 점 1의 제1 좌표값은 점 1'의 제1 좌표값과 동일하고 점 1의 제2 좌표값은 점 1'의 제2 좌표값과 동일하다. 제1 보간점의 제2 좌표값은 경험적 값, 사용자 입력값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
다음으로, 초기 톤 매핑 곡선의 수정 범위가 결정될 필요가 있다. 구체적으로, 제1 보간점과 제2 보간점 사이의 초기 톤 매핑 곡선을 수정하여 낮은 동적 범위 디스플레이 기능을 갖는 디스플레이 디바이스에서 높은 동적 범위 픽처를 표시할 수 있거나 또는 어두운 장면의 이미지 세부 사항이 디스플레이 디바이스에 더 잘 표현될 수 있도록 제2 보간점을 결정할 수 있다. 도 4에 도시된 바와 같이, 제5 보간점은 점 2'일 수 있다.
선택적으로, 복수의 보간점은 제2 보간점을 더 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 어두운 영역 픽셀의 수량에 기초하여 제2 보간 점의 제1 좌표값을 결정하는 단계를 포함한다.
어두운 영역 픽셀의 수량이 상대적으로 크거나 모든 픽셀에 대한 어두운 영역 픽셀의 비율이 상대적으로 높은 경우, 제2 보간점의 제1 좌표값은 제1 보간점의 제1 좌표값에 가깝다. 어두운 영역 픽셀의 수량이 상대적으로 적거나 모든 픽셀에 대한 어두운 영역 픽셀의 비율이 상대적으로 낮은 경우, 제2 보간점의 제1 좌표값은 제1 보간점의 제1 좌표값에서 멀리 떨어져 있다. 다시 말해, 어두운 영역 픽셀의 수량이 상대적으로 큰 경우, 첫 번째 끝점에 가까운 초기 톤 매핑 곡선의 수정 범위는 상대적으로 작지만 어두운 영역 픽셀의 수량이 상대적으로 적고 제2 사전 설정 임계값보다 큰 경우, 첫 번째 끝점에 가까운 초기 톤 매핑 곡선의 수정 범위가 비교적 크다. 제2 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
또한, 수정된 톤 매핑 곡선은 매끄럽고 유도 가능해야 한다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수가 제3 보간점에서 초기 톤 매핑 곡선에 원활하게 연결될 수 있도록 제3 보간점을 결정할 수 있다.
초기 톤 매핑 곡선을 수정하기 위한 수정 범위는 강한 수정 범위(strong modification range) 및 약한 수정 범위(weak modification range)를 포함할 수 있다. 제1 보간점과 제2 보간점 사이의 변형 범위는 강한 변형 범위로 이해될 수 있고, 제2 보간점과 제3 보간점 사이의 변형 범위는 약한 변형 범위로 이해될 수 있다. 약한 수정 범위는 강한 수정 범위와 수정되지 않은 범위(non-modification range) 사이의 천이 수정 범위이다. 유사하게, 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수는 강한 수정 스플라인 함수와 약한 수정 스플라인 함수를 포함할 수 있다. 제1 보간점과 제2 보간점 사이의 스플라인 함수는 강한 수정 스플라인 함수로 이해될 수 있고, 제2 보간점과 제3 보간점 사이의 스플라인 함수는 약한 수정 스플라인 함수로 이해될 수 있다. 약한 수정 스플라인 함수는 강한 수정 스플라인 함수와 초기 톤 매핑 곡선 사이의 천이 수정 스플라인 함수이다. 또한, 제2 보간점과 제3 보간점 사이의 스플라인 함수는 초기 톤 매핑 곡선과 다르기 때문에 제2 보간점과 제3 보간점 사이의 스플라인 함수는 천이 곡선 외에 곡선 수정 함수를 갖는다. 도 4에 도시된 바와 같이, 제3 보간점은 점 4'일 수 있다.
선택적으로, 복수의 보간점은 제3 보간점을 더 포함하고, 목표 픽처는 어두운 영역 천이 픽셀을 더 포함하고, 어두운 영역 천이 픽셀의 휘도 값은 제1 사전 설정 임계값보다 크며, 상기 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 상기 어두운 영역 천이 픽셀의 수량에 기초하여 상기 제3 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
어두운 영역 천이 픽셀은 휘도가 위에서 언급한 제1 사전 설정 임계값보다 큰 픽셀이다. 예를 들어, 제1 사전 설정 임계값이 20인 경우, YUV 형식에서 Y 성분의 값이 20보다 큰 픽셀은 어두운 영역 천이 픽셀이거나 또는 RGB 형식에서 R/G/B 성분의 값이 20보다 큰 픽셀은 어두운 영역 천이 픽셀인 것으로 간주될 수 있다. 다른 예로, 제3 사전 설정 임계값이 100 nit인 경우, 휘도가 100 nit보다 큰 픽셀은 어두운 영역 천이 픽셀로 간주될 수 있다. 일부 경우에, 어두운 영역 천이 픽셀의 휘도는 제5 사전 설정 임계값보다 작고, 제5 사전 설정 임계값은 제1 사전 설정 임계값보다 더 크다.
선택적으로, 복수의 보간점은 제3 보간점을 더 포함하고, 동적 메타데이터는 Q 개의 키 픽셀과 일대일 대응관계에서 Q 개의 좌표 정보를 포함하고, Q는 양의 정수이고, 복수의 보간점은 제1 보간점을 포함하고, 목표 픽처의 휘도 정보 및 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계는: Q 개의 좌표 정보 및 목표 픽처의 휘도 정보에 기초하여, Q 개의 키 픽셀이 어두운 영역 천이 픽셀인 것으로 결정하는 단계 - 여기서 어두운 영역 픽셀의 휘도 값은 제1 사전 설정 임계값보다 크거나 같음 - ; 및 Q 개의 키 픽셀이 어두운 영역 픽셀인 경우, 복수의 보간점이 제3 보간점을 포함하고, 제3 보간점의 제1 좌표값이 첫 번째 끝점의 제1 좌표값과 동일한 것으로 결정하는 단계를 포함한다.
어두운 영역 천이 픽셀은 휘도 또는 평균 휘도가 위에서 언급한 제1 사전 설정 임계값보다 큰 픽셀이다. 예를 들어, 제1 사전 설정 임계값이 20인 경우, YUV 형식에서 Y 성분의 값 또는 평균값이 20보다 큰 픽셀은 어두운 영역 천이 픽셀이거나, 또는 RGB 형식에서 R/G/B 성분의 값 또는 평균값이 20보다 큰 픽셀은 어두운 영역 천이 픽셀인 것으로 간주될 수 있다. 다른 예로, 제3 사전 설정 임계값이 100 nit인 경우, 휘도 또는 평균 휘도가 100 nit보다 큰 픽셀은 어두운 영역 천이 픽셀로 간주될 수 있다. 일부 경우에, 어두운 영역 천이 픽셀의 휘도는 제5 사전 설정 임계값보다 작고, 제5 사전 설정 임계값은 제1 사전 설정 임계값보다 더 크다.
어두운 영역 천이 픽셀의 수량이 상대적으로 크거나 모든 픽셀에 대한 어두운 영역 천이 픽셀의 비율이 상대적으로 높은 경우, 제3 보간점의 제1 좌표값은 제2 보간점의 제1 좌표값에 가깝다. 어두운 영역 천이 픽셀의 수량이 상대적으로 적거나 모든 픽셀에 대한 어두운 영역 천이 픽셀의 비율이 상대적으로 낮은 경우, 제3 보간점의 제1 좌표값은 제2 보간점의 제1 좌표값에서 멀리 떨어져 있다. 다시 말해, 어두운 영역 천이 픽셀의 수량이 상대적으로 큰 경우, 약한 수정 스플라인 함수가 상대적으로 짧고, 어두운 영역 천이 픽셀의 수량이 상대적으로 적은 경우, 약한 수정 스플라인 함수가 상대적으로 길다.
본 출원에서, 어두운 영역 천이 픽셀은 휘도가 낮고 휘도가 어두운 영역 픽셀보다 높은 픽셀로 이해될 수 있다. 어두운 영역 천이 픽셀은 동적 메타데이터에서 지시하는 키 픽셀일 수 있다. 대안적으로 어두운 영역 천이 픽셀은 픽셀의 휘도 분포에 기초하여 전자 디바이스에 의해 자율적으로 결정될 수 있다. 다시 말해 목표 픽처에서 어두운 영역 천이 픽셀의 수량은 다른 방식으로 결정될 수 있다. 제3 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
시나리오 2: 이미지가 밝을 때, 전자 디바이스는 보간점이 두 번째 끝점 또는 두 번째 끝점에 가까운 위치에 존재한다고 결정할 수 있다. 도 6은 이 시나리오에서 보간점과 스플라인 함수를 보여준다.
선택적으로, 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 첫 번째 끝점과 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하며, 첫 번째 끝점에 대응하는 휘도 값은 두 번째 끝점에 대응하는 휘도값보다 작고, 상기 목표 픽처에 포함된 밝은 영역 픽셀의 수량이 미리 설정된 제4 임계값보다 크거나 같고, 상기 밝은 영역 픽셀의 휘도값이 제3 사전 설정 임계값보다 크고, 복수의 보간점은 제4 보간점을 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 제4 보간점의 제1 좌표값이 두 번째 끝점의 제1 좌표값과 동일한 것으로 결정하는 단계를 포함한다.
본 출원에서, 첫 번째 끝점에 대응하는 휘도 값은 첫 번째 끝점의 제1 좌표값에 대응할 수 있고, 및/또는 첫 번째 끝점의 제2 좌표값에 대응할 수 있다. 두 번째 끝점에 대응하는 휘도 값은 두 번째 끝점의 제1 좌표값에 대응할 수 있고, 및/또는 두 번째 끝점의 제2 좌표값에 대응할 수 있다.
예를 들어, 미리 설정된 제3 임계값이 200이면, YUV 형식의 Y 성분 값이 200보다 큰 픽셀은 밝은 영역 픽셀이거나 RGB 형식의 R/G/B 성분의 값이 200보다 큰 픽셀은 밝은 영역 픽셀인 것으로 간주될 수 있다. 다른 예로, 사전 설정 제3 임계값이 400 nit인 경우 휘도가 400 nit보다 큰 픽셀을 밝은 영역 픽셀로 간주할 수 있다.
따라서, 목표 픽처가 충분한 양의 밝은 영역 픽셀을 포함할 때, 두 번째 끝점은 밝은 영역을 수정하기 위한 보간점(이 실시예에서 제4 보간점에 대응함)으로 결정될 수 있다. 예를 들어, 두 번째 끝점의 제1 좌표값이 제4 보간점의 제1 좌표값과 동일한 것으로 결정한다. 다시 말해, 목표 픽처가 충분한 양의 밝은 영역 픽셀을 포함하는 경우, 초기 톤 매핑 곡선에서 두 번째 끝점에 가까운 세그먼트가 수정될 수 있다.
선택적으로, 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 첫 번째 끝점과 두 번째 끝점은 각각 초기 톤 매핑 곡선의 두 끝에 위치하며, 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응관계에서 P 개의 좌표 정보를 포함하고, P는 양의 정수이고, 휘도 정보 및 목표 픽처의 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계는: P 개의 좌표 정보 및 목표 픽처의 휘도 정보에 기초하여 결정하고, P 개의 키 픽셀이 밝은 영역 픽셀인 것으로 결정하는 단계 - 여기서, 밝은 영역 픽셀의 휘도 값은 제3 사전 설정 임계값보다 큼 - ; 및 P 개의 키 픽셀이 밝은 영역 픽셀인 경우, 복수의 보간점이 제4 보간점을 포함하는 것으로 결정하는 단계 - 여기서 제4 보간점의 제1 좌표값은 두 번째 끝점의 제1 좌표값과 동일함 - 를 포함한다.
예를 들어, 제3 사전 설정 임계값이 200인 경우, YUV 형식의 Y 성분의 값 또는 평균값이 200보다 큰 픽셀은 밝은 영역 픽셀이거나 RGB 형식의 R/G/B 성분의 값 또는 평균값이 200보다 큰 픽셀은 밝은 영역 픽셀인 것으로 간주될 수 있다. 다른 예로, 제3 사전 설정 임계값이 400 nit인 경우 휘도 또는 평균 휘도가 400 nit보다 큰 픽셀은 밝은 영역 픽셀로 간주될 수 있다.
따라서, 동적 메타데이터는 여러 키 픽셀을 나타내며, 여러 키 픽셀이 밝은 영역 픽셀인지 여부는 키 픽셀의 평균 휘도 또는 최대 휘도에 기초하여 결정될 수 있다. 복수의 키 픽셀이 밝은 영역 픽셀인 경우, 두 번째 끝점의 제1 좌표값과 제4 보간점의 제1 좌표값이 동일한 것으로 결정한다. 다시 말해, 여러 개의 키 픽셀이 밝은 영역 픽셀인 경우 초기 톤 매핑 곡선에서 두 번째 끝점에 가까운 세그먼트가 수정될 수 있다.
본 출원에서, 밝은 영역 픽셀은 높은 휘도를 갖는 픽셀로 이해될 수 있다. 밝은 영역 픽셀은 동적 메타데이터에서 지시하는 키 픽셀일 수 있다. 대안적으로 밝은 영역 픽셀은 픽셀의 휘도 분포에 기초하여 전자 디바이스에 의해 자율적으로 결정될 수 있다. 다시 말해, 목표 픽처가 밝은 영역 픽셀을 포함하는지 여부는 다르게 결정될 수 있다.
선택적으로, 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 첫 번째 끝점과 두 번째 끝점은 초기 톤 매핑 곡선의 두 끝점에 각각 위치하며, 동적 메타데이터는 영역 휘도 지시 정보를 포함한다. 영역 휘도 지시 정보가 밝은 영역을 지시하는 경우, 복수의 보간점은 제4 보간점을 포함하고, 제4 보간점의 제1 좌표값은 두 번째 끝점의 제1 좌표값과 동일하다.
동적 메타데이터가 밝은 영역을 나타내는 지시 정보를 포함하는 경우, 제4 보간점의 제1 좌표값은 두 번째 끝점의 제1 좌표값과 동일하다. 제4 보간점은 예를 들어 도 4에 도시된 점 5'이다. 예를 들어, 지시 정보가 1이거나 "빛(light)" 또는 밝은 영역과 관련된 다른 지시를 포함하는 경우, 제4 보간점의 제1 좌표값이 두 번째 끝점의 제1 좌표값과 동일한 것으로 결정한다.
초기 톤 매핑 곡선은 도 4에 도시되어 있다. 초기 톤 매핑 곡선의 두 끝은 각각 점 1과 점 5이다. 첫 번째 끝점은 도 1에 도시된 점 1일 수 있고 두 번째 끝점은 도 4에 도시된 점 5일 수 있다. 첫 번째 끝점에 대응하는 휘도 값이 낮고 두 번째 끝점에 대응하는 휘도 값이 높다는 것을 도면으로부터 알 수 있다. 도 4에 도시된 바와 같이, 제4 보간점은 점 5'일 수 있고, 첫 번째 끝점은 점 5일 수 있으며, 점 5의 제1 좌표값은 점 5'의 제1 좌표값과 동일할 수 있다. 일부의 경우, 점 5는 점 5'와 일치하며, 즉 점 5의 제1 좌표값은 점 5'의 제1 좌표값과 동일하고 점 5의 제2 좌표값은 점 5'의 제2 좌표값과 동일하다. 제4 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
다음으로, 초기 톤 매핑 곡선의 수정 범위가 결정될 필요가 있다. 구체적으로, 제4 보간점과 제5 보간점 사이의 초기 톤 매핑 곡선을 수정하여 낮은 동적 범위 디스플레이 능력을 갖는 디스플레이 디바이스에 높은 동적 범위 픽처를 표시할 수 있도록 하거나, 또는 밝은 장면의 이미지 세부 정보가 디스플레이 디바이스에 더 잘 표시되도록 제5 보간점을 결정한다. 도 4에 도시된 바와 같이, 제5 보간점은 점 6'일 수 있다.
선택적으로, 복수의 보간점은 제5 보간점을 더 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 밝은 영역 픽셀의 수량에 기초하여 제5 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
밝은 영역 픽셀의 수량이 상대적으로 크거나 모든 픽셀에 대한 밝은 영역 픽셀의 비율이 상대적으로 높은 경우, 제5 보간점의 제1 좌표값은 제4 보간점의 제1 좌표값에 가깝다. 밝은 영역 픽셀의 수량이 상대적으로 적거나 모든 픽셀에 대한 밝은 영역 픽셀의 비율이 상대적으로 낮은 경우, 제5 보간점의 제1 좌표값은 제4 보간점의 제1 좌표값에서 멀리 떨어져 있다. 다시 말해, 밝은 영역 픽셀의 수량이 상대적으로 큰 경우, 두 번째 끝점에 가까운 초기 톤 매핑 곡선의 수정 범위는 상대적으로 작지만 밝은 영역 픽셀의 수량이 상대적으로 작고 제4 사전 설정 임계값보다 큰 경우, 두 번째 끝점에 가까운 초기 톤 매핑 곡선의 수정 범위가 상대적으로 크다. 제5 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
또한, 수정된 톤 매핑 곡선은 매끄럽고 유도 가능해야 한다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수가 제6 보간점에서 초기 톤 매핑 곡선에 원활하게 연결될 수 있도록 제6 보간점을 결정할 수 있다. 도 4에 도시된 바와 같이, 제6 보간점은 점 8'일 수 있다.
초기 톤 매핑 곡선을 수정하기 위한 수정 범위는 강한 수정 범위 및 약한 수정 범위를 포함할 수 있다. 제4 보간점과 제5 보간점 사이의 변형 범위는 강한 변형 범위로 이해될 수 있고, 제5 보간점과 제6 보간점 사이의 변형 범위는 약한 변형 범위로 이해될 수 있다. 약한 수정 범위는 강한 수정 범위와 수정되지 않은 범위 사이의 과도기 수정 범위이다. 유사하게, 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수는 강한 수정 스플라인 함수와 약한 수정 스플라인 함수를 포함할 수 있다. 제4 보간점과 제5 보간점 사이의 스플라인 함수는 강한 변형 스플라인 함수로 이해될 수 있고, 제5 보간점과 제6 보간점 사이의 스플라인 함수는 약한 변형 스플라인 함수로 이해될 수 있다. 약한 수정 스플라인 함수는 강한 수정 스플라인 함수와 초기 톤 매핑 곡선 사이의 천이 수정 스플라인 함수이다. 또한, 제5 보간점과 제6 보간점 사이의 스플라인 함수는 초기 톤 매핑 곡선과 다르기 때문에 제5 보간점과 제6 보간점 사이의 스플라인 함수는 천이 곡선 외에 곡선 수정 함수를 가진다.
선택적으로, 복수의 보간점은 제6 보간점을 더 포함하고, 목표 픽처는 밝은 영역 천이 픽셀을 더 포함하고, 밝은 영역 천이 픽셀의 휘도 값은 제3 사전 설정 임계값보다 작거나 같고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 밝은 영역 천이 픽셀의 수량에 기초하여 제6 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
밝은 영역 천이 픽셀은 휘도가 위에서 언급한 제3 사전 설정 임계값보다 큰 픽셀이다. 예를 들어, 제3 사전 설정 임계값이 20인 경우, YUV 포맷에서 Y 성분의 값이 20보다 큰 픽셀은 밝은 영역 천이 픽셀이거나 또는 RGB 형식의 R/G/B 성분의 값이 20보다 큰 픽셀은 밝은 영역 천이 픽셀인 것으로 간주될 수 있다. 다른 예로, 제3 사전 설정 임계값이 100 nit인 경우 휘도가 100 nit보다 큰 픽셀을 밝은 영역 천이 픽셀로 간주할 수 있다. 일부 경우에, 밝은 영역 천이 픽셀의 휘도는 제6 사전 설정 임계값보다 크고, 제6 사전 설정 임계값은 제3 사전 설정 임계값보다 작다.
선택적으로, 복수의 보간점은 제6 보간점을 더 포함하고, 동적 메타데이터는 Q 개의 키 픽셀과 일대일 대응관계에서 Q 개의 좌표 정보를 포함하고, Q는 양의 정수이고, 복수의 보간점은 제4 보간점을 포함하고, 목표 픽처의 휘도 정보 및 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계는: Q 개의 좌표 정보 및 목표 픽처의 휘도 정보에 기초하여, Q 개의 키 픽셀은 밝은 영역 천이 픽셀인 것으로 결정하는 단계 - 여기서 밝은 영역 픽셀의 휘도 값은 제1 사전 설정 임계값보다 작거나 같음 - ; 및 상기 Q 개의 키 픽셀이 밝은 영역 픽셀인 경우, 상기 복수의 보간점은 상기 제6 보간점을 포함하고, 상기 제6 보간점의 제1 좌표값은 상기 첫 번째 끝점의 제1 좌표값과 동일한 것으로 결정하는 단계를 포함한다.
밝은 영역 천이 픽셀은 휘도 또는 평균 휘도가 위에서 언급한 제3 사전 설정 임계값보다 작은 픽셀이다. 예를 들어, 제3 사전 설정 임계값이 200인 경우, YUV 포맷에서 Y 성분의 값 또는 평균값이 200보다 작은 픽셀을 밝은 영역 천이 픽셀로 간주하거나, RGB 형식의 R/G/B 성분 또는 평균값이 200보다 작은 픽셀을 밝은 영역 천이 픽셀인 것으로 간주할 수 있다. 다른 예로, 제3 사전 설정 임계값이 400 nit인 경우, 휘도 또는 평균 휘도가 400 nit보다 작은 픽셀을 밝은 영역 천이 픽셀인 것으로 간주할 수 있다. 일부 경우에, 밝은 영역 천이 픽셀의 휘도는 제6 사전 설정 임계값보다 크고, 제6 사전 설정 임계값은 제3 사전 설정 임계값보다 작다.
밝은 영역 천이 픽셀의 수량이 상대적으로 많거나 모든 픽셀에 대한 밝은 영역 천이 픽셀의 비율이 상대적으로 높은 경우, 제3 보간점의 제1 좌표값은 제6 보간점의 제1 좌표값에 가깝다. 밝은 영역 천이 픽셀의 수가 상대적으로 적거나 모든 픽셀에 대한 밝은 영역 천이 픽셀의 비율이 상대적으로 낮은 경우 제3 보간점의 제1 좌표값은 제6 보간점의 제1 좌표값에서 멀리 떨어져 있다. 다시 말해, 밝은 영역 천이 픽셀의 수량이 상대적으로 큰 경우, 약한 수정 스플라인 함수는 상대적으로 짧고, 밝은 영역 천이 픽셀의 수량이 상대적으로 적은 경우 약한 수정 스플라인 함수가 상대적으로 길다.
본 출원에서, 밝은 영역 천이 픽셀은 휘도가 높고 휘도가 밝은 영역 픽셀보다 낮은 픽셀로 이해될 수 있다. 밝은 영역 천이 픽셀은 동적 메타데이터에서 지시하는 키 픽셀일 수 있다. 밝은 영역 천이 픽셀은 대안적으로 픽셀의 휘도 분포에 기초하여 전자 디바이스에 의해 자율적으로 결정될 수 있다. 다시 말해, 목표 픽처에서 밝은 영역 천이 픽셀의 수량은 다른 방식으로 결정될 수 있다. 제6 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
시나리오 3: 이미지는 휘도 차이가 비교적 작은 픽셀의 일부를 포함한다. 도 7은 이 시나리오에서 보간점과 스플라인 함수를 보여준다.
선택적으로, 목표 픽처는 휘도 값이 제1 휘도 값과 제2 휘도 값 사이에 있는 목표 픽셀을 포함하고, 목표 픽처의 모든 픽셀에 대한 목표 픽셀의 비율은 제8 사전 설정 임계값보다 크며, 제1 휘도 값과 제2 휘도 값 사이의 차이가 제7 사전 설정 임계값보다 작고, 복수의 보간점은 제12 보간점을 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 목표 픽셀의 평균 휘도, 목표 픽처의 최소 휘도 값 및 목표 픽처의 최대 휘도 값에 기초하여 제12 보간점을 결정하는 단계를 포함한다.
휘도 값은 YUV, RGB 또는 휘도로 표현될 수 있다.
예를 들어, 목표 픽처의 최대 휘도 값은 500 nit이고 최소 휘도 값은 100 nit이다. 제7 사전 설정 임계값은 50 nit이고, 제8 사전 설정 임계값은 30%라고 가정한다. 목표 픽처에서 50% 픽셀의 휘도 값은 240-260 nits 범위 내에 있으며, 즉 제1 휘도 값은 240 nit이고, 제2 휘도 값은 260 nit이고, 목표 픽처의 전체 픽셀에 대한 목표 픽셀의 비율은 50%이다. 제1 휘도값과 제2 휘도값의 차이가 제7 사전 설정 임계값보다 작고, 목표 픽처의 전체 픽셀에 대한 목표 픽셀의 비율이 제8 사전 설정 임계값보다 크다는 것을 알 수 있다.
목표 픽셀의 평균 휘도는 250 nit라고 가정한다.
일 예에서, 제12 보간점의 제1 좌표값 또는 제12 보간점의 제2 좌표값이 250/(500-100), 즉 3/8이라고 결정될 수 있거나, 상기 제12 보간점의 제1 좌표값 또는 상기 제12 보간점의 제2 좌표값이 3/8에 가까운 값인 것으로 결정될 수 있다. 제12 보간점은 예를 들어 도 4에 도시된 점 10'이다. 제12 보간점의 제2 좌표값은 경험적 값, 사용자 입력값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
일 예에서, 복수의 보간점은 제12 보간점 및 제13 보간점을 포함하는 것으로 결정될 수 있으며, 여기서 제12 보간점의 제1 좌표값은 3/8보다 작고, 제13 보간점의 제1 좌표값은 3/8보다 크거나, 제12 보간점의 제2 좌표값은 3/8보다 작고, 제13 보간점의 제2 좌표값은 3/8보다 크다. 제12 보간점은 예를 들어 도 4에 도시된 점 10'이다. 제13 보간점은 예를 들어 도 4에 도시된 점 11'일 수 있다. 제12 보간점의 제2 좌표값 및 제13 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
따라서, 목표 사진이 목표 픽셀의 충분한 양을 포함하는 경우, 디스플레이 디바이스가 목표 픽셀 사이의 휘도 콘트라스트를 강조하지 못할 수 있음을 의미한다. 목표 픽셀을 생생하게 표시하기 위해 초기 톤 매핑 곡선은 목표 픽셀에 대응하는 휘도 범위 내에서 수정될 수 있다.
선택적으로, 동적 메타데이터는 목표 픽셀의 좌표 정보를 포함한다.
다시 말해서, 목표 픽셀은 동적 메타데이터에 표시된 픽셀일 수 있거나, 픽셀의 휘도 분포에 기초하여 전자 디바이스에 의해 자율적으로 결정될 수 있다. 다시 말해, 목표 픽처가 목표 픽셀을 포함하는지 여부는 다르게 결정될 수 있다.
다음으로, 초기 톤 매핑 곡선의 수정 범위가 결정될 필요가 있다. 구체적으로, 제12 보간점과 제13 보간점 사이의 초기 톤 매핑 곡선을 수정하여, 디스플레이 디바이스에 픽처의 표시 효과를 보장할 수 있도록, 제13 보간점을 결정하거나, 제12 보간점과 제13 보간점 사이의 범위를 결정한다. 도 4에 도시된 바와 같이, 제13 보간점은 도 4의 점 11'일 수 있다.
선택적으로, 복수의 보간점은 제13 보간점을 더 포함하고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 목표 픽셀의 수량에 기초하여 제13 보간점을 결정하는 단계를 포함한다.
목표 픽셀의 수량이 상대적으로 크거나 모든 픽셀에 대한 목표 픽셀의 비율이 상대적으로 높은 경우, 제12 보간점과 제13 보간점 사이의 거리는 상대적으로 짧다. 목표 픽셀의 수량이 상대적으로 적거나 모든 픽셀에 대한 목표 픽셀의 비율이 상대적으로 낮은 경우, 제12 보간점과 제13 보간점 사이의 거리는 상대적으로 길다. 다시 말해, 목표 픽셀의 수량이 상대적으로 큰 경우, 초기 톤 매핑 곡선의 수정 범위가 상대적으로 작지만, 목표 픽셀의 수량이 상대적으로 적으면 초기 톤 매핑 곡선의 수정 범위가 비교적 크다. 제13 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
또한, 수정된 톤 매핑 곡선은 매끄럽고 유도 가능해야 한다. 따라서, 초기 톤 매핑 곡선을 수정하기 위한 스플라인 함수가 제14 보간점에서 초기 톤 매핑 곡선에 원활하게 연결될 수 있도록 제14 보간점을 결정할 수 있다.
선택적으로, 복수의 보간점은 제14 보간점을 더 포함하고, 제14 보간점은 스플라인 함수와 초기 톤 매핑 곡선이 부드럽게 천이되는 교차점이며, 목표 픽처는 목표 천이 픽셀을 더 포함하고, 목표 천이 픽셀의 휘도 값은 제1 휘도 값보다 작거나 같거나, 또는 목표 천이 픽셀의 휘도 값은 제2 휘도 값보다 크거나 같고, 제1 휘도 값은 제2 휘도 값보다 작고, 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는: 목표 천이 픽셀의 수량에 기초하여 제14 보간점의 제1 좌표값을 결정하는 단계를 포함한다.
일 예에서, 목표 천이 픽셀은 휘도가 목표 픽셀의 휘도보다 높은 픽셀일 수 있다. 이 경우, 제14 보간점의 제1 좌표값은 제12 보간점의 제1 좌표값보다 크고 제13 보간점의 제1 좌표값보다 크다. 도 4에 도시된 바와 같이, 제14 보간점은 도 4의 점 12'일 수 있다.
일 예에서, 목표 천이 픽셀은 휘도가 목표 픽셀의 휘도보다 낮은 픽셀일 수 있다. 이 경우, 제14 보간점의 제1 좌표값은 제12 보간점의 제1 좌표값보다 작고 제13 보간점의 제1 좌표값보다 작다. 도 4에 도시된 바와 같이, 제14 보간점은 도 4의 점 9'일 수 있다.
목표 천이 픽셀의 수량이 상대적으로 크거나 모든 픽셀에 대한 목표 천이 픽셀의 비율이 상대적으로 높은 경우, 제13 보간점과 제14 보간점 사이의 거리는 상대적으로 짧다. 목표 천이 픽셀의 수량이 상대적으로 적거나 모든 픽셀에 대한 목표 천이 픽셀의 비율이 상대적으로 낮은 경우, 제13 보간점과 제14 보간점 사이의 거리는 상대적으로 길다. 다시 말해, 목표 천이 픽셀의 수량이 상대적으로 큰 경우, 초기 톤 매핑 곡선의 수정 범위가 상대적으로 작지만, 목표 픽셀의 수량이 상대적으로 적으면 초기 톤 매핑 곡선의 수정 범위가 비교적 크다. 제14 보간점의 제2 좌표값은 경험적 값, 사용자 입력 값 또는 초기 톤 매핑 곡선에 기초하여 획득될 수 있다.
선택적으로, 동적 메타데이터는 목표 천이 픽셀의 좌표 정보를 포함한다.
다시 말해, 목표 천이 픽셀은 동적 메타데이터에 표시된 픽셀일 수 있거나 픽셀의 휘도 분포를 기반으로 전자 디바이스에 의해 자율적으로 결정될 수 있다. 다시 말해, 목표 픽처가 목표 천이 픽셀을 포함하는지 여부는 다른 방식으로 결정될 수 있다.
선택적으로, 동적 메타데이터는 복수의 보간점 각각의 좌표 정보를 포함한다.
보간점의 좌표 정보는 보간점의 좌표일 수 있거나, 보간점의 제1 좌표값 또는 제2 좌표값일 수 있다. 보간점의 좌표는 (x, y)로 표현될 수 있으며, 여기서 x는 제1 좌표값을 나타내고, y는 제2 좌표값을 나타낼 수 있다. 전자 디바이스는 이미지의 휘도 정보, 이미지의 동적 메타데이터 또는 이미지의 휘도 정보 및 이미지의 동적 메타데이터에 기반하여 복수의 보간점을 결정할 수 있다. 예를 들어, 전자 디바이스는 보간점 1의 제1 좌표값, 보간점 2의 제2 좌표값, 보간점 3의 좌표를 결정할 수 있다.
예를 들어, 동적 메타데이터는 도 4의 점 1'의 제1 좌표값, 점 2'의 좌표, 및 점 4'의 제2 좌표값을 포함한다. 동적 메타데이터에서 주어진 점 1'의 제1 좌표값에 기초하여, 점 1'은 점 1과 일치하거나 원점과 일치하는 점일 수 있는 것으로 결정할 수 있다. 이러한 방식으로 점 1'의 좌표를 학습한다. 또한, 점 2'의 좌표는 동적 메타데이터에 주어진다. 또한, 동적 메타데이터에 주어진 점 4'의 제2 좌표값을 기반으로 초기 톤 매핑 함수에서 세로 좌표가 제2 좌표값과 동일한 점을 찾을 수 있으며, 점의 가로 좌표는 점 4'의 제1 좌표값인 것으로 결정된다. 이러한 방식으로 점 4'의 좌표를 학습한다. 스플라인 함수를 결정하는 일반적인 방법은 점 1', 점 2' 및 점 4'를 통과하는 스플라인 함수를 구하는 데 사용할 수 있다.
다른 예로서, 동적 메타데이터는 도 5의 점 5'의 제1 좌표값, 점 6'의 좌표, 및 점 8'의 제2 좌표값을 포함한다. 동적 메타데이터에서 주어진 점 5'의 제1 좌표값에 기초하여, 점 5'는 점 5와 일치하거나 (1, 1)과 일치하는 점일 수 있다고 결정할 수 있다. 이러한 방식으로 점 5'의 좌표를 학습한다. 또한, 점 6'의 좌표는 동적 메타데이터에 주어진다. 또한, 동적 메타데이터에 주어진 점 8'의 제2 좌표값을 기반으로 초기 톤 매핑 함수에서 점 8'의 제1 좌표값을 결정하고, 점 8'의 좌표를 학습할 수 있다. 스플라인 함수를 결정하는 일반적인 방법은 점 5', 점 6' 및 점 8'을 통과하는 스플라인 함수를 구하는 데 사용할 수 있다.
다른 예로서, 동적 메타데이터는 도 4의 점 9'의 제2 좌표값, 점 10'의 좌표, 및 점 12'의 제1 좌표값을 포함한다. 동적 메타데이터에서 주어진 점 9'의 제2 좌표값에 기초하여, 점 12'의 제1 좌표값은 초기 톤 매핑 함수에서 결정될 수 있고, 점 12'의 좌표가 학습될 수 있다. 또한, 점 10'의 좌표는 동적 메타데이터에 주어진다. 또한, 동적 메타데이터에 주어진 점 12'의 제1 좌표값을 기반으로 초기 톤 매핑 함수에서 점 12'의 제2 좌표값을 결정하고, 점 12'의 좌표를 학습할 수 있다. 스플라인 함수를 결정하는 일반적인 방법은 점 9', 점 10' 및 점 12'를 통과하는 스플라인 함수를 구하는 데 사용될 수 있다.
203: 복수의 보간점을 통과하는 스플라인 함수를 결정하며, 여기서 스플라인 함수는 복수의 보간점 중 적어도 하나에서 초기 톤 매핑 곡선에 원활하게 연결된다.
스플라인 함수(spline function)는 구간적 다항식 함수(piecewise polynomial function)이다. 구간 [a, b]에서 스플라인 함수 S(x)는 구간 [a, b]에서 연속적인 것으로 정의되며, 스플라인 함수의 1차 도함수 S'(x)와 2차 도함수 S"(x)는 둘 다 구간 [a, b]에서 연속이다. 도 4는 점 1', 점 2' 및 점 4'를 통과하는 스플라인 함수 1, 점 5', 점 6' 및 점 8'을 통과하는 스플라인 함수 2 및 점 9', 점 10', 점 12'을 통과하는 스플라인 함수 3을 보여준다.
복수의 보간점이 결정된 후, 복수의 보간점 각각의 좌표에 기초하여 복수의 보간점을 통과하는 스플라인 함수가 획득될 수 있다. 도 4의 스플라인 함수 1에 대해, 복수의 보간점은 점 1', 점 2' 및 점 4'이다. 도 4의 스플라인 함수 2에 대해, 복수의 보간점은 점 5', 점 6' 및 점 8'이다. 도 4의 스플라인 함수 3에 대해, 복수의 보간점은 점 9', 점 10' 및 점 12'이다.
구간 [a, b]는 n 개의 노드 x1, ..., xn을 포함하며, 여기서 a < x1 < ... < xn이다. 스플라인 함수가 N-제곱 스플라인 함수(N-power spline function)인 경우, 임의의 두 인접 노드 사이의 구간 [xk, xk+1]에 있는 함수는 N-제곱 다항식 함수(N-power polynomial function)이고, 여기서 k < n-1이고 k는 양의 정수이다.
스플라인 함수가 스플라인 함수 1 및 스플라인 함수 2를 포함할 때, 스플라인 함수 1은 구간 [xM1, xM2]에서 M-제곱 스플라인 함수일 수 있고 스플라인 함수 2는 구간 [xL1, xL2]에서 L-제곱 스플라인 함수일 수 있다. 구간 [xM1, xM2]와 구간 [xL1, xL2]의 교집합이 비어 있거나, 구간 [xM1, xM2]와 구간 [xL1, xL2]의 교집합이 하나의 값만 포함한다. M은 L과 같거나 다를 수 있다.
스플라인 함수가 선형 스플라인 함수를 포함하는 경우, 선형 스플라인 함수를 결정하기 위해 적어도 두 개의 알려진 조건이 필요하다. 예를 들어, 선형 스플라인 함수를 통과하는 점의 좌표와 스플라인 함수의 기울기를 미리 학습한다. 또 다른 예로, 선형 스플라인 함수를 통과하는 두 점의 좌표를 미리 학습한다.
스플라인 함수가 2차 스플라인 함수를 포함하는 경우, 2차 스플라인 함수를 결정하기 위해 적어도 3개의 알려진 조건이 필요하다. 예를 들어, 이차 스플라인 함수의 함수 형태는 y = ax2 + bx + c이고, a ≠ 0이다. 이차 스플라인 함수를 결정하려면 이차 스플라인 함수를 통과하는 세 점의 좌표를 미리 학습해야 한다. 또는 두 점의 좌표와 한 점에서의 2차 스플라인 함수의 도함수를 미리 학습한다.
스플라인 함수가 3차 스플라인 함수를 포함하는 경우, 3차 스플라인 함수를 결정하기 위해 적어도 4개의 알려진 조건이 필요하다. 예를 들어, 3차 스플라인 함수의 함수 형태는 y = ax3 + bx2 + cx + d이고 a ≠ 0이다. 3차 스플라인 함수를 결정하려면 3차 스플라인 함수를 통과하는 네 점의 좌표를 미리 학습해야 한다. 또는 두 점의 좌표와 두 점에서의 3차 스플라인 함수의 도함수를 미리 학습한다.
스플라인 함수가 N-제곱 스플라인 함수를 포함하는 경우, N-제곱 스플라인 함수를 결정하기 위해 적어도 N+1개의 알려진 조건이 필요하다.
초기 톤 매핑 곡선이 T(x)라고 가정하면, 스플라인 함수 S(x)는 구간 [a, b]에서 정의된다.
일 예에서, 스플라인 함수 S(x)는 x = a일 때 초기 톤 매핑 곡선 T(x)에 원활하게 연결될 수 있거나 x = b일 때 초기 톤 매핑 곡선 T(x)에 원활하게 연결될 수 있거나, 또는 x = a이고 x = b일 때 초기 톤 매핑 곡선 T(x)에 원활하게 연결될 수 있다.
일 예에서, 복수의 보간점은 제1 좌표값이 x0인 포인트를 포함하며, 여기서 a < x0 < b이고, 스플라인 함수 S(x)는 x = x0일 때 초기 톤 매핑 곡선 T(x)에 원활하게 연결될 수 있다.
스플라인 함수 S(x)는 x = a, 즉 S(a) = T(a) 및 S'(a) = T'(a)일 때 초기 톤 매핑 곡선 T(x)에 원활하게 연결된다.
스플라인 함수 S(x)는 x = b, 즉 S(b) = T(b) 및 S'(b) = T'(b)일 때 초기 톤 매핑 곡선 T(x)에 원활하게 연결된다.
스플라인 함수 S(x)는 x = x0, 즉 S(x0) = T(x0) 및 S'(x0) = T'(x0)일 때 초기 톤 매핑 곡선 T(x)에 원활하게 연결된다.
스플라인 함수는 보간점에서 초기 톤 매핑 곡선에 원활하게 연결되고, 원활한 연결의 목적은 초기 톤 매핑 곡선의 일부를 스플라인 함수로 대체하여 수정된 톤 매핑 곡선이 얻어질 수 있도록 하는 것이다. 스플라인 함수는 보간점에서 초기 톤 매핑 곡선과 원활하게 연결되기 때문에 수정된 톤 매핑 곡선은 부드러운 함수일 수 있다.
선택적으로, 복수의 보간점은 제7 보간점, 제8 보간점, 및 제9 보간점을 포함하고, 초기 톤 매핑 곡선은 제9 보간점을 통과하고, 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제7 보간점 및 제8 보간점을 통과하는 제1 스플라인 함수를 획득하는 단계; 및 상기 제8 보간점과 상기 제9 보간점을 통과하는 제2 스플라인 함수를 결정하는 단계를 포함하며, 여기서 상기 제2 스플라인 함수는 상기 제8 보간점에서 상기 제1 스플라인 함수와 원활하게 연결되고, 상기 제2 스플라인 함수는 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다.
전술한 시나리오 1, 시나리오 2 및 시나리오 3에서, 스플라인 함수는 제1 스플라인 함수 및 제2 스플라인 함수를 포함할 수 있고, 제1 스플라인 함수는 강력한 수정 스플라인 함수이고, 제2 스플라인 함수는 제1 스플라인 함수와 초기 휘도 매핑 곡선 사이의 부드러운 천이를 구현하기 위해 사용된다.
제1 스플라인 함수를 획득하는 것은 사용자에 의해 입력된 파라미터를 수신하거나 미리 설정된 파라미터를 사용하여 제1 스플라인 함수를 결정하는 것일 수 있다. 예를 들어, 제1 스플라인 함수는 선형 스플라인 함수로 미리 설정되어 있고 선형 스플라인 함수의 기울기는 1이다.
선택적으로, 제1 스플라인 함수는 제7 보간점 및/또는 제8 보간점의 좌표를 참조하여 추가로 결정될 수 있다.
제1 스플라인 함수는 대안적으로 2차 스플라인 함수 또는 3차 스플라인 함수일 수 있다. 제1 스플라인 함수는 2차 스플라인 함수 또는 3차 스플라인 함수를 결정하기 위해 필요한 전술한 조건을 참조하여 결정된다.
다시 말해, 제1 스플라인 함수가 결정될 때, 획득된 데이터에 추가하여, 일부 경험적 값 또는 사용자 지시가 제1 스플라인 함수를 결정하기 위해 도입될 수 있다.
그런 다음, 제1 스플라인 함수를 초기 톤 매핑 곡선에 원활하게 연결하는 데 사용되는 제2 스플라인 함수가 결정된다. 제1 스플라인 함수는 제2 스플라인 함수가 결정되기 전에 결정된다. 따라서 제8 보간점에서 제1 스플라인 함수의 함숫값을 알고 있고, 제8 보간점에서 제1 스플라인 함수의 미분값을 알고 있다. 제2 스플라인 함수가 제8 보간점에서 제1 스플라인 함수와 원활하게 연결된다는 것은 제8 보간점에서 제1 스플라인 함수의 함숫값이 제8 보간점에서 제2 스플라인 함수의 함숫값과 동일하고 제8 보간점에서 제1 스플라인 함수의 미분 값은 제8 보간점에서 제2 스플라인 함수의 미분값과 동일하다는 것을 의미한다. 또한, 제9 보간점에서의 초기 톤 매핑 함수의 함숫값을 알고 있고, 제9 보간점에서의 초기 톤 매핑 함수의 미분값을 알고 있다. 제2 스플라인 함수가 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다는 것은 제9 보간점에서 제2 스플라인 함수의 함숫값이 제9 보간점에서 초기 톤 매핑 함수의 함숫값과 동일하고 제9 보간점에서의 제2 스플라인 함수의 미분값이 제9 보간점에서의 초기 톤 매핑 함수의 미분값과 동일하다는 의미이다.
설명의 편의를 위해, 본 출원에서 달리 명시되지 않는 한, "미분값"은 1차 미분값으로 이해될 수 있다.
선택적으로, 제1 스플라인 함수는 선형 스플라인 함수이고 제2 스플라인 함수는 3차 스플라인 함수이다.
선택적으로, 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 얻은 스플라인 함수와 초기 톤 매핑 곡선 사이의 과도하게 큰 차이를 피할 수 있고 과도한 수정을 피한다.
선택적으로, 제1 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 제1 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 얻은 제1 스플라인 함수와 초기 톤 매핑 곡선 사이의 지나치게 큰 차이를 피할 수 있고, 과도한 수정을 피한다.
선택적으로, 제2 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 제2 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 얻은 제2 스플라인 함수와 초기 톤 매핑 곡선 사이의 지나치게 큰 차이를 피할 수 있고, 과도한 수정을 피한다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제1 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
2차 도함수가 0인 점은 1차 스플라인 함수의 변곡점일 수 있다. 예를 들어, 제1 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감속된 속도로 증가한다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제2 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다.
2차 도함수가 0인 점은 2차 스플라인 함수의 변곡점(inflection point)일 수 있다. 예를 들어, 제2 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감속된 속도로 증가한다. 도 4에 도시된 바와 같이, 제11 보간점은 점 3'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다.
제5 보간점의 한쪽에서, 제1 스플라인 함수는 초기 톤 매핑 함수 위에 위치하고, 제5 보간점의 다른 쪽에서 제1 스플라인 함수는 초기 톤 매핑 함수 아래에 위치한다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제2 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다.
제5 보간점의 한쪽에서, 제2 스플라인 함수는 초기 톤 매핑 함수 위에 위치하고, 제5 보간점의 다른 쪽에서 제2 스플라인 함수는 초기 톤 매핑 함수 아래에 위치한다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
시나리오 1
이미지가 어두울 때 첫 번째 끝점에 가까운 초기 톤 매핑 곡선의 일부가 수정될 수 있다. 제7 보간점은 전술한 제1 보간점일 수 있고, 제8 보간점은 전술한 제2 보간점일 수 있고, 제9 보간점은 전술한 제3 보간점일 수 있다. 이 시나리오에서 스플라인 함수는 제1 보간점과 제2 보간점을 통과하는 제1 스플라인 함수와 제2 보간점과 제3 보간점을 통과하는 제2 스플라인 함수를 포함하며, 여기서 제1 스플라인 함수는 강한 수정 스플라인 함수이고, 제2 스플라인 함수는 제1 스플라인 함수와 초기 휘도 매핑 곡선 사이의 원활한 천이를 구현하는 데 사용된다. 특정 보간점과 스플라인 함수의 위치는 도 5에 도시되어 있다.
위에서 제1 보간점, 제2 보간점 및 제3 보간점의 제1 좌표값을 얻는 방법에 대해 설명하였다. 다시 말해, 제7 보간점의 제1 좌표값, 제8 보간점의 제1 좌표값, 제9 보간점의 제1 좌표값을 모두 알고 있는 것이다.
먼저, 제7 보간점 및 제8 보간점을 통과하는 (즉, 도 4의 점 1' 및 점 2'을 통과하는) 제1 스플라인 함수 f1(x)를 구한다.
예를 들어, 제1 스플라인 함수는 선형 스플라인 함수로 미리 설정되어 있고 선형 스플라인 함수의 기울기는 1이다.
제7 보간점의 제1 좌표값은 초기 톤 매핑 함수의 첫 번째 끝점의 제1 좌표값과 같기 때문에 제1 스플라인 함수는 원점을 통과하는 함수라고 결정할 수 있고, 즉 제7 보간점의 좌표는 (0, 0)이다. 따라서 제1 스플라인 함수는 f1(x) = x로 표현될 수 있다.
그런 다음, 제8 보간점과 제9 보간점을 통과하는 제2 스플라인 함수 f2(x)(이 실시예에서, 제8 보간점은 도 4의 점 2'이고, 제9 보간점은 도 4의 점 4' 이다)가 결정된다.
제1 스플라인 함수 f1(x) 및 제8 보간점의 제1 좌표값 x2에 기초하여, 제8 보간점에서 제1 스플라인 함수의 함수가 f1(x2)이고, 제8 보간점에서 제1 스플라인 함수의 도함수는 f1'(x2)인 것으로 결정될 수 있다.
초기 톤 매핑 함수 f0(x) 및 제9 보간점의 제1 좌표값 x4에 기초하여, 제9 보간점에서 제2 스플라인 함수의 함수가 f0(x4)이고, 제9 보간점에서 제1 스플라인 함수의 도함수는 f0'(x4)인 것으로 결정될 수 있다.
f1(x2) = f2(x2), f1'(x2) = f2'(x2), f0(x4) = f2(x4), 및 f0'(x4) = f2'(x4)에 기초하여, 제2 스플라인 함수 f2(x)가 결정된다.
선택적으로, 제2 스플라인 함수는 3차 스플라인 함수이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제1 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제2 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다. 제11 보간점은 도 4에 도시된 점 3'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제1 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제2 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제2 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다. 제15 보간점은 도 4에 도시된 점 3'일 수 있다.
시나리오 2
이미지가 밝으면 두 번째 끝점에 가까운 초기 톤 매핑 곡선의 일부가 수정될 수 있다. 이 경우, 제7 보간점은 전술한 제4 보간점일 수 있고, 제8 보간점은 전술한 제5 보간점일 수 있으며, 제9 보간점은 전술한 제6 보간점일 수 있다. 이 시나리오에서 스플라인 함수는 제4 보간점과 제5 보간점을 통과하는 제1 스플라인 함수와 제5 보간점과 제6 보간점을 통과하는 제2 스플라인 함수를 포함하며, 여기서 제1 스플라인 함수는 강한 수정 스플라인 함수이고 제2 스플라인 함수는 제1 스플라인 함수와 초기 휘도 매핑 곡선 사이의 부드러운 천이를 구현하는 데 사용된다. 특정 보간점과 스플라인 함수의 위치는 도 6에 도시되어 있다.
전술한 내용은 제4 보간점, 제5 보간점 및 제6 보간점의 제1 좌표값을 얻는 방법에 대해 설명하였다. 다시 말해, 제7 보간점의 제1 좌표값, 제8 보간점의 제1 좌표값, 제9 보간점의 제1 좌표값을 모두 알고 있는 것이다.
먼저, 제7 보간점 및 제8 보간점을 통과하는 (즉, 도 4의 점 5' 및 점 6'을 통과하는) 제1 스플라인 함수 f1(x)를 구한다.
예를 들어, 제1 스플라인 함수는 선형 스플라인 함수로 미리 설정되어 있고 선형 스플라인 함수의 기울기는 1이다.
제7 보간점의 제1 좌표값은 초기 톤 매핑 함수의 첫 번째 끝점의 제1 좌표값과 같으므로 제1 스플라인 함수는 (1, 1)을 통과하는 함수로 결할 수 있으며, 즉, 제7 보간점의 좌표는 (1, 1)이다. 따라서 제1 스플라인 함수는 f1(x) = x로 표현될 수 있다.
그런 다음, 제8 보간점과 제9 보간점을 통과하는 (즉, 도 4의 점 6' 및 점 8'를 통과하는) 제2 스플라인 함수 f2(x)가 결정된다.
제1 스플라인 함수 f1(x) 및 제8 보간점의 제1 좌표값 x6에 기초하여, 제8 보간점에서 제1 스플라인 함수의 함수가 f1(x6)이고, 제8 보간점에서 제1 스플라인 함수의 도함수는 f1'(x6)인 것으로 결정될 수 있다.
초기 톤 매핑 함수 f0(x) 및 제9 보간점의 제1 좌표값 x8에 기초하여, 제9 보간점에서 제2 스플라인 함수의 함수가 f0(x8)이고, 제9 보간점에서 제1 스플라인 함수의 도함수는 f0'(x8)인 것으로 결정될 수 있다.
f1(x6) = f2(x6), f1'(x6) = f2'(x6), f0(x8) = f2(x8), 및 f0'(x8) = f2'(x8)에 기초하여, 제2 스플라인 함수 f2(x)가 결정된다.
선택적으로, 제2 스플라인 함수는 3차 스플라인 함수이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제1 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제2 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다. 제11 보간점은 도 4에 도시된 점 7'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제1 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제2 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제2 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다. 제15 보간점은 도 4에 도시된 7'점일 수 있다.
시나리오 3
제7 보간점은 전술한 제12 보간점일 수 있고, 제8 보간점은 전술한 제13 보간점일 수 있고, 제9 보간점은 전술한 제14 보간점일 수 있다. 이 시나리오에서 스플라인 함수는 제12 보간점과 제13 보간점을 통과하는 제1 스플라인 함수와 제13 보간점과 제14 보간점을 통과하는 제2 스플라인 함수를 포함하며, 여기서 제1 스플라인 함수는 강한 수정 스플라인 함수이고 제2 스플라인 함수는 제1 스플라인 함수와 초기 휘도 매핑 곡선 사이의 부드러운 천이를 구현하는 데 사용된다. 특정 보간점과 스플라인 함수의 위치는 도 8에 도시되어 있다.
이상에서는 제12 보간점, 제13 보간점 및 제14 보간점의 제1 좌표값을 얻는 방법을 설명하였다. 다시 말해, 제7 보간점의 제1 좌표값, 제8 보간점의 제1 좌표값, 제9 보간점의 제1 좌표값을 모두 알고 있는 것이다.
먼저, 제7 보간점과 제8 보간점을 통과하는 (즉, 도 4에서 점 10' 및 점 11'를 통과하는) 제1 스플라인 함수 f1(x)를 구한다.
예를 들어, 제1 스플라인 함수는 선형 스플라인 함수로 미리 설정되어 있고 선형 스플라인 함수의 기울기는 1이다. 제7 보간점은 초기 톤 매핑 함수 아래에 있고 제8 보간점은 초기 톤 매핑 함수 위에 위치하기 때문에, 제7 보간점의 제1 좌표값을 x10, 제8 보간점의 제1 좌표값을 x11이라고 가정하고, 제1 스플라인 함수는 (, )를 통과하고 초기 톤 매핑은 함수는 f0(x)이다. 따라서 f1(x) = x + - 이다.
그런 다음 제8 보간점과 제9 보간점을 통과하는 (즉, 도 4의 점 11' 및 점 12'를 통과하거나 도 4의 점 10' 및 점 9'을 통과하는) 제2 스플라인 함수 f2(x)가 결정된다.
제1 스플라인 함수 f1(x) 및 제8 보간점의 제1 좌표값 x11에 기초하여, 제8 보간점에서 제1 스플라인 함수의 함수가 f1(x11)이고, 제8 보간점에서 제1 스플라인 함수의 도함수는 f1'(x11)인 것으로 결정된다.
초기 톤 매핑 함수 f0(x) 및 제9 보간점의 제1 좌표값 x12에 기초하여, 제9 보간점에서 제2 스플라인 함수의 함수가 f0(x12)이고, 제9 보간점에서 제1 스플라인 함수의 도함수는 f0'(x12)인 것으로 결정된다.
f1(x11) = f2(x11), f1'(x11) = f2'(x11), f0(x12) = f2(x12), 및 f0'(x12) = f2'(x12)에 기초하여, 제2 스플라인 함수 f2(x)가 결정된다.
선택적으로, 제2 스플라인 함수는 3차 스플라인 함수이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제1 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제2 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다. 제11 보간점은 도 4에 도시된 점 13'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제1 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제2 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제2 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다. 제15 보간점은 도 4에 도시된 점 13'일 수 있다.
선택적으로, 복수의 보간점은 제7 보간점, 제8 보간점 및 제9 보간점을 포함하고, 스플라인 함수는 제7 보간점, 제8 보간점 및 제9 보간점을 통과하는 제3 스플라인 함수를 포함하고, 제8 보간점의 제1 좌표값은 제7 보간점의 제1 좌표값과 제9 보간점의 제1 좌표값 사이이고, 제8 보간점의 제1 좌표값은 제1 수정 위치이고; 복수의 보간점을 결정하기 전에, 방법은: 제1 오프셋을 획득하는 단계를 더 포함하고, 여기서 제1 오프셋은 제1 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되고, 제1 수정 위치는 제8 보간점의 제1 좌표값이고; 복수의 보간점을 결정하는 단계는: 제1 수정 위치에서 초기 톤 매핑 곡선의 함숫값 및 제1 오프셋에 기초하여 제8 보간점의 제2 좌표값을 결정하는 단계를 포함하고; 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는: 제8 보간점의 제1 좌표값과 제8 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제3 스플라인 함수는 제7 보간점 및/또는 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다. 제1 오프셋을 획득하는 것은 사용자에 의해 입력된 파라미터를 수신하는 것일 수도 있고, 사전 설정 파라미터를 사용하는 것일 수도 있다. 예를 들어 제1 오프셋은 0.01로 미리 설정되어 있다.
제8 보간점의 제1 좌표값은 제1 수정 위치에 대응한다. 구체적으로, 초기 톤 매핑 함수에서 벗어나는 제8 보간점은 제1 수정 위치에서 결정되는데, 즉, 제8 보간점의 제2 좌표값이 제1 수정 위치에서 초기 톤 매핑 함수의 함숫값과 동일하지 않다.
제1 오프셋은 초기 톤 매핑 함수에 대한 제8 보간점의 오프셋 정도일 수 있다. 제1 오프셋이 양수이면 제8 보간점은 초기 톤 매핑 함수 위에 위치한다. 제1 오프셋이 음수이면 제8 보간점은 초기 톤 매핑 함수 아래에 위치한다.
예를 들어, 제8 보간점의 제2 좌표값 = 제1 오프셋 + 제1 수정 위치에서의 초기 톤 매핑 함수의 함숫값.
예를 들어, 제8 보간점에서 초기 톤 매핑 함수까지의 최단 거리 = 제1 오프셋.
따라서, 제8 보간점의 좌표는 제1 오프셋에 기초하여 결정될 수 있다.
그런 다음, 제3 스플라인 함수가 결정된다.
일 예에서, 제3 스플라인 함수는 제7 보간점 및 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다. 제7 보간점과 제9 보간점은 모두 초기 톤 매핑 함수 상의 점이다. 따라서 제7 보간점의 좌표와 제9 보간점의 좌표를 구할 수 있다. 또한, 제7 보간점에서의 제3 스플라인 함수의 도함수는 제7 보간점에서의 초기 톤 매핑 함수의 도함수와 같고, 제9 보간점에서의 제3 스플라인 함수의 도함수는 제9 보간점에서의 초기 톤 매핑 함수의 도함수와 같다. 스플라인 함수 자체의 속성으로 인해, 제8 보간점에서 제3 스플라인 함수는 연속이며, 제8 보간점에서의 제3 스플라인 함수의 1차 도함수는 연속이며, 제8 보간점에서의 제3 스플라인 함수의 2차 도함수는 연속이다. 따라서, 제3 스플라인 함수는 제7 보간점과 제8 보간점을 통과하는 제4 스플라인 함수와 제8 보간점과 제9 보간점을 통과하는 제5 스플라인 함수로 분할될 수 있다. 제8 보간점에서의 제4 스플라인 함수의 함숫값은 제8 보간점에서의 제5 스플라인 함수의 함숫값과 동일하다. 제8 보간점에서의 제4 스플라인 함수의 1차 미분값은 제8 보간점에서의 제5 스플라인 함수의 1차 미분값과 동일하다. 제8 보간점에서의 제4 스플라인 함수의 2차 미분값은 제8 보간점에서의 제5 스플라인 함수의 2차 미분값과 동일하다.
전술한 시나리오 1, 시나리오 2 및 시나리오 3에서, 복수의 보간점을 통과하는 스플라인 함수를 집합적으로 제3 스플라인 함수라고 하고, 3개의 시나리오에서 복수의 보간점은 제7 보간점, 제8 보간점 및 제9 보간점을 포함한다. 제7 보간점과 제8 보간점을 통과하는 스플라인 함수가 제4 스플라인 함수이고, 제8 보간점과 제9 보간점을 통과하는 스플라인 함수가 제5 스플라인 함수이다.
선택적으로, 제4 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 제4 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 얻은 제1 스플라인 함수와 초기 톤 매핑 곡선 사이의 지나치게 큰 차이를 피할 수 있고, 과도한 수정을 피한다.
선택적으로, 제5 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 제5 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 얻은 제2 스플라인 함수와 초기 톤 매핑 곡선 사이의 지나치게 큰 차이를 피할 수 있으며, 과도한 수정을 피한다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제4 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제4 스플라인 함수의 2차 도함수는 0이다.
2차 도함수가 0인 점은 4차 스플라인 함수의 변곡점일 수 있다. 예를 들어, 제4 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감속된 속도로 증가한다. 도 4에 도시된 바와 같이, 제11 보간점은 점 3'일 수 있다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제5 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다.
2차 도함수가 0인 점은 5차 스플라인 함수의 변곡점일 수 있다. 예를 들어, 제5 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감소된 속도로 증가한다. 도 4에 도시된 바와 같이, 제11 보간점은 점 3'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제4 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다.
제5 보간점의 한쪽에서, 제4 스플라인 함수는 초기 톤 매핑 함수 위에 위치하고, 제5 보간점의 다른 쪽에서 제4 스플라인 함수는 초기 톤 매핑 함수 아래에 위치한다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제5 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다.
제5 보간점의 한쪽에서, 제5 스플라인 함수는 초기 톤 매핑 함수 위에 위치하고, 제5 보간점의 다른 쪽에서, 제5 스플라인 함수는 초기 톤 매핑 함수 아래에 위치한다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
선택적으로, 복수의 보간점은 제10 보간점을 더 포함하고, 제3 스플라인 함수는 제10 보간점을 통과하고, 제10 보간점의 제1 좌표값은 제7 보간점의 제1 좌표값과 제9 보간점의 제1 좌표값 사이이고; 복수의 보간점을 결정하기 전에, 방법은: 제2 오프셋을 획득하는 단계를 더 포함하고, 여기서 제2 오프셋은 제2 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 제2 수정 위치는 제 10 보간점의 제1 좌표값이고; 복수의 보간점을 결정하는 단계는: 제2 수정 위치에서 초기 톤 매핑 곡선의 함숫값 및 제2 오프셋에 기초하여 제10 보간점의 제2 좌표값을 결정하는 단계를 포함하고; 그리고 제8 보간점의 제1 좌표값 및 제8 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계는: 제8 보간점의 제1 좌표값과 제2 좌표값, 및 제10 보간점의 제1 좌표값 및 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계를 포함하며, 여기서 제3 스플라인 함수가 제7 보간점과 제9 보간점 모두에서 초기 톤 매핑 곡선에 원활하게 연결된다.
제2 오프셋을 얻는 것은 사용자에 의해 입력된 파라미터를 수신하는 것일 수 있거나 미리 설정된 파라미터를 사용하는 것일 수 있다. 예를 들어 제2 오프셋은 0.01로 미리 설정되어 있다.
제10 보간점의 제1 좌표값은 제2 수정 위치에 대응한다. 구체적으로, 초기 톤 매핑 함수에서 벗어나는 제10 보간점은 제2 수정 위치에서 결정되고, 즉 제10 보간점의 제2 좌표값은 제2 수정 위치에서 초기 톤 매핑 함수의 함숫값과 같지 않다.
제2 오프셋은 초기 톤 매핑 함수에 대한 제10 보간점의 오프셋 정도일 수 있다. 제2 오프셋이 양수이면 제10 보간점은 초기 톤 매핑 함수 위에 위치한다. 제2 오프셋이 음수이면 제10 보간점은 초기 톤 매핑 함수 아래에 위치한다.
예를 들어, 제10 보간점의 제2 좌표값 = 제2 오프셋 + 제2 수정 위치에서 초기 톤 매핑 함수의 함숫값.
예를 들어, 제10 보간점에서 초기 톤 매핑 함수까지의 최단 거리 = 제2 오프셋.
선택적으로, 제1 오프셋과 제2 오프셋은 서로 반대되는 숫자이다.
따라서, 제10 보간점의 좌표는 제2 오프셋에 기초하여 결정될 수 있다.
그런 다음, 제3 스플라인 함수가 추가로 결정된다. 스플라인 함수 자체의 속성으로 인해, 제10 보간점에서 제3 스플라인 함수는 연속이고, 제10 보간점에서 제3 스플라인 함수의 1차 도함수는 연속이며, 제10 보간점에서 제3 스플라인 함수의 2차 도함수는 연속이다. 따라서, 제3 스플라인 함수는 제7 보간점과 제10 보간점을 통과하는 제6 스플라인 함수와 제10 보간점과 제9 보간점을 통과하는 제7 스플라인 함수로 분할될 수 있다. 제10 보간점에서의 제6 스플라인 함수의 함숫값은 제10 보간점에서의 제7 스플라인 함수의 함숫값과 동일하다. 제10 보간점에서 제6 스플라인 함수의 1차 미분값은 제10 보간점에서 제7 스플라인 함수의 1차 미분값과 동일하다. 제10 보간점에서 제6 스플라인 함수의 2차 미분값은 제10 보간점에서 제7 스플라인 함수의 2차 미분값과 동일하다.
선택적으로, 제6 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 제6 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 획득된 제1 스플라인 함수와 초기 톤 매핑 곡선 사이의 지나치게 큰 차이를 피할 수 있고, 과도한 수정을 피한다.
선택적으로, 제7 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 제7 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 얻은 제2 스플라인 함수와 초기 톤 매핑 곡선 사이의 지나치게 큰 차이를 피할 수 있고, 과도한 수정을 피한다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제6 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다.
2차 도함수가 0인 점은 6차 스플라인 함수의 변곡점일 수 있다. 예를 들어, 제6 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감소된 속도로 증가한다. 도 4에 도시된 바와 같이, 제11 보간점은 점 3'일 수 있다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제7 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다.
2차 도함수가 0인 점은 7차 스플라인 함수의 변곡점일 수 있다. 예를 들어, 제7 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감속된 속도로 증가한다. 도 4에 도시된 바와 같이, 제11 보간점은 점 3'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제4 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제4 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
제5 보간점의 한쪽에서, 제4 스플라인 함수는 초기 톤 매핑 함수 위에 위치하고, 제5 보간점의 다른 쪽에서 제4 스플라인 함수는 초기 톤 매핑 함수 아래에 위치한다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제5 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제5 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
제5 보간점의 한쪽에서, 제5 스플라인 함수가 초기 톤 매핑 함수 위에 위치하고, 제5 보간점의 다른 쪽에서, 제5 스플라인 함수가 초기 톤 매핑 함수 아래에 위치한다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
일 예에서, 제3 스플라인 함수는 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결된다. 제9 보간점은 초기 톤 매핑 함수 상의 한 점인 것으로 간주할 수 있다. 따라서 제9 보간점의 좌표를 구할 수 있다. 또한, 제9 보간점에서 제3 스플라인 함수의 도함수는 제9 보간점에서 초기 톤 매핑 함수의 도함수와 동일하다. 스플라인 함수 자체의 속성으로 인해 제8 보간점에서 제3 스플라인 함수의 1차 도함수는 연속이며, 제8 보간점에서 제3 스플라인 함수의 2차 도함수는 연속이다. 따라서, 제3 스플라인 함수는 제7 보간점과 제8 보간점을 통과하는 제4 스플라인 함수와 제8 보간점과 제9 보간점을 통과하는 제5 스플라인 함수로 분할될 수 있다. 제8 보간점에서의 제4 스플라인 함수의 1차 미분값은 제8 보간점에서의 제5 스플라인 함수의 1차 미분값과 동일하다. 제8 보간점에서의 제4 스플라인 함수의 2차 미분값은 제8 보간점에서의 제5 스플라인 함수의 2차 미분값과 동일하다. 따라서 제7 보간점의 좌표를 더 결정해야 한다.
제7 보간점의 좌표를 결정하는 방식은 경험적 값에 기초하여 결정될 수 있다. 예를 들어, 제7 보간점의 좌표가 (0, 0) 또는 (1, 1)이라고 결정한다.
제3 스플라인 함수가 제7 보간점에서 초기 톤 매핑 곡선에 원활하게 연결되는 경우는 제3 스플라인 함수가 제9 보간점에서 초기 톤 매핑 곡선에 원활하게 연결되는 경우와 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
선택적으로, 제3 스플라인 함수의 도함수는 항상 0보다 크다.
다시 말해, 모든 점에서 스플라인 함수의 도함수는 항상 0보다 크다. 이러한 제한으로, 최종적으로 얻은 스플라인 함수와 초기 톤 매핑 곡선 사이의 과도하게 큰 차이를 피할 수 있고 과도한 수정을 피한다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제3 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
2차 도함수가 0인 점은 1차 스플라인 함수의 변곡점일 수 있다. 예를 들어, 제3 스플라인 함수는 제11 보간점의 한쪽에서 급격히 증가하고, 제11 보간점의 다른 쪽에서 감속된 속도로 증가한다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제3 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제3 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
제5 보간점의 한쪽에서, 제3 스플라인 함수는 초기 톤 매핑 함수 위에 위치하고, 제5 보간점의 다른 쪽에서 제3 스플라인 함수는 초기 톤 매핑 함수 아래에 위치한다. 제15 보간점의 위치를 정의함으로써 초기 톤 매핑 함수의 수정 방식을 정의할 수 있다.
시나리오 1
이미지가 어두울 때 첫 번째 끝점에 가까운 초기 톤 매핑 곡선의 일부가 수정될 수 있다. 제7 보간점은 전술한 제1 보간점일 수 있고, 제8 보간점은 전술한 제2 보간점일 수 있고, 제9 보간점은 전술한 제3 보간점일 수 있다. 특정 보간점과 스플라인 함수의 위치는 도 5에 도시되어 있다.
위에서 제1 보간점, 제2 보간점 및 제3 보간점의 제1 좌표값을 얻는 방법에 대해 설명하였다. 즉, 제7 보간점의 제1 좌표값, 제8 보간점의 제1 좌표값, 제9 보간점의 제1 좌표값을 모두 알고 있는 것이다.
먼저, 제1 오프셋이 획득된다. 예를 들어 제1 오프셋은 0.01로 미리 설정되어 있다.
그런 다음, 제8 보간점(도 4의 점 2')의 제2 좌표값은 제1 오프셋에 기초하여 결정된다. 예를 들어, f3(x2) = f0(x2) + 0.01이고, 여기서 f0(x)는 초기 톤 매핑 함수를 나타낸다.
제7 보간점의 제1 좌표값이 초기 톤 매핑 함수의 첫 번째 끝점의 제1 좌표값과 같기 때문에, 제3 스플라인 함수가 원점을 통과하는 함수라고 결정할 수 있으며, 즉 제7 보간점의 좌표는 (0, 0)이다.
그런 다음 제7 보간점, 제8 보간점, 제9 보간점을 통과하는 (즉, 도 4에서 점 1', 점 2', 점 4를 통과하는) 제3 스플라인 함수 f3(x)가 결정된다. 제3 스플라인 함수 f3(x)는 제7 보간점과 제8 보간점을 통과하는 제4 스플라인 함수 f4(x)와 제8 보간점과 제9 보간점을 통과하는 제5 스플라인 함수 f5(x)로 분할될 수 있다.
f4(x1) = 0, 및 f4(x2) = f0(x2) + 0.01, 및 f5(x2) = f0(x2) + 0.01은 제7 보간점의 좌표와 제8 보간점의 좌표에 기초하여 결정될 수 있다.
초기 톤 매핑 함수 f0(x) 및 제9 보간점의 제1 좌표값 x4에 기초하여, 제9 보간점에서의 제5 스플라인 함수의 함수는 f5(x4) = f0(x4)인 것으로 결정될 수 있고, 제9 보간점에서의 제5 스플라인 함수의 도함수는 f5'(x4) = f0'(x4)인 것으로 결정될 수 있다.
스플라인 함수의 속성에 기초하여, 제8 보간점에서의 제4 스플라인 함수의 1차 도함수는 제8 보간점에서의 제5 스플라인 함수의 1차 도함수와 동일하다고 결정될 수 있고, 제8 보간점에서의 제4 스플라인 함수의 2차 도함수는 제8 보간점에서의 제5 스플라인 함수의 2차 도함수와 동일하다고 결정될 수 있고, 즉, f5'(x2) = f4'(x2), 및 f5''(x2) = f4''(x2)이다.
선택적으로, 제3 스플라인 함수는 3차 스플라인 함수이다. 구체적으로, 제4 스플라인 함수 및 제5 스플라인 함수는 스플라인 함수이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제4 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제5 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다. 제11 보간점은 도 4에 도시된 점 3'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제4 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제5 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제5 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다. 제15 보간점은 도 4에 도시된 점 3'일 수 있다.
시나리오 2
이미지가 밝으면 두 번째 끝점에 가까운 초기 톤 매핑 곡선의 일부가 수정될 수 있다. 상기 제7 보간점은 상기 제4 보간점일 수 있고, 상기 제8 보간점은 상기 제5 보간점일 수 있으며, 상기 제9 보간점은 상기 제6 보간점일 수 있다. 특정 보간점과 스플라인 함수의 위치는 도 6에 도시되어 있다.
이상에서는 제4 보간점, 제5 보간점 및 제6 보간점의 제1 좌표값을 구하는 방법에 대해 설명하였다. 다시 말해, 제7 보간점의 제1 좌표값, 제8 보간점의 제1 좌표값, 제9 보간점의 제1 좌표값을 모두 알고 있는 것이다.
먼저, 제1 오프셋이 획득된다. 예를 들어 제1 오프셋은 -0.01로 사전 설정되어 있다.
그런 다음, 제8 보간점(도 4의 점 6')의 제2 좌표값은 제1 오프셋에 기초하여 결정된다. 예를 들어, f3(x6) = f0(x6) - 0.01이고, 여기서 f0(x)는 초기 톤 매핑 함수를 나타낸다.
제7 보간점의 제1 좌표값은 초기 톤 매핑 함수의 첫 번째 끝점의 제1 좌표값과 동일하므로, 제3 스플라인 함수는 (1, 1)을 통과하는 함수라고 결정할 수 있고, 즉 제7 보간점의 좌표는 (1, 1)이다.
그런 다음, 제7 보간점, 제8 보간점, 제9 보간점을 통과하는 (즉, 도 4에서 점 5', 점 6', 점 8을 통과하는) 제3 스플라인 함수 f3(x)가 결정된다. 제3 스플라인 함수 f3(x)는 제7 보간점과 제8 보간점을 통과하는 제4 스플라인 함수 f4(x)와 제8 보간점과 제9 보간점을 통과하는 제5 스플라인 함수 f5(x)로 분할될 수 있다.
f4(x5) = 1, f4(x6) = f0(x6) - 0.01, 및 f5(x6) = f0(x6) - 0.01은 제7 보간점의 좌표와 제8 보간점의 좌표에 기초하여 결정될 수 있다.
초기 톤 매핑 함수 f0(x) 및 제9 보간점의 제1 좌표값 x8에 기초하여, 제9 보간점에서 제5 스플라인 함수의 함수는 f5(x8) = f0(x8)인 것으로 결정될 수 있고, 제9 보간점에서 제5 스플라인 함수의 도함수는 f5'(x8) = f0'(x8)인 것으로 결정될 수 있다.
스플라인 함수의 속성에 기초하여, 제8 보간점에서의 제4 스플라인 함수의 1차 도함수는 제8 보간점에서의 제5 스플라인 함수의 1차 도함수와 동일하다고 결정될 수 있고, 제8 보간점에서의 제4 스플라인 함수의 2차 도함수는 제8 보간점에서의 제5 스플라인 함수의 2차 도함수와 동일하다고 결정될 수 있고, 즉, f5'(x6) = f4'(x6), 및 f5''(x6) = f4''(x6)이다.
선택적으로, 제3 스플라인 함수는 3차 스플라인 함수이다. 구체적으로, 제4 스플라인 함수와 제5 스플라인 함수는 3차 스플라인 함수이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제4 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제5 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다. 제11 보간은 도 4에 도시된 점 7'일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제4 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제2 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제5 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다. 제15 보간점은 도 4에 도시된 점 7'일 수 있다.
시나리오 3
방법 1
제8 보간점은 전술한 제12 보간점일 수 있다. 제7 보간점은 제1 좌표값이 제12 보간점의 제1 좌표값보다 작고 전술한 제13 보간점의 제1 좌표값보다 작은 전술한 제14 보간점일 수 있다. 상기 제9 보간점은 상기 제1 좌표값이 상기 제12 보간점의 제1 좌표값보다 크고, 상기 제13 보간점의 제1 좌표값보다 큰 전술한 제14 보간점일 수 있다. 이 시나리오에서 스플라인 함수는 제12 보간점과 제13 보간점을 통과하는 제4 스플라인 함수와 제13 보간점과 제14 보간점을 통과하는 제5 스플라인 함수를 포함한다. 특정 보간점과 스플라인 함수의 위치는 도 7에 도시되어 있다.
이상에서는 제12 보간점, 제13 보간점 및 제14 보간점의 제1 좌표값을 얻는 방법을 설명하였다. 즉, 제7 보간점의 제1 좌표값, 제8 보간점의 제1 좌표값, 제9 보간점의 제1 좌표값을 모두 알고 있는 것이다.
먼저, 제1 오프셋이 획득된다. 예를 들어 제1 오프셋은 0.01로 미리 설정되어 있다.
그런 다음, 제8 보간점(도 4의 점 10')의 제2 좌표값은 제1 오프셋에 기초하여 결정된다. 예를 들어, f3(x10) = f0(x10) + 0.01이고, 여기서 f0(x)는 초기 톤 매핑 함수를 나타낸다.
제3 스플라인 함수는 제7 보간점에서 초기 톤 매핑 함수와 원활하게 연결되므로 제7 보간점의 좌표는 (x9, f0(x9)), 및 f3(x9) = f0(x9), 및 f3'(x9) = f0'(x9)이다.
제3 스플라인 함수는 제9 보간점에서 초기 톤 매핑 함수와 원활하게 연결되므로, 제9 보간점의 좌표는 (x12, f0(x12)), 및 f3(x12) = f0(x12), 및 f3'(x12)= f0'(x12)이다.
그런 다음 제7 보간점, 제8 보간점, 제9 보간점을 통과하는 (즉, 도 4에서 점 9', 점 10', 점 12'를 통과하는) 제3 스플라인 함수 f3(x)가 결정된다. 제3 스플라인 함수 f3(x)는 제7 보간점과 제8 보간점을 통과하는 제4 스플라인 함수 f4(x)와 제8 보간점과 제9 보간점을 통과하는 제5 스플라인 함수 f5(x)로 분할될 수 있다.
f4(x9) = f0(x9), 및 f4'(x9) = f0'(x9), 및 f4(x10) = f0(x10) + 0.01은 초기 톤 매핑 함수 f0(x), 제7 보간점의 좌표, 제8 보간점의 좌표에 기초하여 결정될 수 있다.
f5(x10) = f0(x10) + 0.01, 및 f5(x12) = f0(x12), 및 f5'(x12) = f0'(x12)는 초기 톤 매핑 함수 f0(x), 제8 보간점의 좌표, 제9 보간점의 좌표에 기초하여 결정될 수 있다.
스플라인 함수의 속성에 기초하여, 제8 보간점에서의 제4 스플라인 함수의 1차 도함수는 제8 보간점에서의 제5 스플라인 함수의 1차 도함수와 동일하다고 결정될 수 있고 제8 보간점에서의 제4 스플라인 함수의 2차 도함수는 제8 보간점에서의 제5 스플라인 함수의 2차 도함수와 동일하다고 결정될 수 있고, 즉 f5'(x10) = f4'(x10), 및 f5''(x10) = f4''(x10)이다.
선택적으로, 제3 스플라인 함수는 3차 스플라인 함수이다. 구체적으로, 제4 스플라인 함수와 제5 스플라인 함수는 3차 스플라인 함수이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제4 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제5 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다. 제11 보간점은 도 4에 도시된 점(11')일 수 있다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제4 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제2 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제5 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다. 제15 보간점은 도 4에 도시된 점 11'일 수 있다.
방법 2
제8 보간점은 전술한 제12 보간점일 수 있다. 제10 보간점은 전술한 제13 보간점일 수 있다. 제7 보간점은 제1 좌표값이 제12 보간점의 제1 좌표값보다 작고 제13 보간점의 제1 좌표값보다 작은 전술한 제14 보간점일 수 있다. 상기 제9 보간점은 상기 제1 좌표값이 상기 제12 보간점의 제1 좌표값보다 크고 상기 제13 보간점의 제1 좌표값보다 큰 전술한 제14 보간점일 수 있다. 이 시나리오에서 스플라인 함수는 제12 보간점과 제13 보간점을 통과하는 제4 스플라인 함수와 제13 보간점과 제14 보간점을 통과하는 제5 스플라인 함수를 포함한다. 특정 보간점과 스플라인 함수의 위치는 도 7에 도시되어 있다.
이상에서는 제12 보간점, 제13 보간점 및 제14 보간점의 제1 좌표값을 얻는 방법에 대해 설명하였다. 즉, 제7 보간점의 제1 좌표값, 제8 보간점의 제1 좌표값, 제9 보간점의 제1 좌표값, 제10 보간점의 제1 좌표값을 모두 알고 있다.
먼저, 제1 오프셋이 획득된다. 예를 들어 제1 오프셋은 -0.01로 사전 설정되어 있다.
그런 다음, 제8 보간점(도 4의 점 10')의 제2 좌표값은 제1 오프셋에 기초하여 결정된다. 예를 들어, f3(x10) = f0(x10) - 0.01이고, 여기서 f0(x)는 초기 톤 매핑 함수를 나타낸다.
그런 다음, 제2 오프셋이 획득된다. 예를 들어 제2 오프셋은 +0.01로 미리 설정되어 있다.
그런 다음, 제8 보간점(도 4의 점 11')의 제2 좌표값은 제1 오프셋에 기초하여 결정된다. 예를 들어, f3(x11) = f0(x11) + 0.01이고, 여기서 f0(x)는 초기 톤 매핑 함수를 나타낸다.
제3 스플라인 함수는 제7 보간점에서 초기 톤 매핑 함수와 원활하게 연결되므로 제7 보간점의 좌표는 (x9, f0(x9)), 및 f3(x9) = f0(x9), 및 f3'(x9) = f0'(x9)이다.
제3 스플라인 함수는 제9 보간점에서 초기 톤 매핑 함수와 원활하게 연결되므로, 제9 보간점의 좌표는 (x12, f0(x12)), 및 f3(x12) = f0(x12), 및 f3'(x12)= f0'(x12)이다.
그런 다음, 제7 보간점, 제8 보간점, 제9 보간점을 통과하는 (즉, 도 4에서 점 9', 점 10', 점 12'을 통과하는) 제3 스플라인 함수 f3(x)가 결정된다. 제3 스플라인 함수 f3(x)는 제7 보간점과 제8 보간점을 통과하는 제7 스플라인 함수 f7(x), 제8 보간점과 제9 보간점을 통과하는 제8 스플라인 함수 f8(x) 및 제10 보간점과 제9 보간점을 통과하는 제9 스플라인 함수 f9(x)로 분할될 수 있다.
f7(x9) = f0(x9), 및 f7'(x9) = f0'(x9), 및 f7(x10) = f0(x10) - 0.01은 초기 톤 매핑 함수 f0(x), 제7 보간점의 좌표와 제8 보간점의 좌표에 기초하여 결정될 수 있다.
f8(x10) = f0(x10) - 0.01 및 f8(x11) = f0(x11) + 0.01은 제8 보간점의 좌표 및 제10 보간점의 좌표에 기초하여 결정될 수 있다.
f9(x12) = f0(x12), 및 f9'(x12) = f0'(x12), 및 f9(x11) = f0(x11) + 0.01은 초기 톤 매핑 함수 f0(x), 제10 보간점의 좌표, 제9 보간점의 좌표에 기초하여 결정될 수 있다.
스플라인 함수의 속성에 기초하여, 제8 보간점에서의 제7 스플라인 함수의 1차 도함수는 제8 보간점에서의 제8 스플라인 함수의 1차 도함수와 동일하다고 결정될 수 있고, 제8 보간점에서의 제7 스플라인 함수의 2차 도함수는 제8 보간점에서의 제8 스플라인 함수의 2차 도함수와 동일하다고 결정될 수 있고, 즉 f7'(x10) = f8'(x10), 및 f7''(x10) = f8''(x10)이다.
스플라인 함수의 속성에 기초하여, 제10 보간점에서의 제8 스플라인 함수의 1차 도함수는 제10 보간점에서의 제9 스플라인 함수의 1차 도함수와 동일한 것으로 결정될 수 있고 제10 보간점에서의 제8 스플라인 함수의 2차 도함수는 제10 보간점에서 제9 스플라인 함수의 2차 도함수와 동일하다고 결정될 수 있으며, 즉 f8'(x11) = f9'(x11), and f8''(x11) = f9''(x11)이다.
전술한 조건에 기초하여, 제3 스플라인 함수 f3(x)가 결정될 수 있다.
선택적으로, 제3 스플라인 함수는 3차 스플라인 함수이다. 구체적으로, 제4 스플라인 함수와 제5 스플라인 함수는 3차 스플라인 함수이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제4 스플라인 함수는 제11 보간점을 통과하며, 제11 보간점에서 제1 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제11 보간점을 더 포함하고, 제5 스플라인 함수는 제11 보간점을 통과하고, 제11 보간점에서 제2 스플라인 함수의 2차 도함수는 0이다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제1 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제4 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
선택적으로, 복수의 보간점은 제15 보간점을 더 포함하고, 제2 스플라인 함수는 제15 보간점을 통과하고, 초기 톤 매핑 함수는 제15 보간점을 통과한다. 제15 보간점에서의 제5 스플라인 함수의 미분값은 제15 보간점에서의 초기 톤 매핑 함수의 미분값과 다르다.
204: 스플라인 함수에 기초하여 초기 톤 매핑 곡선을 수정하여 목표 픽처의 수정된 톤 매핑 곡선을 획득한다.
초기 톤 매핑 곡선을 수정하는 것은 초기 톤 매핑 곡선의 일부를 스플라인 함수로 대체하는 것일 수 있다. 최종적으로 얻어진 수정 톤 매핑 곡선은 초기 톤 매핑 곡선에 원래 존재하는 데이터 내용의 일부와 스플라인 함수의 데이터 내용을 포함한다. 초기 스플라인 함수는 일반적으로 매끄럽고, 스플라인 함수 자체는 매끄러운 속성을 가지며, 스플라인 함수는 보간점에서 초기 스플라인 함수와 원활하게 연결될 수 있다. 따라서 수정된 톤 매핑 곡선에도 부드러운 속성이 있다.
205: 수정된 톤 매핑 곡선에 기초하여 목표 픽처에 대해 톤 매핑을 수행한다.
전자 디바이스는 기존 기술을 참조하여 수정된 톤 매핑 곡선을 기반으로 목표 픽처에 대해 톤 매핑을 수행할 수 있다. 자세한 내용은 여기에서 설명하지 않는다.
단계 201 내지 단계 205를 수행하는 전자 디바이스는 도 1의 촬영 디바이스일 수 있고, 도 1의 이미지 프로세싱 디바이스일 수도 있고, 이미지 프로세서를 포함하는 디스플레이 디바이스일 수도 있다.
본 출원은 톤 매핑 곡선을 획득하는 방식이 보다 유연하도록 획득된 초기 톤 매핑 곡선을 수정하는 방법을 제공한다. 예를 들어, 디스플레이 디바이스와 촬영 장치의 장치 속성에 따라 톤 매핑 곡선의 형태가 유연하게 결정되어 보다 생생하고 자연스러운 이미지 표시가 가능하다. 다른 예로, 비디오에서 프레임의 톤 매핑 곡선이 결정되고, 프레임에 인접한 프레임에 대해 톤 매핑 곡선을 수정하기 위한 파라미터가 결정되어 과도한 데이터 추가 없이도 비디오 디스플레이 효과가 향상될 수 있다.
도 8은 본 출원의 일 실시예에 따른 이미지 프로세싱 디바이스의 구조의 개략도이다. 도 8에 도시된 바와 같이, 장치(500)는 획득 모듈(510), 프로세싱 모듈(520), 및 톤 매핑 모듈(530)을 포함한다.
획득 모듈(510)은 목표 픽처 및 목표 픽처의 초기 톤 매핑 곡선을 획득하도록 구성된다.
프로세싱 모듈(520)은 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하도록 구성된다.
프로세싱 모듈(520)은 또한 복수의 보간점을 통과하는 스플라인 함수를 결정하도록 구성되며, 여기서 스플라인 함수는 복수의 보간점 중 적어도 하나에서 초기 톤 매핑 곡선에 원활하게 연결된다.
프로세싱 모듈(520)은 목표 픽처의 수정된 톤 매핑 곡선을 획득하기 위해 스플라인 함수에 기초하여 초기 톤 매핑 곡선을 수정하도록 추가로 구성된다.
톤 매핑 모듈(530)은 수정된 톤 매핑 곡선에 기초하여 목표 픽처에 대해 톤 매핑을 수행하도록 구성된다.
도 9는 본 출원의 다른 실시예에 따른 이미지 프로세싱 디바이스의 구조의 개략도이다. 도 9에 도시된 바와 같이, 장치(600)는 전송 인터페이스(610), 프로세서(620), 및 메모리(630)를 포함할 수 있다.
도 9는 하나의 메모리와 하나의 프로세서만 보여준다. 실제 이미지 프로세싱 디바이스 제품에는 하나 이상의 프로세서와 하나 이상의 메모리가 있을 수 있다. 메모리는 또한 저장 매체, 저장 장치 등으로 지칭될 수 있다. 메모리는 프로세서와 독립적으로 배치되거나 프로세서와 통합될 수 있다. 이것은 본 출원 이 실시예에서 제한되지 않는다.
전송 인터페이스(610), 프로세서(620), 및 메모리(630)는 내부 연결 경로를 이용하여 서로 통신하여 제어 신호 및/또는 데이터 신호를 전달한다.
구체적으로, 전송 인터페이스(610)는 이미지 데이터를 수신하거나 전송하도록 구성된다. 프로세서(620)는 처리될 이미지를 획득하도록 구성되고; 사전 훈련된 신경망 모델의 제1 분기(branch)를 사용하여 처리될 이미지를 처리하여 제1 유형의 파라미터를 획득하도록 구성되며, 여기서 제1 유형의 파라미터는 이미지에 대한 전역 색상 처리(global color processing)를 수행하는 데 사용되며; 신경망 모델의 제2 분기를 사용하여 처리될 이미지를 처리하여 제2 유형의 파라미터를 획득하도록 더 구성되며, 여기서 제2 유형의 파라미터는 이미지에 대한 국부적 색상 처리를 수행하는 데 사용되며; 그리고 제1 유형의 파라미터 및 제2 유형의 파라미터에 기초하여 처리될 이미지에 대해 색상 처리를 수행하여 색상 처리를 거친 이미지를 획득하도록 추가로 구성된다.
본 출원의 실시예에서 설명된 메모리(630)는 프로세서에 의해 실행되는 컴퓨터 명령 및 파라미터를 저장하도록 구성된다.
장치(600)의 특정 작업 프로세스 및 유익한 효과에 대해서는 도 2에 도시된 실시예의 설명을 참조한다. 자세한 내용은 여기에서 다시 설명하지 않는다.
본 출원의 실시예는 전자 디바이스를 추가로 제공한다. 전자 디바이스는 단말 장치일 수 있다. 장치는 전술한 방법 실시예의 기능/단계를 수행하도록 구성될 수 있다.
도 10은 본 출원의 일 실시예에 따른 전자 디바이스의 구조의 개략도이다. 도 10에 도시된 바와 같이, 전자 디바이스(700)는 프로세서(710) 및 송수신기(720)를 포함한다. 선택적으로, 전자 디바이스(700)는 메모리(730)를 더 포함할 수 있다. 프로세서(710), 송수신기(720) 및 메모리(730)는 내부 연결 경로를 통해 서로 통신하여 제어 신호 및/또는 데이터 신호를 전송할 수 있다. 메모리(730)는 컴퓨터 프로그램을 저장하도록 구성된다. 프로세서(710)는 메모리(730)로부터 컴퓨터 프로그램을 호출하고 컴퓨터 프로그램을 실행하도록 구성된다.
선택적으로, 전자 디바이스(700)는 송수신기(720)에 의해 출력된 무선 신호를 전송하도록 구성된 안테나(740)를 더 포함할 수 있다.
프로세서(710) 및 메모리(730)는 하나의 프로세싱 디바이스로 통합될 수 있으며, 더 일반적으로 서로 독립적인 구성요소로 통합될 수 있다. 프로세서(710)는 메모리(730)에 저장된 프로그램 코드를 실행하여 전술한 기능을 구현하도록 구성된다. 특정 구현 동안, 메모리(730)는 대안적으로 프로세서(710)에 통합될 수 있거나 프로세서(710)와 독립적일 수 있다. 프로세서(710)는 도 9의 장치(600)의 프로세서(620)에 대응할 수 있다.
또한, 전자 디바이스(700)의 기능을 향상시키기 위해, 전자 디바이스(700)는 입력 유닛(760), 디스플레이 유닛(770), 오디오 회로(780), 카메라(790), 센서(701) 등을 더 포함할 수 있다. 오디오 회로는 스피커(782), 마이크(784) 등을 더 포함할 수 있다. 디스플레이 유닛(770)은 표시 화면을 포함할 수 있다.
선택적으로, 전자 디바이스(700)는 단말 장치의 다양한 장치 또는 회로에 전원을 공급하도록 구성된 전원(750)을 더 포함할 수 있다.
도 10에 도시된 전자 디바이스(700)는 도 2에 도시된 방법 실시예의 프로세스를 구현할 수 있다는 것을 이해해야 한다. 전자 디바이스(700)에 있는 모듈의 동작 및/또는 기능은 전술한 방법 실시예에서 대응하는 절차를 구현하기 위해 별도로 의도된다. 자세한 내용은 전술한 방법 실시예의 설명을 참조한다. 여기서는 중복을 피하기 위해 상세한 설명을 적절히 생략한다. 당업자는 본 명세서에 개시된 실시예에서 설명된 예와 함께 단위 및 알고리즘 단계가 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합에 의해 구현될 수 있음을 알 수 있다. 기능이 하드웨어에 의해 수행되는지 소프트웨어에 의해 수행되는지 여부는 기술 솔루션의 특정 애플리케이션 및 설계 제약 조건에 따라 다르다. 당업자는 각각의 특정 애플리케이션에 대해 설명된 기능을 구현하기 위해 다른 방법을 사용할 수 있지만 구현이 본 출원 범위를 벗어나는 것으로 간주되어서는 안 된다.
상기 시스템, 장치 및 유닛의 상세한 작업 과정은 편리하고 간략한 설명을 위해, 전술한 방법의 해당 과정을 참조한다는 것은 당업자에 의해 명확하게 이해될 수 있다. 실시예 및 세부사항은 여기에서 다시 설명되지 않는다.
본 출원에 제공된 여러 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 예를 들어, 설명된 장치 실시예는 단지 예일 뿐이다. 예를 들어, 유닛 분할은 단지 논리적 기능 분할이며 실제 구현에서 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 구성요소가 다른 시스템으로 결합 또는 통합될 수 있거나, 일부 기능이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통해 구현될 수 있다. 장치 또는 유닛 간의 간접 결합 또는 통신 연결은 전자적, 기계적 또는 기타 형태로 구현될 수 있다.
별도의 부분으로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로 표시된 부분은 물리적 유닛일 수도 있고 아닐 수도 있으며, 한 위치에 있을 수도 있고, 복수의 네트워크 유닛에 분산될 수도 있다. 유닛의 일부 또는 전부는 실시예에서 솔루션의 목적을 달성하기 위한 실제 요구사항에 기초하여 선택될 수 있다.
또한, 본 출원의 실시예에서 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 각각의 유닛이 물리적으로 단독으로 존재할 수 있거나, 또는 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다.
기능들이 소프트웨어 기능 유닛의 형태로 구현되어 독립된 제품으로 판매되거나 사용되는 경우, 그 기능들은 컴퓨터로 읽을 수 있는 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 출원의 기술적 솔루션, 또는 기존 기술에 기여하는 부분 또는 기술적 솔루션의 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며 컴퓨터 장치(개인용 컴퓨터, 서버, 네트워크 장치 등일 수 있음)에 방법의 단계 전체 또는 일부를 수행하도록 지시하기 위한 여러 명령을 포함한다. 본 출원의 실시예에 설명되어 있다. 전술한 저장 매체는 프로그램 코드를 저장할 수 있는 모든 매체, 예를 들어 USB 플래시 드라이브, 이동식 하드 디스크, 읽기 전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM ), 자기 디스크 또는 광 디스크를 포함한다.
전술한 설명은 단지 본 출원 특정 구현일 뿐이지, 본 출원 보호 범위를 제한하려는 의도는 아니다. 본 출원에 개시된 기술적 범위 내에서 당업자에 의해 용이하게 파악된 변형 또는 대체는 본 출원의 보호 범위에 속할 것이다. 따라서 본 출원의 보호 범위는 청구범위의 보호 범위에 따른다.

Claims (35)

  1. 이미지 프로세싱 방법으로서,
    목표 픽처 및 상기 목표 픽처의 초기 톤 매핑 곡선(initial tone mapping curve)을 획득하는 단계;
    상기 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계;
    상기 복수의 보간점을 통과하는 스플라인 함수(spline function)를 결정하는 단계 - 상기 스플라인 함수는 상기 복수의 보간점 중 적어도 하나에서 상기 초기 톤 매핑 곡선에 원활하게 연결됨 - ;
    상기 초기 톤 매핑 곡선 및 상기 스플라인 함수에 기초하여 상기 목표 픽처의 수정된 톤 매핑 곡선을 획득하는 단계; 및
    상기 수정된 톤 매핑 곡선에 기초하여 상기 목표 픽처에 대해 톤 매핑(tone mapping)을 수행하는 단계
    를 포함하고,
    상기 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 상기 첫 번째 끝점과 상기 두 번째 끝점은 각각 상기 초기 톤 매핑 곡선의 두 끝에 위치하며, 상기 첫 번째 끝점에 대응하는 휘도 값은 상기 두 번째 끝점에 대응하는 휘도 값보다 작고, 상기 목표 픽처에 포함된 어두운 영역 픽셀의 수량이 제2 사전 설정 임계값보다 크거나 같고, 상기 어두운 영역 픽셀의 휘도 값이 제1 사전 설정 임계값보다 작고, 상기 복수의 보간점은 제1 보간점을 포함하며, 상기 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 제1 보간점의 제1 좌표값이 상기 첫 번째 끝점의 제1 좌표값과 동일한 것으로 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  2. 제1항에 있어서,
    상기 복수의 보간점은 제2 보간점을 더 포함하고, 상기 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 어두운 영역 픽셀의 수량에 기초하여 상기 제2 보간점의 제1 좌표값을 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  3. 제1항에 있어서,
    상기 복수의 보간점은 제3 보간점을 더 포함하고, 상기 목표 픽처는 어두운 영역 천이 픽셀을 더 포함하고, 상기 어두운 영역 천이 픽셀의 휘도 값은 상기 제1 사전 설정 임계값보다 크거나 같고, 상기 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 어두운 영역 천이 픽셀의 수량에 기초하여 상기 제3 보간점의 제1 좌표값을 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  4. 이미지 프로세싱 방법으로서,
    목표 픽처 및 상기 목표 픽처의 초기 톤 매핑 곡선(initial tone mapping curve)을 획득하는 단계;
    상기 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계;
    상기 복수의 보간점을 통과하는 스플라인 함수(spline function)를 결정하는 단계 - 상기 스플라인 함수는 상기 복수의 보간점 중 적어도 하나에서 상기 초기 톤 매핑 곡선에 원활하게 연결됨 - ;
    상기 초기 톤 매핑 곡선 및 상기 스플라인 함수에 기초하여 상기 목표 픽처의 수정된 톤 매핑 곡선을 획득하는 단계; 및
    상기 수정된 톤 매핑 곡선에 기초하여 상기 목표 픽처에 대해 톤 매핑(tone mapping)을 수행하는 단계
    를 포함하고,
    상기 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 상기 첫 번째 끝점과 상기 두 번째 끝점은 각각 상기 초기 톤 매핑 곡선의 두 끝에 위치하며, 상기 첫 번째 끝점에 대응하는 휘도 값은 상기 두 번째 끝점에 대응하는 휘도 값보다 작고, 상기 목표 픽처에 포함된 밝은 영역 픽셀의 수량이 제4 사전 설정 임계값보다 크거나 같고, 상기 밝은 영역 픽셀의 휘도 값이 제3 사전 설정 임계값보다 크고, 상기 복수의 보간점은 제4 보간점을 포함하며, 상기 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 제4 보간점의 제1 좌표값이 상기 두 번째 끝점의 제1 좌표값과 동일한 것으로 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  5. 제4항에 있어서,
    상기 복수의 보간점은 제5 보간점을 더 포함하고, 상기 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 밝은 영역 픽셀의 수량에 기초하여 상기 제5 보간점의 제1 좌표값을 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  6. 제4항에 있어서,
    상기 복수의 보간점은 제6 보간점을 더 포함하고, 상기 목표 픽처는 밝은 영역 천이 픽셀을 더 포함하고, 상기 밝은 영역 천이 픽셀의 휘도 값은 상기 제3 사전 설정 임계값보다 작거나 같고, 상기 목표 픽처의 휘도 정보에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 밝은 영역 천이 픽셀의 수량에 기초하여 상기 제6 보간점의 제1 좌표값을 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  7. 제1항에 있어서,
    상기 동적 메타데이터는 상기 복수의 보간점 각각의 좌표 정보를 포함하는, 이미지 프로세싱 방법.
  8. 제1항에 있어서,
    상기 동적 메타데이터는 영역 휘도 지시 정보를 포함하고; 그리고
    상기 영역 휘도 지시 정보는 어두운 영역을 지시하는, 이미지 프로세싱 방법.
  9. 제1항에 있어서,
    상기 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응하는 P 개의 좌표 정보를 포함하고, P는 양의 정수이고, 상기 목표 픽처의 휘도 정보 및 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 P 개의 좌표 정보 및 상기 목표 픽처의 휘도 정보에 기초하여, 상기 P 개의 키 픽셀이 어두운 영역 픽셀인 것으로 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  10. 제4항에 있어서,
    상기 동적 메타데이터는 영역 휘도 지시 정보를 포함하고, 상기 영역 휘도 지시 정보는 밝은 영역을 지시하거나; 또는
    상기 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응하는 P 개의 좌표 정보를 포함하고, P는 양의 정수이고, 상기 목표 픽처의 휘도 정보 및 동적 메타데이터에 기초하여 복수의 보간점을 결정하는 단계는:
    상기 P 개의 좌표 정보 및 상기 목표 픽처의 휘도 정보에 기초하여, 상기 P 개의 키 픽셀이 밝은 영역 픽셀인 것으로 결정하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  11. 제1항에 있어서,
    상기 복수의 보간점은 제7 보간점, 제8 보간점 및 제9 보간점을 포함하고, 상기 초기 톤 매핑 곡선은 상기 제9 보간점을 통과하고, 상기 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는:
    상기 제7 보간점과 상기 제8 보간점을 통과하는 제1 스플라인 함수를 획득하는 단계; 및
    상기 제8 보간점과 상기 제9 보간점을 통과하는 제2 스플라인 함수를 결정하는 단계 - 상기 제2 스플라인 함수는 상기 제8 보간점에서 상기 제1 스플라인 함수에 원활하게 연결되고, 상기 제2 스플라인 함수는 상기 제9 보간점에서 상기 초기 톤 매핑 곡선에 원활하게 연결됨 -
    를 포함하는, 이미지 프로세싱 방법.
  12. 제11항에 있어서,
    상기 제1 스플라인 함수는 선형 스플라인 함수(linear spline function)이고 상기 제2 스플라인 함수는 3차 스플라인 함수(cubic spline function)인, 이미지 프로세싱 방법.
  13. 제1항에 있어서,
    상기 복수의 보간점은 제7 보간점, 제8 보간점 및 제9 보간점을 포함하고, 상기 스플라인 함수는 상기 제7 보간점, 상기 제8 보간점 및 상기 제9 보간점을 통과하는 제3 스플라인 함수를 포함하고, 상기 제8 보간점의 제1 좌표값은 상기 제7 보간점의 제1 좌표값과 상기 제9 보간점의 제1 좌표값 사이이고;
    상기 복수의 보간점을 결정하기 전에, 상기 이미지 프로세싱 방법은:
    제1 오프셋을 획득하는 단계 - 상기 제1 오프셋은 제1 수정 위치에서 상기 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 상기 제1 수정 위치는 상기 제8 보간점의 제1 좌표값임 -
    를 더 포함하며,
    상기 복수의 보간점을 결정하는 단계는:
    상기 제1 수정 위치에서의 상기 초기 톤 매핑 커브의 함수값 및 상기 제1 오프셋에 기초하여 상기 제8 보간점의 제2 좌표값을 결정하는 단계
    를 포함하며,
    상기 복수의 보간점을 통과하는 스플라인 함수를 결정하는 단계는:
    상기 제8 보간점의 제1 좌표값과 상기 제8 보간점의 제2 좌표값에 기초하여 상기 제3 스플라인 함수를 결정하는 단계 - 상기 제3 스플라인 함수는 상기 제7 보간점 및/또는 상기 제9 보간점에서 상기 초기 톤 매핑 곡선에 원활하게 연결됨 -
    를 포함하는, 이미지 프로세싱 방법.
  14. 제13항에 있어서,
    상기 제3 스플라인 함수는 상기 제7 보간점과 상기 제8 보간점을 통과하는 제4 스플라인 함수 및 상기 제8 보간점과 상기 제9 보간점을 통과하는 제5 스플라인 함수를 포함하고, 상기 제8 보간점에서의 제4 스플라인 함수의 2차 미분값은 상기 제8 보간점에서의 제5 스플라인 함수의 2차 미분값과 동일한, 이미지 프로세싱 방법.
  15. 제13항에 있어서,
    상기 복수의 보간점은 제10 보간점을 더 포함하고, 상기 제3 스플라인 함수는 상기 제10 보간점을 통과하고, 상기 제10 보간점의 제1 좌표값은 상기 제7 보간점의 제1 좌표값과 상기 제9 보간점의 제1 좌표값 사이이고;
    상기 복수의 보간점을 결정하기 전에, 상기 이미지 프로세싱 방법은:
    제2 오프셋을 획득하는 단계 - 상기 제2 오프셋은 제2 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 상기 제2 수정 위치는 상기 제10 보간점의 제1 좌표값임 - ;
    를 더 포함하고,
    상기 복수의 보간점을 결정하는 단계는:
    상기 제2 수정 위치에서의 상기 초기 톤 매핑 커브의 함수값과 상기 제2 오프셋에 기초하여 상기 제10 보간점의 제2 좌표값을 결정하는 단계
    를 더 포함하며,
    상기 제8 보간점의 제1 좌표값과 상기 제8 보간점의 제2 좌표값에 기초하여 제3 스플라인 함수를 결정하는 단계는:
    상기 제8 보간점의 제1 좌표값과 제2 좌표값 및 상기 제10 보간점의 상기 제1 좌표값과 제2 좌표값에 기초하여 상기 제3 스플라인 함수를 결정하는 단계 - 상기 제3 스플라인 함수는 상기 제7 보간점과 상기 제9 보간점 모두에서 상기 초기 톤 매핑 곡선에 원활하게 연결됨 -
    를 포함하는, 이미지 프로세싱 방법.
  16. 제1항에 있어서,
    상기 스플라인 함수의 미분 값은 항상 0보다 큰, 이미지 프로세싱 방법.
  17. 제1항에 있어서,
    상기 초기 톤 매핑 곡선은 다음 공식 중 하나로 구성되며,
    ;
    ;
    ; 및
    ,
    여기서 L은 선형 신호 값을 나타내고, L'은 비선형 신호 값을 나타내고, p, a, m, b, c1, c2, c3, n, N, 및 ρ는 모두 동적 범위 매핑 계수이며, 0 ≤ L ≤ 1인, 이미지 프로세싱 방법.
  18. 이미지 프로세싱 장치로서,
    목표 픽처 및 상기 목표 픽처의 초기 톤 매핑 곡선(initial tone mapping curve)을 획득하도록 구성되어 있는 획득 모듈;
    상기 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하도록 구성되어 있는 프로세싱 모듈 - 상기 프로세싱 모듈은 상기 복수의 보간점을 통과하는 스플라인 함수(spline function)를 결정하도록 추가로 구성되어 있으며, 상기 스플라인 함수는 상기 복수의 보간점 중 적어도 하나에서 상기 초기 톤 매핑 곡선에 원활하게 연결되고, 상기 프로세싱 모듈은 상기 초기 톤 매핑 곡선 및 상기 스플라인 함수에 기초하여 상기 목표 픽처의 수정된 톤 매핑 곡선을 획득하도록 추가로 구성되어 있음 - ; 및
    상기 수정된 톤 매핑 곡선에 기초하여 상기 목표 픽처에 대해 톤 매핑(tone mapping)을 수행하도록 구성되어 있는 톤 매핑 모듈
    을 포함하고,
    상기 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 상기 첫 번째 끝점과 상기 두 번째 끝점은 각각 상기 초기 톤 매핑 곡선의 두 끝에 위치하며, 상기 첫 번째 끝점에 대응하는 휘도 값은 상기 두 번째 끝점에 대응하는 휘도 값보다 작고, 상기 목표 픽처에 포함된 어두운 영역 픽셀의 수량이 제2 사전 설정 임계값보다 크거나 같고, 상기 어두운 영역 픽셀의 휘도 값이 제1 사전 설정 임계값보다 작고, 상기 복수의 보간점은 제1 보간점을 포함하며; 그리고
    상기 프로세싱 모듈은 구체적으로 상기 제1 보간점의 제1 좌표값이 상기 첫 번째 끝점의 제1 좌표값과 동일한 것으로 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  19. 제18항에 있어서,
    상기 복수의 보간점은 제2 보간점을 더 포함하고; 그리고
    상기 프로세싱 모듈은 구체적으로 상기 어두운 영역 픽셀의 수량에 기초하여 상기 제2 보간점의 제1 좌표값을 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  20. 제18항 또는 제19항에 있어서,
    상기 복수의 보간점은 제3 보간점을 더 포함하고, 상기 목표 픽처는 어두운 영역 천이 픽셀을 더 포함하고, 상기 어두운 영역 천이 픽셀의 휘도 값은 상기 제1 사전 설정 임계값보다 크거나 같고; 그리고
    상기 프로세싱 모듈은 구체적으로 상기 어두운 영역 천이 픽셀의 수량에 기초하여 상기 제3 보간점의 제1 좌표값을 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  21. 이미지 프로세싱 장치로서,
    목표 픽처 및 상기 목표 픽처의 초기 톤 매핑 곡선(initial tone mapping curve)을 획득하도록 구성되어 있는 획득 모듈;
    상기 목표 픽처의 휘도 정보 및/또는 동적 메타데이터에 기초하여 복수의 보간점을 결정하도록 구성되어 있는 프로세싱 모듈 - 상기 프로세싱 모듈은 상기 복수의 보간점을 통과하는 스플라인 함수(spline function)를 결정하도록 추가로 구성되어 있으며, 상기 스플라인 함수는 상기 복수의 보간점 중 적어도 하나에서 상기 초기 톤 매핑 곡선에 원활하게 연결되고, 상기 프로세싱 모듈은 상기 초기 톤 매핑 곡선 및 상기 스플라인 함수에 기초하여 상기 목표 픽처의 수정된 톤 매핑 곡선을 획득하도록 추가로 구성되어 있음 - ; 및
    상기 수정된 톤 매핑 곡선에 기초하여 상기 목표 픽처에 대해 톤 매핑(tone mapping)을 수행하도록 구성되어 있는 톤 매핑 모듈
    을 포함하고,
    상기 초기 톤 매핑 곡선은 첫 번째 끝점과 두 번째 끝점을 포함하고, 상기 첫 번째 끝점과 상기 두 번째 끝점은 각각 상기 초기 톤 매핑 곡선의 두 끝에 위치하며, 상기 첫 번째 끝점에 대응하는 휘도 값은 상기 두 번째 끝점에 대응하는 휘도 값보다 작고, 상기 목표 픽처에 포함된 밝은 영역 픽셀의 수량이 제4 사전 설정 임계값보다 크거나 같고, 상기 밝은 영역 픽셀의 휘도 값이 제3 사전 설정 임계값보다 크고, 상기 복수의 보간점은 제4 보간점을 포함하며; 그리고
    상기 프로세싱 모듈은 구체적으로 상기 제4 보간점의 제1 좌표값이 상기 두 번째 끝점의 제1 좌표값과 동일한 것으로 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  22. 제21항에 있어서,
    상기 복수의 보간점은 제5 보간점을 더 포함하며; 그리고
    상기 프로세싱 모듈은 구체적으로 상기 밝은 영역 픽셀의 수량에 기초하여 상기 제5 보간점의 제1 좌표값을 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  23. 제21항에 있어서,
    상기 복수의 보간점은 제6 보간점을 더 포함하고, 상기 목표 픽처는 밝은 영역 천이 픽셀을 더 포함하고, 상기 밝은 영역 천이 픽셀의 휘도 값은 상기 제3 사전 설정 임계값보다 작거나 같고; 그리고
    상기 프로세싱 모듈은 구체적으로 상기 밝은 영역 천이 픽셀의 수량에 기초하여 상기 제6 보간점의 제1 좌표값을 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  24. 제18항에 있어서,
    상기 동적 메타데이터는 상기 복수의 보간점 각각의 좌표 정보를 포함하는, 이미지 프로세싱 장치.
  25. 제18항에 있어서,
    상기 동적 메타데이터는 영역 휘도 지시 정보를 포함하고; 그리고
    상기 영역 휘도 지시 정보는 어두운 영역을 지시하는, 이미지 프로세싱 장치.
  26. 제18항에 있어서,
    상기 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응하는 P 개의 좌표 정보를 포함하고, P는 양의 정수이고;
    상기 프로세싱 모듈은 구체적으로 상기 P 개의 좌표 정보 및 상기 목표 픽처의 휘도 정보에 기초하여, 상기 P 개의 키 픽셀이 어두운 영역 픽셀인 것으로 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  27. 제21항에 있어서,
    상기 동적 메타데이터는 영역 휘도 지시 정보를 포함하고, 상기 영역 휘도 지시 정보는 밝은 영역을 지시하거나; 또는
    상기 동적 메타데이터는 P 개의 키 픽셀과 일대일 대응하는 P 개의 좌표 정보를 포함하고, P는 양의 정수이고;
    상기 프로세싱 모듈은 구체적으로 상기 P 개의 좌표 정보 및 상기 목표 픽처의 휘도 정보에 기초하여, 상기 P 개의 키 픽셀이 밝은 영역 픽셀인 것으로 결정하도록 구성되어 있는, 이미지 프로세싱 장치.
  28. 제18항 또는 제19항에 있어서,
    상기 복수의 보간점은 제7 보간점, 제8 보간점 및 제9 보간점을 포함하고, 상기 초기 톤 매핑 곡선은 상기 제9 보간점을 통과하고;
    상기 프로세싱 모듈은 구체적으로 상기 제7 보간점과 상기 제8 보간점을 통과하는 제1 스플라인 함수를 획득하도록 구성되어 있으며; 그리고
    상기 프로세싱 모듈은 구체적으로 상기 제8 보간점과 상기 제9 보간점을 통과하는 제2 스플라인 함수를 결정하도록 구성되어 있으며, 상기 제2 스플라인 함수는 상기 제8 보간점에서 상기 제1 스플라인 함수에 원활하게 연결되고, 상기 제2 스플라인 함수는 상기 제9 보간점에서 상기 초기 톤 매핑 곡선에 원활하게 연결되는, 이미지 프로세싱 장치.
  29. 제28항에 있어서,
    상기 제1 스플라인 함수는 선형 스플라인 함수(linear spline function)이고 상기 제2 스플라인 함수는 3차 스플라인 함수(cubic spline function)인, 이미지 프로세싱 장치.
  30. 제18항 또는 제19항에 있어서,
    상기 복수의 보간점은 제7 보간점, 제8 보간점 및 제9 보간점을 포함하고, 상기 스플라인 함수는 상기 제7 보간점, 상기 제8 보간점 및 상기 제9 보간점을 통과하는 제3 스플라인 함수를 포함하고, 상기 제8 보간점의 제1 좌표값은 상기 제7 보간점의 제1 좌표값과 상기 제9 보간점의 제1 좌표값 사이이고;
    상기 프로세싱 모듈이 상기 복수의 보간점을 결정하기 전에, 상기 획득 모듈은 제1 오프셋을 획득하도록 추가로 구성되어 있으며, 상기 제1 오프셋은 제1 수정 위치에서 상기 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 상기 제1 수정 위치는 상기 제8 보간점의 제1 좌표값이며,
    상기 프로세싱 모듈은 구체적으로 상기 제1 수정 위치에서의 상기 초기 톤 매핑 커브의 함수값 및 상기 제1 오프셋에 기초하여 상기 제8 보간점의 제2 좌표값을 결정하도록 구성되어 있으며,
    상기 프로세싱 모듈은 구체적으로 상기 제8 보간점의 제1 좌표값과 상기 제8 보간점의 제2 좌표값에 기초하여 상기 제3 스플라인 함수를 결정하도록 구성되어 있으며, 상기 제3 스플라인 함수는 상기 제7 보간점 및/또는 상기 제9 보간점에서 상기 초기 톤 매핑 곡선에 원활하게 연결되는, 이미지 프로세싱 장치.
  31. 제30항에 있어서,
    상기 제3 스플라인 함수는 상기 제7 보간점과 상기 제8 보간점을 통과하는 제4 스플라인 함수 및 상기 제8 보간점과 상기 제9 보간점을 통과하는 제5 스플라인 함수를 포함하고, 상기 제8 보간점에서의 제4 스플라인 함수의 2차 미분값은 상기 제8 보간점에서의 제5 스플라인 함수의 2차 미분값과 동일한, 이미지 프로세싱 장치.
  32. 제30항에 있어서,
    상기 복수의 보간점은 제10 보간점을 더 포함하고, 상기 제3 스플라인 함수는 상기 제10 보간점을 통과하고, 상기 제10 보간점의 제1 좌표값은 상기 제7 보간점의 제1 좌표값과 상기 제9 보간점의 제1 좌표값 사이이고;
    상기 프로세싱 모듈이 상기 복수의 보간점을 결정하기 전에, 상기 획득 모듈은 제2 오프셋을 획득하도록 추가로 구성되어 있으며, 상기 제2 오프셋은 제2 수정 위치에서 초기 톤 매핑 곡선의 수정 범위를 나타내는 데 사용되며, 상기 제2 수정 위치는 상기 제10 보간점의 제1 좌표값이며;
    상기 프로세싱 모듈은 구체적으로 상기 제2 수정 위치에서의 상기 초기 톤 매핑 커브의 함수값과 상기 제2 오프셋에 기초하여 상기 제10 보간점의 제2 좌표값을 결정하도록 구성되어 있으며,
    상기 프로세싱 모듈은 구체적으로 상기 제8 보간점의 제1 좌표값과 제2 좌표값 및 상기 제10 보간점의 상기 제1 좌표값과 제2 좌표값에 기초하여 상기 제3 스플라인 함수를 결정하도록 구성되어 있으며, 상기 제3 스플라인 함수는 상기 제7 보간점과 상기 제9 보간점 모두에서 상기 초기 톤 매핑 곡선에 원활하게 연결되는, 이미지 프로세싱 장치.
  33. 프로세서 및 전송 인터페이스를 포함하는 이미지 프로세싱 장치로서,
    상기 전송 인터페이스는 이미지 데이터를 수신하거나 전송하도록 구성되며; 그리고
    상기 프로세서는 메모리에 저장된 프로그램 명령을 호출하고 상기 프로그램 명령을 실행하여 제1항 내지 제17항 중 어느 한 항에 따른 방법을 수행하도록 구성되어 있는, 이미지 프로세싱 장치.
  34. 컴퓨터 판독 가능형 저장 매체로서,
    상기 컴퓨터 판독 가능형 저장 매체는 명령을 저장하고; 상기 명령이 컴퓨터 또는 프로세서 상에서 실행될 때, 상기 컴퓨터 또는 상기 프로세서는 제1항 내지 제17항 중 어느 한 항에 따른 방법을 수행할 수 있는, 컴퓨터 판독 가능형 저장 매체.
  35. 컴퓨터 판독 가능형 저장 매체에 저장된 컴퓨터 프로그램으로서,
    프로세서로 하여금 제1항 내지 제17항 중 어느 한 항에 따른 방법을 수행하게 하는 컴퓨터 프로그램.
KR1020227001092A 2019-07-11 2020-05-26 이미지 프로세싱 방법 및 장치 KR102617258B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910626171.8A CN112215760A (zh) 2019-07-11 2019-07-11 一种图像处理的方法及装置
CN201910626171.8 2019-07-11
PCT/CN2020/092320 WO2021004176A1 (zh) 2019-07-11 2020-05-26 一种图像处理的方法及装置

Publications (2)

Publication Number Publication Date
KR20220020367A KR20220020367A (ko) 2022-02-18
KR102617258B1 true KR102617258B1 (ko) 2023-12-21

Family

ID=74048542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227001092A KR102617258B1 (ko) 2019-07-11 2020-05-26 이미지 프로세싱 방법 및 장치

Country Status (6)

Country Link
US (1) US20220122236A1 (ko)
EP (1) EP3975106A4 (ko)
JP (2) JP7359521B2 (ko)
KR (1) KR102617258B1 (ko)
CN (1) CN112215760A (ko)
WO (1) WO2021004176A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628106A (zh) * 2020-05-08 2021-11-09 华为技术有限公司 图像动态范围处理方法和装置
CN112907459B (zh) * 2021-01-25 2024-04-09 北京达佳互联信息技术有限公司 图像处理方法及装置
CN114463191B (zh) * 2021-08-26 2023-01-31 荣耀终端有限公司 一种图像处理方法及电子设备
TWI788983B (zh) * 2021-08-30 2023-01-01 瑞昱半導體股份有限公司 視訊訊號處理裝置與方法
US11961206B2 (en) 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves
CN116466899A (zh) * 2022-01-12 2023-07-21 华为技术有限公司 图像处理方法及电子设备
CN116664393B (zh) * 2023-07-05 2024-02-27 北京大学 面部数据漂白方法、装置、计算设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074222A (ja) * 2008-09-16 2010-04-02 Sony Corp 画像処理装置、輝度変換曲線補正方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469275A (en) * 1992-08-04 1995-11-21 International Business Machines Corporation Method and apparatus for grayscale adjustment
JP3960335B2 (ja) * 2002-07-12 2007-08-15 セイコーエプソン株式会社 画像データの出力画像調整
JP5932392B2 (ja) * 2012-02-28 2016-06-08 キヤノン株式会社 画像処理装置および画像処理方法
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
US9942489B2 (en) * 2015-06-02 2018-04-10 Samsung Electronics Co., Ltd. Adaptive tone mapping based on local contrast
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
US9959604B2 (en) * 2016-06-13 2018-05-01 Gopro, Inc. Dynamic global tone mapping with integrated 3D color look-up table
US9916638B2 (en) * 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
WO2018111682A1 (en) * 2016-12-12 2018-06-21 Dolby Laboratories Licensing Corporation Systems and methods for adjusting video processing curves for high dynamic range images
WO2018152063A1 (en) * 2017-02-15 2018-08-23 Dolby Laboratories Licensing Corporation Tone curve mapping for high dynamic range images
ES2817852T3 (es) * 2017-02-15 2021-04-08 Dolby Laboratories Licensing Corp Mapeo mediante curva de tonos para imágenes de alto rango dinámico
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
CN108090879B (zh) * 2017-12-12 2020-11-10 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074222A (ja) * 2008-09-16 2010-04-02 Sony Corp 画像処理装置、輝度変換曲線補正方法およびプログラム

Also Published As

Publication number Publication date
WO2021004176A1 (zh) 2021-01-14
EP3975106A4 (en) 2022-08-17
EP3975106A1 (en) 2022-03-30
JP2023175868A (ja) 2023-12-12
JP7359521B2 (ja) 2023-10-11
US20220122236A1 (en) 2022-04-21
KR20220020367A (ko) 2022-02-18
CN112215760A (zh) 2021-01-12
JP2022539683A (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
KR102617258B1 (ko) 이미지 프로세싱 방법 및 장치
US11183143B2 (en) Transitioning between video priority and graphics priority
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
KR102523233B1 (ko) 컬러 픽처를 디코딩하는 방법 및 디바이스
EP3174280A1 (en) Conversion method and conversion apparatus
KR102367205B1 (ko) 컬러 맵핑 함수들을 이용하여 hdr 픽처 및 상기 hdr 픽처로부터 획득된 sdr 픽처의 양자를 인코딩하기 위한 방법 및 디바이스
KR102509504B1 (ko) 코딩 및 디코딩 방법과 대응하는 디바이스
AU2016212243A1 (en) A method and apparatus of encoding and decoding a color picture
CN112087648B (zh) 图像处理方法、装置、电子设备及存储介质
US20220237754A1 (en) Image processing method and apparatus
US20180352263A1 (en) Method and device for processing color image data representing colors of a color gamut
AU2015227469A1 (en) Method, apparatus and system for displaying video data
KR102449634B1 (ko) 적응적 컬러 그레이드 보간 방법 및 디바이스
JP2018507618A (ja) カラー・ピクチャを符号化および復号する方法および装置
CN117979017A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant