KR20160040981A - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20160040981A
KR20160040981A KR1020150024271A KR20150024271A KR20160040981A KR 20160040981 A KR20160040981 A KR 20160040981A KR 1020150024271 A KR1020150024271 A KR 1020150024271A KR 20150024271 A KR20150024271 A KR 20150024271A KR 20160040981 A KR20160040981 A KR 20160040981A
Authority
KR
South Korea
Prior art keywords
image
luminance value
mapping function
dynamic range
high dynamic
Prior art date
Application number
KR1020150024271A
Other languages
English (en)
Other versions
KR102308507B1 (ko
Inventor
한승훈
이상욱
서귀원
김창원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201580054198.4A priority Critical patent/CN106796775B/zh
Priority to PCT/KR2015/010387 priority patent/WO2016056787A1/en
Priority to CN201911350815.1A priority patent/CN110992914B/zh
Priority to EP15188265.1A priority patent/EP3007446B1/en
Priority to US14/875,869 priority patent/US10089936B2/en
Publication of KR20160040981A publication Critical patent/KR20160040981A/ko
Priority to US16/144,111 priority patent/US10679569B2/en
Priority to US16/863,348 priority patent/US11721294B2/en
Application granted granted Critical
Publication of KR102308507B1 publication Critical patent/KR102308507B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

디스플레이 장치는 고 다이나믹 레인지 영상을 수신하는 컨텐츠 수신부, 고 다이나믹 레인지 영상 가운데 휘도값이 기준 휘도값 이상인 제1 영역을 검출하고, 상기 제1 영역의 영상의 특징 정보를 기초로 상기 제1 영역의 영상에 대하여 톤 매핑을 수행하는 영상 처리부, 상기 톤 매핑이 수행된 저 다이나믹 레인지 영상을 표시하는 표시부를 포함할 수 있다.

Description

디스플레이 장치 및 그 제어 방법{DISPLAY AND CONTROLLING METHOD THEREOF}
개시된 발명은 디스플레이 장치 및 그 제어 방법 에 관한 것으로써, 고 다이나믹 레인지 영상을 표시하는 디스플레이 장치 및 그 제어 방법에 관한 발명이다.
일반적으로 실제 세계의 휘도는 100,000,000:1의 다이나믹 레인지(dynamic range)를 갖는 것으로 알려져 있다. 또한, 사람의 눈이 구별할 수 있는 명암비 즉 사람의 눈의 다이나믹 레인지는 대략 1,000:1 내지 10,000:1인 것으로 알려져 있으며, 최신 기술에 의한 카메라의 다이나믹 레인지는 대략 10,000:1인 것으로 알려져 있다.
이에 비하여, 디스플레이 장치로써 널리 이용되는 액정 디스플레이 패널, 플라즈마 디스플레이 패널, 유기 발광 다이오드 패널 등은 대략 100:1 내지 1000:1의 다이나믹 레인지를 나타낸다.
즉, 디스플레이 장치가 출력할 수 있는 영상의 다이나믹 레인지는 사람의 눈이 식별할 수 있는 다이나믹 레인지 뿐만 아니라 카메라 등이 감지할 수 있는 다이나믹 레인지 보다 좁다.
이처럼, 통상의 디스플레이 장치가 출력할 수 있는 영상의 다이나믹 레인지를 초과하는 다이나믹 레인지를 갖는 영상을 고 다이나믹 레인지(HDR, High Dynamic Range) 영상이라 한다. 고 다이나믹 레인지 영상에 대비하여 통상의 디스플레이 장치가 출력할 수 있는 영상의 다이나믹 레인지 이하의 다이나믹 레인지를 갖는 영상을 저 다이나믹 레인지(LDR, Low Dynamic Range) 영상이라 하기도 한다.
이와 같은 영상 소스로부터 고 다이나믹 레인지 영상이 입력되면, 디스플레이 장치는 고 다이나믹 레인지 영상을 표시 가능한 다이나믹 레인지로 변환하는 동작을 수행한다. 이와 같은 동작을 "톤 매핑(tone mapping)"이라 한다.
종래의 톤 매핑 방식은 다이나믹 레인지 전체를 압축하여 고 다이나믹 레인지 영상을 저 다이나믹 레인지 영상으로 변환하는 방식 및 고 다이나믹 레인지 영상을 그대로 저 다이나믹 레인지의 디스플레이 장치에 표시하는 방식 등이 있었다.
그러나, 고 다이나믹 레인지 영상의 다이나믹 레인지 전체를 압축하는 방식에 의하면 디스플레이 장치가 출력하는 영상의 밝기 원본 영상에 비하여 크게 감소하는 문제가 있다.
또한, 고 다이나믹 레인지 영상을 그대로 저 다이나믹 레인지의 디스플레이 장치에 표시하는 방식은 디스플레이 장치에 표시할 수 없는 휘도의 영상은 표시되지 않는 문제가 있다.
개시된 발명의 일 측면은 디스플레이 장치에 표시되는 영상이 원본 영상의 밝기를 그대로 유지하고, 고 휘도 영역에 포함된 영상 정보를 표시할 수 있는 디스플레이 장치 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면에 따른 디스플레이 장치는 고 다이나믹 레인지 영상과 상기 고 다이나믹 레인지 영상의 휘도 정보를 수신하는 컨텐츠 수신부, 상기 휘도 정보를 기초로 상기 고 다이나믹 레인지 영상을 저 다이나믹 레인지 영상으로 톤 매핑을 수행하는 영상 처리부, 상기 저 다이나믹 영상을 표시하는 표시부를 포함하고, 상기 휘도 정보는 상기 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 휘도 정보는 신(scene)에 포함되는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 휘도 정보는 프레임(frame)을 구성하는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 상기 휘도 정보는 컨텐츠 전체에 포함된 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 고 다이나믹 레인지 영상 가운데 휘도값이 기준 휘도값 이상인 제1 영역을 검출하고, 상기 제1 영역의 영상의 특징 정보를 기초로 상기 제1 영역의 영상에 대하여 톤 매핑을 수행하고, 상기 특징 정보는 상기 고 다이나믹 레인지 영상의 엣지 정보, 텍스처 정보 및 그라데이션 정보 가운데 적어도 하나를 포함할 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 제1 영역의 영상 가운데 엣지 영역을 검출하고, 상기 엣지 영역에 포함된 화소의 히스토그램을 기초로 제1 매핑 함수를 생성할 수 있다.
실시 형태에 따라 상기 제1 매핑 함수는 상기 엣지 영역에 포함된 화소의 개수에 따라 기울기가 변화할 수 있다.
실시 형태에 따라 상기 제1 매핑 함수는 상기 엣지 영역에 포함된 화소의 개수가 많은 휘도값의 기울기가 상기 엣지 영역에 포함된 화소의 개수가 적은 휘도값의 기울기보다 큰 것일 수 있다.
실시 형태에 따라 상기 제1 매핑 함수는 상기 엣지 영역에 포함된 화소의 히스토그램을 적분한 누적 히스토그램인 것일 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 제1 영역의 영상 가운데 텍스처 영역을 검출하고, 상기 텍스처 영역에 포함된 화소의 히스토그램을 기초로 제1 매핑 함수를 생성할 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 제1 영역의 영상 가운데 그라데이션 영역을 검출하고, 상기 그라데이션 영역에 포함된 화소의 히스토그램을 기초로 제1 매핑 함수를 생성할 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 고 다이나믹 레인지 영상의 휘도값을 기초로 제2 매핑 함수를 생성할 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 고 다이나믹 레인지 영상에 대하여 제2 매핑 함수에 따른 제2 톤 매핑을 수행하고, 상기 제2 톤 매핑이 수행된 영상에 대하여 제1 매핑 함수에 따른 제1 톤 매핑을 수행할 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 고 다이나믹 레인지 영상 가운데 휘도값이 기준 휘도값 미만인 제2 영역의 휘도값을 기초로 제2 매핑 함수를 생성할 수 있다.
실시 형태에 따라 상기 영상 처리부는 상기 제1 매핑 함수와 상기 제2 매핑 함수를 기초로 톤 매핑 함수를 생성하고, 상기 톤 매핑 함수에 따라 상기 고 다이나믹 레인지 영상을 상기 저 다이나믹 레인지 영상으로 변환할 수 있다.실시 형태에 따라 상기 영상 처리부는 상기 고 다이나믹 레인지 영상에 포함된 복수의 화소 가운데 휘도값이 기준 휘도값보다 작은 제1 화소는 선형적으로 톤 매핑하고, 상기 복수의 화소 가운데 휘도값이 기준 휘도값보다 크거나 같은 제2 화소는 비선형적으로 톤 매핑할 수 있다.
실시 형태에 따라 상기 영상 처리부는 신(scene)에 포함된 고 다이나믹 레인지 영상의 신 평균 휘도값이 기준 휘도값보다 작으면, 상기 고 다이나믹 레인지 영상에 포함된 복수의 화소 가운데 휘도값이 기준 휘도값보다 작은 제1 화소는 선형적으로 톤 매핑하고, 상기 복수의 화소 가운데 휘도값이 기준 휘도값보다 크거나 같은 제2 화소는 비선형적으로 톤 매핑할 수 있다.
실시 형태에 따라 상기 영상 처리부는 신(scene)에 포함된 고 다이나믹 레인지 영상의 신 평균 휘도값이 기준 휘도값보다 크거나 같으면, 상기 고 다이나믹 레인지 영상에 포함된 복수의 화소 가운데 휘도값이 상기 신 평균 휘도값보다 작은 제1 화소는 선형적으로 톤 매핑하고, 상기 복수의 화소 가운데 휘도값이 신 평균 휘도값보다 크거나 같은 제2 화소는 비선형적으로 톤 매핑할 수 있다.
개시된 발명의 일 측면에 따른 디스플레이 장치의 제어 방법은 고 다이나믹 레인지 영상과 상기 고 다이나믹 레인지 영상의 휘도 정보를 수신하고, 상기 휘도 정보를 기초로 상기 고 다이나믹 레인지 영상을 저 다이나믹 레인지 영상으로 톤 매핑을 수행하고, 상기 저 다이나믹 영상을 표시하는 것을 포함하되, 상기 휘도 정보는 상기 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 휘도 정보는 신(scene)에 포함되는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 휘도 정보는 프레임(frame)을 구성하는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 상기 휘도 정보는 컨텐츠 전체에 포함된 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함할 수 있다.
실시 형태에 따라 상기 톤 매핑을 수행하는 것은 상기 고 다이나믹 레인지 영상 가운데 휘도값이 기준 휘도값 이상인 제1 영역을 검출하고, 상기 제1 영역의 영상의 특징 정보를 기초로 톤 매핑 함수를 생성하고, 상기 고 다이나믹 레인지 영상을 저 다이나믹 영상으로 변환하기 위하여 상기 톤 매핑 함수에 따라 상기 고 다이나믹 레인지 영상에 대하여 톤 매핑을 수행하는 것을 포함하고, 상기 특징 정보는 상기 고 다이나믹 레인지 영상의 엣지 정보, 텍스처 정보 및 그라데이션 정보 가운데 적어도 하나를 포함할 수 있다.
개시된 발명의 일 측면에 따르면, 고 휘도 영역과 저 휘도 영역에 대하여 각각 다른 톤 매핑 함수를 이용함으로써 디스플레이 장치에 표시되는 영상이 원본 영상의 밝기를 그대로 유지하고, 고 휘도 영역에 포함된 영상 정보를 표시할 수 있는 디스플레이 장치 및 그 제어 방법을 제공할 수 있다.
도 1은 일 실시예에 의한 디스플레이 장치의 외관을 도시한다.
도 2는 일 실시예에 의한 디스플레이 장치의 제어 구성을 도시한다.
도 3은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 일 예를 도시한다.
도 4는 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부가 영상 데이터를 선형화하는 동작의 일 예를 도시한다.
도 5는 원본 영상의 일 예를 도시한다.
도 6은 도 5에 도시된 원본 영상의 휘도 히스토그램을 도시한다.
도 7은 도 5에 도시된 원본 영상을 화소의 휘도값에 따라 구획하는 일 예를 도시한다.
도 8은 도 5에 도시된 원본 영상을 휘도값에 따라 구획한 영상의 일 예를 도시한다.
도 9은 도 5에 도시된 원본 영상을 휘도값에 따라 구획한 영상의 다른 예를 도시한다.
도 10은 도 5에 도시된 영상 처리부가 제1 영역으로부터 특징점을 추출하는 일 예를 도시한다.
도 11은 도 5에 도시된 영상 처리부가 제1 영역의 특징점을 기초로 제1 매핑 함수를 생성하는 일 예를 도시한다.
도 12은 도 5에 도시된 영상 처리부가 제1 영역의 특징점에 따라 제1 매핑 함수를 생성하는 다른 일 예를 도시한다.
도 13는 도 5에 도시된 영상 처리부가 제2 영역의 영상을 기초로 제2 매핑 함수를 생성하는 일 예를 도시한다.
도 14은 도 5에 도시된 영상 처리부가 생성한 톤 매핑 함수의 일 예를 도시한다.
도 15는 종래 디스플레이 장치가 하이 다이나믹 이미지에 대하여 톤 매핑을 수행한 결과를 도시한다.
도 16는 일 실시예에 의한 디스플레이 장치가 하이 다이나믹 이미지에 대하여 톤 매핑을 수행한 결과를 도시한다.
도 17은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 일 예를 도시한다.
도 18는 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시한다.
도 19 및 도 20은 도 18에 도시된 영상 처리부가 톤 매핑 함수를 생성하는 일 예를 도시한다.
도 21은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 22는 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시한다.
도 23은 도 22에 도시된 영상 처리부가 제1 영역의 영상에 대하여 톤 매핑을 수행하는 일 예를 도시한다.
도 24은 도 22에 도시된 영상 처리부가 제2 영역의 영상에 대하여 톤 매핑을 수행하는 일 예를 도시한다.
도 25은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 26은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시한다.도 27은 도 26에 도시된 영상 처리부가 생성하는 제3 매핑 함수를 도시한다.
도 28은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 29은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시한다.
도 30 및 도 31은 도 29에 도시된 영상 처리부가 생성하는 제4 매핑 함수를 도시한다.
도 32는 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다.
구체적으로, 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한, 본 명세서에서 사용한 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 본 명세서에서 사용한 "제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 본 명세서에서 사용되는 "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 메모리에 저장된 소프트웨어, FPGA (field-programmable gate array) 또는 ASIC (application specific integrated circuit)과 같은 하드웨어를 의미할 수 있다. 그러나, "~부", "~기", "~블록", "~부재", "~모듈" 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, "~부", "~기", "~블록", "~부재", "~모듈" 등은 접근할 수 있는 저장 매체에 저장되고 하나 또는 그 이상의 프로세서에 의하여 수행되는 구성일 수 있다.
이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시예에 대하여 상세하게 설명한다. 첨부한 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낼 수 있다.이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시예에 대하여 상세하게 설명한다.
도 1은 일 실시예에 의한 디스플레이 장치의 외관을 도시하고, 도 2는 일 실시예에 의한 디스플레이 장치의 제어 구성을 도시한다.
디스플레이 장치(100)는 외부로부터 수신되는 영상 신호를 처리하고, 처리된 영상을 시각적으로 표시할 수 있는 장치이다. 이하에서는 디스플레이 장치(100)가 텔레비전(Television, TV)인 경우를 예시하고 있으나, 이에 한정되는 것은 아니다. 예를 들어, 디스플레이 장치(100)는 모니터(Monitor), 휴대용 멀티미디어 장치, 휴대용 통신장치 등 다양한 형태로 구현할 수 있으며, 디스플레이 장치(100)는 영상을 시각적으로 표시하는 장치라면 그 형태가 한정되지 않는다.
도 1 및 도 2를 참조하면, 디스플레이 장치(100)는 디스플레이 장치(100)의 외관을 형성하고 디스플레이 장치(100)를 구성하는 각종 구성 부품을 수용하는 본체(101)를 포함한다.
본체(101)의 하부에는 본체(101)를 지지하는 스탠드(102)가 마련될 수 있다. 스탠드(102)에 의하여 본체(101)는 평면 상에 안정적으로 배치될 수 있다. 다만, 이에 한정되는 것은 아니며 본체(101)는 브라켓 등에 의하여 벽면 등의 수직면에 설치될 수도 있다.
본체(101)의 전면에는 사용자로부터 사용자 제어 명령을 입력받는 버튼 그룹(121)과 사용자 제어 명령에 따라 영상을 표시하는 디스플레이 패널(141)이 마련될 수 있다.
또한, 본체(101)의 내부에는 디스플레이 장치(100)의 기능을 실현하기 위한 각종 구성 부품이 마련될 수 있다. 본체(101)의 내부에는 도 2에 도시된 바와 같은 제어 구성이 마련될 수 있다.
구체적으로, 디스플레이 장치(100)는 사용자로부터 사용자 제어 명령을 수신하는 입력부(120), 외부 장치로부터 영상 및 음향을 포함하는 컨텐츠를 수신하는 컨텐츠 수신부(130), 컨텐츠에 포함된 영상 데이터를 처리하는 영상 처리부(200), 컨텐츠에 포함된 영상 데이터에 대응하는 영상을 표시하는 표시부(140), 컨텐츠에 포함된 음향 데이터에 대응하는 음향을 출력하는 음향 출력부(150) 및 디스플레이 장치(100)의 동작을 총괄 제어하는 메인 제어부(110)를 포함한다.
입력부(120)는 사용자로부터 각종 사용자 제어 명령을 입력받는 버튼 그룹(121)을 포함할 수 있다. 예를 들어, 버튼 그룹(121)은 음향 출력부(150)에 출력되는 음향의 크기를 조절하는 볼륨 버튼, 컨텐츠 수신부(130)에 의하여 컨텐츠를 수신하는 통신 채널을 변경하는 채널 버튼, 디스플레이 장치(100)의 전원을 온 또는 오프하는 전원 버튼 등을 포함할 수 있다.
버튼 그룹(121)에 포함된 각종 버튼은 사용자의 가압을 감지하는 푸시 스위치(push switch)와 멤브레인 스위치(membrane) 또는 사용자의 신체 일부의 접촉을 감지하는 터치 스위치(touch switch) 등을 채용할 수 있다. 다만, 이에 한정되는 것은 아니며, 버튼 그룹(121)은 사용자의 특정한 동작에 대응하여 전기적 신호를 출력할 수 있는 다양한 입력 수단을 채용할 수 있다.
또한, 입력부(120)는 원격에서 사용자로부터 사용자 제어 명령을 입력받고, 입력받는 사용자 제어 명령을 디스플레이 장치(100)에 전송하는 원격 제어기(remote controller)를 포함할 수도 있다.
컨텐츠 수신부(130)는 다양한 외부 장치로부터 각종 컨텐츠를 수신할 수 있다.
예를 들어, 컨텐츠 수신부(130)는 무선으로 방송 신호를 수신하는 안테나, 유선 또는 무선으로 방송 신호를 수신하고, 수신된 방송 신호를 적절히 변환하는 셋톱 박스(set top box), 멀티 미디어 저장 매체에 저장된 컨텐츠를 재생하는 멀티 미디어 재생 장치(예를 들어, DVD 플레이어, CD 플레이어, 블루레이 플레이어 등) 등으로부터 컨텐츠를 수신할 수 있다.
구체적으로, 컨텐츠 수신부(130)는 외부 장치와 연결되는 복수의 커넥터(131), 복수의 커넥터(131) 가운데 컨텐츠를 수신할 경로를 선택하는 수신 경로 선택부(133), 방송 신호를 수신하는 경우 방송 신호를 수신하기 위한 채널(또는 주파수)을 선택하는 튜너(tuner)(135) 등을 포함할 수 있다.
커넥터(131)는 안테나로부터 컨텐츠가 포함된 방송 신호를 수신하는 동축 케이블 커넥터(RF coaxial cable connector), 셋톱 박스 또는 멀티 미디어 재생 장치로부터 컨텐츠를 수신하는 고선명 멀티미디어 인터페이스(High Definition Multimedia Interface: HDMI) 커넥터, 컴포넌트 비디오 커넥터(component video connector), 컴포지트 비디오 커넥터(composite video connector), 디-서브(D-sub) 커넥터 등을 포함할 수 있다.
수신 경로 선택부(133)는 앞서 설명한 복수의 커넥터(131) 가운데 컨텐츠를 수신할 커넥터를 선택한다. 예를 들어, 수신 경로 선택부(133)는 컨텐츠가 수신된 커넥터(133)를 자동으로 선택하거나, 사용자의 사용자 제어 명령에 따라 컨텐츠를 수신할 커넥터(133)를 수동으로 선택할 수 있다.
튜너(135)는 방송 신호를 수신하는 경우 안테나 등을 통하여 수신되는 각종 신호 가운데 특정한 주파수(채널)의 전송 신호를 추출한다. 다시 말해, 튜너(135)는 사용자의 채널 선택 명령에 따라 컨텐츠를 수신하기 위한 채널(또는 주파수)을 선택할 수 있다.
영상 처리부(200)는 컨텐츠 수신부(130)가 수신한 컨텐츠 가운데 영상 컨텐츠를 처리하고, 처리된 영상 데이터를 표시부(140)에 제공한다.
이와 같은 영상 처리부(200)는 그래픽 프로세서(201)와 그래픽 메모리(203)를 포함할 수 있다.
그래픽 메모리(203)는 영상 처리를 위한 영상 처리 프로그램 및 영상 처리 데이터를 기억하거나, 그래픽 프로세서(201)가 출력하는 영상 데이터 또는 컨텐츠 수신부(130)로부터 수신된 영상 데이터를 임시로 기억할 수 있다.
그래픽 메모리(203)는 S램, D랩 등의 휘발성 메모리와 플래시 메모리(flash memory), 롬(ROM, Read Only Memory), 이피롬(EPROM, Erasable Programmable Read Only Memory), 이이피롬(EEPROM, Electrically Erasable Programmable Read Only Memory) 등의 비휘발성 메모리를 포함할 수 있다.
예를 들어, 비휘발성 메모리는 영상 처리를 위한 영상 처리 프로그램 및 영상 처리 데이터를 반영구적으로 기억할 수 있으며, 휘발성 메모리는 비휘발성 메모리로부터 로딩한 영상 처리 프로그램 및 영상 처리 데이터, 컨텐츠 수신부(130)로부터 수신된 영상 데이터 또는 그래픽 프로세서(201)가 출력하는 영상 데이터를 임시로 기억할 수 있다.
또한, 비휘발성 메모리는 휘발성 메모리와 별도로 마련되어 휘발성 메모리의 보조 기억 장치를 형성할 수 있다.
그래픽 프로세서(201)는 그래픽 메모리(203)에 기억된 영상 처리 프로그램에 따라 그래픽 메모리(203)에 기억된 영상 데이터를 처리할 수 있다. 예를 들어, 그래픽 프로세서(201)는 아래에서 설명할 영상의 선형화, 톤 매핑(tone mapping) 등의 영상 처리를 수행할 수 있다.
이상에서는 그래픽 프로세서(201)와 그래픽 메모리(203)를 별도로 설명하였으나, 그래픽 프로세서(201)와 그래픽 메모리(203)가 별도의 칩(chip)으로 마련되는 것에 한정되는 것은 아니며, 그래픽 프로세서(201)와 그래픽 메모리(203)가 단일의 칩으로 마련될 수 있다.
영상 처리부(200)의 구체적인 동작에 대해서는 아래에서 자세하게 설명하기로 한다.
표시부(140)는 영상을 시각적으로 표시하는 디스플레이 패널(143), 디스플레이 패널(143)을 구동하는 디스플레이 드라이버(141)를 포함할 수 있다.
디스플레이 패널(143)은 디스플레이 드라이버(141)로부터 수신되는 영상 데이터에 따라 영상을 출력한다.
디스플레이 패널(143)은 영상을 표시하는 단위가 되는 화소(pixel)을 포함할 수 있다. 각각의 화소는 영상 데이터를 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다.
이처럼, 디스플레이 패널(143)에 포함된 복수의 화소가 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널(143) 에 표시된다.
또한, 디스플레이 패널(143)은 각각의 화소가 광학 신호를 출력하는 방식에 따라 여러 종류로 구분될 수 있다. 예를 들어, 디스플레이 패널(143)은 화소 스스로 광을 방출하는 발광 디스플레이, 백 라이트 등으로부터 방출된 광을 차단하거나 투과시키는 투과형 디스플레이, 외부 광원으로부터 입사된 광을 반사시키거나 흡수하는 반사형 디스플레이로 구분될 수 있다.
이와 같은 디스플레이 패널(143)은 음극선관(CRT, Cathode Ray Tube) 디스플레이, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다. 다만, 디스플레이 패널(143)은 이에 한정되지 않으며, 디스플레이 패널(143)은 영상 데이터에 대응하는 영상을 시각적으로 표시할 수 있는 다양한 표시 수단을 채용할 수 있다.
디스플레이 드라이버(141)는 메인 제어부(110)의 제어 신호에 따라 영상 처리부(200)로부터 영상 데이터를 수신하고, 수신된 영상에 대응하는 영상을 표시하도록 디스플레이 패널(143)을 구동한다.
구체적으로, 디스플레이 드라이버(141)는 디스플레이 패널(143)을 구성하는 복수의 화소 각각에 영상 데이터에 대응하는 전기적 신호를 전달한다.
디스플레이 드라이버(141)는 짧은 시간 이내에 디스플레이 패널(143)을 구성하는 모든 화소에 전기적 신호를 전달하기 위하여 다양한 방식으로 각각의 화소에 전기적 신호를 전달할 수 있다.
예를 들어, 비월 주사 방식에 의하면 디스플레이 드라이브(141)는 복수의 화소 가운데 홀수 번째 가로 열에 포함되는 화소와 짝수 번째 가로 열에 포함된 화소에 번갈아 전기적 신호를 전달할 수 있다.
또한, 순사 주사 방석에 의하면 디스플레이 드라이브(141)는 가로 열 단위로 순차적으로 복수의 화소에 전기적 신호를 전달할 수 있다.
이처럼, 디스플레이 드라이버(141)가 디스플레이 패널(143)을 구성하는 각각의 화소에 영상 데이터에 대응하는 전기적 신호를 전달하면, 각각의 화소는 수신된 전기적 신호에 대응하는 광학 신호를 출력하고, 각각의 화소가 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널(143)에 표시된다.
음향 출력부(150)는 메인 제어부(110)의 제어 신호에 따라 컨텐츠 수신부(130)가 수신한 컨텐츠 가운데 음향 데이터에 대응하는 음향을 출력할 수 있다. 이와 같은 음향 출력부(150)는 전기적 신호를 음향 신호로 변환하는 하나 또는 2이상의 스피커(151)를 포함할 수 있다.
메인 제어부(110)는 메인 프로세서(111) 및 메인 메모리(113)를 포함할 수 있다.
메인 메모리(113)는 디스플레이 장치(100)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터를 기억할 수 있으며, 입력부(120)를 통하여 수신된 사용자 제어 명령 또는 메인 프로세서(111)가 출력하는 제어 신호를 임시로 기억할 수 있다.
메인 메모리(113)는 S램, D랩 등의 휘발성 메모리와 플래시 메모리(flash memory), 롬(ROM, Read Only Memory), 이피롬(EPROM, Erasable Programmable Read Only Memory), 이이피롬(EEPROM, Electrically Erasable Programmable Read Only Memory) 등의 비휘발성 메모리를 포함할 수 있다.
예를 들어, 비휘발성 메모리는 디스플레이 장치(100)의 제어를 위한 제어 프로그램 및 제어 데이터를 반영구적으로 기억할 수 있으며, 휘발성 메모리는 비휘발성 메모리로부터 로딩한 제어 프로그램 및 제어 데이터, 입력부(120)를 통하여 수신된 사용자 제어 명령 또는 메인 프로세서(111)가 출력하는 제어 신호를 임시로 기억할 수 있다.
또한, 비휘발성 메모리는 휘발성 메모리와 별도로 마련되어 휘발성 메모리의 보조 기억 장치를 형성할 수 있다.
메인 프로세서(111)는 메인 메모리(113)에 기억된 제어 프로그램에 따라 메인 메모리(113)에 기억된 각종 데이터를 처리할 수 있다.
예를 들어, 메인 프로세서(111)는 입력부(120)를 통하여 입력된 사용자 제어 명령을 처리하고, 사용자 제어 명령에 따라 컨텐츠 수신부(130)가 컨텐츠를 수신할 경로를 선택하기 위한 채널 선택 신호를 생성하고, 사용자 제어 명령에 따라 음향 출력부(150)가 출력하는 음향의 크기를 조절하기 위한 음량 조절 신호를 생성할 수 있다.
이상에서는 메인 프로세서(111)와 메인 메모리(113)를 별도로 설명하였으나, 메인 프로세서(111)와 메인 메모리(113)가 별도의 칩(chip)으로 마련되는 것에 한정되는 것은 아니며, 메인 프로세서(111)와 메인 메모리(113)가 단일의 칩으로 마련될 수 있다.
메인 제어부(110)는 사용자의 제어 명령에 따라 디스플레이 장치(100)에 포함된 각종 구성 부품의 동작을 제어할 수 있다. 특히, 메인 제어부(110)는 컨텐츠 수신부(130)가 수신한 영상 데이터를 영상 처리하도록 영상 처리부(200)를 제어하고, 영상 처리된 영상 데이터를 표시하도록 표시부(140)를 제어할 수 있다
이하에서는 영상 처리부(200)의 구성에 대하여 설명한다.
도 3은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 일 예를 도시한다.
앞서 설명한 바와 같이 영상 처리부(200)는 하드웨어 측면에서 그래픽 프로세서(201)와 그래픽 메모리(203)를 포함한다.
또한, 소프트웨어 측면에서 영상 처리부(200)는 다양한 영상 처리 모듈을 포함할 수 있다. 구체적으로, 그래픽 프로세서(201)는 그래픽 메모리(203)에 저장된 영상 처리 프로그램 및 영상 처리 데이터에 따라 다양한 영상 처리 동작을 수행할 수 있다. 그래픽 프로세서(201)가 수행하는 영상 처리 동작에 따라 영상 처리부(200)를 분류하면, 영상 처리부(200)는 도 3에 도시된 바와 같은 다양한 영상 처리 모듈을 포함할 수 있다.
도 3을 참조하면, 영상 처리부(200)는 영상 데이터(ID)와 메타 데이터(MD)를 수신하는 영상 수신 모듈(205), 영상 데이터를 선형화하는 선형화 모듈(210), 영상을 휘도에 따라 구획하는 영역 구획 모듈(220), 고 휘도의 제1 영역에 대한 톤 매핑 함수를 생성하는 제1 매핑 함수 생성 모듈(231), 저 휘도의 제2 영역에 대한 톤 매핑 함수를 생성하는 제2 매핑 함수 생성 모듈(232), 톤 매핑을 수행하는 톤 매핑 모듈(tone mapping module)(240), 톤 매핑이 수행된 영상에 대하여 후처리 동작을 수행하는 세부 묘사 향상 모듈(detail enhancement module)(250)을 포함할 수 있다.
영상 수신 모듈(205)은 컨텐츠 수신부(130)로부터 컨텐츠(C)를 수신하고, 수신된 컨텐츠(C)에 포함된 영상 데이터(ID), 영상 데이터(ID)와 관련된 메타 데이터(MD)를 출력한다. 여기서, 메타 데이터(MD)는 영상 데이터(ID)와 관련된 정보를 포함할 수 있다.
선형화 모듈(210)은 영상 데이터(ID)를 선형화하고, 선형화된 원본 영상(I1)을 출력한다.
영역 구획 모듈(220)은 선형화 모듈(210)로부터 원본 영상(I1)을 수신하고, 수신된 원본 영상(I1)을 제1 영역(R1)과 제2 영역(R2)으로 구획하여 제1 영역(R1)의 영상과 제2 영역(R2)의 영상을 출력한다.
제1 매핑 함수 생성 모듈(231)은 영역 구획 모듈(220)로부터 제1 영역(R1)의 영상을 수신하고, 제1 영역(R1)의 영상을 기초로 제1 매핑 함수(MF1)을 생성하여 출력한다.
제2 매핑 함수 생성 모듈(232)은 영역 구획 모듈(220)로부터 제2 영역(R2)의 영상을 수신하고, 제2 영역(R2)의 영상을 기초로 제2 매핑 함수(MF2)을 생성하여 출력한다.
톤 매핑 모듈(240)은 제1 매핑 함수 생성 모듈(231)과 제2 매핑 함수 생성 모듈(232)로부터 제1 매핑 함수(MF1)과 제2 매핑 함수(MF2)을 수신하고, 제1 매핑 함수(MF1)과 제2 매핑 함수(MF2)를 기초로 톤 매핑 함수(TMF)를 생성한다.
또한, 톤 매핑 모듈(240)은 생성된 톤 매핑 함수(TMF)에 따라 원본 영상(I1)에 대하여 톤 매핑을 수행하여 제1 표시 영상(I2)을 출력한다.
세부 묘사 향상 모듈(250)은 톤 매핑 모듈(20)로부터 제1 표시 영상(I2)을 수신하고, 수신된 제1 표시 영상(I2)에 대하여 세부 묘사 향상 동작을 수행하고, 세부 묘사 향상된 제2 표시 영상(I3)을 출력한다.
이와 같은 영상 처리부(200)는 컨텐츠 수신부(130)로부터 고 다이나믹 레인지의 영상 데이터를 수신하고, 수신된 고 다이나믹 레인지의 영상 데이터로부터 저 다이나믹 레인지의 표시 영상을 생성하고, 생성된 표시 영상을 표시부(140)에 전달한다.
이하에서는 영상 처리부(200)에 포함된 각각의 모듈의 동작에 대하여 설명한다.
우선, 영상 수신 모듈(205)에 대하여 설명한다.
영상 수신 모듈(205)은 컨텐츠 수신부(130)가 수신한 컨텐츠(C)로부터 영상 데이터(ID)와 메타 데이터(MD)를 추출한다.
컨텐츠(C)는 원본 영상을 나타내는 영상 데이터(ID) 뿐만 아니라, 영상 데이터(ID)와 관련된 메타 데이터(MD)를 포함한다.
메타 데이터(MD)는 영상 데이터(ID)의 휘도 정보를 포함할 수 있다. 예를 들어, 컨텐츠(C)가 동영상인 경우, 메타 데이터(MD)는 컨텐츠(C) 전체의 휘도 정보, 컨텐츠(C)에 포함된 각각의 신(Scene)의 휘도 정보 및 컨텐츠(C)에 포함된 각각의 프레임(frame)의 휘도 정보 등을 포함할 수 있다. 여기서 프레임은 동영상을 구성하는 정지된 영상 하나를 의미한다. 또한, 신은 단일 배경에서 단일 상황을 나타내는 일련의 프레임의 묶음을 의미한다. 다시 말해, 신은 영상이 크게 변화하지 않는 연속적인 프레임의 묶음으로 이해할 수 있다.
구체적으로, 메타 데이터(MD)는 컨텐츠(C)에 포함된 복수의 영상의 최고 휘도값, 최소 휘도값 및 평균 휘도값을 포함할 수 있다. 또한, 메타 데이터(MD)는 각각의 신(scene)에 포함되는 영상의 최고 휘도값, 최소 휘도값 및 평균 휘도값을 포함할 수 있다. 또한, 메타 데이터(MD)는 각각의 프레임(frame)을 구성하는 영상의 최고 휘도값, 최소 휘도값 및 평균 휘도값을 포함할 수도 있다.
이처럼, 영상 수신 모듈(205)은 컨텐츠(C)로부터 영상 데이터(ID)와 함께 각각의 신의 휘도 정보 또는 각각의 프레임의 휘도 정보를 추출할 수 있다.
다음으로, 선형화 모듈(210)에 대하여 설명한다.
도 4는 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부가 영상 데이터를 선형화하는 동작의 일 예를 도시한다. 또한, 도 5는 원본 영상의 일 예를 도시하고, 도 6은 도 5에 도시된 원본 영상의 휘도 히스토그램을 도시한다.
도 4를 참조하면, 선형화 모듈(210)은 영상 수신 모듈(205)로부터 수신한 영상 데이터(D)를 선형화하고, 선형화된 영상에 포함된 각각의 화소의 휘도값을 산출한다.
컨텐츠 수신부(130)에 의하여 수신된 영상 데이터는 다양한 이유에 의하여 실제 영상과 차이가 있을 수 있다. 예를 들어, 촬영 대상의 영상을 획득하는 이미지 센서(image sensor)에 의하여 실제 촬영 대상의 모습과 영상 데이터에 의하여 영상 사이에 차이가 발생할 수 있다. 또한, 영상 데이터를 전송하거나 저장하기 위하여 영상을 압축하거나 인코딩(encoding)하는 과정에서 최초 전송된 영상과 영상 데이터에 의한 영상 사이에 차이가 발생할 수 있다.
특히, 고 다이나믹 레인지 영상은 많은 정보를 포함하고 있기 때문에 이를 통신을 통하여 전송하거나, 저장 매체에 저장하기 위해서는 영상을 압축하거나 인코딩할 필요가 있다.
최대 휘도가 L1max이고 최소 휘도가 L1min인 원본 영상은 식별 가능한 다이나믹 레인지가 N1(N0~N1)인 영상 데이터로 변환될 수 있다. (이때, L1max와 L1min의 차이는 N1보다 큰 수로 가정한다.) 예를 들어, 최대 휘도(L1max)와 최소 휘도(L1min)의 차이가 10,000nit인 원본 영상은 표현 가능한 범위가 2000nit인 영상 데이터로 압축될 수 있다.
영상의 다이나믹 레인지가 감소되면, 영상 데이터의 크기가 감소한다. 그러나, 원본 영상에 포함된 정보의 일부가 소실될 염려가 있다. 이처럼 원본 영상의 다이나믹 레인지(L1)가 영상 데이터의 다이나믹 레인지(N1)보다 큰 경우, 인코딩 또는 압축 과정에서 소실되는 정보를 최소화하기 위하여 도 4의 (a)에 도시된 바와 같이 제1 비선형 매핑 함수(F1)가 이용될 수 있다.
이와 같은 제1 비선형 매핑 함수(F1)를 이용함으로써 원본 영상 가운데 많은 정보를 포함하는 영역과 적은 정보를 포함하는 영역이 서로 다른 압축 비율에 의하여 압축된다. 다시 말해, 많은 정보를 포함하는 영역에서는 낮은 압축 비율로 영상을 압축하고, 적은 정보를 포함하는 영역에서는 높은 압축 비율로 영상을 함축함으로써 압축 효율을 향상시킬 수 있으며, 영상 데이터가 보다 많은 정보를 포함할 수 있다.
컨텐츠 수신부(130)가 수신한 컨텐츠(C)에 포함된 영상 데이터(ID)는 도 4의 (a)에 도시된 바와 같은 제1 비선형 매핑 함수(F1)에 의하여 비선형적으로 압축된 영상 데이터일 수 있다.
선형화 모듈(210)은 이와 같이 비선형적으로 압축된 영상 데이터를 선형화한다.
구체적으로, 선형화 모듈(210)은 도 4의 (b)에 도시된 바와 같은 제2 비선형 매핑 함수(F2)와 원본 영상(I1)의 휘도 정보를 이용하여 비선형적으로 압축된 영상 데이터를 선형화시킬 수 있다. 또한, 원본 영상(I1)의 휘도 정보는 앞서 설명한 영상 수신 모듈(205)로부터 수신될 수 있으며, 원본 영상(I1)의 휘도 정보는 신 단위의 최대 휘도값과 최소 휘도값 또는 프레임 단위의 최대 휘도값과 최소 휘도값을 포함할 수 있다.
여기서, 제2 비선형 매핑 함수(F2)는 원본 영상을 영상 데이터로 압축하기 위하여 이용된 제1 비선형 매핑 함수(F1)의 역함수를 채용할 수 있다.
원본 영상을 영상 데이터로 압축하는 제1 비선형 매핑 함수(F1)는 국제 표준 등에 의하여 널리 알려진 함수에 해당한다. 따라서, 선형화 모듈(210)은 제1 비선형 매핑 함수(F1)를 기초로 제2 비선형 매핑 함수(F2)를 생성할 수 있다. 또한, 제2 비선형 매핑 함수(F2)는 사전에 그래픽 메모리(203)에 저장될 수 있다.
컨텐츠 수신부(130)로부터 수신된 영상 데이터(ID)는 선형화 모듈(210)에 의하여 원본 영상으로 복원될 수 있다.
예를 들어, 복원된 원본 영상은 도 5에 도시된 바와 같은 원본 영상(I1)일 수 있다.
또한, 선형화 모듈(210)은 원본 영상(I1)의 휘도를 분석할 수 있다.
구체적으로, 선형화 모듈(210)은 원본 영상(I1)의 최대 휘도값(L1max), 최대 휘도값(L1min), 및 평균 휘도값을 획득할 수 있다.
선형화 모듈(210)은 다양한 방법으로 원본 영상(I1)의 최대 휘도값(L1max), 최대 휘도값(L1min) 및 평균 휘도값을 획득할 수 있다.
앞서 설명한 바와 같이 원본 영상(I1)의 최대 휘도값(L1max), 최대 휘도값(L1min) 및 평균 휘도값은 영상 데이터(ID)의 메타 데이터(MD)의 형태로 외부 장치로부터 수신될 수 있다.
이때, 최대 휘도값(L1max), 최대 휘도값(L1min) 및 평균 휘도값은 컨텐츠(C) 단위로 제공되거나 영상의 프레임(Frame) 단위로 제공되거나 영상의 씬(Scene) 단위로 제공될 수 있으며, 씬(Scene) 단위로 제공되는 경우 선형화 모듈(210)는 이전 프레임의 최대 휘도값(L1max), 최대 휘도값(L1min) 및 평균 휘도값을 참조할 수 있다.
만일 수신된 컨텐츠(C)의 메타 데이터(MD)에 최대 휘도값(L1max), 최소 휘도값(L1min) 또는 평균 휘도값이 포함되어 있지 않으면, 선형화 모듈(210)은 선형화된 원본 영상으로부터 최대 휘도값(L1max), 최소 휘도값(L1min) 및 평균 휘도값을 직접 산출할 수 있다.
선형화 모듈(210)은 [수학식 1]을 이용하여 원본 영상(I1)에 포함된 화소의 휘도값을 산출할 수 있다. 여기서, 선형화된 원본 영상을 구성하는 각각의 화소는 적색(Red) 색상값, 녹색(Green) 색상값, 청색(Blue) 색상값을 포함한다.
[수학식 1]
L=0.2126R+0.7152G+0.0722B
(여기서, L의 화소의 휘도값을 나타내고, R은 화소의 적색 색상값을 나타내고, G는 화소의 녹색 색상값을 나타내고, B는 화소의 청색 색상값을 나타낸다.)
원본 영상에 포함된 각각의 화소의 휘도값은 휘도 히스토그램으로 표현될 수 있다. 여기서, 원본 영상(I1)의 휘도 히스토그램(G1)은 휘도값에 따른 화소의 도수 분포를 나타낸다. 즉, 휘도 히스토그램(G1)의 x축은 휘도값을 나타내고, y축은 휘도값에 대응하는 화소의 개수를 나타낸다.
예를 들어, 선형화 모듈(210)은 도 5에 도시된 원본 영상(I1)을 도 6에 도시된 바와 같은 휘도 히스토그램(G1)으로 나타낼 수 있다. 도 6에 도시된 바에 의하면, 도 5에 도시된 원본 영상(I1)의 일 예는 가장 낮은 휘도의 갖는 화소의 개수가 최대이고, 휘도가 높아질수록 화수의 개수가 감소한다.
이상에서는 이해를 돕기 위하여 휘도 히스토그램(G1)에 대하여 설명하였으나, 이는 이해를 돕기 위한 것일 뿐이며 영상 처리부(200)가 반드시 휘도 히스토그램(G1)을 생성하는 것은 아니며, 영상 처리부(200)는 필요에 따라 휘도 히스토그램(G1)을 생성할 수도 있다.
다음으로, 영역 구획 모듈(220)에 대하여 설명한다.
도 7은 도 5에 도시된 원본 영상을 화소의 휘도값에 따란 구획하는 일 예를 도시하고, 도 8은 도 5에 도시된 원본 영상을 휘도값에 따라 구획한 영상의 일 예를 도시한다. 또한, 도 9는 도 5에 도시된 원본 영상을 휘도값에 따라 구획한 영상의 다른 예를 도시한다.
도 7, 도 8 및 도 9을 참조하면, 영역 구획 모듈(220)은 원본 영상을 복수의 화소의 휘도에 따라 제1 기준 휘도값(m)를 기준으로 제1 영역(R1)과 제2 영역(R2)으로 구획한다. 구체적으로, 영역 구획 모듈(220)은 원본 영상을 휘도가 기준 휘도값(m) 이상인 화소로 구성된 제1 영역과 휘도가 제1 기준 휘도값(m) 미만인 화소로 구성된 제2 영역으로 구획할 수 있다.
도 6에 도시된 휘도 히스토그램(G1)을 예를 들어 설명하면, 원본 영상(I1)을 구성하는 복수의 화소는 도 7에 도시된 바와 같이 제1 기준 휘도값(m)를 기준으로 제1 영역(R1)에 속하는 화소와 제2 영역(R2)에 속하는 화소로 구분될 수 있다.
여기서, 제1 기준 휘도값(m)는 디스플레이 장치(100)가 최대로 출력할 수 있는 최대 휘도값 또는 최대 휘도값보다 작은 휘도값으로 정할 수 있다.
또한, 제1 기준 휘도값(m)는 사용자에 의하여 설정되거나, 미리 정해진 값일 수 있다.
도 5에 도시된 원본 영상(I1)을 제1 기준 휘도값(m)에 따라 제1 영역(R1)과 제2 영역(R2)으로 구획하면, 도 8에 도시된 바와 같이 화소의 휘도값이 제1 기준 휘도값(m) 이상인 제1 영역(R1)과 화소의 휘도값이 제1 기준 휘도값(m) 미만인 제2 영역(R2)으로 구획될 수 있다.
또한, 영역 구획 모듈(220)은 휘도값이 제1 기준 휘도값(m) 이상인 화소 뿐만 아니라 휘도값이 제1 기준 휘도값(m) 이상인 화소의 주변에 위치한 화소도 제1 영역(R1)으로 설정할 수 있다. 이는 톤 매핑을 수행한 이후 영상의 연속성을 유지하기 위함이다.
예를 들어, 영역 구획 모듈(220)은 도 9의 (a)에 도시된 바와 같이 원본 영상(I1)을 복수의 영역으로 구획할 수 있다.
이후, 영역 구획 모듈(220)은 각각의 영역을 휘도값이 제1 기준 휘도값(m) 이상인 화소를 포함하는 영역은 제1 영역(R1)으로 설정하고, 구획된 영역에 휘도값이 제1 기준 휘도값(m) 이상인 화소를 포함하지 않는 영역은 제2 영역(R2)으로 설정할 수 있다.
도 5에 도시된 원본 영상(I1)을 이와 같은 방식으로 제1 영역(R1)과 제2 영역(R2)으로 구획하면 영역 구획 모듈(220)은 도 9의 (b)에 도시된 바와 같이 휘도값이 제1 기준 휘도값(m) 이상인 화소 뿐만 아니라 휘도값이 제1 기준 휘도값(m)이상인 화소의 주변에 위치한 화소도 제1 영역(R1)으로 설정할 수 있다.
다음으로, 제1 매핑 함수 생성 모듈(231)에 대하여 설명한다.
도 10은 도 5에 도시된 영상 처리부가 제1 영역으로부터 특징점을 추출하는 일 예를 도시한다. 또한, 도 11은 도 5에 도시된 영상 처리부가 제1 영역의 특징점을 기초로 제1 매핑 함수를 생성하는 일 예를 도시하고, 도 12는 도 5에 도시된 영상 처리부가 제1 영역의 특징점에 따라 제1 매핑 함수를 생성하는 다른 일 예를 도시한다.
도 10, 도 11 및 도 12를 참조하면, 제1 매핑 함수 생성 모듈(231)은 제1 영역(R1)의 영상을 기초로 제1 매핑 함수(MF1)를 생성한다.
여기서, 제1 매핑 함수(MF1)는 고 다이나믹 레인지 영상인 원본 영상(I1) 중에 제1 영역(R1)의 영상을 저 다이나믹 레인지 영상으로 변환하기 위한 매게 함수를 의미한다. 다시 말해, 제1 매핑 함수(MF1)에 의하여 제1 영역(R1)의 영상은 저 다이나믹 레인지 영상으로 변환된다.
구체적으로, 제1 매핑 함수(MF1)는 휘도값의 범위가 제1 기준 휘도값(m)과 최대 원본 휘도값(L1max) 사이인 고 다이나믹 레인지 영상을 휘도값의 범위가 제2 기준 휘도값(n)과 최대 표시 휘도값(L2max) 사이인 저 다이나믹 레인지 영상으로 변환한다. 여기서, 제2 기준 휘도값(n)은 사용자에 의하여 설정되거나 디스플레이 장치(100)의 설계자에 의하여 사전에 적절하게 설정될 수 있다.
제1 매핑 함수 생성 모듈(231)은 특징 정보(feature information)을 포함한 화소를 추출하고, 추출된 화소의 히스토그램을 기초로 제1 매핑 함수(MF1)을 생성한다. 여기서, 특징 정보는 제1 영역(R1)에 포함된 영상의 엣지(edge) 정보, 영상의 텍스처(texture) 정보, 영상의 그라데이션(gradation) 정보를 포함할 수 있다.
제1 매핑 함수 생성 모듈(231)은 제1 영역(R1)의 엣지를 선명하게 표시하거나, 영상의 텍스처를 선명하게 표시하거나, 영상의 그라데이션을 선명하게 표시하기 위한 제1 매핑 함수(MF1)를 생성할 수 있다.
예를 들어, 엣지 영역이 선명하게 표시하기 위하여 제1 매핑 함수 생성 모듈(231)은 제1 영역(R1)에 포함된 화소 중에 인접한 화소와 휘도값의 차이가 기준값 이상인 화소를 추출할 수 있다. 다시 말해, 제1 매핑 함수 생성 모듈(231)은 도 10의 (a)에 도시된 바와 같은 제1 영역(R1)의 영상으로부터 도 10의 (b)에 도시된 바와 같이 인접한 화소와 휘도값의 차이가 기준값 이상인 화소(FP)를 추출할 수 있다. 여기서, 인접한 화소와 휘도값의 차이가 기준값 이상인 화소는 영상의 엣지 영역에 위치하는 것으로 판단할 수 있다.
또한, 제1 매핑 함수 생성 모듈(231)은 엣지 영역에 위치한 화소(인접한 화소와 휘도값의 차이가 기준값 이상인 화소)의 도수 분포를 산출할 수 있다.
이와 같은 엣지 영역에 위치하는 화소의 도수 분포는 도 11의 (a)에 도시된 바와 같은 엣지 히스토그램(G2)으로 나타낼 수 있다. 구체적으로, 엣지 히스토그램(G2)의 x축은 휘도값을 나타내고, y축은 인접한 화소와 휘도값의 차이가 기준값 이상인 화소의 개수를 나타낸다.
도 11의 (a)에 도시된 바에 의하면, 엣지 영역에 위치하는 화소의 개수는 휘도값 p 부근에서 최대가 되며, 휘도값 p 부근 이외의 휘도값에서는 인접한 화소와 휘도값의 차이가 기준값 이상인 화소의 개수가 적다.
디스플레이 장치(100)에 표시되는 영상의 엣지 영역이 선명하게 표시되도록 하기 위하여 제1 매핑 함수 생성 모듈(231)은 엣지 영역 화소의 개수가 많은 휘도 범위에 대해서 디스플레이 장치(100)에 표시되는 휘도 범위를 넓게 할당하고, 엣지 영역 화소의 개수가 적은 휘도 범위에 대해서 디스플레이 장치(100)에 표시된 휘도 범위를 좁게 할당할 수 있다.
구체적으로, 제1 매핑 함수 생성 모듈(231)은 도 11의 (b)에 도시된 바와 같이 엣지 영역에 위치하는 화소의 개수가 많은 휘도값에서는 큰 기울기를 갖고, 엣지 영역에 위치하는 화소의 개수가 적은 휘도값에서 작은 기울기를 갖는 제1 매핑 함수(MF1)를 생성할 수 있다. 특히, 제1 매핑 함수(MF1)을 생성하기 위하여 제1 매핑 함수 생성 모듈(231)은 엣지 히스토그램(G2)을 적분한 누적 엣지 히스토그램을 제1 매핑 함수(MF1)로 정할 수 있다.
다만, 제1 매핑 함수 생성 모듈(231)이 생성하는 제1 매핑 함수(MF1)는 이에 한정되지 않는다.
예를 들어, 엣지 히스토그램(G1)이 도 12의 (a)에 도시된 바와 같은 경우, 제1 매핑 함수 생성 모듈(231)은 도 12의 (b)에 도시된 바와 같은 제1 매핑 함수(MF1)을 생성할 수도 있다.
구체적으로, 제1 매핑 함수 생성 모듈(231)은 도 12의 (b)에 도시된 바와 같이 엣지 영역에 위치하는 화소의 개수가 많은 휘도값 이상에서 일정한 기울기를 갖는 제1 매핑 함수(MF1)을 생성할 수도 있다.
다른 예로, 영상의 텍스처를 선명하게 표시하기 위하여 제1 매핑 함수 생성 모듈(231)은 휘도값이 일정한 범위 이내에서 변화하는 영역의 화소를 추출할 수 있다. 휘도값이 일정한 범위 이내에서 변환하는 영역은 텍스처가 표현되는 영역으로 판단할 수 있다.
또한, 제1 매핑 함수 생성 모듈(231)은 텍스처가 표현되는 영역(휘도값이 일정한 범위 이내에서 변화하는 영역)의 화소의 도수 분포를 산출할 수 있다.
또한, 제1 매핑 함수 생성 모듈(231)은 텍스처가 표현되는 영역의 화소가 많은 휘도값 부분에서 큰 기울기를 갖고, 텍스처가 표현되는 영역의 화소가 적은 휘도값 부분에서 작은 기울기를 갖는 제1 매핑 함수를 생성할 수 있다.
다른 예로, 영상의 그라데이션을 선명하게 표시하기 위하여 제1 매핑 함수 생성 모듈(231)은 휘도값이 일정하고 연속적으로 변화하는 영역의 화소를 추출할 수 있다. 휘도값이 일정하고 연속적으로 변화하는 영역은 그라데이션이 표현되는 영역으로 판단할 수 있다.
또한, 제1 매핑 함수 생성 모듈(231)은 그라데이션이 표현되는 영역(휘도값이 일정하고 연속적으로 변화하는 영역)의 화소의 도수 분포를 산출할 수 있다.
또한, 제1 매핑 함수 생성 모듈(231)은 그라데이션이 표현되는 영역의 화소가 많은 휘도값에서 큰 기울기를 갖고, 그라데이션이 표현되는 영역의 화소가 적은 휘도값에서 작은 기울기를 갖는 제1 매핑 함수를 생성할 수 있다.
이처럼, 제1 매핑 함수 생성 모듈(231)은 제1 영역(R1)의 영상에 포함된 다양한 영상 정보를 선명하게 표시하기 위하여 다양한 제1 매핑 함수(MF1)을 생성할 수 있다.
구체적으로, 제1 영역(R1)의 영상에 포함된 다양한 영상 정보를 선명하게 표시하기 위하여, 제1 매핑 함수 생성 모듈(231)은 특징 정보를 포함하는 화소의 도수 분포를 산출하고, 생성된 도수 분포를 기초로 제1 매핑 함수(MF1)을 생성할 수 있다.
다음으로, 제2 매핑 함수 생성 모듈(232)에 대하여 설명한다.
도 13는 도 5에 도시된 영상 처리부가 제2 영역의 영상을 기초로 제2 매핑 함수를 생성하는 일 예를 도시한다.
도 13을 참조하면, 제2 매핑 함수 생성 모듈(232)은 제2 영역(R2)의 영상을 기초로 제2 매핑 함수(MF2)를 생성한다.
여기서, 제2 매핑 함수(MF2)는 고 다이나믹 레인지 영상인 원본 영상(I1) 중에 제2 영역(R2)의 영상을 저 다이나믹 레인지 영상으로 변환하기 위한 매게 함수를 의미한다. 다시 말해, 제2 매핑 함수(MF2)에 의하여 제1 영역(R1)의 영상은 저 다이나믹 레인지 영상으로 변환된다.
구체적으로, 제1 매핑 함수(MF1)는 휘도값의 범위가 최소 원본 휘도값(L1min)과 기준 휘도값(m)과 사이인 고 다이나믹 레인지 영상을 휘도값의 범위가 최소 표시 휘도값(L2min)과 제2 기준 휘도값(n) 사이인 저 다이나믹 레인지 영상으로 변환한다. 여기서, 제2 기준 휘도값(n)은 앞서 설명한 바와 같이 사용자에 의하여 설정되거나 디스플레이 장치(100)의 설계자에 의하여 사전에 적절하게 설정될 수 있다.
구체적으로, 제2 매핑 함수 생성 모듈(232)은 제2 영역(R2)의 휘도 정보(luminance information)을 추출하고, 추출된 휘도 정보를 기초로 제2 매핑 함수(MF2)를 생성한다.
제2 영역(R2)의 휘도 정보는 도 13의 (a)에 도시된 바와 같은 원본 영상(I1)의 휘도 히스토그램(G1)을 기초로 획득될 수 있다.
제2 매핑 함수 생성 모듈(232)은 제2 영역(R2)의 영상의 밝기가 충분히 유지되고 제2 영역(R2)의 영상에 포함된 영상 정보가 소실되지 않도록 하는 제2 매핑 함수(MF2)를 생성할 수 있다.
예를 들어, 제2 매핑 함수 생성 모듈(232)은 화소의 개수가 많은 휘도 영역에 대해서 디스플레이 장치(100)에 표시되는 휘도의 범위를 넓게 할당하고, 화소의 개수가 적은 휘도 영역에 대해서는 디스플레이 장치(100)에 표시되는 휘도의 범위를 좁게 할당할 수 있다.
구체적으로, 도 13의 (a)에 도시된 바와 같이 휘도값이 커질수록 화소의 개수가 감소하는 경우, 제2 매핑 함수 생성 모듈(232)은 도 13의 (b)에 도시된 바와 같이 휘도값이 커질수록 기울기가 감소하는 제2 매핑 함수(MF2)를 생성할 수 있다. 특히, 제2 매핑 함수(MF2)을 생성하기 위하여 제2 매핑 함수 생성 모듈(232)은 휘도 히스토그램(G1)을 적분한 누적 휘도 히스토그램을 기초로 제2 매핑 함수(MF2)을 생성할 수 있다.
다만, 제2 매핑 함수 생성 모듈(232)이 생성하는 제2 매핑 함수(MF2)는 이에 한정되지 않는다.
예를 들어, 제2 매핑 함수 생성 모듈(232)은 선형 톤 매핑 함수 또는 로그 톤 매핑 함수 등을 생성할 수 있다.
선형 톤 매핑 함수는 고 다이나믹 레인지 영상의 휘도값과 저 다이나믹 레인지 영상의 휘도값이 선형적 관계를 갖도록 고 다이나믹 레인지 영상을 저 다이나믹 레인지 영상으로 변환한다.
선형 톤 매핑 함수는 각 화소들 간의 대비를 유지시키는 톤 매핑 함수로서 원본 영상(I1)과 표시 영상(I2) 사이에 시각적인 이질감이 거의 발생하지 않는 장점이 있다.
선형 톤 매핑 함수는 고 다이나믹 레인지 영상의 휘도값과 저 다이나믹 레인지 영상의 휘도값이 로그 함수의 관계를 갖도록 고 다이나믹 레인지 영상을 저 다이나믹 레인지 영상으로 변환한다.
로그 톤 매핑 함수는 사람의 시각 특성인 웨버의 법칙이 로그함수와 유사하게 증가하는 특성을 이용한 방법이다. 웨버의 법칙은 사람은 눈이 어두운 부분에서 밝기 조금만 변해도 그 차이를 감지하는 반면 밝은 부분에서는 더 큰 변화가 있어도 그 차이를 잘 감지할 수 없는 특징을 의미한다.
로그 톤 매핑 함수는 로그 함수의 특성상 영상을 전체적으로 밝게 해주고, 영상의 어두운 부분에서 높은 대비 효과를 갖는다.
이처럼, 제2 매핑 함수 생성 모듈(232)은 로그 함수 기반의 제2 매핑 함수 또는 존 시스템 기반의 제2 매핑 함수를 생성할 수도 있다.
다음으로, 톤 매핑 모듈(240)에 대하여 설명한다.
도 14은 도 5에 도시된 영상 처리부가 생성한 톤 매핑 함수의 일 예를 도시한다. 도 15는 종래 디스플레이 장치가 하이 다이나믹 이미지에 대하여 톤 매핑을 수행한 결과를 도시하고, 도 16는 일 실시예에 의한 디스플레이 장치가 하이 다이나믹 이미지에 대하여 톤 매핑을 수행한 결과를 도시한다.
도 14, 도 15 및 도 16을 참조하면, 톤 매핑 모듈(240)는 제1 매핑 함수(MF1)와 제2 매핑 함수(MF2)를 조합함으로써 톤 매핑 함수(MF)를 생성하고, 톤 매핑 함수(MF)를 이용하여 원본 영상(I1)에 대하여 톤 매핑을 수행한다.
여기서, 톤 매핑 함수(MF)는 고 다이나믹 레인지 영상인 원본 영상(I1)을 저 다이나믹 레인지 영상으로 변환하기 위한 매게 함수를 의미한다. 다시 말해, 톤 매핑 함수(MF)에 의하여 원본 영상(I1)은 저 다이나믹 레인지 영상인 표시 영상(I2)으로 변환된다.
구체적으로, 톤 매핑 함수(MF)는 휘도값의 범위가 최대 원본 휘도값(L1min)과 최대 원본 휘도값(L1max) 사이인 원본 영상(I1)을 휘도값의 범위가 최소 표시 휘도값(L2min)과 최대 표시 휘도값(L2max) 사이인 표시 영상(I2)으로 변환한다.
도 11의 (b)에 도시된 제1 매핑 함수(MF1)와 도 13의 (b)에 도시된 제2 매핑 함수(MF2)가 조합되면, 도 14에 도시된 바와 같은 일 실시예에 의한 톤 매핑 함수(MF)가 생성된다.
이와 같이 생성된 톤 매핑 함수(MF)는 저 휘도 영역인 제2 영역(R2)의 영상의 밝기를 보존할 수 있으며, 고 휘도 영역인 제1 영역(R1)의 영상의 특징 정보를 보존할 수 있다.
톤 매핑 모듈(240)은 원본 영상(I1)에 대하여 톤 매핑을 수행함으로써 제1 표시 영상(I2)을 생성할 수 있다. 구체적으로, 톤 매핑 모듈(240)은 원본 영상(I1)에 포함된 모든 화소를 톤 매핑 함수(MF)에 적용함으로써 톤 매핑을 수행할 수 있다.
여기서, 제1 표시 영상(I2)은 휘도의 범위가 디스플레이 장치(100)가 출력할 수 있는 휘도의 범위와 동일하다.
이와 같이 저 휘도 영역의 밝기와 고 휘도 영역의 특징 정보를 보존할 수 있는 톤 매핑 모듈(240)에 의하여 생성된 톤 매핑 함수(MF)는 로그 함수 기반의 톤 매핑 함수(MF3)에 비하여 고 휘도 영역에서 영상을 선명하게 표시할 수 있다.
예를 들어, 도 15의 (a)에 도시된 바와 같은 로그 함수 기반의 톤 매핑 함수(MF3)를 이용하여 도 5에 도시된 원본 영상(I1)에 대하여 톤 매핑을 수행하면, 도 15의 (b)에 도시된 바와 같은 표시 영상(I2)이 출력된다.
또한, 도 16의 (a)에 도시된 바와 같은 톤 매핑 함수(MF)를 이용하여 도 5에 도시된 원본 영상(I1)에 대하여 톤 매핑을 수행하면, 도 16의 (b)에 도시된 바와 같은 표시 영상(I2)이 출력된다.
로그 함수 기반의 톤 매핑 함수(MF3)에 의하여 톤 매핑된 표시 영상(I2)은 도 15의 (b)에 도시된 바와 같이 고 휘도 영역(Rhigh)에서 영상이 선명하게 표시되지 않는데 비하여, 톤 매핑 모듈(240)에 의하여 생성된 톤 매핑 함수(MF)에 의하여 톤 매핑된 표시 영상(I2)은 도 16의 (b)에 도시된 바와 같이 고 휘도 영역(Rhigh)에서 영상이 선명하게 표시된다.
다음으로, 세부 묘사 향상 모듈(250)에 대하여 설명한다.
세부 묘사 향상(detail enhancement)은 사용자에게 더욱 선명한 영상을 제공하기 위하여 톤 매핑된 영상(I2)을 처리하는 것을 의미한다.
이와 같은 세부 묘사 향상은 영상의 밝은 부분과 어두운 부분 사이의 차이를 극대화시키는 명암 대비 향상(contrast enhancement), 히스토그램을 조절하여 명암 분포가 빈약한 영상을 명암 분포가 균일하게 변화하는 히스토그램 평활화(histogram equalization), 영상을 세밀하게 변환하는 영상 첨예화(image sharpening), 영상을 부드럽게 변환하는 영상 평활화(image smoothing) 등 다양한 영상 처리 기법을 포함할 수 있다.
이와 같은 세부 묘사 향상 모듈(250)은 이미 널리 알려진 다양한 영상 처리 기법을 이용하여 제1 표시 영상(I1)을 처리할 수 있으며, 세부 묘사 향상이 수행된 제2 표시 영상(I2)을 출력할 수 있다.
이처럼, 영상 처리부(200)는 원본 영상(I1)을 고 휘도 영역인 제1 영역(R1)과 저 휘도 영역(R2)인 제2 영역으로 구획하고, 제1 영역(R1)에 대해서는 영상의 엣지, 영상의 텍스처 또는 영상의 그라데이션 등의 영상의 특징을 기초로 톤 매핑을 수행하고, 제2 영역(R2)에 대해서는 영상의 밝기를 기초로 톤 매핑을 수행할 수 있다.
그 결과, 영상 처리부(200)는 고 다이나믹 레인지 영상인 원본 영상(I1)이 저 다이나믹 레인지를 갖는 디스플레이 패널(141)에 선명하게 표시되도록 원본 영상(I1)을 처리할 수 있다.
이하에서는 일 실시예에 의한 디스플레이 장치(100)의 동작에 대하여 설명한다.
도 17은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 일 예를 도시한다.
도 17을 참조하여, 디스플레이 장치(100)의 고 다이나믹 레인지 영상 표시 동작(1000)을 설명한다.
디스플레이 장치(100)는 외부로부터 영상을 수신한다(1010). 디스플레이 장치(100)는 컨텐츠 수신부(130)를 통하여 외부로부터 컨텐츠를 수신하고, 수신된 컨텐츠에 포함된 영상 데이터(ID)와 메타 데이터(MD)를 추출할 수 있다.
메타 데이터(MD)는 영상 데이터(ID)와 관련된 정보를 포함하는 데이터로써, 신 단위의 휘도 정보 또는 프레임 단위의 휘도 정보를 포함할 수 있다. 구체적으로, 메타 데이터(MD)는 컨텐츠(C) 전체의 최대 휘도값, 최소 휘도값 및 평균 휘도값, 각각의 신에 포함된 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값 또는 각각의 프레임을 구성하는 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값을 포함할 수 있다.
영상 데이터(ID)와 메타 데이터(MD)를 추출한 후, 디스플레이 장치(100)는 수신된 영상을 선형화한다(1020). 디스플레이 장치(100)는 원본 영상(I1)을 획득하기 위하여 영상 데이터를 선형화할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제2 비선형 매핑 함수(F2)를 이용하여 영상 데이터를 원본 영상(I1)으로 복원할 수 있다. 또한, 영상 처리부(200)는 복원된 원본 영상(I1)에 포함된 각각의 화소의 색상값을 기초로 원본 영상(I1)의 휘도 정보를 산출할 수 있다.
영상을 선형화한 후, 디스플레이 장치(100)는 원본 영상(I1)을 복수의 영역으로 구획한다(1030). 디스플레이 장치(100)는 원본 영상(I1)을 고 휘도 영역인 제1 영역(R1)과 저 휘도 영역인 제2 영역(R2)으로 구획할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 휘도값이 기준 휘도값(m) 이상인 화소를 포함하는 제1 영역(R1)과 휘도값이 기준 휘도값(m) 미만인 화소를 포함하는 제2 영역(R2)으로 원본 영상(I1)을 구획할 수 있다.
영상을 구획한 후, 디스플레이 장치(100)는 제1 매핑 함수(MF1) 및 제2 매핑 함수(MF2)를 생성한다(1040). 디스플레이 장치(100)는 제1 영역(R1)의 영상에 대한 제1 매핑 함수(MF1)와 제2 영역(R2)의 영상에 대한 제2 매핑 함수(MF2)를 생성할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 영역(R1)의 영상으로부터 엣지, 텍스처, 그라데이션 등의 특징 정보를 포함하는 화소를 추출하고, 특징 정보를 포함하는 화소에 관한 히스토그램을 기초로 제1 매핑 함수(MF1)를 생성할 수 있다.
또한, 영상 처리부(200)는 제2 영역(R2)의 영상의 휘도 히스토그램을 기초로 제2 매핑 함수(MF2)를 생성할 수 있다.
제1 및 제2 매핑 함수(MF1, MF2)를 생성한 후, 디스플레이 장치(100)는 톤 매핑 함수를 생성하고 원본 영상(I1)에 대한 톤 매핑을 수행한다(1050). 디스플레이 장치(100)는 제1 및 제2 매핑 함수(MF1, MF2)가 조합된 톤 매핑 함수(MF)를 이용하여 원본 원본(I1)으로부터 제1 표시 영상(I2)을 생성할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 매핑 함수(MF1)과 제2 매핑 함수(MF2)를 조합하여 톤 매핑 함수(MF)를 생성할 수 있다. 또한, 영상 처리부(200)는 원본 영상(I1)을 톤 매핑 함수(MF)에 적용함으로써 원본 원본(I1)으로부터 제1 표시 영상(I2)을 생성할 수 있다.
톤 매핑을 수행한 후, 디스플레이 장치(100)는 제1 표시 영상(I2)에 대한 세부 묘사 향상을 수행한다(1060). 디스플레이 장치(100)는 제1 표시 영상(I1)을 더욱 선명하게 하기 위하여 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 영상 처리를 수행할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 세부 묘사 향상을 수행함으로써 제2 표시 영상(I3)을 생성할 수 있다.
세부 묘사 향상을 수행한 후, 디스플레이 장치(100)는 영상을 표시한다(1070). 디스플레이 장치(100)는 표시부(140)를 통하여 제2 표시 영상(I3)을 표시할 수 있다.
이처럼, 디스플레이 장치(100)는 원본 영상(I1)을 고휘도 영역인 제1 영역(R1)과 저휘도 영역(R2)인 제2 영역으로 구획하고, 제1 영역(R1)에 대해서는 엣지, 텍스처 또는 그라데이션 등의 영상의 특징을 기초로 톤 매핑을 수행하고, 제2 영역(R2)에 대해서는 영상의 밝기를 기초로 톤 매핑을 수행할 수 있다.
그 결과, 디스플레이 장치(100)는 고 다이나믹 레인지 영상인 원본 영상(I1)이 저 다이나믹 레인지를 갖는 디스플레이 패널(141)에 선명하게 표시되도록 원본 영상(I1)을 처리할 수 있다.
이상에서는 일 실시예에 의한 디스플레이 장치(100)와 그에 포함된 영상 처리부(200)의 일 예의 구성 및 동작에 대하여 설명하였다.
그러나, 디스플레이 장치(100)에 포함되는 영상 처리 수단은 도 3에 도시된 영상 처리부(200)에 한정되는 것은 아니며, 다양한 디스플레이 장치(100)는 다양한 영상 처리 수단을 포함할 수 있다.
이하에서는 일 실시예에 의한 디스플레이 장치(100)에 포함될 수 있는 다양한 영상 처리 수단에 대하여 설명한다. 단, 앞서 설명한 영상 처리부(200)와 동일한 구성에 대해서는 동일한 식별 번호를 이용한다.
도 18는 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시하고, 도 19 및 도 20은 도 18에 도시된 영상 처리부가 톤 매핑 함수를 생성하는 일 예를 도시한다.
도 18에 도시된 바에 의하면, 영상 처리부(200')는 영상 데이터(ID)와 메타 데이터(MD)를 수신하는 영상 수신 모듈(205), 영상 데이터를 선형화하는 선형화 모듈(210), 영상을 휘도에 따라 구획하는 영역 구획 모듈(220), 고 휘도 영역에 대한 톤 매핑 함수를 생성하는 제1 매핑 함수 생성 모듈(231), 톤 매핑을 수행하는 톤 매핑 모듈(tone mapping module)(240'), 톤 매핑이 수행된 영상에 대하여 후처리 동작을 수행하는 세부 묘사 향상 모듈(detail enhancement module)(250)을 포함할 수 있다.
영상 수신 모듈(205)은 컨텐츠 수신부(130)가 수신한 컨텐츠(C)로부터 영상 데이터(ID)와 메타 데이터(MD)를 추출한다. 여기서, 컨텐츠(C)는 원본 영상을 나타내는 영상 데이터(ID) 뿐만 아니라, 영상 데이터(ID)와 관련된 메타 데이터(MD)를 포함한다. 메타 데이터(MD)는 영상 데이터(ID)의 휘도 정보를 포함할 수 있다. 예를 들어, 컨텐츠(C)가 동영상인 경우, 메타 데이터(MD)는 컨텐츠(C) 전체의 휘도 정보, 컨텐츠(C)에 포함된 각각의 신(Scene)의 휘도 정보 및 컨텐츠(C)에 포함된 각각의 프레임(frame)의 휘도 정보 가운데 적어도 하나를 포함할 수 있다.
선형화 모듈(210)은 영상 수신 모듈(205)로부터 수신한 영상 데이터(D)를 선형화하고, 선형화된 영상의 휘도를 분석할 수 있다. 구체적으로, 컨텐츠(C)의 메타 데이터(MD)에 최대 휘도값(L1max), 최소 휘도값(L1min) 또는 평균 휘도값이 포함되어 있지 않으면, 선형화 모듈(210)은 선형화된 원본 영상으로부터 최대 휘도값(L1max), 최소 휘도값(L1min) 및 평균 휘도값을 직접 산출할 수 있다.
영역 구획 모듈(220)은 원본 영상을 복수의 화소의 휘도에 따라 제1 기준 휘도값(m)를 기준으로 제1 영역(R1)과 제2 영역(R2)으로 구획한다. 구체적으로, 영역 구획 모듈(220)은 원본 영상을 휘도가 기준 휘도값(m) 이상인 화소로 구성된 제1 영역과 휘도가 제1 기준 휘도값(m) 미만인 화소로 구성된 제2 영역으로 구획할 수 있다.
제1 매핑 함수 생성 모듈(231)은 제1 영역(R1)에서 특징 정보(feature information)을 포함한 화소를 추출하고, 추출된 화소의 히스토그램을 기초로 제1 매핑 함수(MF1)을 생성한다. 여기서, 특징 정보는 제1 영역(R1)에 포함된 영상의 엣지(edge) 정보, 영상의 텍스처(texture) 정보, 영상의 그라데이션(gradation) 정보를 포함할 수 있다.
톤 매핑 모듈(240')은 원본 영상(I1)과 제1 매핑 함수(MF1)를 기초로 톤 매핑 함수(MF)를 생성하고, 톤 매핑 함수(MF)를 이용하여 원본 영상(I1)에 대하여 톤 매핑을 수행한다.
여기서, 톤 매핑 함수(MF)는 고 다이나믹 레인지 영상인 원본 영상(I1)을 저 다이나믹 레인지 영상으로 변환하기 위한 매게 함수를 의미한다. 다시 말해, 톤 매핑 함수(MF)에 의하여 원본 영상(I1)은 저 다이나믹 레인지 영상인 표시 영상(I2)으로 변환된다.
우선, 톤 매핑 모듈(240')은 원본 영상(I1)의 휘도 정보를 기초로 임시 톤 매핑 함수(MF`)을 생성한다. 여기서, 임시 톤 매핑 함수(MF`)는 최종적으로 톤 매핑 함수(MF)를 생성하기 위하여 이용될 수 있다.
원본 영상(I1)의 휘도 정보는 도 19의 (a)에 도시된 바와 같은 원본 영상(I1)의 휘도 히스토그램(G1)을 기초로 획득될 수 있다.
톤 매핑 모듈(240')은 원본 영상(I1)의 밝기가 충분히 유지되고 원본 영상(I1)에 포함된 영상 정보가 소실되지 않도록 하는 임시 톤 매핑 함수(MF`)를 생성할 수 있다.
예를 들어, 톤 매핑 모듈(240')은 화소의 개수가 많은 휘도 영역에 대해서 디스플레이 장치(100)에 표시되는 휘도의 범위를 넓게 할당하고, 화소의 개수가 적은 휘도 영역에 대해서는 디스플레이 장치(100)에 표시되는 휘도의 범위를 좁게 할당할 수 있다.
구체적으로, 도 19의 (a)에 도시된 바와 같이 휘도값이 커질수록 화소의 개수가 감소하는 경우, 톤 매핑 모듈(240')은 도 19의 (b)에 도시된 바와 같이 휘도값이 커질수록 기울기가 감소하는 임시 톤 매핑 함수(MF`)를 생성할 수 있다. 특히, 임시 톤 매핑 함수(MF`)을 생성하기 위하여 톤 매핑 모듈(240')은 휘도 히스토그램(G1)을 적분한 누적 휘도 히스토그램을 임시 톤 매핑 함수(MF`)로 정할 수 있다.
다만, 톤 매핑 모듈(240')이 생성하는 임시 톤 매핑 함수(MF`)는 이에 한정되지 않는다.
예를 들어, 톤 매핑 모듈(240')은 이미 널리 알려진 로그 함수 기반의 톤 매핑 함수 또는 존 시스템 기반의 톤 매핑 함수를 생성할 수 있다.
임시 톤 매핑 함수(MF`)를 생성한 톤 매핑 모듈(240')은 임시 톤 매핑 함수(MF`)와 제1 매핑 함수 생성 모듈(231)로부터 수신한 제1 매핑 함수(MF1)를 조합하여 톤 매핑 함수(MF)를 생성한다.
톤 매핑 모듈(240')은 다양한 방법으로 임시 톤 매핑 함수(MF`)와 제1 매핑 함수(MF1)를 조합할 수 있다.
예를 들어, 톤 매핑 모듈(240')은 고 휘도 영역의 임시 톤 매핑 함수(MF`)와 제1 매핑 함수(MF1)를 합성하여 톤 매핑 함수(MF)를 생성할 수 있다.
구체적으로, 톤 매핑 모듈(240')은 제1 매핑 함수(MF1)의 출력이 "0"과 "1"사이의 값을 갖도록 정규화시키고, 기준 휘도값(m) 이상의 임시 톤 매핑 함수(MF`)과 정규화된 제1 매핑 함수(MF1)을 합성함으로써 톤 매핑 함수(MF)를 생성할 수 있다.
그 결과, 원본 영상(I1)은 임시 톤 매핑 함수(MF`)에 의하여 톤 매핑이 수행되고, 원본 영상(I1) 가운데 제1 영역(R1)에 포함되는 영상은 제1 매핑 함수(MF1)에 의하여 다시 톤 매핑이 수행될 수 있다.
다른 예로, 톤 매핑 모듈(240')은 고 휘도 영역에서의 임시 톤 매핑 함수(MF`)를 제1 매핑 함수(MF1)로 대체할 수 있다. 구체적으로, 톤 매핑 모듈(240')은 임시 톤 매핑 함수(240') 가운데 기준 휘도값(m) 이상의 부분을 제1 매핑 함수(MF1)로 대체할 수 있다.
이때, 톤 매핑 모듈(240')은 기준 휘도값(m)에 대응하는 저 다이나믹 레인지의 휘도값(l)을 산출하고, 산출된 저 다이나믹 레인지의 기준 휘도값(l)과 저 다이나믹 레인지의 최대 휘도값(L2max) 사이의 차이를 기초로 제1 매핑 함수(MF1)의 출력 범위를 스케일링할 수 있다. 구체적으로, 톤 매핑 모듈(240')은 제1 매핑 함수(MF1)의 출력 범위가 저 다이나믹 레인지의 기준 휘도값(l)과 저 다이나믹 레인지의 최대 휘도값(L2max) 사이가 되도록 제1 매핑 함수(MF1)의 출력 범위를 스케일링할 수 있다.
도 19의 (b)에 도시된 임시 톤 매핑 함수(MF`)와 도 11의 (b)에 도시된 제1 매핑 함수(MF1)를 조합되면, 도 20에 도시된 바와 같은 톤 매핑 함수(MF)가 생성될 수 있다.
이와 같이 생성된 톤 매핑 함수(MF)는 원본 영상(I1)의 밝기를 보존할 수 있으며, 고 휘도 영역인 제1 영역(R1)의 영상의 특징 정보를 보존할 수 있다.
톤 매핑 함수(MF)를 생성한 톤 매핑 모듈(240')은 톤 매핑 함수(MF)를 이용하여 원본 영상(I1)에 대하여 톤 매핑을 수행하고, 제1 표시 영상(I1)을 생성할 수 있다. 구체적으로, 톤 매핑 모듈(240)은 원본 영상(I1)에 포함된 모든 화소를 톤 매핑 함수(MF)에 적용함으로써 톤 매핑을 수행할 수 있다.
여기서, 제1 표시 영상(I2)은 휘도의 범위가 디스플레이 장치(100)가 출력할 수 있는 휘도의 범위와 동일하다.
이와 같이 저 휘도 영역의 밝기와 고 휘도 영역의 특징 정보를 보존할 수 있는 톤 매핑 모듈(240)에 의하여 생성된 톤 매핑 함수(MF)는 로그 함수 기반의 톤 매핑 함수에 비하여 고 휘도 영역에서 영상을 선명하게 표시할 수 있다.
세부 묘사 향상 모듈(250)은 사용자에게 더욱 선명한 영상을 제공하기 위하여 톤 매핑된 영상(I2)을 처리한다. 여기서, 세부 묘사 향상은 영상의 밝은 부분과 어두운 부분 사이의 차이를 극대화시키는 명암 대비 향상(contrast enhancement), 히스토그램을 조절하여 명암 분포가 빈약한 영상을 명암 분포가 균일하게 변화하는 히스토그램 평활화(histogram equalization), 영상을 세밀하게 변환하는 영상 첨예화(image sharpening), 영상을 부드럽게 변환하는 영상 평활화(image smoothing) 등 다양한 영상 처리 기법을 포함할 수 있다.
이하에서는 일 실시예에 의한 디스플레이 장치(100)의 동작에 대하여 설명한다.
도 21은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 21을 참조하여, 디스플레이 장치(100)의 고 다이나믹 레인지 영상 표시 동작(1100)을 설명한다.
디스플레이 장치(100)는 외부로부터 영상을 수신한다(1110). 디스플레이 장치(100)는 컨텐츠 수신부(130)를 통하여 외부로부터 컨텐츠를 수신하고, 수신된 컨텐츠에 포함된 영상 데이터(ID)와 메타 데이터(MD)를 추출할 수 있다.
메타 데이터(MD)는 영상 데이터(ID)와 관련된 정보를 포함하는 데이터로써, 신 단위의 휘도 정보 또는 프레임 단위의 휘도 정보를 포함할 수 있다. 구체적으로, 메타 데이터(MD)는 컨텐츠(C) 전체의 최대 휘도값, 취소 휘도값 및 평균 휘도값, 각각의 신에 포함된 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값 또는 각각의 프레임을 구성하는 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값을 포함할 수 있다.
영상 데이터(ID)와 메타 데이터(MD)를 추출한 후, 디스플레이 장치(100)는 수신된 영상을 선형화한다(1120). 디스플레이 장치(100)는 원본 영상(I1)을 획득하기 위하여 영상 데이터를 선형화할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제2 비선형 매핑 함수(F2)를 이용하여 영상 데이터를 원본 영상(I1)으로 복원할 수 있다. 또한, 영상 처리부(200)는 복원된 원본 영상(I1)에 포함된 각각의 화소의 색상값을 기초로 원본 영상(I1)의 휘도 정보를 산출할 수 있다.
영상을 선형화한 후, 디스플레이 장치(100)는 원본 영상(I1)으로부터 제1 영역을 검출한다(1130). 디스플레이 장치(100)는 원본 영상(I1)으로부터 고 휘도 영역인 제1 영역(R1)을 검출할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 원본 영상(I1)으로부터 휘도값이 기준 휘도값(m) 이상인 화소를 포함하는 제1 영역(R1)을 검출할 수 있다.
제1 영역(R1)을 검출한 후, 디스플레이 장치(100)는 제1 매핑 함수(MF1) 를 생성한다(1140). 디스플레이 장치(100)는 제1 영역(R1)의 영상에 대한 제1 매핑 함수(MF1) 를 생성할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 영역(R1)의 영상으로부터 엣지, 텍스처, 그라데이션 등의 특징 정보를 포함하는 화소를 추출하고, 특징 정보를 포함하는 화소의 히스토그램을 기초로 제1 매핑 함수(MF1)를 생성할 수 있다.
제1 매핑 함수(MF1)를 생성한 후, 디스플레이 장치(100)는 톤 매핑 함수를 생성하고 원본 영상(I1)에 대한 톤 매핑을 수행한다(1150). 디스플레이 장치(100)는 임시 톤 매핑 함수(MF`)를 생성하고, 임시 톤 매핑 함수(MF`)와 제1 매핑 함수(MF2)을 이용하여 원본 원본(I1)으로부터 제1 표시 영상(I2)을 생성할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 원본 영상(I1)의 휘도 히스토그램을 기초로 임시 톤 매핑 함수(MF`)를 생성하고, 임시 톤 매핑 함수(MF`)와 제1 매핑 함수(MF1)를 조합하여 톤 매핑 함수(MF)를 생성할 수 있다.
또한, 영상 처리부(200)는 원본 영상(I1)을 톤 매핑 함수(MF)에 적용함으로써 원본 원본(I1)으로부터 제1 표시 영상(I2)을 생성할 수 있다.
톤 매핑을 수행한 후, 디스플레이 장치(100)는 제1 표시 영상(I2)에 대한 세부 묘사 향상을 수행한다(1160). 디스플레이 장치(100)는 제1 표시 영상(I1)을 더욱 선명하게 하기 위하여 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 영상 처리를 수행할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 세부 묘사 향상을 수행함으로써 제2 표시 영상(I3)을 생성할 수 있다.
세부 묘사 향상을 수행한 후, 디스플레이 장치(100)는 영상을 표시한다(1170). 디스플레이 장치(100)는 표시부(140)를 통하여 제2 표시 영상(I3)을 표시할 수 있다.
이처럼, 디스플레이 장치(100)는 원본 영상(I1)으로부터 제1 영역(R1)을 검출하고, 원본 영상(I1)에 대해서 영상의 밝기를 기초로 톤 매핑을 수행한 후 제1 영역(R1)에 대해서는 엣지, 텍스처 또는 그라데이션 등의 영상의 특징을 기초로 톤 매핑을 수행할 수 있다.
그 결과, 디스플레이 장치(100)는 고 다이나믹 레인지 영상인 원본 영상(I1)이 저 다이나믹 레인지를 갖는 디스플레이 패널(141)에 선명하게 표시되도록 원본 영상(I1)을 처리할 수 있다.
도 22는 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시한다. 또한, 도 23은 도 22에 도시된 영상 처리부가 제1 영역의 영상에 대하여 톤 매핑을 수행하는 일 예를 도시하고, 도 24은 도 22에 도시된 영상 처리부가 제2 영역의 영상에 대하여 톤 매핑을 수행하는 일 예를 도시한다. 또한, 도 25은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 22에 도시된 바에 의하면, 영상 처리부(200'')는 영상 데이터(ID)와 메타 데이터(MD)를 수신하는 영상 수신 모듈(205), 영상 데이터를 선형화하는 선형화 모듈(210), 영상을 휘도에 따라 구획하는 영역 구획 모듈(220), 고 휘도 영역에 대하여 톤 매핑을 수행하는 제1 톤 매핑 모듈(241), 저 휘도 영역에 대하여 톤 매핑을 수행하는 제2 톤 매핑 모듈(242), 톤 매핑된 영상을 합성하는 영상 합성 모듈(260) 및 영상에 대하여 후처리 동작을 수행하는 세부 묘사 향상 모듈(detail enhancement module)(250)을 포함할 수 있다.
영상 수신 모듈(205)은 컨텐츠 수신부(130)가 수신한 컨텐츠(C)로부터 영상 데이터(ID)와 메타 데이터(MD)를 추출한다. 여기서, 컨텐츠(C)는 원본 영상을 나타내는 영상 데이터(ID) 뿐만 아니라, 영상 데이터(ID)와 관련된 메타 데이터(MD)를 포함한다. 메타 데이터(MD)는 영상 데이터(ID)의 휘도 정보를 포함할 수 있다. 예를 들어, 컨텐츠(C)가 동영상인 경우, 메타 데이터(MD)는 컨텐츠(C) 전체의 휘도 정보, 컨텐츠(C)에 포함된 각각의 신(Scene)의 휘도 정보 및 컨텐츠(C)에 포함된 각각의 프레임(frame)의 휘도 정보 가운데 적어도 하나를 포함할 수 있다.
선형화 모듈(210)은 영상 수신 모듈(205)로부터 수신한 영상 데이터(D)를 선형화하고, 선형화된 영상의 휘도를 분석할 수 있다. 구체적으로, 컨텐츠(C)의 메타 데이터(MD)에 최대 휘도값(L1max), 최소 휘도값(L1min) 또는 평균 휘도값이 포함되어 있지 않으면, 선형화 모듈(210)은 선형화된 원본 영상으로부터 최대 휘도값(L1max), 최소 휘도값(L1min) 및 평균 휘도값을 직접 산출할 수 있다.
영역 구획 모듈(220)은 원본 영상을 복수의 화소의 휘도에 따라 제1 기준 휘도값(m)를 기준으로 제1 영역(R1)과 제2 영역(R2)으로 구획한다. 구체적으로, 영역 구획 모듈(220)은 원본 영상을 휘도가 기준 휘도값(m) 이상인 화소로 구성된 제1 영역과 휘도가 제1 기준 휘도값(m) 미만인 화소로 구성된 제2 영역으로 구획할 수 있다.
제1 톤 매핑 모듈(241)은 제1 영역(R1)의 영상을 기초로 제1 매핑 함수(MF1)을 생성하고, 제1 매핑 함수(MF1)를 이용하여 제1 영역(R1)의 영상에 대하여 톤 매핑을 수행한다.
여기서, 제1 매핑 함수(MF1)는 고 다이나믹 레인지 영상인 제1 영역(R1)의 영상을 저 다이나믹 레인지 영상으로 변환하기 위한 매게 함수를 의미한다. 다시 말해, 제1 매핑 함수(MF1)에 의하여 제1 영역(R1)의 영상은 저 다이나믹 레인지 영상으로 변환된다.
구체적으로, 제1 매핑 함수(MF1)는 휘도값의 범위가 제1 기준 휘도값(m)과 최대 원본 휘도값(L1max) 사이인 고 다이나믹 레인지 영상을 휘도값의 범위가 제2 기준 휘도값(n)과 최대 표시 휘도값(L2max) 사이인 저 다이나믹 레인지 영상으로 변환한다.
제1 톤 매핑 모듈(241)은 특징 정보(feature information)을 포함한 화소를 추출하고, 추출된 화소의 히스토그램을 기초로 제1 매핑 함수(MF1)을 생성한다. 여기서, 특징 정보는 제1 영역(R1)에 포함된 영상의 엣지(edge) 정보, 영상의 텍스처(texture) 정보, 영상의 그라데이션(gradation) 정보를 포함할 수 있다.
예를 들어, 엣지 영역이 선명하게 표시하기 위하여 제1 톤 매핑 모듈(241)은 제1 영역(R1)에 포함된 화소 중에 인접한 화소와 휘도값의 차이가 기준값 이상인 화소를 추출하고, 추출된 화소의 히스토그램을 기초로 제1 매핑 함수(MF1)를 생성할 수 있다.
또한, 제1 톤 매핑 모듈(241)은 제1 매핑 함수(MF1)에 따라 제1 영역(R1)의 영상에 대하여 톤 매핑을 수행하고, 제1 영역 표시 영상(I2a)을 생성한다.
예를 들어, 제1 톤 매핑 모듈(241)은 도 8에 도시된 제1 영역(R1)의 영상에 대하여 도 23의 (a)에 도시된 제1 매핑 함수(MF1)을 이용하여 톤 매핑을 수행하고, 도 23의 (b)에 도시된 바와 같은 제1 영역 표시 영상(I2a)을 출력할 수 있다.
제2 톤 매핑 모듈(242)은 제2 영역(R2)의 영상을 기초로 제2 매핑 함수(MF2)을 생성하고, 제2 매핑 함수(MF2)를 이용하여 제2 영역(R2)의 영상에 대하여 톤 매핑을 수행한다.
여기서, 제2 매핑 함수(MF2)는 고 다이나믹 레인지 영상인 제2 영역(R2)의 영상을 저 다이나믹 레인지 영상으로 변환하기 위한 매게 함수를 의미한다. 다시 말해, 제2 매핑 함수(MF2)에 의하여 제2 영역(R2)의 영상은 저 다이나믹 레인지 영상으로 변환된다.
구체적으로, 제2 매핑 함수(MF2)는 휘도값의 범위가 최소 원본 휘도값(L1min)과 제1 기준 휘도값(m)과 사이인 고 다이나믹 레인지 영상을 휘도값의 범위가 최소 표시 휘도값(L2min)과 제2 기준 휘도값(n) 사이인 저 다이나믹 레인지 영상으로 변환한다.
제2 톤 매핑 모듈(242)은 제2 영역(R2) 영상의 휘도 히스토그램을 기초로 제1 매핑 함수(MF1)을 생성한다. 구체적으로, 제2 톤 매핑 모듈(242)은 제2 영역(R2) 영상의 휘도 히스토그램을 적분한 누적 휘도 히스토그램을 기초로 제2 매핑 함수(MF2)를 생성할 수 있다.
다만, 이에 한정되는 것은 아니며 제2 톤 매핑 모듈(242)은 제2 매핑 함수 생성 모듈(232)은 선형 함수 또는 로그 함수 등을 기초로 제2 매핑 함수(MF2)를 생성할 수도 있다.
또한, 제2 톤 매핑 모듈(242)은 제2 매핑 함수(MF2)에 따라 제2 영역(R2)의 영상에 대하여 톤 매핑을 수행하고, 제2 영역 표시 영상(I2b)을 생성한다.
예를 들어, 도 8에 도시된 제2 영역(R2)의 영상에 대하여 도 24의 (a)에 도시된 제2 매핑 함수(MF2)을 이용하여 톤 매핑을 수행하면, 제2 톤 매핑 모듈(242)은 도 23의 (b)에 도시된 바와 같은 제2 영역 표시 영상(I2b)을 생성할 수 있다.
영상 합성 모듈(260)은 제1 톤 매핑 모듈(241)로부터 수신된 제1 영역 표시 영상(I2a)과 제2 톤 매핑 모듈(242)로부터 수신된 제2 영역 표시 영상(I2b)을 합성하여 제1 표시 영상(I2)을 생성한다.
예를 들어, 영상 합성 모듈(260)은 도 23의 (b)에 도시된 제1 영역 표시 영상(I2a)과 제2 영역 표시 영상(I2b)를 합성하여, 제1 표시 영상(I2)을 생성할 수 있다.
이처럼, 제1 톤 매핑 모듈(241)은 고 휘도 영역의 특징 정보를 이용하여 톤 매핑을 수행할 수 있으며, 제2 톤 매핑 모듈(242)은 저 휘도 영역의 밝기 정보를 이용하여 톤 매핑을 수행할 수 있다. 또한, 영상 합성 모듈은 제1 톤 매핑 모듈(241)이 출력하는 제1 영역 표시 영상(I2a)과 제2 톤 매핑 모듈(242)이 출력하는 제2 영역 표시 영상(I2b)을 합성할 수 있다.
세부 묘사 향상 모듈(250)은 사용자에게 더욱 선명한 영상을 제공하기 위하여 톤 매핑된 영상(I2)을 처리한다. 여기서, 세부 묘사 향상은 영상의 밝은 부분과 어두운 부분 사이의 차이를 극대화시키는 명암 대비 향상(contrast enhancement), 히스토그램을 조절하여 명암 분포가 빈약한 영상을 명암 분포가 균일하게 변화하는 히스토그램 평활화(histogram equalization), 영상을 세밀하게 변환하는 영상 첨예화(image sharpening), 영상을 부드럽게 변환하는 영상 평활화(image smoothing) 등 다양한 영상 처리 기법을 포함할 수 있다.
이하에서는 일 실시예에 의한 디스플레이 장치(100)의 동작에 대하여 설명한다.
도 25은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 25을 참조하여, 디스플레이 장치(100)의 고 다이나믹 레인지 영상 표시 동작(1200)을 설명한다.
디스플레이 장치(100)는 외부로부터 영상을 수신한다(1210). 디스플레이 장치(100)는 컨텐츠 수신부(130)를 통하여 외부로부터 컨텐츠를 수신하고, 수신된 컨텐츠에 포함된 영상 데이터(ID)와 메타 데이터(MD)를 추출할 수 있다.
메타 데이터(MD)는 영상 데이터(ID)와 관련된 정보를 포함하는 데이터로써, 신 단위의 휘도 정보 또는 프레임 단위의 휘도 정보를 포함할 수 있다. 구체적으로, 메타 데이터(MD)는 컨텐츠(C) 전체의 최대 휘도값, 취소 휘도값 및 평균 휘도값, 각각의 신에 포함된 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값 또는 각각의 프레임을 구성하는 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값 등을 포함할 수 있다.
영상 데이터(ID)와 메타 데이터(MD)를 추출한 후, 디스플레이 장치(100)는 수신된 영상을 선형화한다(1120). 디스플레이 장치(100)는 원본 영상(I1)을 획득하기 위하여 영상 데이터를 선형화한다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제2 비선형 매핑 함수(F2)를 이용하여 영상 데이터를 원본 영상(I1)으로 복원할 수 있다. 또한, 영상 처리부(200)는 복원된 원본 영상(I1)에 포함된 각각의 화소의 색상값을 기초로 원본 영상(I1)의 휘도 정보를 산출할 수 있다.
영상을 선형화한 후, 디스플레이 장치(100)는 원본 영상(I1)을 복수의 영역으로 구획한다(1230). 디스플레이 장치(100)는 원본 영상(I1)을 고 휘도 영역인 제1 영역(R1)과 저 휘도 영역인 제2 영역(R2)으로 구획할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 휘도값이 기준 휘도값(m) 이상인 화소를 포함하는 제1 영역(R1)과 휘도값이 기준 휘도값(m) 미만인 화소를 포함하는 제2 영역(R2)으로 원본 영상(I1)을 구획할 수 있다.
영상을 구획한 후, 디스플레이 장치(100)는 제1 매핑 함수(MF1)을 생성하고, 제1 영역(R1)의 영상에 대하여 톤 매핑을 수행한다(1240).
디스플레이 장치(100)는 제1 영역(R1)의 영상에 대한 제1 매핑 함수(MF1) 를 생성할 수 있다. 구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 영역(R1)의 영상으로부터 엣지, 텍스처, 그라데이션 등의 특징 정보를 포함하는 화소를 추출하고, 특징 정보를 포함하는 화소에 관한 히스토그램을 기초로 제1 매핑 함수(MF1)를 생성할 수 있다.
또한, 디스플레이 장치(100)는 제1 영역(R1)의 영상에 대하여 톤 매핑을 수행할 수 있다. 구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 매핑 함수(MF1)를 이용하여 제1 영역(R1)의 영상에 대하여 톤 매핑을 수행하여 제1 영역 표시 영상(I2a)을 생성할 수 있다.
또한, 디스플레이 장치(100)는 제2 매핑 함수(MF2)을 생성하고, 제2 영역(R2)의 영상에 대하여 톤 매핑을 수행한다(1250).
디스플레이 장치(100)는 제2 영역(R2)의 영상에 대한 제2 매핑 함수(MF2) 를 생성할 수 있다. 구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제2 영역(R2)의 휘도 히스토그램을 기초로 제2 매핑 함수(MF2)를 생성할 수 있다.
또한, 디스플레이 장치(100)는 제2 영역(R2)의 영상에 대하여 톤 매핑을 수행할 수 있다. 구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제2 매핑 함수(MF2)를 이용하여 제2 영역(R2)의 영상에 대하여 톤 매핑을 수행하여 제2 영역 표시 영상(I2b)을 생성할 수 있다.
톤 매핑을 수행한 후, 디스플레이 장치(100)는 톤 매핑된 영상을 합성한다(1260). 구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 영역 표시 영상(I2a)과 제2 영역 표시 영상(I2b)을 합성하여 제1 표시 영상(I2)을 생성할 수 있다.
이후, 디스플레이 장치(100)는 제1 표시 영상(I2)에 대한 세부 묘사 향상을 수행한다(1270). 디스플레이 장치(100)는 제1 표시 영상(I1)을 더욱 선명하게 하기 위하여 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 영상 처리를 수행할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 세부 묘사 향상을 수행함으로써 제2 표시 영상(I3)을 생성할 수 있다.
세부 묘사 향상을 수행한 후, 디스플레이 장치(100)는 영상을 표시한다(1280). 디스플레이 장치(100)는 표시부(140)를 통하여 제2 표시 영상(I3)을 표시할 수 있다.
이처럼, 디스플레이 장치(100)는 원본 영상(I1)을 고 휘도 영역인 제1 영역(R1)과 저 휘도 영역(R2)인 제2 영역으로 구획하고, 제1 영역(R1)에 대해서는 엣지, 텍스처 또는 그라데이션 등의 영상의 특징을 기초로 톤 매핑을 수행하고, 제2 영역(R2)에 대해서는 영상의 밝기를 기초로 톤 매핑을 수행할 수 있다.
그 결과, 디스플레이 장치(100)는 고 다이나믹 레인지 영상인 원본 영상(I1)이 저 다이나믹 레인지를 갖는 디스플레이 패널(141)에 선명하게 표시되도록 원본 영상(I1)을 처리할 수 있다.
도 26은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시하고, 도 27은 도 26에 도시된 영상 처리부가 생성하는 제3 매핑 함수를 도시한다.
도 26 및 도 27을 참조하면, 영상 처리부(200''')는 영상 데이터(ID)와 메타 데이터(MD)를 수신하는 영상 수신 모듈(205), 영상 데이터를 선형화하는 선형화 모듈(210), 고 다이나믹 레인지 영상에 대한 톤 매핑 함수를 생성하는 제3 매핑 함수 생성 모듈(233), 톤 매핑을 수행하는 톤 매핑 모듈(tone mapping module)(240), 톤 매핑이 수행된 영상에 대하여 후처리 동작을 수행하는 세부 묘사 향상 모듈(detail enhancement module)(250)을 포함할 수 있다.
영상 수신 모듈(205)은 컨텐츠 수신부(130)가 수신한 컨텐츠(C)로부터 영상 데이터(ID)와 메타 데이터(MD)를 추출한다. 여기서, 컨텐츠(C)는 원본 영상을 나타내는 영상 데이터(ID) 뿐만 아니라, 영상 데이터(ID)와 관련된 메타 데이터(MD)를 포함한다. 메타 데이터(MD)는 영상 데이터(ID)의 휘도 정보를 포함할 수 있다. 예를 들어, 컨텐츠(C)가 동영상인 경우, 메타 데이터(MD)는 컨텐츠(C) 전체의 휘도 정보, 컨텐츠(C)에 포함된 각각의 신(Scene)의 휘도 정보 및 컨텐츠(C)에 포함된 각각의 프레임(frame)의 휘도 정보 가운데 적어도 하나를 포함할 수 있다.
선형화 모듈(210)은 영상 수신 모듈(205)로부터 수신한 영상 데이터(D)를 선형화하고, 선형화된 영상의 휘도를 분석할 수 있다. 구체적으로, 컨텐츠(C)의 메타 데이터(MD)에 최대 휘도값(L1max), 최소 휘도값(L1min)이 포함되어 있지 않으면, 선형화 모듈(210)은 선형화된 원본 영상으로부터 최대 휘도값(L1max), 최소 휘도값(L1min)을 직접 산출할 수 있다.
제3 매핑 함수 생성 모듈(233)은 영상 수신 모듈(205)로부터 메타 데이터(MD)를 수신하고, 수신된 메타 데이터(MD)를 기초로 제3 매핑 함수(MF3)를 생성한다. 여기서, 메타 데이터(MD)는 컨텐츠(C) 전체의 휘도 정보 즉, 컨텐츠(C) 전체의 최대 휘도값(L1max) 및 최소 휘도값(L1min)을 포함할 수 있다.
또한, 제3 매핑 함수(MF3)는 컨텐츠(C)의 최대 휘도값(L1max) 및 최소 휘도값(L1min) 사이에서 정의될 수 있다. 다시 말해, 제3 매핑 함수(MF3)에 입력되는 최대값은 컨텐츠(C)의 최대 휘도값(L1max)이고, 제3 매핑 함수(MF3)에 입력되는 최소값은 컨텐츠(C)의 최소 휘도값(L1min)이다.
이처럼, 컨텐츠(C) 전체의 휘도 정보를 기초로 생성된 제3 매핑 함수(MF3)는 컨텐츠(C) 전체에 포함된 원본 영상(I1)을 톤 매핑할 수 있다. 다시 말해, 프레임(frame) 또는 신(scene)이 변경되더라도 컨텐츠(C)가 변경되지 않으면 제3 매핑 함수(MF3)는 변경되지 않는다.
원본 영상(I1)은 제3 기준 휘도값(Th)을 기준으로 저휘도 부분과 고휘도 부분으로 구분될 수 있으며, 저휘도 부분과 고휘도 부분은 제3 매핑 함수(MF3)에 의하여 서로 다르게 매핑될 수 있다. 다시 말해, 저휘도 부분을 매핑하는 매핑 함수와 고휘도 부분을 매핑하는 매핑 함수는 서로 상이할 수 있다.
이때, 원본 영상(I1)의 제3 기준 휘도값(Th)은 출력 영상(I2)의 목표 평균 휘도값(Ave_target)에 대응될 수 있다. 다시 말해, 제3 기준 휘도값(Th)은 목표 평균 휘도값(Ave_target)으로 매핑된다. 평균 휘도값은 디스플레이 패널(143)에 포함된 모든 화소가 출력하는 휘도값의 평균을 의미하며, 목표 평균 휘도값(Ave_target)은 평균 휘도값의 목표치이다. 이와 같은 목표 평균 휘도값(Ave_target)은 디스플레이 패널(143)의 종류 및 성능에 따라 사전에 정의될 수 있다.
특히, 원본 영상(I1)의 제3 기준 휘도값(Th)은 출력 영상(I2)의 미리 정해진 목표 평균 휘도값(Ave_target)과 동일할 수도 있다.
제3 매핑 함수(MF3)는 저휘도 부분에 대한 매핑 함수(MF3-1)와 고휘도 부분에 대한 매핑 함수(MF3-2)를 포함할 수 있다.
휘도값이 제3 기준 휘도값(Th) 보다 작은 저휘도 부분은 도 27에 도시된 바와 같이 선형적으로 매핑될 수 있다. 특히, 제3 기준 휘도값(Th)이 목표 평균 휘도값(Ave_target)과 동일하면 원본 영상(I1)의 저휘도 부분의 휘도값과 출력 영상(I1)의 저휘도 부분의 휘도값은 동일해진다.
구체적으로, 저휘도 부분은 [수학식 2]에 의하여 매핑될 수 있다.
[수학식 2]
Figure pat00001
(단, L1은 제3 매핑 함수에 입력되는 휘도값, L2는 제3 매핑 함수로부터 출력되는 휘도값, G1는 상수이다.)
[수학식 2]에서 G1의 값은 제3 기준 휘도값(Th)과 목표 평균 휘도값(Ave_target)에 따라 달라질 수 있다. 구체적으로, G1는 제3 기준값(Th)이 목표 평균 휘도값(Ave_target)으로 매핑되도록 정해진다.
특히, 제3 기준 휘도값(Th)과 목표 평균 휘도값(Ave_target)이 동일하면, G1의 값은 "1"이 된다.
휘도값이 제3 기준 휘도값(Th) 보다 큰 고휘도 부분은 도 27에 도시된 바와 같이 비선형적으로 매핑될 수 있다.
고휘도 부분을 매핑하기 위하여 [수학식 3]가 이용될 수 있다.
[수학식 3]
Figure pat00002
(단, L1은 제3 매핑 함수에 입력되는 휘도값, L2는 제3 매핑 함수로부터 출력되는 휘도값, a 및 n은 상수이다.)
[수학식 3]에서 n의 값은 사전에 정해질 수 있으며, a의 값은 컨텐츠(C) 전체에 포함된 원본 영상(I1)의 최대 휘도값(L1max) 및 최소 휘도값(L1min)에 따라 달라질 수 있다.
특히, 연산의 편의를 위하여 고휘도 부분은 [수학식 4]에 의하여 매핑될 수 있다.
[수학식 4]
Figure pat00003
(단, L1은 제3 매핑 함수에 입력되는 휘도값, Ave_target은 목표 평균 휘도값, L2는 제3 매핑 함수로부터 출력되는 휘도값, Th는 제3 기준 휘도값, a 및 n은 상수이다.)
[수학식 4]에서 n의 값은 사전에 정해질 수 있으며, a의 값은 컨텐츠(C) 전체에 포함된 원본 영상(I1)의 최대 휘도값(L1max) 및 최소 휘도값(L1min)에 따라 달라질 수 있다.
이처럼 제3 매핑 함수 생성 모듈(233)이 생성하는 제3 매핑 함수(MF3)는 원본 영상(I1)에 포함된 화소의 휘도값이 제3 기준 휘도값(Th)보다 작으면 [수학식 2]이 되고, 원본 영상(I1)에 포함된 화소의 휘도값이 제3 기준 휘도값(Th)보다 크거나 같으면 [수학식 4]이 된다.
톤 매핑 모듈(240)은 제3 매핑 함수(MF3)를 이용하여 원본 영상(I1)에 대하여 톤 매핑을 수행한다.
구체적으로, 원본 영상(I1)에 포함된 모든 화소의 휘도값을 제3 매핑 함수(MF3)에 입력하고, 제3 매핑 함수(MF3)로부터 출력된 휘도값을 기초로 제1 표시 영상(I2)을 생성한다. 이때, 휘도값이 제3 기준 휘도값(Th)보다 작은 화소는 [수학식 2]에 의하여 매핑되고, 휘도값이 제3 기준 휘도값(Th)보다 크거나 같은 화소는 [수학식 4]에 의하여 매핑될 수 있다.
세부 묘사 향상 모듈(250)은 사용자에게 더욱 선명한 영상을 제공하기 위하여 톤 매핑된 영상(I2)을 처리한다. 여기서, 세부 묘사 향상은 영상의 밝은 부분과 어두운 부분 사이의 차이를 극대화시키는 명암 대비 향상(contrast enhancement), 히스토그램을 조절하여 명암 분포가 빈약한 영상을 명암 분포가 균일하게 변화하는 히스토그램 평활화(histogram equalization), 영상을 세밀하게 변환하는 영상 첨예화(image sharpening), 영상을 부드럽게 변환하는 영상 평활화(image smoothing) 등 다양한 영상 처리 기법을 포함할 수 있다.
이하에서는 일 실시예에 의한 디스플레이 장치(100)의 동작에 대하여 설명한다.
도 28은 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 28을 참조하여, 디스플레이 장치(100)의 고 다이나믹 레인지 영상 표시 동작(1300)을 설명한다.
디스플레이 장치(100)는 외부로부터 영상을 수신한다(1310). 디스플레이 장치(100)는 컨텐츠 수신부(130)를 통하여 외부로부터 컨텐츠를 수신하고, 수신된 컨텐츠에 포함된 영상 데이터(ID)와 메타 데이터(MD)를 추출할 수 있다.
메타 데이터(MD)는 영상 데이터(ID)와 관련된 정보를 포함하는 데이터로써, 신 단위의 휘도 정보 또는 프레임 단위의 휘도 정보를 포함할 수 있다. 구체적으로, 메타 데이터(MD)는 컨텐츠(C) 전체의 최대 휘도값, 최소 휘도값 및 평균 휘도값, 각각의 신에 포함된 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값 또는 각각의 프레임을 구성하는 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값을 포함할 수 있다.
영상 데이터(ID)와 메타 데이터(MD)를 추출한 후, 디스플레이 장치(100)는 수신된 영상을 선형화한다(1320). 디스플레이 장치(100)는 원본 영상(I1)을 획득하기 위하여 영상 데이터를 선형화할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제2 비선형 매핑 함수(F2)를 이용하여 영상 데이터를 원본 영상(I1)으로 복원할 수 있다. 또한, 영상 처리부(200)는 복원된 원본 영상(I1)에 포함된 각각의 화소의 색상값을 기초로 원본 영상(I1)의 휘도 정보를 산출할 수 있다.
영상을 선형화한 후, 디스플레이 장치(100)는 제3 매핑 함수(MF3)를 생성한다(1330). 디스플레이 장치(100)는 메타 데이터(MD)를 기초로 제3 매핑 함수(MF3)를 생성할 수 있다. 구체적으로, 디스플레이 장치(100)는 컨텐츠(C) 전체의 최대 휘도값(L1max) 및 최소 휘도값(L1min)을 기초로 제3 매핑 함수(MF3)를 생성할 수 있다.
제3 매핑 함수(MF3)는 원본 영상(I1)에 포함된 화소의 휘도값이 제3 기준 휘도값보다 작으면 [수학식 2]이고, 원본 영상(I1)에 포함된 화소의 휘도값이 제3 기준 휘도값보다 크거나 같으면 [수학식 4]이 된다.
제3 매핑 함수(MF3)를 생성한 이후, 디스플레이 장치(100)는 원본 영상(I1)에 대한 톤 매핑을 수행한다(1340).
구체적으로, 디스플레이 장치(100)는 원본 영상(I1)에 포함된 모든 화소의 휘도값을 제3 매핑 함수(MF3)에 입력하고, 제3 매핑 함수(MF3)로부터 출력된 휘도값을 기초로 제1 표시 영상(I2)을 생성한다. 이때, 휘도값이 제3 기준 휘도값보다 작으면 원본 영상(I1)에 포함된 화소는 [수학식 2]에 의하여 매핑되고, 휘도값이 제3 기준 휘도값보다 크거나 같으면 원본 영상(I1)에 포함된 화소는 [수학식 4]에 의하여 매핑될 수 있다.
톤 매핑을 수행한 후, 디스플레이 장치(100)는 제1 표시 영상(I2)에 대한 세부 묘사 향상을 수행한다(1350). 디스플레이 장치(100)는 제1 표시 영상(I1)을 더욱 선명하게 하기 위하여 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 영상 처리를 수행할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 세부 묘사 향상을 수행함으로써 제2 표시 영상(I3)을 생성할 수 있다.
세부 묘사 향상을 수행한 후, 디스플레이 장치(100)는 영상을 표시한다(1360). 디스플레이 장치(100)는 표시부(140)를 통하여 제2 표시 영상(I3)을 표시할 수 있다.
이처럼, 디스플레이 장치(100)는 원본 영상(I1)의 저휘도 영역을 선형적으로 톤매핑하고, 고휘도 영역을 비선형적으로 톤매핑할 수 있다.
도 29은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 다른 일 예를 도시하고, 도 30 및 도 31은 도 29에 도시된 영상 처리부가 생성하는 제4 매핑 함수를 도시한다.
도 29, 도 30 및 도 31을 참조하면, 영상 처리부(200'''')는 영상 데이터(ID)와 메타 데이터(MD)를 수신하는 영상 수신 모듈(205), 영상 데이터를 선형화하는 선형화 모듈(210), 고 다이나믹 레인지 영상에 대한 톤 매핑 함수를 생성하는 제4 매핑 함수 생성 모듈(234), 톤 매핑을 수행하는 톤 매핑 모듈(tone mapping module)(240), 톤 매핑이 수행된 영상에 대하여 후처리 동작을 수행하는 세부 묘사 향상 모듈(detail enhancement module)(250)을 포함할 수 있다.
영상 수신 모듈(205)은 컨텐츠 수신부(130)가 수신한 컨텐츠(C)로부터 영상 데이터(ID)와 메타 데이터(MD)를 추출한다. 여기서, 컨텐츠(C)는 원본 영상을 나타내는 영상 데이터(ID) 뿐만 아니라, 영상 데이터(ID)와 관련된 메타 데이터(MD)를 포함한다. 메타 데이터(MD)는 영상 데이터(ID)의 휘도 정보를 포함할 수 있다. 예를 들어, 컨텐츠(C)가 동영상인 경우, 메타 데이터(MD)는 컨텐츠(C) 전체의 휘도 정보, 컨텐츠(C)에 포함된 각각의 신(Scene)의 휘도 정보 및 컨텐츠(C)에 포함된 각각의 프레임(frame)의 휘도 정보 가운데 적어도 하나를 포함할 수 있다.
선형화 모듈(210)은 영상 수신 모듈(205)로부터 수신한 영상 데이터(D)를 선형화하고, 선형화된 영상의 휘도를 분석할 수 있다. 구체적으로, 컨텐츠(C)의 메타 데이터(MD)에 최대 휘도값(L1max), 최소 휘도값(L1min)이 포함되어 있지 않으면, 선형화 모듈(210)은 선형화된 원본 영상으로부터 최대 휘도값(L1max), 최소 휘도값(L1min)을 직접 산출할 수 있다.
제4 매핑 함수 생성 모듈(234)은 영상 수신 모듈(205)로부터 메타 데이터(MD)를 수신하고, 수신된 메타 데이터(MD)를 기초로 제4 매핑 함수(MF4)를 생성한다. 여기서, 메타 데이터(MD)는 컨텐츠(C)에 포함된 각각의 신(scene)의 휘도 정보 즉, 각각의 신(scene)의 최대 휘도값(L1max) 및 최소 휘도값(L1min)을 포함할 수 있다.
또한, 제4 매핑 함수(MF4)는 각각의 신(scene)의 최대 휘도값(L1max) 및 최소 휘도값(L1min) 사이에서 정의될 수 있다. 다시 말해, 제4 매핑 함수(MF4)에 입력되는 최대값은 해당 신(scene)의 최대 휘도값(L1max)이고, 제4 매핑 함수(MF4)에 입력되는 최소값은 해당 신(scene)의 최소 휘도값(L1min)이다.
이처럼, 신(scene)의 휘도 정보를 기초로 생성된 제3 매핑 함수(MF3)는 해당 신(scene)에 포함된 원본 영상(I1)을 톤 매핑할 수 있다. 다시 말해, 프레임(frame)이 변경되더라도 신(scene)이 변경되지 않으면, 제4 매핑 함수(MF4)는 변경되지 않는다. 그러나, 컨텐츠(C)가 변경되지 않더라도 신(scene)이 변경되면 제4 매핑 함수(MF4)는 변경된다.
제4 매핑 함수(MF4)는 신(scene) 전체의 평균적인 휘도값을 나타내는 신 평균 휘도값(Ave_scene)에 따라 변화할 수 있다. 또한, 원본 영상(I1)은 저휘도 부분과 고휘도 부분으로 구분될 수 있으며, 저휘도 부분과 고휘도 부분은 제4 매핑 함수(MF4)에 의하여 서로 다르게 매핑될 수 있다. 다시 말해, 저휘도 부분을 매핑하는 매핑 함수와 고휘도 부분을 매핑하는 매핑 함수는 서로 상이할 수 있다.
우선, 신 평균 휘도값(Ave_scene)이 제4 기준 휘도값(Th) 보다 작은 경우의 제4 매핑 함수(MF4)에 대하여 설명한다.
제4 매핑 함수(MF4)는 원본 영상(I1)의 저휘도 부분에 대한 매핑 함수(MF4-1)와 원본 영상(I1)의 고휘도 부분에 대한 매핑 함수(MF4-2)를 포함할 수 있다.
이때, 원본 영상(I1)의 저휘도 부분과 고휘도 부분은 제4 기준 휘도값(Th)을 기준으로 나뉠 수 있다. 또한, 원본 영상(I1)의 제4 기준 휘도값(Th)은 출력 영상(I2)의 목표 평균 휘도값(Ave_target)에 대응될 수 있다. 다시 말해, 제4 기준 휘도값(Th)은 목표 평균 휘도값(Ave_target)으로 매핑된다. 평균 휘도값은 디스플레이 패널(143)에 포함된 모든 화소가 출력하는 휘도값의 평균을 의미하며, 목표 평균 휘도값(Ave_target)은 평균 휘도값의 목표치이다. 이와 같은 목표 평균 휘도값(Ave_target)은 디스플레이 패널(143)의 종류 및 성능에 따라 사전에 정의될 수 있다. 특히, 원본 영상(I1)의 제4 기준 휘도값(Th)은 출력 영상(I2)의 미리 정해진 목표 평균 휘도값(Ave_target)과 동일할 수도 있다.
휘도값이 제4 기준 휘도값(Th) 보다 작은 저휘도 부분은 도 30에 도시된 바와 같이 선형적으로 매핑될 수 있다. 특히, 제4 기준 휘도값(Th)이 목표 평균 휘도값(Ave_target)과 동일하면 원본 영상(I1)의 저휘도 부분의 휘도값과 출력 영상(I1)의 저휘도 부분의 휘도값은 동일해진다.
구체적으로, 저휘도 부분은 [수학식 2]에 의하여 매핑될 수 있다.
[수학식 2]
Figure pat00004
(단, L1은 제4 매핑 함수에 입력되는 휘도값, L2는 제4 매핑 함수로부터 출력되는 휘도값, G1는 상수이다.)
[수학식 2]에서 G1의 값은 제4 기준 휘도값(Th)과 목표 평균 휘도값(Ave_target)에 따라 달라질 수 있다. 구체적으로, G1는 제4 기준값(Th)이 목표 평균 휘도값(Ave_target)으로 매핑되도록 정해진다.
특히, 제4 기준 휘도값(Th)과 목표 평균 휘도값(Ave_target)이 동일하면, G1의 값은 "1"이 된다.
휘도값이 제4 기준 휘도값(Th) 보다 크거나 같은 고휘도 부분은 도 30에 도시된 바와 같이 비선형적으로 매핑될 수 있다.
고휘도 부분은 [수학식 4]에 의하여 매핑될 수 있다.
[수학식 4]
Figure pat00005
(단, L1은 제4 매핑 함수에 입력되는 휘도값, Ave_target은 목표 평균 휘도값, L2는 제4 매핑 함수로부터 출력되는 휘도값, Th는 제4 기준 휘도값, a 및 n은 상수이다.)
[수학식 4]에서 n의 값은 사전에 정해질 수 있으며, a의 값은 컨텐츠(C) 전체에 포함된 원본 영상(I1)의 최대 휘도값(L1max) 및 최소 휘도값(L1min)에 따라 달라질 수 있다.
이처럼 신 평균 휘도값(Ave_scene)가 제4 기준 휘도값(Th)보다 작은 경우, 제4 매핑 함수 생성 모듈(234)이 생성하는 제4 매핑 함수(MF4)는 원본 영상(I1)에 포함된 화소의 휘도값이 제4 기준 휘도값(Th)보다 작으면 [수학식 2]이 되고, 원본 영상(I1)에 포함된 화소의 휘도값이 제4 기준 휘도값(Th)보다 크거나 같으면 [수학식 4]이 된다.
다음으로, 신 평균 휘도값(Ave_scene)이 제4 기준 휘도값(Th) 보다 크거나 같은 경우의 제4 매핑 함수(MF4)에 대하여 설명한다.
제4 매핑 함수(MF4)는 원본 영상(I1)의 저휘도 부분에 대한 매핑 함수(MF4-1)와 원본 영상(I1)의 고휘도 부분에 대한 매핑 함수(MF4-2)를 포함할 수 있다.
이때, 원본 영상(I1)의 저휘도 부분과 고휘도 부분은 신 평균 휘도값(Ave_scene)을 기준으로 나뉠 수 있다. 또한, 원본 영상(I1)의 신 평균 휘도값(Ave_scene)은 출력 영상(I2)의 목표 평균 휘도값(Ave_target)에 대응될 수 있다. 다시 말해, 신 평균 휘도값(Ave_scene)은 목표 평균 휘도값(Ave_target)으로 매핑된다. 평균 휘도값은 디스플레이 패널(143)에 포함된 모든 화소가 출력하는 휘도값의 평균을 의미하며, 목표 평균 휘도값(Ave_target)은 평균 휘도값의 목표치이다. 이와 같은 목표 평균 휘도값(Ave_target)은 디스플레이 패널(143)의 종류 및 성능에 따라 사전에 정의될 수 있다.
휘도값이 신 평균 휘도값(Ave_scene) 보다 작은 저휘도 부분은 도 31에 도시된 바와 같이 선형적으로 매핑될 수 있다.
구체적으로, 저휘도 부분은 [수학식 5]에 의하여 매핑될 수 있다.
[수학식 5]
Figure pat00006
(단, L1은 제4 매핑 함수에 입력되는 휘도값, L2는 제4 매핑 함수로부터 출력되는 휘도값, G2는 상수이다.)
[수학식 2]에서 G2의 값은 신 평균 휘도값(Ave_scene)과 목표 평균 휘도값(Ave_target)에 따라 달라질 수 있다. 구체적으로, G2는 신 평균 휘도값(Ave_scene)이 목표 평균 휘도값(Ave_target)으로 매핑되도록 정해진다.
특히, 신(scene)이 변경되면 신 평균 휘도값(Ave_scene)이 변화하므로, G2는 신(scene)이 변경될 때마다 달라질 수 있다.
휘도값이 신 평균 휘도값(Ave_scene) 보다 크거나 같은 고휘도 부분은 도 31에 도시된 바와 같이 비선형적으로 매핑될 수 있다.
고휘도 부분은 [수학식 6]에 의하여 매핑될 수 있다.
[수학식 6]
Figure pat00007
(단, L1은 제4 매핑 함수에 입력되는 휘도값, Ave_target은 목표 평균 휘도값, L2는 제4 매핑 함수로부터 출력되는 휘도값, Ave_scene은 신 평균 휘도값, a 및 n은 상수이다.)
[수학식 4]에서 n의 값은 사전에 정해질 수 있으며, a의 값은 각각의 신(scene)에 포함된 원본 영상(I1)의 최대 휘도값(L1max) 및 최소 휘도값(L1min)에 따라 달라질 수 있다.
이처럼 신 평균 휘도값(Ave_scene)가 제4 기준 휘도값(Th)보다 크거나 같은 경우, 제4 매핑 함수 생성 모듈(234)이 생성하는 제4 매핑 함수(MF4)는 원본 영상(I1)에 포함된 화소의 휘도값이 신 평균 휘도값(Ave_scene)보다 작으면 [수학식 5]가 되고, 원본 영상(I1)에 포함된 화소의 휘도값이 신 평균 휘도값(Ave_scene)보다 크거나 같으면 [수학식 6]이 된다.
톤 매핑 모듈(240)은 제4 매핑 함수(MF4)를 이용하여 원본 영상(I1)에 대하여 톤 매핑을 수행한다.
구체적으로, 톤 매핑 모듈(240)은 원본 영상(I1)에 포함된 모든 화소의 휘도값을 제4 매핑 함수(MF4)에 입력하고, 제4 매핑 함수(MF4)로부터 출력된 휘도값을 기초로 제1 표시 영상(I2)을 생성한다.
이때, 신 평균 휘도값(Ave_scene)이 제4 기준 휘도값(Th) 보다 작은 경우, 휘도값이 제3 기준 휘도값(Th)보다 작은 화소는 [수학식 2]에 의하여 매핑되고, 휘도값이 제3 기준 휘도값(Th)보다 크거나 같은 화소는 [수학식 4]에 의하여 매핑될 수 있다.
또한, 신 평균 휘도값(Ave_scene)이 제4 기준 휘도값(Th) 보다 크거나 같은 경우, 휘도값이 신 평균 휘도값(Ave_scene)보다 작은 화소는 [수학식 5]에 의하여 매핑되고, 휘도값이 신 평균 휘도값(Ave_scene)보다 크거나 같은 화소는 [수학식 6]에 의하여 매핑될 수 있다.
세부 묘사 향상 모듈(250)은 사용자에게 더욱 선명한 영상을 제공하기 위하여 톤 매핑된 영상(I2)을 처리한다. 여기서, 세부 묘사 향상은 영상의 밝은 부분과 어두운 부분 사이의 차이를 극대화시키는 명암 대비 향상(contrast enhancement), 히스토그램을 조절하여 명암 분포가 빈약한 영상을 명암 분포가 균일하게 변화하는 히스토그램 평활화(histogram equalization), 영상을 세밀하게 변환하는 영상 첨예화(image sharpening), 영상을 부드럽게 변환하는 영상 평활화(image smoothing) 등 다양한 영상 처리 기법을 포함할 수 있다.
이하에서는 일 실시예에 의한 디스플레이 장치(100)의 동작에 대하여 설명한다.
도 32는 일 실시예에 의한 디스플레이 장치의 고 다이나믹 레인지 영상 표시 동작의 다른 일 예를 도시한다.
도 32를 참조하여, 디스플레이 장치(100)의 고 다이나믹 레인지 영상 표시 동작(1400)을 설명한다.
디스플레이 장치(100)는 외부로부터 영상을 수신한다(1210). 디스플레이 장치(100)는 컨텐츠 수신부(130)를 통하여 외부로부터 컨텐츠를 수신하고, 수신된 컨텐츠에 포함된 영상 데이터(ID)와 메타 데이터(MD)를 추출할 수 있다.
메타 데이터(MD)는 영상 데이터(ID)와 관련된 정보를 포함하는 데이터로써, 신 단위의 휘도 정보 또는 프레임 단위의 휘도 정보를 포함할 수 있다. 구체적으로, 메타 데이터(MD)는 컨텐츠(C) 전체의 최대 휘도값, 최소 휘도값 및 평균 휘도값, 각각의 신에 포함된 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값 또는 각각의 프레임을 구성하는 영상의 최대 휘도값, 최소 휘도값 및 평균 휘도값을 포함할 수 있다.
영상 데이터(ID)와 메타 데이터(MD)를 추출한 후, 디스플레이 장치(100)는 수신된 영상을 선형화한다(1420). 디스플레이 장치(100)는 원본 영상(I1)을 획득하기 위하여 영상 데이터를 선형화할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제2 비선형 매핑 함수(F2)를 이용하여 영상 데이터를 원본 영상(I1)으로 복원할 수 있다. 또한, 영상 처리부(200)는 복원된 원본 영상(I1)에 포함된 각각의 화소의 색상값을 기초로 원본 영상(I1)의 휘도 정보를 산출할 수 있다.
영상을 선형화한 후, 디스플레이 장치(100)는 제4 매핑 함수(MF4)를 생성한다(1330). 디스플레이 장치(100)는 메타 데이터(MD)를 기초로 제3 매핑 함수(MF3)를 생성할 수 있다. 구체적으로, 디스플레이 장치(100)는 각각의 신(scene)의 최대 휘도값(L1max), 최소 휘도값(L1min) 및 신 평균 휘도값(Ave_scene)을 기초로 제4 매핑 함수(MF4)를 생성할 수 있다.
구체적으로, 신 평균 휘도값(Ave_scene)가 제4 기준 휘도값(Th)보다 작은 경우, 제4 매핑 함수(MF4)는 원본 영상(I1)에 포함된 화소의 휘도값이 제4 기준 휘도값(Th)보다 작으면 [수학식 2]이 되고, 원본 영상(I1)에 포함된 화소의 휘도값이 제4 기준 휘도값(Th)보다 크거나 같으면 [수학식 4]이 된다.
신 평균 휘도값(Ave_scene)가 제4 기준 휘도값(Th)보다 크거나 같은 경우, 제4 매핑 함수(MF4)는 원본 영상(I1)에 포함된 화소의 휘도값이 신 평균 휘도값(Ave_scene)보다 작으면 [수학식 5]가 되고, 원본 영상(I1)에 포함된 화소의 휘도값이 신 평균 휘도값(Ave_scene)보다 크거나 같으면 [수학식 6]이 된다.
제4 매핑 함수(MF4)를 생성한 이후, 디스플레이 장치(100)는 원본 영상(I1)에 대한 톤 매핑을 수행한다(1440).
구체적으로, 디스플레이 장치(100)는 원본 영상(I1)에 포함된 모든 화소의 휘도값을 제4 매핑 함수(MF4)에 입력하고, 제4 매핑 함수(MF4)로부터 출력된 휘도값을 기초로 제1 표시 영상(I2)을 생성한다.
이때, 신 평균 휘도값(Ave_scene)이 제4 기준 휘도값(Th) 보다 작은 경우, 휘도값이 제3 기준 휘도값(Th)보다 작은 화소는 [수학식 2]에 의하여 매핑되고, 휘도값이 제3 기준 휘도값(Th)보다 크거나 같은 화소는 [수학식 4]에 의하여 매핑될 수 있다.
또한, 신 평균 휘도값(Ave_scene)이 제4 기준 휘도값(Th) 보다 크거나 같은 경우, 휘도값이 신 평균 휘도값(Ave_scene)보다 작은 화소는 [수학식 5]에 의하여 매핑되고, 휘도값이 신 평균 휘도값(Ave_scene)보다 크거나 같은 화소는 [수학식 6]에 의하여 매핑될 수 있다.
톤 매핑을 수행한 후, 디스플레이 장치(100)는 제1 표시 영상(I2)에 대한 세부 묘사 향상을 수행한다(1450). 디스플레이 장치(100)는 제1 표시 영상(I1)을 더욱 선명하게 하기 위하여 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 영상 처리를 수행할 수 있다.
구체적으로, 디스플레이 장치(100)의 영상 처리부(200)는 제1 표시 영상(I1)에 대하여 명암 대비 향상 등의 세부 묘사 향상을 수행함으로써 제2 표시 영상(I3)을 생성할 수 있다.
세부 묘사 향상을 수행한 후, 디스플레이 장치(100)는 영상을 표시한다(1460). 디스플레이 장치(100)는 표시부(140)를 통하여 제2 표시 영상(I3)을 표시할 수 있다.
이처럼, 디스플레이 장치(100)는 원본 영상(I1)의 저휘도 영역을 선형적으로 톤매핑하고, 고휘도 영역을 비선형적으로 톤매핑할 수 있다.
이상에서는 개시된 발명의 일 실시예에 대하여 도시하고 설명하였지만, 개시된 발명은 상술한 특정의 실시예에 한정되지 아니하며 청구범위에서 청구하는 요지를 벗어남 없이 개시된 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변형실시가 가능함을 물론이고 이러한 변형실시들은 개시된 발명으로부터 개별적으로 이해될 수 없다.
100: 디스플레이 장치 110: 메인 제어부
120: 입력부 130: 컨텐츠 수신부
140: 표시부 150: 음향 출력부
200, 200', 200'': 영상 처리부 210: 선형화 모듈
220: 영역 구획 모듈 231: 제1 매핑 함수 생성 모듈
232: 제2 매핑 함수 생성 모듈 240: 톤 매핑 모듈
241: 제1 톤 매핑 모듈 242: 제2 톤 매핑 모듈
250: 세부 묘사 향상 모듈 260: 영상 합성 모듈

Claims (23)

  1. 고 다이나믹 레인지 영상과 상기 고 다이나믹 레인지 영상의 휘도 정보를 수신하는 컨텐츠 수신부;
    상기 휘도 정보를 기초로 상기 고 다이나믹 레인지 영상을 저 다이나믹 레인지 영상으로 톤 매핑을 수행하는 영상 처리부;
    상기 저 다이나믹 영상을 표시하는 표시부를 포함하고,
    상기 휘도 정보는 상기 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치.
  2. 제1 항에 있어서,
    상기 휘도 정보는 신(scene)에 포함되는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치.
  3. 제1 항에 있어서,
    상기 휘도 정보는 프레임(frame)을 구성하는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치.
  4. 제1 항에 있어서,
    상기 상기 휘도 정보는 컨텐츠 전체에 포함된 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 영상 처리부는 상기 고 다이나믹 레인지 영상 가운데 휘도값이 기준 휘도값 이상인 제1 영역을 검출하고, 상기 제1 영역의 영상의 특징 정보를 기초로 상기 제1 영역의 영상에 대하여 톤 매핑을 수행하고,
    상기 특징 정보는 상기 고 다이나믹 레인지 영상의 엣지 정보, 텍스처 정보 및 그라데이션 정보 가운데 적어도 하나를 포함하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 영상 처리부는 상기 제1 영역의 영상 가운데 엣지 영역을 검출하고, 상기 엣지 영역에 포함된 화소의 히스토그램을 기초로 제1 매핑 함수를 생성하는 디스플레이 장치.
  7. 제6항에 있어서,
    상기 제1 매핑 함수는 상기 엣지 영역에 포함된 화소의 개수에 따라 기울기가 변화하는 것인 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제1 매핑 함수는 상기 엣지 영역에 포함된 화소의 개수가 많은 휘도값의 기울기가 상기 엣지 영역에 포함된 화소의 개수가 적은 휘도값의 기울기보다 큰 것인 디스플레이 장치.
  9. 제6항에 있어서,
    상기 제1 매핑 함수는 상기 엣지 영역에 포함된 화소의 히스토그램을 적분한 누적 히스토그램인 것인 디스플레이 장치.
  10. 제5항에 있어서,
    상기 영상 처리부는 상기 제1 영역의 영상 가운데 텍스처 영역을 검출하고, 상기 텍스처 영역에 포함된 화소의 히스토그램을 기초로 제1 매핑 함수를 생성하는 디스플레이 장치.
  11. 제5항에 있어서,
    상기 영상 처리부는 상기 제1 영역의 영상 가운데 그라데이션 영역을 검출하고, 상기 그라데이션 영역에 포함된 화소의 히스토그램을 기초로 제1 매핑 함수를 생성하는 디스플레이 장치.
  12. 제5항에 있어서,
    상기 영상 처리부는 상기 고 다이나믹 레인지 영상의 휘도값을 기초로 제2 매핑 함수를 생성하는 디스플레이 장치.
  13. 제12항에 있어서,
    상기 영상 처리부는 상기 고 다이나믹 레인지 영상에 대하여 제2 매핑 함수에 따른 제2 톤 매핑을 수행하고, 상기 제2 톤 매핑이 수행된 영상에 대하여 제1 매핑 함수에 따른 제1 톤 매핑을 수행하는 디스플레이 장치.
  14. 제6항에 있어서,
    상기 영상 처리부는 상기 고 다이나믹 레인지 영상 가운데 휘도값이 기준 휘도값 미만인 제2 영역의 휘도값을 기초로 제2 매핑 함수를 생성하는 디스플레이 장치.
  15. 제14항에 있어서,
    상기 영상 처리부는 상기 제1 매핑 함수와 상기 제2 매핑 함수를 기초로 톤 매핑 함수를 생성하고, 상기 톤 매핑 함수에 따라 상기 고 다이나믹 레인지 영상을 상기 저 다이나믹 레인지 영상으로 변환하는 디스플레이 장치.
  16. 제1항에 있어서,
    상기 영상 처리부는 상기 고 다이나믹 레인지 영상에 포함된 복수의 화소 가운데 휘도값이 기준 휘도값보다 작은 제1 화소는 선형적으로 톤 매핑하고, 상기 복수의 화소 가운데 휘도값이 기준 휘도값보다 크거나 같은 제2 화소는 비선형적으로 톤 매핑하는 디스플레이 장치.
  17. 제1항에 있어서,
    상기 영상 처리부는 신(scene)에 포함된 고 다이나믹 레인지 영상의 신 평균 휘도값이 기준 휘도값보다 작으면, 상기 고 다이나믹 레인지 영상에 포함된 복수의 화소 가운데 휘도값이 기준 휘도값보다 작은 제1 화소는 선형적으로 톤 매핑하고, 상기 복수의 화소 가운데 휘도값이 기준 휘도값보다 크거나 같은 제2 화소는 비선형적으로 톤 매핑하는 디스플레이 장치.
  18. 제1항에 있어서,
    상기 영상 처리부는 신(scene)에 포함된 고 다이나믹 레인지 영상의 신 평균 휘도값이 기준 휘도값보다 크거나 같으면, 상기 고 다이나믹 레인지 영상에 포함된 복수의 화소 가운데 휘도값이 상기 신 평균 휘도값보다 작은 제1 화소는 선형적으로 톤 매핑하고, 상기 복수의 화소 가운데 휘도값이 신 평균 휘도값보다 크거나 같은 제2 화소는 비선형적으로 톤 매핑하는 디스플레이 장치.
  19. 고 다이나믹 레인지 영상과 상기 고 다이나믹 레인지 영상의 휘도 정보를 수신하고;
    상기 휘도 정보를 기초로 상기 고 다이나믹 레인지 영상을 저 다이나믹 레인지 영상으로 톤 매핑을 수행하고;
    상기 저 다이나믹 영상을 표시하는 것을 포함하되,
    상기 휘도 정보는 상기 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치의 제어 방법.
  20. 제19 항에 있어서,
    상기 휘도 정보는 신(scene)에 포함되는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치의 제어 방법.
  21. 제19 항에 있어서,
    상기 휘도 정보는 프레임(frame)을 구성하는 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치의 제어 방법.
  22. 제19 항에 있어서,
    상기 상기 휘도 정보는 컨텐츠 전체에 포함된 고 다이나믹 레인지 영상의 최대 휘도값 및 최소 휘도값을 포함하는 디스플레이 장치의 제어 방법.
  23. 제19 항에 있어서,
    상기 톤 매핑을 수행하는 것은,
    상기 고 다이나믹 레인지 영상 가운데 휘도값이 기준 휘도값 이상인 제1 영역을 검출하고;
    상기 제1 영역의 영상의 특징 정보를 기초로 톤 매핑 함수를 생성하고;
    상기 고 다이나믹 레인지 영상을 저 다이나믹 영상으로 변환하기 위하여 상기 톤 매핑 함수에 따라 상기 고 다이나믹 레인지 영상에 대하여 톤 매핑을 수행하는 것을 포함하고,
    상기 특징 정보는 상기 고 다이나믹 레인지 영상의 엣지 정보, 텍스처 정보 및 그라데이션 정보 가운데 적어도 하나를 포함하는 디스플레이 장치의 제어 방법.
KR1020150024271A 2014-10-06 2015-02-17 디스플레이 장치 및 그 제어 방법 KR102308507B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201580054198.4A CN106796775B (zh) 2014-10-06 2015-10-01 显示设备及控制该显示设备的方法
PCT/KR2015/010387 WO2016056787A1 (en) 2014-10-06 2015-10-01 Display device and method of controlling the same
CN201911350815.1A CN110992914B (zh) 2014-10-06 2015-10-01 显示设备及控制该显示设备的方法
EP15188265.1A EP3007446B1 (en) 2014-10-06 2015-10-02 Display device and method of controlling the same
US14/875,869 US10089936B2 (en) 2014-10-06 2015-10-06 Display device and method of controlling the same
US16/144,111 US10679569B2 (en) 2014-10-06 2018-09-27 Display device and method of controlling the same
US16/863,348 US11721294B2 (en) 2014-10-06 2020-04-30 Display device and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140134135 2014-10-06
KR20140134135 2014-10-06

Publications (2)

Publication Number Publication Date
KR20160040981A true KR20160040981A (ko) 2016-04-15
KR102308507B1 KR102308507B1 (ko) 2021-10-06

Family

ID=55801793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150024271A KR102308507B1 (ko) 2014-10-06 2015-02-17 디스플레이 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR102308507B1 (ko)
CN (1) CN106796775B (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180031154A (ko) * 2016-09-19 2018-03-28 삼성전자주식회사 디스플레이 장치 및 이의 영상 처리 방법
WO2018085447A1 (en) * 2016-11-04 2018-05-11 Flir Systems, Inc. Dynamic range compression for thermal video
KR20190008070A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그 제어 방법
KR20190058753A (ko) * 2017-11-21 2019-05-30 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
KR20190107217A (ko) * 2018-03-06 2019-09-19 삼성디스플레이 주식회사 이미지-적응 톤 맵핑 방법 및 이를 채용한 표시 장치
US10735688B2 (en) 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
WO2020171565A1 (en) * 2019-02-19 2020-08-27 Samsung Electronics Co., Ltd. Electronic device for processing image and image processing method thereof
KR20200113643A (ko) * 2019-03-26 2020-10-07 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
KR102375369B1 (ko) * 2020-11-26 2022-03-18 엘지전자 주식회사 톤 매핑 장치 및 그 방법
US11676547B2 (en) 2017-07-07 2023-06-13 Semiconductor Energy Laboratory Co., Ltd. Display system and operation method of the display system
US11849232B2 (en) 2020-11-03 2023-12-19 Samsung Electronics Co., Ltd. Integrated image sensor with internal feedback and operation method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109180B (zh) * 2017-12-12 2020-10-02 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108024104B (zh) * 2017-12-12 2020-02-28 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108090879B (zh) * 2017-12-12 2020-11-10 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
KR102465313B1 (ko) * 2018-03-08 2022-11-09 삼성디스플레이 주식회사 이미지-적응 톤 맵핑 방법 및 이를 채용한 표시 장치
CN108769804B (zh) * 2018-04-25 2020-12-15 杭州当虹科技股份有限公司 一种高动态范围视频的格式转换方法
CN110225253A (zh) * 2019-06-12 2019-09-10 杨勇 一种高动态范围图像处理方法及***
CN111754946B (zh) * 2020-07-03 2022-05-06 深圳Tcl新技术有限公司 画质优化方法、显示装置及计算机可读存储介质
CN114051126B (zh) * 2021-12-06 2023-12-19 北京达佳互联信息技术有限公司 视频处理方法和视频处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040048790A (ko) * 2002-12-03 2004-06-10 삼성전자주식회사 휘도 보정장치
KR20100081886A (ko) * 2009-01-07 2010-07-15 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템
KR20110088050A (ko) * 2010-01-28 2011-08-03 엘지전자 주식회사 영상표시기기의 화질 개선 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117799A1 (en) * 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US8207931B2 (en) * 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
US8391598B2 (en) * 2011-01-05 2013-03-05 Aptina Imaging Corporation Methods for performing local tone mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040048790A (ko) * 2002-12-03 2004-06-10 삼성전자주식회사 휘도 보정장치
KR20100081886A (ko) * 2009-01-07 2010-07-15 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템
KR20110088050A (ko) * 2010-01-28 2011-08-03 엘지전자 주식회사 영상표시기기의 화질 개선 장치 및 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180031154A (ko) * 2016-09-19 2018-03-28 삼성전자주식회사 디스플레이 장치 및 이의 영상 처리 방법
WO2018085447A1 (en) * 2016-11-04 2018-05-11 Flir Systems, Inc. Dynamic range compression for thermal video
CN109923580A (zh) * 2016-11-04 2019-06-21 菲力尔***公司 用于热视频的动态范围压缩
CN109923580B (zh) * 2016-11-04 2023-12-15 特利丹菲力尔有限责任公司 用于热视频的动态范围压缩
US11010878B2 (en) 2016-11-04 2021-05-18 Flir Systems, Inc. Dynamic range compression for thermal video
US11676547B2 (en) 2017-07-07 2023-06-13 Semiconductor Energy Laboratory Co., Ltd. Display system and operation method of the display system
KR20190008070A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그 제어 방법
US10735688B2 (en) 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
KR20190058753A (ko) * 2017-11-21 2019-05-30 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
KR20190107217A (ko) * 2018-03-06 2019-09-19 삼성디스플레이 주식회사 이미지-적응 톤 맵핑 방법 및 이를 채용한 표시 장치
US11922607B2 (en) 2019-02-19 2024-03-05 Samsung Electronics Co., Ltd. Electronic device for processing image and image processing method thereof
WO2020171565A1 (en) * 2019-02-19 2020-08-27 Samsung Electronics Co., Ltd. Electronic device for processing image and image processing method thereof
US11107201B2 (en) 2019-02-19 2021-08-31 Samsung Electronics Co., Ltd. Electronic device for processing image and image processing method thereof
KR20200113643A (ko) * 2019-03-26 2020-10-07 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
US11716453B2 (en) 2019-03-26 2023-08-01 Lg Electronics Inc. Signal processing device and image display apparatus including the same
CN111757078A (zh) * 2019-03-26 2020-10-09 Lg 电子株式会社 信号处理设备和包括信号处理设备的图像显示装置
US11849232B2 (en) 2020-11-03 2023-12-19 Samsung Electronics Co., Ltd. Integrated image sensor with internal feedback and operation method thereof
US11455708B2 (en) 2020-11-26 2022-09-27 Lg Electronics Inc. Display apparatus and operating method thereof
KR102375369B1 (ko) * 2020-11-26 2022-03-18 엘지전자 주식회사 톤 매핑 장치 및 그 방법

Also Published As

Publication number Publication date
CN106796775B (zh) 2020-01-17
CN106796775A (zh) 2017-05-31
KR102308507B1 (ko) 2021-10-06

Similar Documents

Publication Publication Date Title
CN110992914B (zh) 显示设备及控制该显示设备的方法
KR20160040981A (ko) 디스플레이 장치 및 그 제어 방법
JP7422833B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
CN108370428B (zh) 显示装置和显示装置的控制方法以及电视接收机
US11669941B2 (en) Signal processing device and image display apparatus including the same
EP3745390A1 (en) Transitioning between video priority and graphics priority
US10832636B2 (en) Image processing apparatus, image processing method, and program
US10542242B2 (en) Display device and method for controlling same
US11089423B2 (en) Signal processing device and image display apparatus including the same
US20190082138A1 (en) Inverse tone-mapping to a virtual display
US11900005B2 (en) Video wall
JP6739257B2 (ja) 画像処理装置とその制御方法及びプログラム
JP2013114192A (ja) 画像処理装置、制御プログラム、及び画像処理装置の制御方法
KR102519288B1 (ko) 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법
US20200389649A1 (en) Transmission of a reverse video feed
CN116466899A (zh) 图像处理方法及电子设备
CN118020285A (zh) 显示装置及其操作方法
KR20190109198A (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant