KR101313637B1 - 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법 - Google Patents

콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR101313637B1
KR101313637B1 KR1020060051984A KR20060051984A KR101313637B1 KR 101313637 B1 KR101313637 B1 KR 101313637B1 KR 1020060051984 A KR1020060051984 A KR 1020060051984A KR 20060051984 A KR20060051984 A KR 20060051984A KR 101313637 B1 KR101313637 B1 KR 101313637B1
Authority
KR
South Korea
Prior art keywords
image
images
intensity mapping
input image
contrast enhancement
Prior art date
Application number
KR1020060051984A
Other languages
English (en)
Other versions
KR20070117840A (ko
Inventor
김성희
양승준
박래홍
임보라
Original Assignee
서강대학교산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단, 삼성전자주식회사 filed Critical 서강대학교산학협력단
Priority to KR1020060051984A priority Critical patent/KR101313637B1/ko
Priority to US11/760,852 priority patent/US8131109B2/en
Priority to CNA2007101464304A priority patent/CN101098411A/zh
Publication of KR20070117840A publication Critical patent/KR20070117840A/ko
Application granted granted Critical
Publication of KR101313637B1 publication Critical patent/KR101313637B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 콘트라스트를 개선하기 위한 영상 처리 방법 및 장치에 관한 것이다. 본 발명에 따른 영상 처리 장치는 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별하는 판별부; 콘트라스트 개선 처리를 수행하는 것으로 판별되면 입력 영상을 인텐서티 매핑을 이용하여, 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 인텐서티 매핑 수행부; 및 생성된 다수개의 영상을 합성하는 영상 합성부를 포함한다. 본 발명에 따르면, 종래의 콘트라스트 개선 과정에서 발생하는 컬러가 변하는 현상이나 의사 외곽 현상을 줄일 수 있다.
콘트라스트 개선, 인텐서티 매핑, 영상 합성, 카메라 응답 함수, 다이나믹 레인지

Description

콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법{Image processing apparatus and method for contrast enhancement}
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도.
도 2는 콘트라스트 개선 처리가 필요한 입력 영상의 밝기 범위를 나타내는 도면.
도 3는 본 발명의 일 실시예에 따른 영상 처리 방법을 이용하여 콘트라스트 개선 처리를 수행할 영상인지 판별하는 과정을 나타내는 흐름도.
도 4는 소정의 블록 단위로 분할된 입력 영상을 나타내는 도면.
도 5a 및 도 5b는 본 발명의 일 실시예에 따라 입력 영상을 노출 시간이 서로 다른 영상의 관계가 성립하는 다수 개의 영상으로 생성하는 과정을 나타내는 도면.
도 6a 및 도 6b는 노출 시간이 다른 2 개의 영상을 나타내고, 도 6b는 도 6a에 도시된 2개의 영상으로부터 생성된 인텐서티 매핑 함수를 나타나는 그래프.
도 7a 및 도 7b는 실제로 노출 시간을 다르게 하여 촬영한 영상과 본 발명에 따른 인텐서티 매핑 함수를 이용하여 노출 시간이 다른 효과가 나타나도록 생성된 영상을 나타내는 도면.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 영상 합성 방법을 설명하기 위한 도면.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 흐름도.
도 10은 본 발명에 일 실시예에 따른 콘트라스트 개선 처리를 이용하는 동영상 부호화 장치를 나타내는 블록도.
도 11은 본 발명의 일 실시예에 따른 콘트라스트 개선 처리를 이용하는 동영상 부호화 방법을 나타내는 흐름도.
도 12는 본 발명의 다른 실시예에 따른 콘트라스트 개선 처리를 이용하는 동영상 부호화 방법을 나타내는 흐름도.
도 13은 본 발명의 일 실시예에 따른 콘트라스트 개선 처리를 이용하여 부호화된 동영상을 복호화하는 동영상 복호화 장치를 나타내는 블록도.
도 14는 본 발명의 일 실시예에 따른 동영상 복호화 방법을 나타내는 흐름도.
도 15a 및 도 15b는 본 발명의 일 실시예에 따른 콘트라스트 개선 처리가 수행된 영상과 종래의 기술에 따라 콘트라스트 개선 처리가 수행된 영상을 나타내는 도면.
본 발명은 영상 처리 방법 및 장치에 관한 것으로, 더 상세하게는, 콘트라스 트를 개선하기 위한 영상 처리 방법 및 장치에 관한 것이다.
실 세계는 넓은 밝기의 다이나믹 레인지(dynamic range)를 가지고 있으나 그것을 표현하는 디스플레이 장치는 비트 수가 한정되어 있어 넓은 다이나믹 레인지를 모두 표현하지 못한다. 또한 영상 취득 과정에서 여러 장치의 특성으로 왜곡이 생기므로 콘트라스트가 저하된다. 이를 보완하기 위하여 콘트라스트 개선(contrast enhancement: CE, 이하에서는 CE라 칭함)을 이용한다.
종래의 대표적인 CE 방법으로는 히스토그램 평활화(histogram equalization: HE) 방법이나 감마 보정이 있다. 히스토그램 평활화 방법은 어느 한 쪽에 화소의 밝기 분포가 몰려있어 콘트라스트가 낮은 영상이 있을 때, 영상의 pdf(probability density function)을 매핑 함수로 이용하여 콘트라스트를 개선시키는 방법이다.
그러나, 히스토그램 평활화 방법을 이용하면, 영상에서 조명의 효과나 방향이 사라지는 경우가 있고, 그림자와 같이 화소가 서서히 변하는 곳에 급격한 변화를 주어 의사 외곽(false contour)이 생성될 수 있다. 또, 밝기(Y)에서만 CE를 하는 경우에는 컬러로 변환했을 때, 원래의 색이 변하는 경우가 있다.
감마 보정 방법은 어느 한 쪽에 화소의 밝기 분포가 몰려있어 콘트라스트가 낮은 영상이 있을 때, 감마 함수를 매핑 함수로 이용하여 콘트라스트를 개선시키는 방법이다. 그러나, 감마 보정을 기초로 CE를 하는 경우 각 영상마다 적합한 감마 값을 정하기가 힘들고, 잘못된 감마 값을 취할 경우 이 역시 원래의 색이 변경될 수 있다.
본 발명이 이루고자 하는 기술적 과제는, 상기의 문제점을 해결하기 위한 것으로, 인텐서티 매핑을 이용하여 콘트라스트를 개선하기 위한 영상 처리 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 인텐서티 매핑을 이용하여 콘트라스트를 개선하기 위한 영상 처리 방법을 이용하여 동영상 부호화시 움직임 추정을 정확하게 수행할 수 있는 영상 부호화 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 인텐서티 매핑을 이용하여 콘트라스트를 개선하기 위한 영상 처리 방법을 이용하여 부호화된 동영상을 복호화하는 영상 복호화 장치 및 방법을 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 일 특징에 따른, 영상 처리 장치는 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별하는 판별부; 콘트라스트 개선 처리를 수행하는 것으로 판별되면 입력 영상을 인텐서티 매핑을 이용하여, 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 인텐서티 매핑 수행부; 및 생성된 다수개의 영상을 합성하는 영상 합성부를 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 다른 특징에 따른 영상 처리 방법은 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별하는 단계; 콘트라스트 개선 처리를 수행하는 것으로 판별되면 입력 영상을 인텐서티 매핑을 이용하여 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하 는 단계; 및 생성된 다수개의 영상을 합성하는 단계를 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 특징에 따른 영상 부호화 장치는, 입력되는 동영상 중 콘트라스트 개선 처리를 수행할 영상이 있는지 판별하는 판별부; 콘트라스트 개선 처리를 수행할 영상을 인텐서티 매핑을 이용하여 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 인텐서티 매핑 수행부; 생성된 다수개의 영상을 합성하는 영상 합성부; 합성된 영상을 콘트라스트 개선 처리가 수행되지 않은 나머지 영상과 함께 부호화하는 부호화부; 및 합성된 영상과 원래의 영상 사이의 조명 변화 정보를 생성하는 조명 변화 정보 생성부를 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 특징에 따른 영상 부호화 방법은, 입력되는 동영상 중 콘트라스트 개선 처리를 수행할 영상이 있는지 판별하는 단계; 콘트라스트 개선 처리를 수행할 영상을 인텐서티 매핑을 이용하여 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 단계; 생성된 다수개의 영상을 합성하는 단계; 합성된 영상을 콘트라스트 개선 처리가 수행되지 않은 나머지 영상과 함께 부호화하는 단계; 및 합성된 영상과 원래의 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 생성하는 단계를 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 특징에 따른 영상 부호화 방법은, 입력되는 동영상이 움직임 변화가 없는 영상인지 판별하는 단계; 움직임 변화가 없는 영상에 대해 콘트라스트 개선 처리를 수행할 것인지 판별하는 단계; 움직임 변화가 없는 영상에 대해 콘트라스트 개선 처리를 수행하는 것 으로 결정하는 경우, 동영상을 소정의 프레임 단위로 합성하는 단계; 합성된 영상을 부호화하는 단계; 및 합성된 영상과 원래의 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 생성하는 단계를 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 특징에 따른 영상 복호화 장치는, 인텐서티 매핑을 이용하여 부호화된 영상을 수신하고, 부호화된 영상을 복호화하는 복호화부; 및 복호화된 영상과 원래의 입력 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 수신하고, 복호화된 영상을 조명 변화 정보를 이용하여 원래의 영상으로 복원하는 영상 복원부를 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 특징에 따른 영상 복호화 방법은, 인텐서티 매핑을 이용하여 부호화된 영상 및 영상과 원래의 입력 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 수신하는 단계; 부호화된 영상을 복호화하는 단계; 및 복호화된 영상을 조명 변화 정보를 이용하여 원래의 영상으로 복원하는 단계를 포함한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 영상 처리 장치는, 판별부(110), 인텐서티 매핑 수행부(120), 영상 합성부(130) 및 영상 선택부(140)를 포함한다.
판별부(110)는 입력 영상이 콘트라스트 개선 처리를 수행할 영상인지 판별한다. 판별부(110)는 입력 영상의 밝기의 평균값이 소정의 밝기 범위에 포함되는지 여부에 따라서, 콘트라스트 개선 처리를 수행할지 판별할 수 있다.
콘트라스트 개선 처리가 필요한 입력 영상의 밝기 범위를 나타내는 도 2를 참조하면, 입력 영상의 밝기의 평균값은 M이라고 하면, M이 다음과 같은 범위 즉, α＜|M-127|＜β(201, 202)에 있는지 결정한다. 밝기 즉, 인텐서티는 0부터 255 사이의 값으로 표현된다. |M-127|가 0부터 α까지는 입력 영상 중에서 콘트라스트가 양호한 영상으로 볼 수 있으므로, 콘트라스트 개선 처리를 할 필요가 없다. 한편, |M-127|가 β부터 127까지는 입력 영상이 너무 밝거나 어두운 경우이므로 콘트라스트 개선 처리의 효과가 적다.
따라서, 판별부(110)는 입력 영상의 밝기의 평균값 M이 α＜|M-127|＜β(201, 202)에 있는 경우, 콘트라스트 개선 처리를 수행하는 것으로 결정한다. 입력 영상의 밝기의 평균값을 구하는 과정은 도 3 및 도 4를 참조하여 후술한다.
인텐서티 매핑 수행부(120)는 콘트라스트 개선 처리를 수행하는 것으로 판별되면, 입력 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성한다. 이 때, 다수개의 영상은 서로 노출 시간이 다른 영상의 관계를 가지게 된다.
인텐서티 매핑 수행부(120)는 입력 영상을 인텐서티 매핑을 이용하여 입력 영상과 인텐서티가 다른 제1 영상을 생성하고, 생성된 제1 영상을 다시 수신하여 제1 영상을 인텐서티 매핑을 이용하여 제1 영상과 인텐서티가 다른 제2 영상을 생성할 수 있다. 따라서, 이와 같은 방법으로, 입력 영상을 서로 노출 시간이 다른 영상의 관계를 가지는 다수 개의 영상으로 생성할 수 있다. 인텐서티 매핑을 수행하기 위해서는 서로 노출 시간이 다른 두 영상 사이의 인텐서티의 관계를 나타내는 인텐서티 매핑 함수가 필요하다.
인텐서티 매핑 수행부(120)는, 카메라 응답 함수와 2개의 영상의 노출 시간 사이의 비가 감마 함수로 표현될 때 성립되는 인텐서티 매핑 함수를 이용하여 상기 입력 영상에 대한 인텐서티 매핑을 수행할 수 있다. 또는, 인텐서티 매핑 수행부(120)는 노출 시간이 다른 2 개의 영상을 이용하여 인텐서티 매핑 함수를 결정한 다음, 결정된 인텐서티 매핑 함수를 이용하여 인텐서티가 다른 영상을 생성할 수 있다.
인텐서티 매핑 수행부(120)는, 콘트라스트 개선 처리를 수행하는 것으로 판별된 입력 영상이 어두운 영상 범위에 속하는 경우에는, 인텐서티 매핑 함수를 이용하여 입력 영상을 다수 개의 영상으로 생성한다. 한편, 인텐서티 매핑 수행부(120)는 입력 영상이 밝은 영상 범위에 속하는 경우에는, 인텐서티 매핑 함수의 역함수를 이용하여 입력 영상을 다수 개의 영상으로 생성한다. 인텐서티 매핑을 수행하여 노출 시간이 다른 관계가 성립되는 다수 개의 영상을 생성하는 원리에 대해서는 도 5a 및 도 5b를 참조하여 더 상세하게 설명한다.
영상 합성부(130)는 인텐서티 매핑에 의해 생성된 다수개의 영상을 합성한다. 영상 합성부(130)는, 생성된 다수 개의 영상의 동일한 화소의 위치의 화소 값을 각각 평균하여 영상을 합성할 수 있다. 또는, 영상 합성부(130)는 생성된 다수 개의 영상을 이용하여 영상 패턴을 생성하고, 생성된 영상 패턴에 포함되는 소정의 개수의 화소들마다 화소 값의 평균을 계산하여 영상을 합성할 수 있다. 이와 같이, 인텐서티 매핑을 이용하여 서로 노출 시간이 다른 영상의 관계가 성립하는 다 수 개의 영상을 합성함으로써 콘트라스트가 개선된 영상이 생성된다.
영상 선택부(140)는 판별부(110)로부터 수신되는 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 여부를 나타내는 정보(CS)에 따라, 원래의 입력 영상 또는 본 발명의 일 실시예에 따라 콘트라스트 개선 처리가 수행된 합성된 영상을 선택한다. 영상 선택부(140)는 정보가 콘트라스트 개선 처리를 수행할 것을 나타내는 경우, 예를 들어, CS = 1인 경우 콘트라스트가 개선 처리가 수행된 합성된 영상을 선택하여 출력한다. 영상 선택부(140)는, 정보가 콘트라스트 개선 처리를 수행하지 않는 것을 나타내는 경우, 예를 들어 CS = 0인 경우에는 입력 영상을 선택하여 출력한다.
도 3는 본 발명의 일 실시예에 따른 영상 처리 방법을 이용하여 콘트라스트 개선 처리를 수행할 영상인지 판별하는 과정을 나타내는 흐름도이다. 도 4는 소정의 블록 단위로 분할된 입력 영상을 나타내는 도면이다.
입력 영상이 콘트라스트 개선 처리가 필요한 영상인지 판별하기 위하여 전처리 과정으로 밝기 판별을 한다. 판별부(110)는 입력 영상의 밝기의 평균값을 계산하고, 밝기의 평균값이 소정의 범위에 포함되는지 결정하고, 소정의 범위에 포함되는 경우, 콘트라스트 개선 처리를 수행하는 것으로 판별한다.
이 때, 단순하게 입력 영상 전체의 밝기의 평균값을 계산하고, 밝기의 평균값이 콘트라스트 개선의 효과가 있는 소정의 밝기의 범위에 포함되는지 결정하여 콘트라스트 개선 처리가 수행될 영상인지를 판별할 수 있다. 그러나, 영상에서 중요한 주요 피사체의 콘트라스트를 고려하여 영상의 밝기의 평균값을 계산할 필요가 있다.
이를 위해, 판별부(110)는 입력 영상의 밝기의 평균값을 계산할 때, 입력 영상을 블록 단위로 분할한 다음, 각 블록의 밝기의 평균값에 가중치를 부여하여 계산할 수 있다. 도 3를 참조하면, 단계 S 310에서 판별부(110)는 입력 영상을 블록 단위로 분할한다. 예를 들어, 전체 입력 영상을 5 ×5 블록 단위로 분할할 수 있다.
단계 S 320에서 분할된 각 블록마다 밝기의 평균값 즉, 평균 화소 값을 계산한다. 단계 S 330에서 판별부(110)는 각 블록의 평균 화소 값에 가중치를 부여한 다음 입력 영상의 밝기의 평균값을 계산한다. 입력 영상의 중앙 부분에는 주요 피사체가 있을 확률이 크므로, 입력 영상의 중앙 부분은 입력 영상의 외곽에 비하여 큰 가중치를 부여한다.
소정의 블록 단위로 분할된 입력 영상을 나타내는 도 4를 참조하면, A1 블록의 평균값에 가장 큰 가중치를 부여하고, 그것을 둘러싼 8개의 블록 즉, B1~B8 블록의 평균은 A1 블록에 적은 가중치를 부여한다. 나머지 블록 C1~ C16 의 평균은 가중치를 주지 않을 수 있다. 이 때, 모든 가중치의 합은 1이 되도록 가중치를 부여할 수 있다. 따라서, 입력 영상에서 가중치와 각 블록의 원래의 밝기의 평균값을 곱한 값을 모두 합하고, 그 합해진 값을 전체 블록의 개수로 나누면 피사체의 위치가 고려된 영상의 밝기의 평균값이 계산될 수 있다.
단계 S 340에서 밝기의 평균값이 소정의 범위에 포함되는지 결정한다. 밝기의 평균값이 소정의 범위에 포함되면, 콘트라스트 개선이 필요하거나, 콘트라스트 개선의 효과가 있는 영상이므로 콘트라스트 개선 처리를 수행할 영상으로 판별된다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따라 입력 영상을 노출 시간이 서로 다른 영상의 관계가 성립하는 다수 개의 영상으로 생성하는 과정을 나타내는 도면이다.
노출 시간이 다른 여러 영상을 만들기 위하여, 인텐서티(intensity)와 래디언스(radiance) 간의 관계인 카메라 응답 함수(camera response function)을 감마의 함수로 근사화시킬 수 있다고 가정할 때, 노출 시간이 일정한 영상 간의 인텐서티 관계는 일정한 기울기를 가지는 그래프로 나타낼 수 있음을 이용한다.
어떠한 장면을 카메라로 영상을 촬영하면, 촬영된 영상은 빛의 변화가 없는 한 동일한 이래디언스(irradiance)를 가진다. 그러나, 카메라로 노출시간을 어떻게 조절하느냐에 따라서 카메라가 받아들이는 빛의 양은 다르다. 즉, 노출 시간 t 동안 촬영한 경우, 노출 시간 2t 동안 촬영한 경우 빛의 양은 후자의 경우가 2배가 된다. 이를 식으로 나타내면, 이래디언스를 E라하고, 노출시간 t라 할 때, 빛의 총량은 E*t가 된다.
노출 시간 T1, T2의 비(T2/T1)가 2γ의 꼴을 갖도록 하여 영상을 촬영할 때, 카메라에서 얻은 이래디언스를 각각 E1 및 E2라 한다. E1 = E * T1이고, E2 = E * T2라 할 수 있다. 따라서, E1/T1 = E2/T2가 성립된다.
상기와 동일한 상황에서, 카메라 응답 함수 f를 갖는 카메라로 영상을 촬영 하면 영상의 화소 값은 노출 시간이 T1일 때, 인텐서티 I1 = f(E1)이고, 노출 시간이 T2일 때, 인텐서티 I2 = f(E2)가 된다. 여기에서 이래디언스는 E1 = f-1(I1)이 성립할 것이다. E1/T1 = E2/T2가 성립하므로 k = T2/T1이라고 하면 E2 = kE1이다.
이 때, I2 = f(E2) = f (k*E1) = f(k*inv f(I1)) 이 전개될 수 있다. 인텐서티 및 노출 시간이 포함된 이래디언스의 관계 즉, 카메라 응답 함수는 감마 함수로 표현할 수 있다.
즉, f(I)=I-γ와 같이 근사화하면, 그의 역함수 f-1(I)=Iγ라고 할 수 있다. 따라서, I2 = τ(I)= f(k*inv f(I1)) = f(2γ(Iγ )) = ((2γ)(Iγ ))-γ = 2I와 같이 유도된다. 따라서, 인텐서티 매핑 함수 τ(I) = 2I 이라 할 수 있다. 이와 같이 유도된 I1과 I2의 관계를 나타내는 인텐서티 매핑 함수 τ(I) 를 이용하여 노출 시간이 다른 영상을 만든다.
도 5a를 참조할 때, 입력 영상을 f(i, j)로 나타낼 수 있다. i, j는 영상의 각각의 화소 위치를 나타내는 변수이다. 입력 영상 f(i, j)이 인텐서티 매핑 함수로 입력되면, 입력 영상 f(i, j)에 비하여 밝기가 밝아진 영상 f1(i, j)이 출력된다. f1(i, j) 영상이 다시 인텐서티 매핑 함수로 입력되면, f1(i, j)에 비하여 밝기가 밝아진 인텐서티가 f2(i, j) 영상이 출력된다. 이와 같은 방식으로 성능 개선 이 필요하다고 판단된 입력 영상 한 장을 인텐서티 매핑을 통하여 노출 시간이 서로 다른 다수 개의 영상을 생성할 수 있다.
전술한 바와 같은 인텐서티 매핑 함수는 밝기가 어두워서 콘트라스트가 낮은 영상에 대한 콘트라스트를 개선할 때 이용한다. 즉, 도 2에서 -β＜M-127＜-α 인 영상에 대해 이용할 수 있다.
한편, 입력 영상이 밝기가 밝은 즉, 인텐서티가 높은 경우에는 도 5b에 도시된 바와 같이 인텐서티 매핑 함수의 역함수를 이용하면 입력 영상보다 인텐서티가 낮은 다수의 영상을 생성할 수 있다. 즉, α＜M-127＜β 인 영상인 경우에는, 인텐서티 매핑 함수의 역함수를 이용하여 인텐서티가 서로 다른 다수 개의 영상을 생성하고, 생성된 영상을 합성하여 콘트라스트가 개선된 영상을 생성할 수 있다.
도 6a 및 도 6b는 노출 시간이 다른 2 개의 영상을 나타내고, 도 6b는 도 6a에 도시된 2개의 영상으로부터 생성된 인텐서티 매핑 함수를 나타나는 그래프이다.
노출 시간이 다른 여러 영상을 만들기 위해 인텐서티 매핑 함수를 구하는 다른 방법을 설명한다. 카메라마다 특성이 다르고, 잡음이나 영상 촬영시에 사용된 카메라의 센서의 특성 등의 다른 요소들 때문에 인텐서티 매핑함수 τ(I) = 2I 와 달리 실제의 인텐서티 매핑 함수는 일정한 기울기를 갖지 않을 수도 있다.
따라서, 실제와 가까운 영상을 얻고자 할 때에는 카메라로 노출 시간을 다르게 하여 촬영한 두 개의 영상의 인텐서티 간의 관계를 나타내는 인텐서티 매핑 함수를 생성한 다음 이용할 수 있다. 노출 시간을 다르게 하여 촬영한 영상의 인텐서티 사이의 관계를 나타내는 인텐서티 매핑 함수는 여러 가지 방법을 이용하여 결 정될 수 있다.
노출 시간이 다르게 촬영된 두 개의 영상을 각각 제1 영상(601) 및 제2 영상(602)이라 할 때, 제1 영상의 각각의 화소 위치에서의 화소 값과, 제2 영상에서 제1 영상의 각각의 화소 위치에 대응하는 화소에서의 화소 값을 이용하여, 도 6b에 도시된 바와 같은 제1 영상과 제2 영상 사이의 인텐서티에 대한 관계를 나타내는 그래프를 생성할 수 있다. 이 그래프를 인텐서티 매핑 함수로서 이용하여 하나의 영상을 서로 다른 인텐서티를 가지는 다수 개의 영상으로 생성할 수 있다.
도 7a 및 도 7b는 실제로 노출 시간을 다르게 하여 촬영한 영상과 본 발명에 따른 인텐서티 매핑 함수를 이용하여 노출 시간이 다른 효과가 나타나도록 생성된 영상을 나타내는 도면이다.
도 7a 실제로 노출 시간을 2배로 하여 취득한 영상(701)과 인텐서티 매핑 함수를 이용하여 노출 시간이 2배인 효과를 나타내도록 생성된 영상(702)을 나타낸디. 도 7b는 노출 시간을 실제로 노출 시간을 4배로 하여 취득한 영상(711)과 인텐서티 매핑 함수를 이용하여 노출 시간이 4배인 효과를 나타내도록 생성된 영상(712)을 나타낸다. 도 7a 및 도 7b에 도시된 바와 같이 본 발명에 따른 인텐서티 매핑 함수를 이용하여 생성된 영상은 실제로 노출 시간을 다르게 하여 촬영한 영상과 거의 유사함을 알 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 영상 합성 방법을 설명하기 위한 도면이다.
도 8a 및 도 8b에서 영상 1, 영상 2, 영상 3 및 영상 4는 해치된 형태가 서 로 다르게 도시되어 있지만, 서로 노출 시간이 다른 영상을 나타낸다. 영상 1, 영상 2, 영상 3 및 영상 4 순서로 영상이 어두워지는 영상을 나타낸 것으로 가정한다.
도 8a를 참조하면, 각 화소의 위치를 2차원의 좌표로 나타낼 때, 영상 1의 (0, 0)의 화소 값, 영상 2의 (0, 0)의 화소 값, 영상 3의 (0, 0)의 화소 값, 영상 4의 (0, 0)의 화소 값을 평균하여, (0, 0)의 위치의 평균 화소 값을 합성된 영상의 (0, 0)의 화소값으로 결정할 수 있다. 이와 같은 방식으로 각 화소 위치의 화소의 화소 값을 각각 평균하여 영상을 합성할 수 있다.
다른 방법으로, 도 8b에 도시된 바와 같이, 패턴(810)과 같이 밝기가 서로 다른 4개의 영상을 이용하여 4개의 화소로 이루어진 패턴이 생성될 수 있다. 이러한 패턴을 확장하면, 영상의 패턴(820)과 같이, 4개의 화소 패턴이 반복된 전체 영상이 생성될 수 있다. 영상의 패턴(820)이 도 8a에 같은 좌표를 가진다고 가정한다. 이 때, (0, 0), (0, 1), (1, 0) 및 (1, 1)의 화소 값을 평균하여, (0, 0)의 위치의 화소에 대한 화소 값을 결정하고, (0, 1), (0, 2), (1, 1) 및 (1, 2)의 화소 값을 평균하여 (0, 1)의 위치의 화소에 대한 화소 값을 결정할 수 있다. 이와 같은 방법으로 4개의 영상을 하나의 영상으로 합성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
단계 S 910에서 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별한다. 입력 영상 중에서 콘트라스트가 양호한 영상은 콘트라스트 개선 처리를 할 필요가 없으며, 너무 어두운 영상의 경우에는 콘트라스트 개선 처리를 수행하더라도 콘트라스트 개선의 효과를 얻을 수 없기 때문이다.
콘트라스트 개선 처리를 수행할 영상으로 판별되면, 단계 S 920에서 입력 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성한다. 이 때, 다수개의 영상은 서로 노출 시간이 다른 영상의 관계를 가진다.
단계 S 930에서 생성된 다수개의 영상을 합성한다.
한편, 본 발명의 콘트라스트 개선 처리 방법은 동영상에도 적용될 수 있다. 콘트라스트가 낮은 동영상 시퀀스가 입력되는 경우, 콘트라스트를 전체적으로 높이기 위해서는, 도 1에 도시된 바와 같은 영상 처리 장치에 동영상 영상을 입력하면 된다. 즉, 각 영상마다 하나의 영상을 인텐서티가 서로 다른 관계에 있는 다수 개의 영상으로 생성한 다음, 생성된 다수 개의 영상을 합성하는 동작을 수행하여 콘트라스트를 높일 수 있다. 본 발명의 콘트라스트를 개선하기 위한 방법이 TV와 같은 장치에 이용하기 위하여, 인텐서티 매핑 함수는 여러가지 형태의 컬러 영상에 적용될 수 있다. 즉, R, G, B 형태의 컬러 영상, Y, Cb, Cr 형태의 컬러 영상, 또는 Y, I, Q 형태의 컬러 영상에 적용할 수 있다.
도 10은 본 발명에 일 실시예에 따른 콘트라스트 개선 처리를 이용하는 동영상 부호화 장치를 나타내는 블록도이다. 도 10의 동영상 부호화 장치는, 판별부(1010), 인텐서티 매핑 수행부(1020), 영상 합성부(1030), 조명 변화 정보 생성부(1040) 및 부호화부(1050)를 포함한다.
동영상을 부호화할 때, 조명의 변화가 있는 동영상, 예를 들어, 동영상 시퀀스 중에 갑자기 밝기가 급격하게 어두워져서 콘트라스트가 낮은 영상 프레임이 포 함되는 경우, 움직임 추정을 정확하게 할 수 없다. 움직임 추정 과정에서 오류가 있는 경우, 오류가 있는 상태로 부호화된 영상을 복호화하면, 입력 영상이 제대로 복원될 수 없다. 따라서, 콘트라스트가 낮은 영상에 대해서는 본 발명에 따른 콘트라스트 개선 처리를 수행한 다음 동영상을 부호화하면, 움직임 추정이 정확하게 수행될 수 있다.
이를 위해, 우선 판별부(1010)는 입력되는 동영상 f(x, y) 중 콘트라스트 개선 처리를 수행할 영상이 있는지 판별한다. 판별부(1010)는 도 1의 판별부(110)와 동일한 방식으로 콘트라스트 개선 처리를 수행할 영상이 있는지 판별한다.
인텐서티 매핑 수행부(1020)는 콘트라스트 개선 처리를 수행할 영상으로 판별된 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성한다. 이 때, 다수개의 영상은 전술한 바와 같이 서로 노출 시간이 다른 영상의 관계를 가진다. 인텐서티 매핑 수행부(1020)는 도 1의 인텐서티 매핑 수행부(120)와 동일한 동작을 수행할 수 있다.
영상 합성부(1030)는 생성된 다수개의 영상을 합성하여 영상 g(x,y) 을 생성한다. 부호화부(1050)는 합성된 영상을 콘트라스트 개선 처리가 수행되지 않은 나머지 동영상 프레임과 함께 부호화하여 부호화된 영상 g'(x, y)를 생성한다.
한편, 콘트라스트 개선 처리가 수행된 영상은 원래의 영상과 다르므로, 원래의 영상과 콘트라스트가 개선된 영상 사이의 밝기의 차이를 나타내는 차이 정보 I(x, y)를 디코딩 단에 전송한다. 본 명세서에서는 이 차이 정보를 조명 변화 정보라고 한다.
조명 변화 정보 생성부(1040)는 합성된 영상과 원래의 영상 사이의 조명 변화 정보를 생성한다. 조명 변화 정보는 블록 단위의 합성된 영상과 원래의 영상 사이의 화소 값의 차이일 수 있다. 조명 변화 정보는 블록 단위의 화소 값의 차이로 전송될 수도 있다. 또는, 조명 변화 정보는 화소 값의 차이를 몇 개의 파라미터로 근사화되어, 파라미터 정보로 전송될 수 있다.
한편, 판별부(1010)는 입력되는 동영상이 움직임 변화가 없는 영상인지 더 판별할 수 있다. 입력되는 동영상 시퀀스가 조명의 변화가 있어서, 콘트라스트 개선 처리가 필요하지만 움직임 변화가 없는 경우에는 이러한 동영상은 인텐서티 매핑을 이용하여 생성된 다수 개의 영상과 유사하므로 인텐서티 매핑을 수행하지 않고 동영상 시퀀스에 포함된 영상으로 영상을 합성할 수 있다.
따라서, 판별부(1010)에서 움직임 변화가 없으며, 콘트라스트 개선 처리를 수행하지 않는 영상으로 판별되면, 영상 합성부(1030)는 동영상을 인텐서티 매핑 처리부(1020)를 거치지 않고 수신하여 소정의 프레임 단위로 합성할 수 있다. 이 때, 움직임 변화가 없는 동영상 프레임을 영상 1, 영상 2, 영상 3 ,,,영상 n이라 할 때, 2개의 프레임 단위로 영상을 합성하거나, 3개의 프레임 단위로 영상을 합성할 수 있으며, 동영상 프레임의 합성 방법은 다양하게 변형될 수 있다. 예를 들어, 영상 1과 영상 2를 합성하고, 영상 2 및 영상 3을 합성할 수 있다. 따라서, 합성된 영상은 입력 동영상 프레임 수만큼 생성될 수 있다. 또한, 이 때 조명 변화 정보는 블록 단위의 합성된 영상과 원래의 영상 사이의 화소 값의 차이로서, 합성되는 영상의 개수만큼 생성될 수 있다.
도 11은 본 발명의 일 실시예에 따른 콘트라스트 개선 처리를 이용하는 동영상 부호화 방법을 나타내는 흐름도이다.
단계 S 1110에서 입력되는 동영상 중 콘트라스트 개선 처리를 수행할 영상이 있는지 판별한다. 단계 S 1120에서 콘트라스트 개선 처리를 수행할 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성한다. 이 때, 다수개의 영상은 서로 노출 시간이 다른 영상의 관계를 가진다.
단계 S1130에서 생성된 다수개의 영상을 합성한다. 단계 S 1140에서 합성된 영상을 콘트라스트 개선 처리가 수행되지 않은 나머지 동영상 프레임과 함께 부호화한다.
단계 S 1150에서 합성된 영상과 원래의 영상 사이의 조명 변화 정보를 생성한다. 조명 변화 정보는 블록 단위의 합성된 영상과 원래의 영상 사이의 화소 값의 차이를 말한다. 부호화된 영상 및 조명 변화 정보는 복호화 장치로 전송된다.
도 12는 본 발명의 다른 실시예에 따른 콘트라스트 개선 처리를 이용하는 동영상 부호화 방법을 나타내는 흐름도이다.
단계 S 1210에서 입력되는 동영상이 움직임 변화가 없는 영상인지 판별한다.단계 S 1220에서 움직임 변화가 없는 영상에 대해 콘트라스트 개선 처리를 수행할 것인지 판별한다.
단계 S 1230에서 움직임 변화가 없는 영상에 콘트라스트 개선 처리를 수행하는 것으로 결정하는 경우, 움직임 변화가 없는 동영상 시퀀스 프레임을 합성하여 합성된 영상을 생성한다. 단계 S 1240에서 합성된 영상을 이용하여 동영상 부호 화를 수행한다.
단계 S 1250에서 합성된 영상과 원래의 영상 사이의 조명 변화 정보를 생성한다. 이와 같은 동영상 부호화 방법은 전술한 바와 같이, 입력되는 동영상 시퀀스가 조명의 변화가 있어서, 콘트라스트 개선 처리가 필요하지만 움직임 변화가 없는 경우에 적용될 수 있다.
도 13은 본 발명의 일 실시예에 따른 콘트라스트 개선 처리를 이용하여 부호화된 동영상을 복호화하는 동영상 복호화 장치를 나타내는 블록도이다. 본 발명의 동영상 복호화 장치는, 복호화부(1310) 및 영상 복원부(1320)를 포함한다.
복호화부(1310)는 인텐서티 매핑을 이용하여 부호화된 영상 g'(x, y)을 수신하고, 부호화된 영상 g'(x, y)을 복호화한다. 복호화된 영상 g(x, y)은 부호화 장치측에서 콘트라스트가 개선 처리된 영상이다. 따라서, 영상 복원부(1320)는 조명 변화 정보를 이용하여 복호화된 영상을 복원한다.
즉, 영상 복원부(1320)는 합성된 영상과 원래의 영상 사이의 블록 단위의 인텐서티 매핑을 이용하여 콘트라스트가 개선된 영상과 원래의 영상 사이의 화소 값의 차이인 조명 변화 정보 I(x, y)를 수신한다. 그런 다음, 영상 복원부(1320)는 복호화된 영상 g(x, y)을 조명 변화 정보 I(x, y)를 이용하여 원래의 영상 f(x, y)으로 복원한다.
도 14는 본 발명의 일 실시예에 따른 동영상 복호화 방법을 나타내는 흐름도이다.
단계 S 1410에서 인텐서티 매핑을 이용하여 부호화된 영상 및 조명 변화 정 보를 수신한다. 조명 변화 정보는 인텐서티 매핑이 수행된 영상과 원래의 입력 영상 사이의 밝기의 차이를 나타낸다. 단계 S 1420에서 부호화된 영상을 복호화한다. 단계 S 1430에서 복호화된 영상을 조명 변화 정보를 이용하여 원래의 영상으로 복원한다.
도 15a 및 도 15b는 본 발명의 일 실시예에 따른 콘트라스트 개선 처리가 수행된 영상과 종래의 기술에 따라 콘트라스트 개선 처리가 수행된 영상을 나타내는 도면이다.
도 15a에서 영상(1501)은 히스토그램 평활화 방법을 이용하여 콘트라스트 개선 처리가 수행된 영상이고, 영상(1502)는 감마 보정 방법을 이용하여 콘트라스트 개선 처리가 수행된 영상이다. 영상(1503)은 본 발명에 따른 인텐서티 매핑을 이용하여 콘트라스트 개선 처리가 수행된 영상이다.
도 15b에서 영상(1511)은 히스토그램 평활화 방법을 이용하여 콘트라스트 개선 처리가 수행된 영상이고, 영상(1512)는 감마 보정 방법을 이용하여 콘트라스트 개선 처리가 수행된 영상이다. 영상(1513)은 본 발명에 따른 인텐서티 매핑을 이용하여 콘트라스트 개선 처리가 수행된 영상이다.
도 15a 및 도 15b에 도시된 바와 같이, 영상(1503) 및 영상(1513)은 종래의 방법에 따라 처리된 영상들(1501, 1502, 1511, 1512)에 비하여 컬러가 변하거나 의사 외곽이 나타나는 현상이 줄어들었으며, 조명의 방향이나 효과도 잘 나타나게 됨을 알 수 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
전술한 바와 같이, 본 발명에 따르면, 종래의 콘트라스트 개선 과정에서 컬러가 변하거나 의사 외곽 현상을 줄일 수 있는 콘트라스트 개선을 위한 영상 처리 장치 및 방법을 제공할 수 있다.
또한, 본 발명에 따르면, 본 발명의 콘트라스트 개선 처리 방법을 동영상에 적용하여, 조명 변화가 있는 영상 시퀀스의 경우 움직임을 정확하게 추정하여, 동 영상의 부호화를 효율적으로 수행할 수 있는 영상 부호화 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 따르면, 인텐서티 매핑을 이용하여 콘트라스트를 개선하기 위한 영상 처리 방법을 이용하여 부호화된 동영상을 복호화하는 영상 복호화 장치 및 방법을 제공할 수 있다.

Claims (38)

  1. 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별하는 판별부;
    콘트라스트 개선 처리를 수행하는 것으로 판별되면 상기 입력 영상을 인텐서티 매핑을 이용하여, 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 인텐서티 매핑 수행부; 및
    상기 생성된 다수개의 영상을 합성하는 영상 합성부를 포함하며,
    상기 판별부는 상기 입력 영상을 블록 단위로 분할하고, 상기 블록의 위치에 따라 가중치를 부여하여 상기 입력 영상의 밝기의 평균값을 계산하는 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 판별부는, 상기 입력 영상의 밝기의 평균값이 소정의 범위에 포함되는지 여부에 따라서, 콘트라스트 개선 처리를 수행할 지 여부를 판별하는 것을 특징으로 하는 영상 처리 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 판별부는, 상기 입력 영상의 중앙 부분은 상기 입력 영상의 외곽에 비하여 큰 가중치를 부여하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 인텐서티 매핑 수행부는, 카메라 응답 함수와 2개의 영상의 노출 시간 사이의 비가 감마 함수로 표현될 때 성립되는 인텐서티 매핑 함수를 이용하여 상기 입력 영상에 대한 인텐서티 매핑을 수행하는 것을 특징으로 하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 인텐서티 매핑 수행부는, 노출 시간이 다른 2 개의 영상을 이용하여 인텐서티 매핑 함수를 결정하는 것을 특징으로 하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 인텐서티 매핑 수행부는, 상기 콘트라스트 개선 처리를 수행하는 것으로 판별된 입력 영상이 어두운 영상 범위에 속하는 경우에는, 인텐서티 매핑 함수를 이용하여 상기 입력 영상을 다수 개의 영상으로 생성하고, 상기 입력 영상이 밝은 영상 범위에 속하는 경우에는, 상기 인텐서티 매핑 함수의 역함수를 이용하여 상기 입력 영상을 다수 개의 영상으로 생성하는 것을 특징으로 하는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 영상 합성부는, 상기 생성된 다수 개의 영상의 동일한 화소의 위치의 화소 값을 각각 평균하여 영상을 합성하는 것을 특징으로 하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 영상 합성부는, 상기 생성된 다수 개의 영상을 이용하여 영상 패턴을 생성하고, 상기 생성된 영상 패턴에 포함되는 소정의 개수의 화소들마다 화소 값의 평균을 계산하여 영상을 합성하는 것을 특징으로 하는 영상 처리 장치.
  10. 제1항에 있어서,
    상기 판별부로부터 전송되는 상기 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 여부를 나타내는 정보를 수신하고,
    상기 정보가 상기 콘트라스트 개선 처리를 수행할 것을 나타내는 경우, 상기 합성된 영상을 선택하고, 상기 정보가 상기 콘트라스트 개선 처리를 수행하지 않는 것을 나타내는 경우, 상기 입력 영상을 선택하는 것을 특징으로 하는 영상 선택부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  11. 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별하는 단계;
    콘트라스트 개선 처리를 수행하는 것으로 판별되면 상기 입력 영상을 인텐서티 매핑을 이용하여 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 단계; 및
    상기 생성된 다수개의 영상을 합성하는 단계를 포함하며,
    상기 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별하는 단계는,
    상기 입력 영상의 밝기의 평균값을 계산하는 단계를 포함하며,
    상기 입력 영상의 밝기의 평균값을 계산하는 단계는 상기 입력 영상을 블록 단위로 분할하는 단계; 및 상기 블록의 위치에 따라 가중치를 부여하여 상기 입력 영상의 밝기의 평균값을 계산하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  12. 제11항에 있어서, 상기 입력 영상에 콘트라스트 개선 처리를 수행할 것인지 판별하는 단계는,
    상기 밝기의 평균값이 소정의 범위에 포함되는 경우, 콘트라스트 개선 처리를 수행하는 것으로 판별하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 삭제
  14. 제11항에 있어서,
    상기 입력 영상의 중앙 부분은 상기 입력 영상의 외곽에 비하여 큰 가중치가 부여되는 것을 특징으로 하는 영상 처리 방법.
  15. 제11항에 있어서, 상기 입력 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성하는 단계는,
    상기 입력 영상을 인텐서티 매핑을 이용하여 상기 입력 영상과 인텐서티가 다른 제1 영상을 생성하는 단계; 및
    상기 제1 영상을 인텐서티 매핑을 이용하여 상기 제1 영상과 인텐서티가 다른 제2 영상을 생성하는 단계를 포함하고,
    상기 단계를 반복하여, 다수개의 영상을 생성하는 것을 특징으로 하는 영상 처리 방법.
  16. 제11항에 있어서, 상기 입력 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성하는 단계는,
    카메라 응답 함수와 2개의 영상의 노출 시간 사이의 비가 감마 함수로 표현될 때 성립되는 인텐서티 매핑 함수를 이용하여 상기 입력 영상에 대한 인텐서티 매핑을 수행하는 것을 특징으로 하는 영상 처리 방법.
  17. 제11항에 있어서, 상기 입력 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성하는 단계는,
    노출 시간이 다른 2 개의 영상을 이용하여 인텐서티 매핑 함수를 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  18. 제11항에 있어서, 상기 입력 영상을 인텐서티 매핑을 이용하여 다수개의 영상으로 생성하는 단계는,
    상기 콘트라스트 개선 처리를 수행하는 것으로 판별된 입력 영상이 어두운 영상 범위에 속하는 경우에는, 인텐서티 매핑 함수를 이용하여 상기 입력 영상을 다수 개의 영상으로 생성하고, 상기 입력 영상이 밝은 영상 범위에 속하는 경우에는, 상기 인텐서티 매핑 함수의 역함수를 이용하여 상기 입력 영상을 다수 개의 영상으로 생성하는 것을 특징으로 하는 영상 처리 방법.
  19. 제11항에 있어서, 상기 생성된 다수개의 영상을 합성하는 단계는,
    상기 생성된 다수 개의 영상의 동일한 화소의 위치의 화소 값을 각각 평균하여 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  20. 제11항에 있어서, 상기 생성된 다수개의 영상을 합성하는 단계는,
    상기 생성된 다수 개의 영상을 이용하여 영상 패턴을 생성하는 단계; 및
    상기 생성된 영상 패턴에 포함되는 소정의 개수의 화소들마다 화소 값의 평균을 계산하여 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  21. 제11항에 있어서,
    상기 입력 영상은 정지 영상 또는 동영상인 것을 특징으로 하는 영상 처리 방법.
  22. 입력되는 동영상 중 콘트라스트 개선 처리를 수행할 영상이 있는지 판별하는 판별부;
    상기 콘트라스트 개선 처리를 수행할 영상을 인텐서티 매핑을 이용하여 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 인텐서티 매핑 수행부;
    상기 생성된 다수개의 영상을 합성하는 영상 합성부;
    상기 합성된 영상을 콘트라스트 개선 처리가 수행되지 않은 나머지 영상과 함께 부호화하는 부호화부; 및
    상기 합성된 영상과 원래의 영상 사이의 조명 변화 정보를 생성하는 조명 변화 정보 생성부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  23. 제22항에 있어서,
    상기 조명 변화 정보는 블록 단위의 상기 합성된 영상과 원래의 영상 사이의 화소 값의 차이인 것을 특징으로 하는 영상 부호화 장치.
  24. 제22항에 있어서,
    상기 판별부는 상기 입력되는 동영상이 움직임 변화가 없는 영상인지 더 판별하고,
    상기 판별부에서 상기 움직임 변화가 없으며, 콘트라스트 개선 처리를 수행하지 않는 영상으로 판별되면, 상기 영상 합성부는 상기 동영상을 상기 인텐서티 매핑 처리부를 거치지 않고 수신하여 소정의 프레임 단위로 합성하는 것을 특징으로 하는 영상 부호화 장치.
  25. 입력되는 동영상 중 콘트라스트 개선 처리를 수행할 영상이 있는지 판별하는 단계;
    상기 콘트라스트 개선 처리를 수행할 영상을 인텐서티 매핑을 이용하여 서로 노출 시간이 다른 영상의 관계를 가지는 다수개의 영상으로 생성하는 단계;
    상기 생성된 다수개의 영상을 합성하는 단계;
    상기 합성된 영상을 콘트라스트 개선 처리가 수행되지 않은 나머지 영상과 함께 부호화하는 단계; 및
    상기 합성된 영상과 원래의 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  26. 제25항에 있어서,
    상기 부호화된 영상 및 상기 조명 변화 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  27. 제25항에 있어서,
    상기 조명 변화 정보는 블록 단위의 상기 합성된 영상과 원래의 영상 사이의 화소 값의 차이인 것을 특징으로 하는 영상 부호화 방법.
  28. 입력되는 동영상이 움직임 변화가 없는 영상인지 판별하는 단계;
    상기 움직임 변화가 없는 영상에 대해 콘트라스트 개선 처리를 수행할 것인지 판별하는 단계;
    상기 움직임 변화가 없는 영상에 대해 콘트라스트 개선 처리를 수행하는 것으로 결정하는 경우, 상기 동영상을 소정의 프레임 단위로 합성하는 단계;
    상기 합성된 영상을 부호화하는 단계; 및
    상기 합성된 영상과 원래의 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  29. 제28항에 있어서,
    상기 부호화된 영상 및 상기 조명 변화 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  30. 제28항에 있어서,
    상기 조명 변화 정보는 블록 단위의 상기 합성된 영상과 원래의 입력 영상 사이의 화소 값의 차이인 것을 특징으로 하는 영상 부호화 방법.
  31. 인텐서티 매핑을 이용하여 부호화된 영상을 수신하고, 상기 부호화된 영상을 복호화하는 복호화부; 및
    상기 인텐서티 매핑이 수행된 영상과 원래의 입력 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 수신하고, 상기 복호화된 영상을 상기 조명 변화 정보를 이용하여 원래의 영상으로 복원하는 영상 복원부를 포함하며,
    상기 조명 변화 정보는 블록 단위의 상기 인텐서티 매핑이 수행된 영상과 원래의 영상 사이의 화소 값의 차이인 것을 특징으로 하는 영상 복호화 장치.
  32. 삭제
  33. 인텐서티 매핑을 이용하여 부호화된 영상 및 인텐서티 매핑이 수행된 영상과 원래의 입력 영상 사이의 밝기의 차이를 나타내는 조명 변화 정보를 수신하는 단계;
    상기 부호화된 영상을 복호화하는 단계; 및
    상기 복호화된 영상을 상기 조명 변화 정보를 이용하여 원래의 영상으로 복원하는 단계를 포함하며,
    상기 조명 변화 정보는 블록 단위의 상기 인텐서티 매핑이 수행된 영상과 원래의 입력 영상 사이의 화소 값의 차이인 것을 특징으로 하는 영상 복호화 방법.
  34. 삭제
  35. 제11항, 제12항, 및 제14항 내지 제21항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  36. 제25항 내지 제27항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  37. 제28항 내지 제30항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  38. 제33항에 기재된 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060051984A 2006-06-09 2006-06-09 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법 KR101313637B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060051984A KR101313637B1 (ko) 2006-06-09 2006-06-09 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법
US11/760,852 US8131109B2 (en) 2006-06-09 2007-06-11 Image processing method and apparatus for contrast enhancement using intensity mapping
CNA2007101464304A CN101098411A (zh) 2006-06-09 2007-06-11 用于对比度增强的图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060051984A KR101313637B1 (ko) 2006-06-09 2006-06-09 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20070117840A KR20070117840A (ko) 2007-12-13
KR101313637B1 true KR101313637B1 (ko) 2013-10-02

Family

ID=38822067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060051984A KR101313637B1 (ko) 2006-06-09 2006-06-09 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법

Country Status (3)

Country Link
US (1) US8131109B2 (ko)
KR (1) KR101313637B1 (ko)
CN (1) CN101098411A (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897524B2 (en) * 2007-10-29 2014-11-25 Ramot At Tel-Aviv University Ltd. Method and device for processing computerized tomography images
US8648942B2 (en) * 2007-12-20 2014-02-11 Ramot At Tel-Aviv University Ltd. Method of and apparatus for processing images using saturation functions
DE102008032686B4 (de) * 2008-07-06 2020-07-16 Dürr Dental SE Verfahren zur Verbesserung des Kontrastes von Bildern, insbesondere Grauwertbildern und Vorrichtung zu seiner Durchführung
CN101394487B (zh) * 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与***
CN101626454B (zh) * 2009-04-10 2011-01-05 黄宝华 一种增强视频可视性的方法
US8321422B1 (en) 2009-04-23 2012-11-27 Google Inc. Fast covariance matrix generation
US8611695B1 (en) 2009-04-27 2013-12-17 Google Inc. Large scale patch search
US8396325B1 (en) 2009-04-27 2013-03-12 Google Inc. Image enhancement through discrete patch optimization
US8391634B1 (en) * 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
US8385662B1 (en) 2009-04-30 2013-02-26 Google Inc. Principal component analysis based seed generation for clustering analysis
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2012017440A1 (en) 2010-08-05 2012-02-09 Ramot At Tel-Aviv University Ltd. Method and system for processing an image featuring multiple scales
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
JP5781372B2 (ja) * 2011-06-08 2015-09-24 シャープ株式会社 画像処理装置及び撮像装置
CN102427538B (zh) * 2011-10-10 2013-11-20 上海交通大学 电影对比度色度自动增强方法
KR101287521B1 (ko) * 2011-10-14 2013-07-18 중앙대학교 산학협력단 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
US8675964B2 (en) * 2012-06-06 2014-03-18 Apple Inc. Image fusion using intensity mapping functions
KR101929494B1 (ko) 2012-07-10 2018-12-14 삼성전자주식회사 영상 처리 방법 및 장치
CN103581488B (zh) * 2012-07-19 2016-04-20 全友电脑股份有限公司 扫描装置以及方法
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
CN104320575B (zh) * 2014-09-30 2019-01-15 百度在线网络技术（北京）有限公司 一种用于便携式终端的图像处理方法及图像处理装置
US10129511B2 (en) * 2016-08-01 2018-11-13 Ricoh Company, Ltd. Image processing apparatus, image projection apparatus, and image processing method
KR101972032B1 (ko) * 2017-01-23 2019-04-24 주식회사 아이디스 카메라의 적응적 노출 제어 장치
US10497104B2 (en) * 2017-10-24 2019-12-03 Adobe Inc. Empirical exposure normalization
US10818268B2 (en) * 2018-12-06 2020-10-27 Google Llc Adjusting a brightness of a display based on an image
KR102644946B1 (ko) * 2019-05-02 2024-03-08 삼성전자주식회사 영상 처리 방법 및 장치
CN115334228A (zh) * 2021-04-26 2022-11-11 华为技术有限公司 一种视频处理方法及相关装置
CN117044215A (zh) * 2021-06-15 2023-11-10 三星电子株式会社 用于低光照媒体增强的方法和***
WO2022265321A1 (en) 2021-06-15 2022-12-22 Samsung Electronics Co., Ltd. Methods and systems for low light media enhancement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355787A (ja) * 1998-06-09 1999-12-24 Konica Corp 画像処理装置及び画像出力装置
JP2003234901A (ja) * 2002-02-12 2003-08-22 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2004072262A (ja) 2002-08-02 2004-03-04 Dainippon Printing Co Ltd 撮像手段のガンマ補正方法及び装置
US20050104974A1 (en) 2002-02-12 2005-05-19 Tatsumi Watanabe Image processing device and image processing method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69214229T2 (de) * 1991-08-14 1997-04-30 Agfa Gevaert Nv Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern
US5982926A (en) * 1995-01-17 1999-11-09 At & T Ipm Corp. Real-time image enhancement techniques
JP3130266B2 (ja) 1996-03-09 2001-01-31 三星電子株式会社 平均分離ヒストグラム等化を用いる映像改善方法及びその回路
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US7573533B2 (en) * 2004-10-15 2009-08-11 Genesis Microchip Inc. Method of generating transfer curves for adaptive contrast enhancement
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7684640B2 (en) * 2005-10-20 2010-03-23 Sharp Laboratories Of America, Inc. Methods and systems for automatic digital image enhancement with local adjustment
US8064716B2 (en) * 2005-11-08 2011-11-22 Soundstarts, Inc. Apparatus and methods for enhancing digital images
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355787A (ja) * 1998-06-09 1999-12-24 Konica Corp 画像処理装置及び画像出力装置
JP2003234901A (ja) * 2002-02-12 2003-08-22 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
US20050104974A1 (en) 2002-02-12 2005-05-19 Tatsumi Watanabe Image processing device and image processing method
JP2004072262A (ja) 2002-08-02 2004-03-04 Dainippon Printing Co Ltd 撮像手段のガンマ補正方法及び装置

Also Published As

Publication number Publication date
US20070286523A1 (en) 2007-12-13
US8131109B2 (en) 2012-03-06
CN101098411A (zh) 2008-01-02
KR20070117840A (ko) 2007-12-13

Similar Documents

Publication Publication Date Title
KR101313637B1 (ko) 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법
JP5806682B2 (ja) 高ダイナミック・レンジ画像の発生およびレンダリング
Rivera et al. Content-aware dark image enhancement through channel division
KR101633893B1 (ko) 다중노출 영상을 합성하는 영상합성장치 및 방법
Banterle et al. High dynamic range imaging and low dynamic range expansion for generating HDR content
JP5419744B2 (ja) 仮想画像を合成する方法
JP4960703B2 (ja) １つ又は複数のパラメータによって画像粒状性を表す方法及び装置
JP5230669B2 (ja) 深度画像をフィルタリングする方法
JP5448912B2 (ja) 画像をアップサンプリングする方法
US9204127B1 (en) Stereoscopic image processing methods and apparatus
RU2759505C2 (ru) Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика
KR102045538B1 (ko) 패치 기반 다중 노출 영상 융합 방법 및 장치
JP6377258B2 (ja) 画像処理装置及び方法、並びにプログラム及び記録媒体
JP2010503056A (ja) 画像の強調の方法及び装置
KR100694153B1 (ko) 매핑 함수에 기반한 이미지 처리 방법 및 장치
Ye et al. Single exposure high dynamic range image reconstruction based on deep dual-branch network
Luzardo et al. Fully-automatic inverse tone mapping algorithm based on dynamic mid-level tone mapping
TWI551141B (zh) A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels
JP4595939B2 (ja) 質感を強調する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP4359662B2 (ja) カラー画像の露出補正方法
Lee et al. DCT‐Based HDR Exposure Fusion Using Multiexposed Image Sensors
Chiang et al. Rate–distortion optimization of multi-exposure image coding for high dynamic range image coding
KR102467092B1 (ko) 복수의 신경망들을 이용하여 코딩 노이즈에 강인한 슈퍼 레졸루션 이미지 처리 방법 및 시스템
KR102467094B1 (ko) 신경망을 이용한 슈퍼 레졸루션 이미지 처리 방법 및 시스템
JP2004318461A (ja) トーンジャンプを目立たなくする画像処理

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee