KR102575126B1 - 영상 처리 장치 및 그 방법 - Google Patents

영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR102575126B1
KR102575126B1 KR1020180169628A KR20180169628A KR102575126B1 KR 102575126 B1 KR102575126 B1 KR 102575126B1 KR 1020180169628 A KR1020180169628 A KR 1020180169628A KR 20180169628 A KR20180169628 A KR 20180169628A KR 102575126 B1 KR102575126 B1 KR 102575126B1
Authority
KR
South Korea
Prior art keywords
image
current frame
frame image
value
blurred
Prior art date
Application number
KR1020180169628A
Other languages
English (en)
Other versions
KR20200079922A (ko
Inventor
이도훈
박진우
이진호
박경진
이흥렬
전현규
이민지
Original Assignee
주식회사 엘엑스세미콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘엑스세미콘 filed Critical 주식회사 엘엑스세미콘
Priority to KR1020180169628A priority Critical patent/KR102575126B1/ko
Priority to CN201911263395.3A priority patent/CN111383190B/zh
Priority to US16/715,164 priority patent/US11222412B2/en
Priority to TW108146376A priority patent/TWI827771B/zh
Publication of KR20200079922A publication Critical patent/KR20200079922A/ko
Application granted granted Critical
Publication of KR102575126B1 publication Critical patent/KR102575126B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상의 대비 향상 시 할로우 아티팩트를 제거할 수 있고 대비 향상 효과를 높일 수 있는 영상 처리 장치 및 방법을 제공한다. 상기 영상 처리 장치 및 방법은, 이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링(blurring) 영상을 획득하는 단계; 현재 프레임 영상과 상기 제1 블러링 영상의 가중치 합(weighted sum)을 통해서 경계 정보가 복원되어 있는 제2 블러링 영상을 획득하는 단계; 및 상기 제2 블러링 영상과 상기 현재 프레임 영상 간의 차분 영상을 이용하여 상기 현재 프레임 영상의 대비 향상(contrast enhancement)을 수행하는 단계;를 포함한다.

Description

영상 처리 장치 및 그 방법{IMAGE PRECESSING DEVICE AND METHOD THEREOF}
본 발명은 디스플레이 장치에 관한 것으로, 더 상세하게는 영상의 대비(contrast)를 향상시키는 영상 처리 장치 및 그 방법에 관한 것이다.
일반적으로 인간의 눈으로 지각되는 대비의 동적 범위(dynamic range)에 비해 촬영 기기의 동적 범위는 제한되어 있다. 디스플레이 기기는 촬영된 영상을 인간의 눈으로 바라보는 장면과 유사하게 표현하기 위해 입력 영상의 대비를 향상시키고 있다.
영상의 대비를 향상시키는 방식 중 하나로 언샤프 마스킹(Unsharp masking) 방식이 있으며, 언샤프 마스킹 방식은 블러링(blurring) 영상을 기반으로 영상의 대비를 향상시키는 방식으로 지엽적 대비 향상(local contrast enhancement) 시 많이 사용되고 있다.
그런데, 언샤프 마스킹 방식은 광범위하게 블러링 영상을 취할 경우 경계 부근에서 할로우 아티팩트(halo artifact)가 강하게 발생하는 문제점이 있고, 작은 범위로 블러링을 취할 경우 높은 지엽적 대비 향상 효과를 기대하기 어려운 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는 영상의 대비 향상 시 할로우 아티팩트를 제거할 수 있고 대비 향상 효과를 높일 수 있는 영상 처리 장치 및 그 방법을 제공하는데 있다.
일 실시예에 따른 영상 처리 방법은, 이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링(blurring) 영상을 획득하는 단계; 현재 프레임 영상과 상기 제1 블러링 영상의 가중치 합(weighted sum)을 통해서 경계 정보가 복원되어 있는 제2 블러링 영상을 획득하는 단계; 및 상기 제2 블러링 영상과 상기 현재 프레임 영상 간의 차분 영상을 이용하여 상기 현재 프레임 영상의 대비 향상(contrast enhancement)을 수행하는 단계;를 포함한다.
일 실시예에 따른 영상 처리 장치는, 입력 영상의 대비 향상(contrast enhancement)을 수행하는 영상 처리 장치에 있어서, 이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링(blurring) 영상을 획득하고, 현재 프레임 영상과 상기 제1 블러링 영상의 가중치 합(weighted sum)을 통해서 경계 정보가 복원되어 있는 제2 블러링 영상을 획득하며, 상기 제2 블러링 영상과 상기 현재 프레임 영상 간의 차분 영상을 이용하여 상기 현재 프레임 영상의 대비 향상(contrast enhancement)을 수행하는 프로세서;를 포함한다.
일 실시예들에 따르면, 이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링 영상을 획득하므로 대비 향상 효과를 높일 수 있다.
또한, 현재 프레임 영상과 제1 블러링 영상을 이용하여 제1 블러링 영상의 제1 가중치 및 현재 프레임 영상의 제2 가중치를 산출하고, 제1 및 제2 가중치에 따라서 현재 프레임 영상과 제1 블러링 영상의 가중 평균으로 경계 정보가 복원된 제2 블러링 영상을 획득하므로 대비 향상에서 발생하는 할로우 아티팩트(halo artifact)를 효과적으로 제거할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치 및 방법을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 이전 프레임 영상을 미리 설정된 크기의 블록 단위로 구분하는 과정을 설명하기 위한 도면이다.
도 3은 도 2의 블록들 각각의 대표 값으로 픽셀의 평균 값을 이용하는 예시도이다.
도 4는 도 2의 블록들 각각의 대표 값을 기반으로 인터폴레이션을 수행하여 제1 블러링 영상을 획득하는 과정을 예시한다.
도 5는 일 실시예에 따른 블러링 영상의 가중치와 현재 프레임 영상의 가중치를 산출함으로써 경계 정보가 복원된 블러링 영상을 획득하는 과정을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 본 명세서 및 특허청구범위에 사용된 용어는 통상적이거나 사전적 의미로 한정되어 해석되지 아니하며, 본 발명의 기술적 사항에 부합하는 의미와 개념으로 해석되어야 한다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예이며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다.
실시예들은 입력 영상의 대비 향상(contrast enhancement) 수행 시 할로우 아티팩트(halo artifact)를 제거할 수 있고 대비 향상 효과를 높일 수 있는 영상 처리 장치 및 방법을 제공한다.
실시예들은 입력 영상의 대비 향상을 위해 제1 및 제2 블러링(blurring) 영상을 이용할 수 있으며, 여기서 제1 블러링 영상은 이전 프레임 영상의 블록들의 대표 값을 이용하여 인터폴레이션(interpolation)으로 획득된 영상으로 정의될 수 있고, 제2 블러링 영상은 현재 프레임 영상 및 가중치 합에 따라 경계 정보가 복원된 제2 블러링 영상으로 정의될 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치 및 방법을 설명하기 위한 블록도이다.
도 1을 참고하면, 영상 처리 장치는, 수신되는 입력 영상(input image)에 대하여 대비 향상을 수행하고 색차 정보를 보상한 결과 영상을 출력 영상(output image)으로 출력한다.
먼저, 수신되는 입력 영상에 대하여 대비 향상을 수행하는 과정을 설명하면 다음과 같다.
프로세서(100)는 입력 영상의 이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링(blurring) 영상을 획득한다.
제1 블러링 영상을 획득하는 과정을 구체적으로 설명하면, 프로세서(100)는 지엽적 대비 향상(local contrast enhancement)이 영상의 밝기 정보에서의 지엽적 대비 향상을 시키는 목적에 따라 입력 영상의 이전 프레임 영상(t-1)의 R, G, B 데이터를 밝기 값으로 컨버젼(conversion)하고(S1), 이전 프레임 영상(t-1)을 미리 설정된 크기의 블록들로 구분하며 블록들 각각의 대표 값을 산출하며(S2), 블록들 각각의 대표 값을 필터링하고(S3), 블록들 각각의 대표 값을 기반으로 원본 영상의 크기로 인터폴레이션을 수행하여 제1 블러링 영상을 획득한다(S4).
여기서, 도 1의 필터링 단계(S3)는 앞서 획득한 블록들 간의 대표 값에 대하여 인터폴레이션을 바로 수행할 수 발생할 수 있는 아티팩트들을 제거할 수 있다. 블록 단위 연산 시 가장 자주 발생하는 대표적인 아티팩트는 블록킹 아티팩트(blocking artifact)가 있다.
도 1의 실시예는 블록들 각각의 대표 값을 산출 시, 이전 프레임 영상(t-1)을 미리 설정된 크기의 블록들로 나눈 후 그에 따라 블록들에 포함된 픽셀들의 값의 평균을 구하여 블록들 별 대표 값을 산출하는 것을 예시한다. 여기서, 블록들 별 대표 값 산출은 블록들의 픽셀들 값에 대하여 평균(average) 값, 중간(median) 값, 풀링(pooling) 값 중 적어도 하나를 블록 별 대표 값으로 산출할 수 있다.
도 1의 인터폴레이션 단계(S4)는 블록들 별 획득된 대표 값을 바탕으로 원본 영상 사이즈로 인터폴레이션을 수행하고, 인터폴레이션에 의해 획득된 영상은 인터폴레이션의 가중치 테이블(weight table)에 따라 기존의 블러링 영상을 대체할 수 있다. 위 방식은 언샤프 마스킹(Unsharp masking) 기반 알고리즘으로 대비 상승 효과를 증대시키기 위하여 광범위한 블러링 영상이 필요한데, 이를 단순히 현재 프레임 영상 기반으로 획득하고자 할 때 하드웨어 코스트(hardware cost) 관점에서 많은 프레임 버퍼가 필요하다. 그러나 본 실시예와 같이 상기 방식을 이용할 경우 이전 프레임 영상의 블록들 별 대표 값만 저장할 공간의 버퍼만 필요하여 하드웨어 코스트 관점에서 많은 이득을 볼 수 있다.
그리고, 프로세서(100)는 현재 프레임 영상(t)과 제1 블러링 영상의 가중치 합(weighted sum)을 통해서 경계 정보가 복원되어 있는 제2 블러링 영상을 획득할 수 있다.
경계 정보가 복원된 제2 블러링 영상을 획득하는 과정을 구체적으로 설명하면, 프로세서(100)는 현재 프레임 영상(t)의 R, G, B 데이터를 밝기 값으로 컨버젼하고(S5), 현재 프레임 영상(t)과 제1 블러링 영상을 이용하여 제1 블러링 영상의 제1 가중치 및 현재 프레임 영상의 제2 가중치를 산출하고, 제1 및 제2 가중치에 따라서 현재 프레임 영상(t)과 제1 블러링 영상의 가중 평균으로 제2 블러링 영상을 획득한다(S6).
도 1의 가중치 합(weighted sum) 단계(S6)는 인터폴레이션으로 획득한 제1 블러링 영상이 경계 정보를 보존하고 있지 않기에 그에 따라 현재 프레임 영상과 제1 블러링 영상 간의 정보를 활용하여 경계 정보가 복원된 제2 블러링 영상을 획득한다. 본 실시예는 경계 정보가 복원된 제2 블러링 영상을 현재 프레임 영상과 제1 블러링 영상 간의 정보를 활용하여 획득하므로, 경계 정보가 보존된 기존의 블러링 영상을 저장하기 위한 큰 용량의 프레임 버퍼와 경계 검출 알고리즘을 필요로 하지 않는다.
본 실시예의 경우 블록들 각각의 대표 값을 저장하는 프레임 버퍼의 정보와 인터폴레이션으로 획득한 제1 블러링 영상과 현재 프레임 영상의 정보만으로 제1 및 제2 가중치를 산출하여 경계 정보를 복원한 새로운 제2 블러링 영상을 획득한다. 따라서, 본 실시예는 주변부 픽셀 정보에 대하여 저장할 큰 사이즈의 버퍼가 필요치 않은 장점이 있다.
여기서, 프로세서(100)는 현재 프레임 영상(t)에서 현재 위치 주변의 대표 값들 중 최대치와 최소치의 차이에 따라 제1 및 제2 가중치를 증가시키거나 감소시키고, 현재 위치에서의 현재 프레임 영상의 값과 제1 블러링 영상의 값의 차에 따라 제1 및 제2 가중치를 증가시키거나 감소시켜, 제1 및 제2 가중치를 산출할 수 있다.
일례로, 프로세서(100)는 제1 및 제2 가중치를 산출 시, 현재 위치 주변의 상기 대표 값들의 최대치와 최소치의 차이가 클수록 경계 정보를 복원하여 할로우 아티팩트(halo artifact)가 발생하지 않도록 제1 가중치를 감소시키고 제2 가중치를 증가시킬 수 있다.
그리고, 프로세서(100)는 제1 및 제2 가중치를 산출 시, 현재 위치에서의 현재 프레임 영상의 값과 제1 블러링 영상의 값이 차이가 클수록 대비 향상을 높이기 위해 제1 가중치를 증가시키고 제2 가중치를 감소시킬 수 있다.
그리고, 프로세서(100)는 제2 블러링 영상과 현재 프레임 영상(t) 간의 차분 영상을 이용하여 현재 프레임 영상의 대비 향상(contrast enhancement)을 수행할 수 있다. 구체적으로 설명하면, 프로세서(100)는 제2 블러링 영상과 현재 프레임 영상(t1) 간의 차분 영상을 획득하고(S7), 현재 프레임 영상(t)과 차분 영상의 합을 통해서(S8) 현재 프레임 영상(t)의 밝기 정보에 대하여 대비를 향상시킨다(S9).
그리고, 프로세서(100)는 대비 향상이 보상된 현재 프레임 영상에 색차 정보를 보상할 수 있다(S11). 일례로, 프로세서(100)는 색차 정보에도 밝기 정보의 변화를 적용하여 색차 정보를 보상함으로써 결과 영상으로서 출력되는 출력 영상의 열화를 방지할 수 있다.
도 2는 일 실시예에 따른 이전 프레임 영상을 미리 설정된 크기의 블록 단위로 구분하는 과정을 설명하기 위한 도면이고, 도 3은 도 2의 블록들 각각의 대표 값으로 픽셀의 평균 값을 이용하는 예시도이다.
도 2 및 도 3을 참고하면, 도 1의 블록들 별 대표 값을 픽셀들의 평균값으로 산출하는 것을 예시한다.
하드웨어 상에서 래스터 스캔(raster scan) 방식으로 입력 영상이 들어올 때, 초기 셋팅한 한 블록 사이즈 별로 나누어 대표 값을 연산 한 후, 대표 값을 저장할 버퍼에 그 데이터를 라이팅(writing)한다. 이에 대한 실시 예로서 도 3과 같이 평균값을 사용할 수도 있으며, 중간(median) 값이나 일반적인 풀링(pooling) 값을 사용할 수 있다.
도 4는 도 2의 블록들 각각의 대표 값을 기반으로 인터폴레이션을 수행하여 제1 블러링 영상을 획득하는 과정을 예시한다.
도 4를 참고하면, 도 1의 인터폴레이션 단계(S4)의 실시예로 이중 큐빅 인터폴레이션(bi-cubic interpolation)에 대하여 표현하였다.
도 4와 같이 인터폴레이션을 수행 할 경우 영상의 사이즈와 블록 사이즈에 따라 프레임 버퍼의 사이즈 크기는 달라질 수 있다. 최소한의 제1 블러링 영상을 획득하기 위한 버퍼보다 적게 설정할 경우 하드웨어 관점에서 경제적으로 설계가 가능하다. 이 때 사용되는 인터폴레이션은 실시예로 언급한 이중 큐빅 인터폴레이션(bi-cubic interpolation) 외에 이중 선형 인터폴레이션(bi-linear interpolation) 등 다양한 방식이 사용될 수 있다.
도 5는 일 실시예에 따른 블러링 영상의 가중치와 현재 프레임 영상의 가중치를 산출함으로써 경계 정보가 복원된 블러링 영상을 획득하는 과정을 도시한다.
도 1 및 도 5를 참고하면, 본 실시예는 언샤프 마스킹 기반의 지엽적 대비 향상을 수행함에 있어서 발생하는 할로우 아티팩트에 대하여 효과적인 제거를 목적으로 한다. 따라서 언샤프 마스킹에 사용될 블러링 영상을 경계 정보를 복원한 블러링 영상으로 사용함으로써 할로우 아티팩트를 제거하고자 한다.
이에 본 실시예는 프레임 버퍼에 저장된 '현재 위치 주변 블러링 영상의 대표 값'과 '현재 위치에서의 입력 영상 값', '인터폴레이션을 수행한 값'을 토대로 제1 및 제2 가중치를 연산하여 새로운 제2 블러링 영상을 획득할 수 있다.
여기서, 제1 및 제2 가중치에 대한 실시 예로 은 가 될 수 있으며, 는 가 될 수 있다.
도 5 및 상기 수학식을 보다 구체적으로 설명하면, 본 실시예는 현재 프레임 영상(t)에서 현재 위치 주변의 대표 값들 중 최대치와 최소치의 차이에 따라 제1 및 제2 가중치를 증가시키거나 감소시키고, 현재 위치에서의 현재 프레임 영상의 값과 제1 블러링 영상의 값의 차에 따라 제1 및 제2 가중치를 증가시키거나 감소시켜, 제1 및 제2 가중치를 산출할 수 있다.
일례로, 본 실시예는 제1 및 제2 가중치를 산출 시, 현재 위치 주변의 상기 대표 값들의 최대치와 최소치의 차이가 클수록 경계 정보를 복원하여 할로우 아티팩트(halo artifact)가 발생하지 않도록 제1 가중치를 감소시키고 제2 가중치를 증가시킬 수 있다.
그리고, 프로세서(100)는 제1 및 제2 가중치를 산출 시, 현재 위치에서의 현재 프레임 영상의 값과 제1 블러링 영상의 값이 차이가 클수록 대비 향상을 높이기 위해 제1 가중치를 증가시키고 제2 가중치를 감소시킬 수 있다.
상술한 바와 같이, 실시예들에 따르면, 이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링 영상을 획득하므로 대비 향상 효과를 높일 수 있다.
또한, 현재 프레임 영상과 제1 블러링 영상을 이용하여 제1 블러링 영상의 제1 가중치 및 현재 프레임 영상의 제2 가중치를 산출하고, 제1 및 제2 가중치에 따라서 현재 프레임 영상과 제1 블러링 영상의 가중 평균으로 경계 정보가 복원된 제2 블러링 영상을 획득하므로 대비 향상에서 발생하는 할로우 아티팩트(halo artifact)를 효과적으로 제거할 수 있다.

Claims (20)

  1. 이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링(blurring) 영상을 획득하는 단계;
    현재 프레임 영상과 상기 제1 블러링 영상의 가중치 합(weighted sum)을 통해서 경계 정보가 복원되어 있는 제2 블러링 영상을 획득하는 단계; 및
    상기 제2 블러링 영상과 상기 현재 프레임 영상 간의 차분 영상을 이용하여 상기 현재 프레임 영상의 대비 향상(contrast enhancement)을 수행하는 단계;
    를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 제1 블러링 영상을 획득하는 단계는,
    상기 이전 프레임 영상의 R, G, B 데이터를 밝기 값으로 컨버젼하는 단계;
    상기 이전 프레임 영상을 미리 설정된 크기의 상기 블록들로 구분하고 상기 블록들 각각의 상기 대표 값을 산출하는 단계; 및
    상기 블록들 각각의 상기 대표 값을 기반으로 원본 영상의 크기로 인터폴레이션을 수행하여 상기 제1 블러링 영상을 획득하는 단계;
    를 포함하는 영상 처리 방법.
  3. 제 2 항에 있어서
    상기 블록들 별 대표 값을 산출하는 단계는,
    상기 블록들의 픽셀들 값에 대하여 평균(average) 값, 중간(median) 값, 풀링(pooling) 값 중 적어도 하나를 이용하여 산출하는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 제2 블러링 영상을 획득하는 단계는,
    상기 현재 프레임 영상과 상기 제1 블러링 영상을 이용하여 상기 제1 블러링 영상의 제1 가중치 및 상기 현재 프레임 영상의 제2 가중치를 산출하는 단계; 및
    상기 제1 및 제2 가중치에 따라서 상기 현재 프레임 영상과 상기 제1 블러링 영상의 가중 평균으로 상기 제2 블러링 영상을 획득하는 단계;
    를 포함하는 영상 처리 방법.
  5. 제 4 항에 있어서,
    상기 제1 및 제2 가중치를 산출하는 단계는,
    상기 현재 프레임 영상에서 현재 위치 주변의 상기 대표 값들 중 최대치와 최소치의 차이에 따라 상기 제1 및 제2 가중치를 증감시키고, 상기 현재 위치에서의 상기 현재 프레임 영상의 값과 상기 제1 블러링 영상의 값의 차에 따라 상기 제1 및 제2 가중치를 증감시키는 영상 처리 방법.
  6. 제 5 항에 있어서,
    상기 현재 위치 주변의 상기 대표 값들의 최대치와 최소치의 차이가 클수록 상기 경계 정보를 복원하여 할로우 아티팩트(halo artifact)가 발생하지 않도록 상기 제1 가중치를 감소시키고 상기 제2 가중치를 증가시키는 영상 처리 방법.
  7. 제 6 항에 있어서,
    상기 현재 위치에서의 상기 현재 프레임 영상의 값과 상기 제1 블러링 영상의 값이 차이가 클수록 대비 향상을 높이기 위해 상기 제1 가중치를 증가시키고 상기 제2 가중치를 감소시키는 영상 처리 방법.
  8. 제 1 항에 있어서,
    상기 현재 프레임 영상의 대비 향상(contrast enhancement)을 수행하는 단계는,
    상기 제2 블러링 영상과 상기 현재 프레임 영상 간의 차분 영상을 획득하는 단계; 및
    상기 현재 프레임 영상과 상기 차분 영상의 합을 통해서 상기 현재 프레임 영상의 대비를 향상시키는 단계;
    를 포함하는 영상 처리 방법.
  9. 제 1 항에 있어서
    상기 대비 향상이 수행된 상기 현재 프레임 영상에 색차 정보를 보상하는 단계;
    를 더 포함하는 영상 처리 방법.
  10. 제 9 항에 있어서, 상기 색차 정보를 보상하는 단계는,
    상기 색차 정보에 밝기 정보의 변화를 적용하여 출력되는 결과 영상에서의 열화를 방지하는 영상 처리 방법.
  11. 입력 영상의 대비 향상(contrast enhancement)을 수행하는 영상 처리 장치에 있어서,
    이전 프레임 영상의 미리 설정된 크기의 블록들의 각각의 대표 값을 기반으로 인터폴레이션(interpolation)을 수행하여 제1 블러링(blurring) 영상을 획득하고, 현재 프레임 영상과 상기 제1 블러링 영상의 가중치 합(weighted sum)을 통해서 경계 정보가 복원되어 있는 제2 블러링 영상을 획득하며, 상기 제2 블러링 영상과 상기 현재 프레임 영상 간의 차분 영상을 이용하여 상기 현재 프레임 영상의 대비 향상(contrast enhancement)을 수행하는 프로세서;
    를 포함하는 영상 처리 장치.
  12. 제 11 항에 있어서, 상기 프로세서는,
    상기 이전 프레임 영상의 R, G, B 데이터를 밝기 값으로 컨버젼하고, 상기 이전 프레임 영상을 미리 설정된 크기의 상기 블록들로 구분하고 상기 블록들 각각의 상기 대표 값을 산출하며, 상기 블록들 각각의 상기 대표 값을 기반으로 원본 영상의 크기로 인터폴레이션을 수행하여 상기 제1 블러링 영상을 획득하는 영상 처리 장치.
  13. 제 12 항에 있어서, 상기 프로세서는,
    상기 블록들의 픽셀들 값에 대하여 평균(average) 값, 중간(median) 값, 풀링(pooling) 값 중 적어도 하나를 상기 블록 별 상기 대표 값으로 산출하는 영상 처리 장치.
  14. 제 11 항에 있어서, 상기 프로세서는,
    상기 현재 프레임 영상과 상기 제1 블러링 영상을 이용하여 상기 제1 블러링 영상의 제1 가중치 및 상기 현재 프레임 영상의 제2 가중치를 산출하고, 상기 제1 및 제2 가중치에 따라서 상기 현재 프레임 영상과 상기 제1 블러링 영상의 가중 평균으로 상기 제2 블러링 영상을 획득하는 영상 처리 장치.
  15. 제 14 항에 있어서, 상기 프로세서는,
    상기 현재 프레임 영상에서 현재 위치 주변의 상기 대표 값들 중 최대치와 최소치의 차이에 따라 상기 제1 및 제2 가중치를 증감시키고, 상기 현재 위치에서의 상기 현재 프레임 영상의 값과 상기 제1 블러링 영상의 값의 차에 따라 상기 제1 및 제2 가중치를 증감시켜, 상기 제1 및 제2 가중치를 산출하는 영상 처리 장치.
  16. 제 15 항에 있어서, 상기 프로세서는,
    상기 제1 및 제2 가중치를 산출 시, 상기 현재 위치 주변의 상기 대표 값들의 최대치와 최소치의 차이가 클수록 상기 경계 정보를 복원하여 할로우 아티팩트(halo artifact)가 발생하지 않도록 상기 제1 가중치를 감소시키고 상기 제2 가중치를 증가시키는 영상 처리 장치.
  17. 제 16 항에 있어서, 상기 프로세서는,
    상기 제1 및 제2 가중치를 산출 시, 상기 현재 위치에서의 상기 현재 프레임 영상의 값과 상기 제1 블러링 영상의 값이 차이가 클수록 대비 향상을 높이기 위해 상기 제1 가중치를 증가시키고 상기 제2 가중치를 감소시키는 영상 처리 장치.
  18. 제 11 항에 있어서, 상기 프로세서는,
    상기 제2 블러링 영상과 상기 현재 프레임 영상 간의 차분 영상을 획득하고, 상기 현재 프레임 영상과 상기 차분 영상의 합을 통해서 상기 현재 프레임 영상의 대비를 향상시키는 영상 처리 장치.
  19. 제 11 항에 있어서, 상기 프로세서는,
    상기 대비 향상이 수행된 상기 현재 프레임 영상에 색차 정보를 보상하는 영상 처리 장치.
  20. 제 19 항에 있어서, 상기 프로세서는,
    상기 색차 정보를 보상 시, 상기 색차 정보에 밝기 정보의 변화를 적용하여 출력되는 결과 영상에서의 열화를 방지하는 영상 처리 장치.
KR1020180169628A 2018-12-26 2018-12-26 영상 처리 장치 및 그 방법 KR102575126B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180169628A KR102575126B1 (ko) 2018-12-26 2018-12-26 영상 처리 장치 및 그 방법
CN201911263395.3A CN111383190B (zh) 2018-12-26 2019-12-11 图像处理设备和方法
US16/715,164 US11222412B2 (en) 2018-12-26 2019-12-16 Image processing device and method
TW108146376A TWI827771B (zh) 2018-12-26 2019-12-18 圖像處理設備和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180169628A KR102575126B1 (ko) 2018-12-26 2018-12-26 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200079922A KR20200079922A (ko) 2020-07-06
KR102575126B1 true KR102575126B1 (ko) 2023-09-05

Family

ID=71122116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169628A KR102575126B1 (ko) 2018-12-26 2018-12-26 영상 처리 장치 및 그 방법

Country Status (4)

Country Link
US (1) US11222412B2 (ko)
KR (1) KR102575126B1 (ko)
CN (1) CN111383190B (ko)
TW (1) TWI827771B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6975070B2 (ja) * 2018-02-27 2021-12-01 シャープ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102640670B1 (ko) * 2022-07-07 2024-02-27 엘지전자 주식회사 디스플레이 장치 및 디스플레이 제어 방법
CN116703785B (zh) * 2023-08-04 2023-10-27 普密特(成都)医疗科技有限公司 一种微创手术镜下模糊图像的处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
WO2015146240A1 (ja) * 2014-03-27 2015-10-01 Ｎｋワークス株式会社 画像処理装置
JP2017107260A (ja) * 2015-12-07 2017-06-15 セイコーエプソン株式会社 画像処理方法、及び、画像処理プログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4231065A (en) 1979-01-11 1980-10-28 Honeywell Inc. Local area contrast enhancement device
US5081492A (en) 1990-12-12 1992-01-14 Xerox Corporation Exposure control system
JPH1127533A (ja) * 1997-07-07 1999-01-29 Dainippon Screen Mfg Co Ltd 輪郭強調方法及びその装置
US6611627B1 (en) 2000-04-24 2003-08-26 Eastman Kodak Company Digital image processing method for edge shaping
US6915024B1 (en) * 2000-09-29 2005-07-05 Hewlett-Packard Development Company, L.P. Image sharpening by variable contrast mapping
US7130483B2 (en) * 2001-12-12 2006-10-31 Samsung Electronics Co., Ltd. Method for enhancing a digital image while suppressing undershoots and overshoots
KR101051604B1 (ko) * 2003-01-09 2011-07-22 소니 주식회사 화상 처리 장치 및 방법
KR100605746B1 (ko) * 2003-06-16 2006-07-31 삼성전자주식회사 블럭 기반의 움직임 보상 장치 및 방법
US8014034B2 (en) * 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
US7773257B2 (en) 2006-10-30 2010-08-10 Sony Corporation Color metric for halo artifacts
US8306348B2 (en) * 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
US7889949B2 (en) 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
US8238687B1 (en) * 2008-01-09 2012-08-07 Helwett-Packard Development Company, L.P. Local contrast enhancement of images
US8687918B2 (en) * 2008-03-05 2014-04-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image processing system, and computer program
US20100002952A1 (en) 2008-07-01 2010-01-07 Texas Instruments Incorporated Method and apparatus for image sharpening
JP5451313B2 (ja) 2009-10-27 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8502894B2 (en) 2009-12-30 2013-08-06 Stmicroelectronics Asia Pacific Pte. Ltd. Method and apparatus for ringing and halo control
CN101833754B (zh) * 2010-04-15 2012-05-30 青岛海信网络科技股份有限公司 图像增强方法及***
US8873880B2 (en) 2010-04-26 2014-10-28 Robert Bosch Gmbh Detection and/or enhancement of contrast differences in digital image data
US9398205B2 (en) * 2010-09-01 2016-07-19 Apple Inc. Auto-focus control using image statistics data with coarse and fine auto-focus scores
KR101663227B1 (ko) * 2010-09-13 2016-10-06 삼성전자주식회사 영상 처리 방법 및 장치
KR101913336B1 (ko) 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
US20130301949A1 (en) * 2012-05-11 2013-11-14 Sony Corporation Image enhancement apparatus and method
KR101767094B1 (ko) * 2012-12-03 2017-08-31 한화테크윈 주식회사 영상 처리 장치 및 방법
US9142009B2 (en) * 2013-07-30 2015-09-22 Adobe Systems Incorporated Patch-based, locally content-adaptive image and video sharpening
CN103955917A (zh) * 2014-04-03 2014-07-30 国家电网公司 一种长间隙空气电弧图像边缘检测方法
JP6495446B2 (ja) * 2015-06-08 2019-04-03 オリンパス株式会社 ぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法
US9959599B2 (en) * 2015-06-18 2018-05-01 Sharp Laboratories Of America, Inc. System for enhanced images
US9998666B2 (en) * 2015-08-26 2018-06-12 Duke University Systems and methods for burst image deblurring
TWI588777B (zh) * 2015-12-29 2017-06-21 Method of Fuzzy Clustering Automated Contrast Change
US10528842B2 (en) * 2017-02-06 2020-01-07 Mediatek Inc. Image processing method and image processing system
TWI639135B (zh) * 2017-11-16 2018-10-21 國立高雄科技大學 模糊影像之復原方法
CN108765342A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种基于改进暗通道的水下图像复原方法
US10970816B2 (en) * 2018-08-13 2021-04-06 Nvidia Corporation Motion blur and depth of field reconstruction through temporally stable neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
WO2015146240A1 (ja) * 2014-03-27 2015-10-01 Ｎｋワークス株式会社 画像処理装置
JP2017107260A (ja) * 2015-12-07 2017-06-15 セイコーエプソン株式会社 画像処理方法、及び、画像処理プログラム

Also Published As

Publication number Publication date
US11222412B2 (en) 2022-01-11
TWI827771B (zh) 2024-01-01
TW202025085A (zh) 2020-07-01
KR20200079922A (ko) 2020-07-06
CN111383190A (zh) 2020-07-07
CN111383190B (zh) 2024-02-20
US20200211167A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
US9262811B2 (en) System and method for spatio temporal video image enhancement
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
US9978121B2 (en) Adaptive sharpening in image processing and display
CN109325922B (zh) 一种图像自适应增强方法、装置及图像处理设备
KR102575126B1 (ko) 영상 처리 장치 및 그 방법
US9824424B2 (en) Image amplifying method, image amplifying device, and display apparatus
CN110555808B (zh) 一种图像处理方法、装置、设备及机器可读存储介质
US20180020229A1 (en) Computationally efficient motion compensated frame rate conversion system
JP5367667B2 (ja) 画像処理装置
JP2010041064A (ja) 画像処理装置、画像処理方法、プログラム
JP6714078B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2004127064A (ja) 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置
JP4097587B2 (ja) 画像処理装置および画像処理方法
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
JP2013041565A (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP6375138B2 (ja) パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置
JP7265316B2 (ja) 画像処理装置及び画像処理方法
US9699453B1 (en) Methods and apparatuses for video enhancement and video object tracking
JP2005182232A (ja) 輝度補正装置および輝度補正方法
JP6024363B2 (ja) 画像処理装置
Wada et al. Extended joint bilateral filter for the reduction of color bleeding in compressed image and video
JPWO2006117844A1 (ja) 画像処理装置、画像処理方法、及び情報端末装置
Nokovic et al. Image enhancement by jetson tx2 embedded ai computing device
CN109754370B (zh) 图像去噪方法及装置
KR100698640B1 (ko) 와핑 변환을 이용한 프레임 보간 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant