KR102507165B1 - 영상 처리 장치 및 그 영상 처리 방법 - Google Patents

영상 처리 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
KR102507165B1
KR102507165B1 KR1020180084294A KR20180084294A KR102507165B1 KR 102507165 B1 KR102507165 B1 KR 102507165B1 KR 1020180084294 A KR1020180084294 A KR 1020180084294A KR 20180084294 A KR20180084294 A KR 20180084294A KR 102507165 B1 KR102507165 B1 KR 102507165B1
Authority
KR
South Korea
Prior art keywords
pixel
image
pixel block
value
noise
Prior art date
Application number
KR1020180084294A
Other languages
English (en)
Other versions
KR20190098018A (ko
Inventor
김상훈
박승호
김동윤
문영수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/165,183 priority Critical patent/US10963995B2/en
Priority to PCT/KR2019/001649 priority patent/WO2019156524A1/en
Publication of KR20190098018A publication Critical patent/KR20190098018A/ko
Application granted granted Critical
Publication of KR102507165B1 publication Critical patent/KR102507165B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G06T5/002—
    • G06T5/004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 장치가 개시된다. 영상 처리 장치는, 입력부 및 입력부를 통해 입력된 영상에 대한 잡음 제거 처리를 수행하고, 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하고, 잡음이 제거된 영상에서 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별하고, 제1 픽셀 블럭에 포함된 픽셀 값 및 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득하고, 획득된 게인 값을 상기 제2 픽셀 블럭에 적용하여 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 프로세서를 포함한다.

Description

영상 처리 장치 및 그 영상 처리 방법 { Image processing apparatus and image processing method thereof }
본 개시은 영상 처리 장치 및 그 영상 처리 방법에 관한 것으로, 더욱 상세하게는 입력 영상에 대한 인핸스 처리를 수행하는 영상 처리 장치 및 그 영상 처리 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 가정, 사무실, 공공 장소 등 다양한 장소에서 이용되는 디스플레이 장치는 최근 수년 간 지속적으로 발전하고 있다.
최근에는 고해상도 영상 서비스, 실시간 스트리밍 서비스에 대한 요구가 크게 증가하고 있다. 하지만, 고해상도 영상, 스트리밍 영상의 전송을 위해 손실 압축을 피할 수 없는 상황이며 이는 화질 감소로 이어진다는 문제점이 있다.
본 개시은 상술한 필요성에 따른 것으로, 본 개시의 목적은, 영상 압축, 잡음 제거 처리 등으로 감소된 에지의 선명도 및 로컬 콘트라스트를 향상시키 위한 영상 처리 장치 및 그 영상 처리 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 영상 처리 장치는, 입력부 및 상기 입력부를 통해 입력된 영상에 대한 잡음 제거 처리를 수행하고, 상기 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하고, 상기 잡음이 제거된 영상에서 상기 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별하고, 상기 제1 픽셀 블럭에 포함된 픽셀 값 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득하고, 상기 획득된 게인 값을 상기 제2 픽셀 블럭에 적용하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산에 기초하여 상기 게인 값을 획득할 수 있다.
또는, 상기 프로세서는, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 그래디언트 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트에 기초하여 상기 게인 값을 획득할 수 있다.
또한, 상기 프로세서는, 상기 제1 픽셀 블럭이 상기 입력 영상의 텍스처 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산에 기초하여 상기 게인 값을 획득하고, 상기 제1 픽셀 블럭이 상기 입력 영상의 에지 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트에 기초하여 상기 게인 값을 획득할 수 있다.
또한, 상기 프로세서는, 상기 제2 픽셀 블럭에 포함된 픽셀 값, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 제1 평균 값, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 제2 평균 값 및 상기 게인 값에 기초하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 제2 픽셀 블럭에 포함된 각 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 제2 픽셀 블럭에서 상기 대상 픽셀의 픽셀 값을 획득하고, 상기 획득된 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, 상기 프로세서는, 언샤프 마스킹(unsharp masking) 및 픽셀 값 스트레칭(stretching) 중 적어도 하나를 적용하여 상기 인핸스 처리를 수행할 수 있다.
또한, 디스플레이;를 더 포함하며, 상기 프로세서는, 상기 인핸스 처리된 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 영상 처리 장치의 영상 처리 방법은, 입력된 영상에 대한 잡음 제거 처리를 수행하는 단계, 상기 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하는 단계, 상기 잡음이 제거된 영상에서 상기 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별하는 단계, 상기 제1 픽셀 블럭에 포함된 픽셀 값 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득하는 단계 및, 상기 획득된 게인 값을 상기 제2 픽셀 블럭에 적용하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 단계를 포함할 수 있다.
이 경우, 상기 게인 값을 획득하는 단계는, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산에 기초하여 상기 게인 값을 획득할 수 있다.
또는, 상기 게인 값을 획득하는 단계는, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 그래디언트 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트에 기초하여 상기 게인 값을 획득할 수 있다.
또한, 상기 게인 값을 획득하는 단계는, 상기 제1 픽셀 블럭이 상기 입력 영상의 텍스처 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산에 기초하여 상기 게인 값을 획득하고, 상기 제1 픽셀 블럭이 상기 입력 영상의 에지 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트에 기초하여 상기 게인 값을 획득할 수 있다.
또한, 상기 인핸스 처리를 수행하는 단계는, 상기 제2 픽셀 블럭에 포함된 픽셀 값, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 제1 평균 값, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 제2 평균 값 및 상기 게인 값에 기초하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, 상기 인핸스 처리를 수행하는 단계는, 상기 제2 픽셀 블럭에 포함된 각 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, 상기 인핸스 처리를 수행하는 단계는, 상기 제2 픽셀 블럭에서 상기 대상 픽셀의 픽셀 값을 획득하고, 상기 획득된 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, 상기 인핸스 처리를 수행하는 단계는, 언샤프 마스킹(unsharp masking) 및 픽셀 값 스트레칭(stretching) 중 적어도 하나를 적용하여 상기 인핸스 처리를 수\행할 수 있다.
또한, 상기 인핸스 처리된 영상을 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 입력된 영상에 대한 잡음 제거 처리를 수행하는 단계, 상기 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하는 단계, 상기 잡음이 제거된 영상에서 상기 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별하는 단계, 상기 제1 픽셀 블럭에 포함된 픽셀 값 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득하는 단계 및, 상기 획득된 게인 값을 상기 제2 픽셀 블럭에 적용하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 단계를 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 영상 압축, 잡음 제거 처리 등으로 감소된 에지의 선명도 및/또는 로컬 콘트라스트를 향상시킬 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구현 예를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 유사 패치 탐색 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4c는 본 개시의 일 실시 예에 따른 픽셀 값 스트레칭 방법을 설명하기 위한 도면들이다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 필터링 방법을 설명하기 위한 도면들이다.
도 6a 및 도 6b는 본 개시의 다양한 실시 예에 따른 영상 처리 방법을 개략적으로 설명하기 위한 블럭도이다.
도 7 내지 도 13b는 본 개시의 다른 실시 예를 설명하기 위한 도면들이다.
도 14는 본 개시의 다른 실시 예에 따른 정량적 효과를 설명하기 위한 테이블이다.
도 15는 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 16은 본 개시의 다른 실시 예에 따른 영상 처리 장치의 구성을 나타내는 블럭도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구현 예를 설명하기 위한 도면이다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구현 예를 설명하기 위한 도면이다.
영상 처리 장치(100)는 도 1에 도시된 바와 같이 TV 또는 set-top box 로 구현될 수 있으나, 이에 한정되는 것은 아니며 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이, 카메라 등과 같이 영상 처리 및/또는 디스플레이 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.
영상 처리 장치(100)는 다양한 압축 영상 또는 다양한 해상도의 영상을 수신할 수 있다. 예를 들어, 영상 처리 장치(100)는 MPEG(Moving Picture Experts Group)(예를 들어, MP2, MP4, MP7 등), JPEG(joint photographic coding experts group), AVC(Advanced Video Coding), H.264, H.265, HEVC(High Efficiency Video Codec) 등으로 압축된 형태로 영상을 수신할 수 있다. 또는 영상 처리 장치(100)는 SD(Standard Definition), HD(High Definition), Full HD, Ultra HD 영상 중 어느 하나의 영상을 수신할 수 있다.
일 실시 예에 따라 입력되는 영상이 압축 영상인 경우 압축으로 인한 잡음를 포함하게 된다. 예를 들어, block-discrete cosine transform(BDCT)는 널리 이용되고 있는 효과적인 압축 방식이지만, blocky, ringing, mosquito, stair case와 같은 압축 잡음과, blurring, weak texture 손실 등을 발생시킨다. 예를 들어, blocky와 같은 잡음는 압축에 사용된 블록의 경계에서 불연속성을 발생시킬 수 있다. 또한, 고주파 성분의 양자화에 의하여 에지 주변에서 Ringing, mosquito 잡음 및 blurring 등이 발생될 수 있다.
이에 따라 압축 영상이 수신되는 경우 압축 잡음을 제거하기 위한 처리가 필수적으로 요구되는데, 압축 잡음을 제거하는 처리 과정에서도 에지가 블러되고, 로컬 콘트라스트가 감소하는 현상이 발생하게 된다. 이에 따라 압축 잡음 제거 후 에지의 선명도, 로컬 콘트라스트 등을 복원하기 위한 인핸스 과정이 추가적으로 요구된다.
다만, 에지의 선명도를 지나치게 증가시키면 영상이 왜곡되거나 언더슈트(undershoot) 또는 오버슈트(overshoot)과 같은 부작용이 발생하게 된다. 반대로 에지의 선명도를 충분히 복원시켜주지 않으면 고화질 수준의 선명도를 얻을 수 없게 된다. 이에 따라 에지의 선명도, 로컬 콘트라스트 복원을 위한 최적의 게인을 산출하는 것이 무엇보다 중요하다.
이하에서는 압축 또는 압축 잡음을 제거하는 과정에서 블러되는 에지의 선명도 및 로컬 콘트라스트를 향상시키 위한 다양한 실시 예에 대해 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면, 영상 처리 장치(100)는 입력부(110) 및 프로세서(120)를 포함한다.
입력부(110)는 다양한 타입의 컨텐츠를 입력받는다. 예를 들어 입력부(110)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI, USB, MHL, AES/EBU, 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 영상 신호는 디지털 신호가 될 수 있으나 이에 한정되는 것은 아니다.
프로세서(120)는 영상 처리 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(120)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
< 잡음 제거 처리>
프로세서(120)는 입력부(110)를 통해 입력된 영상에 대한 잡음 제거 처리(또는 잡음 감소 처리)를 수행한다. 일반적으로, 영상을 압축하는 과정, 전송하는 과정 등에서 잡음이 발생된다. 잡음 제거 처리를 하는 이유는 잡음에 의해 영상의 화질을 떨어질 뿐 아니라 스케일링, 특징 추출, 해상도 처리 등 다른 영상 처리 효과도 감소될 수 있기 때문이다.
일 실시 예에 따라 프로세서(120)는 넌 로컬 필터링(non-local filtering) 및 자기 유사성(self-similarity)을 이용한 방식에 기초하여 잡음 제거 처리를 수행할 수 있다. 대부분의 영상은 프렉탈 이론의 기반이 되는 자기 유사성이라는 특징을 가지고 있다. 즉, 영상 내에 일 영역과 유사한 다른 영역이 포함되어 있다는 가정 하에, 영상 내의 다른 영역에 대하여 유사도를 측정한 후 유사도가 높은 픽셀 영역에 기초하여 잡음 제거를 수행할 수 있다.
예를 들어, 프로세서(120)는 영상 내에서 기설정된 픽셀 영역(또는 픽셀 블럭), 예를 들어, 기 설정된 패치(이하, 현재 패치라 함)를 획득하고, 현재 패치와 유사한 패치들이 영상 내에 존재한다고 가정한다. 영상 내에서 현재 패치와 유사한 패치들을 수집하여, 유사 성분들은 스트럭쳐(structure) 성분으로 간주하고 비유사 성분들은 잡음 성분으로 간주한다. 즉, 프로세서(120)는 패치들 사이에 유사성이 높은 신호들은 남기고 유사성이 낮은 신호들은 제거하여 영상 내의 잡음을 제거한다. 이러한 방법을 이용하면, 로우 패스 필터링(low pass filtering)에 의한 스무딩(smoothing) 필터와 비교하여 structure 성분의 블러(blur)를 최소화하고 효과적으로 잡음을 제거할 수 있게 된다.
도 3은 본 개시의 일 실시 예에 따른 유사 패치 탐색 방법을 설명하기 위한 도면이다.
도 3에서 현재 패치(310)를 기준으로, 기설정된 영역(320) 내에서 유사 패치들을 찾는다. 유사성을 판단하는 비용 함수(cost function)로는 MSE(Mean Square Error), SAD(Sum of absolute difference), MAD(Median Absolute Deviation), correlation 등을 사용할 수 있다. 예를 들어, MSE를 적용하는 경우, 압축 영상의 획득되는 패치들의 MSE를 산출하고, MSE 관점에서 유사도가 높은 패치 즉, MSE 차이가 작은 패치를 탐색하여 유사 패치들을 획득할 수 있다.
유사 패치들(331 내지 336)이 획득되면, 유사 패치(330-1 내지 330-6)들의 자기 유사성을 활용하여 압축 잡음을 제거한다.
유사 패치를 활용하여 잡음을 제거하기 위하여 NLM(A. Buades, B. Coll, and J.M. Morel, “A non-local algorithm for image denoising,” in Proc. IEEE Int. Conf. Comput. Vis., pp. 60-65, 2005.), BM3D(K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, “Image denoising by sparse 3-D transform-domain collaborative filtering,” IEEE Trans. Image Process., vol. 16, no. 8, pp. 2080?2095, Aug. 2007), CONCOLOR(J. Zhang, R. Xiong, C. Zhao, Y. Zhang, S. Ma, and W. Gao, “CONCOLOR: Constrained non-convex low-rank model for image deblocking,” IEEE Trans. Image Process., vol. 25, no. 3, pp. 1246-1259, 2016) 등에 개시된 다양한 방법을 이용할 수 있다.
예를 들어, CONCOLOR를 적용하는 경우, SVD(singular value decomposition)을 사용하여 유사 성분 및 비 유사 성분을 구분한다. CONCOLOR는 패치의 structure 성분에 해당하는 유사 성분은 유지하고 잡음에 해당하는 비 유사 성분의 신호를 감소시켜 잡음을 제거한다. 한편, BM3D에서는 patch들의 3D-DCT를 수행하여 패치 간 유사 성분과 비 유사 성분을 구분하는데, SVD를 사용하면 3D-DCT보다 정확하게 유사 성분 및 비 유사 성분을 구분할 수 있다.
< 일 실시 예에 따른 게인 획득 및 인핸스 처리 >
이어서, 프로세서(120)는 잡음이 제거된(denoised) 영상 및 입력 영상에 기초하여 인핸스 처리를 위한 게인을 획득한다.
일 실시 예에 따라 프로세서(120)는 잡음 제거 과정에서 블러된 에지, 저하된 선명도 등을 복원하기 위한 게인을 산출할 수 있다.
이 경우, 첫째, 에지 주변에 있는 잡음 파워는 에지의 파워보다 크지 않다고 가정한다. 이러한 가정은 압축 잡음의 생성 과정에 기인한 것이다. 즉, 압축 시에 에지를 표현하기 위해 패치 단위의 DCT(descret cosine transform)를 수행하고, 이후 DCT 계수들에 대해서 양자화(quantization)을 수행하는 과정에서 압축 잡음이 생기기 때문이다. 둘째, non-local filtering 등을 사용한 노이즈 제거 방법이 텍스처(texture)를 완전한 평탄면으로는 만들지 않는다고 가정한다. 노이즈 제거된 영상에서 완전 평탄인 영역은 입력 이미지가 이미 완전한 평탄 영역이거나 거의 평탄이어서, 사용자가 텍스처를 인지하지 못하는 수준인 영역일 수 있다.
이러한 두 가정에 기초하여 본 개시의 일 실시 예에 따른 최적 게인을 찾는 방법은, 잡음이 제거된 후에도 압축 영상의 로컬 특성에 따라 보존되어야 할 메트릭(metric)이 보존되는 방식으로 이루어질 수 있다. 예를 들어, 압축 영상의 평균, 분산, 그래디언트 등의 메트릭을 산출하고, 이를 보존하는 방식으로 게인을 산출할 수 있다.
구체적으로, 프로세서(120)는 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하고, 잡음이 제거된 영상에서 해당 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별할 수 있다. 일 실시 예에 따라 프로세서(120)는 대상 픽셀을 중심 픽셀로 하며 주변 픽셀을 포함하는 기설정된 크기의 제1 픽셀 블럭 및 제2 픽셀 블럭을 획득할 수 있다. 여기서, 기설정된 크기는 3*3, 5*5 등 다양한 크기가 될 수 있으나, 이하에서는 설명의 편의를 위하여 3*3 픽셀 블럭을 획득하는 경우를 상정하여 설명하도록 한다. 여기서, 픽셀 블럭은 예를 들어 패치로 구현될 수 있다.
프로세서(120)는 제1 픽셀 블럭에 포함된 픽셀 값 및 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득할 수 있다.
일 예에 따라 프로세서(120)는 제1 패치에서 평균 및 분산을 산출하고, 제2 패치에서 평균 및 분산을 산출할 수 있다. 여기서, 제1 패치에서의 평균 및 분산을 각각
Figure 112018071598014-pat00001
및
Figure 112018071598014-pat00002
라고 하고, 제2 패치에서의 평균 및 분산을 각각
Figure 112018071598014-pat00003
및
Figure 112018071598014-pat00004
라 한다.
프로세서(120)는 제1 패치에서의 분산
Figure 112018071598014-pat00005
및 제2 패치에서의 분산
Figure 112018071598014-pat00006
에 기초하여 게인 g를 획득할 수 있다. 여기서, 분산은 (편차)2의 평균을 의미하며, 편차는 제1 패치(또는 제2 패치)에 포함된 픽셀 값들의 평균과 각 픽셀 값의 차이가 될 수 있다.
다른 예에 따라, 프로세서(120)는 제1 패치에서 최대 그래디언트를 산출하고, 제2 패치에서 최대 그래디언트를 산출할 수 있다. 여기서, 제1 패치에서의 최대 그래디언트 및 제2 패치에서의 최대 그래디언트를 각각
Figure 112018071598014-pat00007
및
Figure 112018071598014-pat00008
라 한다. 여기서, 그래디언트는 인접 픽셀 간 픽셀 값 차이를 의미하며, 최대 그래디언트는 제1 패치(또는 제2 패치)에 포함된 인접 픽셀 간 픽셀 값 차이 중에서 가장 큰 값이 될 수 있다.
한편, 영상의 로컬 특성에 따라 상이한 메트릭에 기초하여 게인을 산출하는 것이 효과적일 수 있다. 예를 들어, 영상을 플랫(flat), 에지(edge), 텍스처(texture) 영역으로 구별하도록 한다.
이 경우, 에지 영역에서는 에지의 maximum gradient를 보존하는 것이 블러를 방지하는데 효과적으로, 패치와 같은 좁은 영역에서 에지보다 큰 maximum gradient를 가지는 픽셀은 존재하지 않기 때문에 overshoot과 같은 부작용이 발생하지 않게 된다. 텍스처 영역은 에지 영역과 달리 비슷한 크기를 가진 신호들이 복잡하게 분포하기 때문에 분산을 보존하는 것이 효과적일 수 있다. 다만, 플랫 영역은 별도의 복원 과정을 수행하지 않을 수 있다.
이에 따라 텍스처 영역에서는 분산에 기초하여 게인을 획득하고, 에지 영역에서는 최대 그래디언트에 기초하여 게인을 획득할 수 있다. 이에 따라 에지 영역에서는
Figure 112018071598014-pat00009
가 선명도 복원을 위한 최적 게인이 되고, 텍스처 영역에서는
Figure 112018071598014-pat00010
가 선명도 복원을 위한 최적 게인이 된다.
이 후, 프로세서(120)는 획득된 게인 값을 제2 픽셀 블럭에 적용하여 잡음이 제거된 영상에 대한 인핸스 처리를 수행한다. 이 경우, 프로세서(120)는 제2 픽셀 블럭에 포함된 대상 픽셀에 획득된 게인 값을 적용하여 대상 픽셀의 출력 픽셀 값을 획득할 수 있다. 프로세서(120)는 이와 같은 방식으로 입력 영상의 모든 픽셀 값에 대한 처리를 수행하여 출력 영상을 획득할 수 있다.
즉, 프로세서(120)는 기설정된 픽셀 블럭(예를 들어, 기설정된 패치) 단위로 게인을 획득하고, 획득된 게인을 제2 픽셀 블럭에 포함된 대상 픽셀의 픽셀 값에 적용하여 스트레칭된 대상 픽셀 값을 획득할 수 있다.
구체적으로, 프로세서(120)는 제2 픽셀 블럭에 포함된 픽셀 값, 제1 픽셀 블럭에 포함된 픽셀 값에 대한 평균 값(이하 제1 평균 값이라 함), 제2 픽셀 블럭에 포함된 픽셀 값에 대한 평균 값(이하, 제2 평균 값이라 함) 및 획득된 게인 값에 기초하여 스트레칭된 대상 픽셀 값을 획득할 수 있다.
일 예에 따라, 프로세서(120)는 제2 픽셀 블럭 즉, 제2 패치에 포함된 픽셀 값에서 제1 평균 값을 차감하고 획득된 픽셀 값에 게인 값을 곱한 후 획득된 픽셀 값에 제2 평균 값을 가산하여 인핸스 처리된 대상 픽셀 값을 획득할 수 있다. 이에 따라, 해당 패치는 입력 픽셀 값으로 구성된 제1 픽셀 블럭의 평균을 유지하면서, 입력 영상에서의 특성 metric 또한 유지할 수 있게 된다.
도 4a 내지 도 4c는 본 개시의 일 실시 예에 따른 픽셀 값 스트레칭 방법을 설명하기 위한 도면들이다.
예를 들어, 도 4a에 도시된 바와 같이 입력 영상(예를 들어 압축 영상)에서 대상 픽셀(411)을 기준으로 제1 픽셀 블럭(410)을 식별하고, 잡음이 제거된 영상에서 대상 픽셀(421)을 기준으로 제2 픽셀 블럭(420)을 식별한다. 여기서, 잡음이 제거된 영상의 대상 픽셀(421)은 입력 영상의 대상 픽셀(411)과 동일한 위치의 픽셀이 될 수 있다.
이어서, 제1 픽셀 블럭(410)에 포함된 픽셀 값에 대한 제1 평균 값(Pm) 및 제2 픽셀 블럭(420)에 포함된 픽셀 값에 대한 제2 평균 값(Pm')을 획득한다.
이어서, 도 4b에 도시된 바와 같이 제2 픽셀 블럭(420)에 포함된 각 픽셀 값에서 제2 평균 값(Pm')을 차감하여 제3 픽셀 블럭(430)을 획득하고, 해당 픽셀 블럭(430)에 포함된 각 값에 본 개시의 일 실시 예에 따라 획득된 게인 값(g)을 곱하여 제4 픽셀 블럭(440)을 획득한다.
이 후 제4 픽셀 블럭(440)에 포함된 각 값에 제1 픽셀 블럭(410)에 포함된 픽셀 값에 대한 제1 평균 값(Pm)을 가산하여 출력 픽셀 블럭(450)을 획득할 수 있다.
이러한 프로세싱은 도 4a 및 도 4b에 도시된 바와 같이 픽셀 블록에 포함된 각 픽셀 값에 대해 수행될 수도 있으나, 대상 픽셀의 픽셀 값 만을 출력 영상의 픽셀 값으로 이용하는 경우 대상 픽셀(411)에 대해서만 해당 프로세싱을 수행할 수 있다. 예를 들어, 제2 픽셀 블럭에 포함된 대상 픽셀 값 P0'(421)에서 제2 평균 값(Pm')을 차감하여 획득된 값(431)에 게인 값(g)을 곱한 후(441), 제2 평균 값(Pm)을 가산하여 대상 픽셀에 대한 출력 픽셀 값(451)을 산출할 수 있다.
한편, 프로세서(120)는 입력 영상의 가장자리에 위치한 픽셀에 대해서는 미러링한 픽셀 값에 기초하여 영상 처리를 수행할 수 있다. 예를 들어, P1을 입력 영상의 모서리에 위치한 픽셀이라고 가정하는 경우, 제1 패치(410)의 경계 위치의 픽셀 값들을 미러링하여 P1을(451)을 중심으로 하는 가상의 패치(450)를 생성하여 대응되는 제2 패치(460)를 획득하고, 도 4a 및 도 4b에서 설명한 바와 동일한 형태로 처리를 수행할 수 있다.
한편, 압축 잡음는 zero-mean을 가진다고 가정하였기 때문에 게인 값이 잡음 성분에는 영향을 미치지 않게 되므로, 잡음 제거 측면에서의 성능 감소는 발생하지 않게 된다.
또한, 상술한 바와 같이 제2 패치에서 대상 픽셀 즉, 중심 픽셀 값만 출력 영상에 이용되므로 주변 픽셀들과의 불일치 또는 갑작스런 특성 변화 등이 발생하지 않게 된다.
경우에 따라서는 제1 픽셀 블럭(410) 및 제2 픽셀 블럭(420)에 가우시안 필터링 처리를 수행한 후, 도 4a 및 도 4b와 같은 처리를 수행하는 것도 가능하다. 예를 들어, 가우시안 필터는 도 5a에 도시된 바와 같이 x축의 0은 가중치가 크고, +/- 부분로 갈수록 가중치가 적어지는 형태가 될 수 있고, 이러한 가우시안 필터를 3*3 형태의 마스크(50)에 적용하면 마스크(50) 중심은 가중치가 크고, 마스크(50)의 가장자리로 갈수록 가중치가 적어지는 형태가 될 수 있다. 다만 도 5a에 도시된 수치는 예로 든 것이며, 필터링 수치는 가우시안 함수의 시그마 값에 따라 달라짐은 물론이다.
프로세서(120)는 도 5b 및 도 5c에 도시된 바와 같이 가우시안 마스크(50)를 제1 패치(410) 및 제2 패치(420)에 포함된 각 픽셀 값에 적용하여 필터링 처리한 후, 도 4a 및 도 4b와 같은 처리를 수행할 수도 있다.
도 6a 및 도 6b는 본 개시의 다양한 실시 예에 따른 영상 처리 방법을 개략적으로 설명하기 위한 블럭도이다.
도 6a에 도시된 바와 같이 입력 영상(In), 즉 압축 영상에 대한 잡음 제거 처리를 수행(S610)하여 잡음이 제거된 영상(Idn)을 획득한다.
이어서, 입력 영상(In)에 기초하여 제1 metric(Min)을 획득하고(S620), 잡음이 제거된 영상(Idn)에 기초하여 기초하여 제2 metric(Mdn)을 획득한다(S630). 예를 들어, 입력 영상(In)에서 식별된 제1 픽셀 블럭에 포함된 픽셀 값에 대한 제1 분산(또는 그래디언트)을 획득하고, 잡음이 제거된 영상(Idn)에서 식별된 제2 픽셀 블럭에 포함된 픽셀 값에 대한 제2 분산(또는 그래디언트)을 획득할 수 있다.
이어서, 제1 metric(Min) 및 제2 metric(Mdn)에 기초하여 게인 값 Grst를 획득한다(S640). 일 예로, 제1 픽셀 블럭에서의 분산
Figure 112018071598014-pat00011
및 제2 픽셀 블럭에서의 분산
Figure 112018071598014-pat00012
에 기초하여 게인
Figure 112018071598014-pat00013
를 획득할 수 있다. 다른 예로, 제1 픽셀 블럭에서의 최대 그래디언트
Figure 112018071598014-pat00014
및 제2 픽셀 블럭에서의 최대 그래디언트를 각각
Figure 112018071598014-pat00015
에 기초하여 게인
Figure 112018071598014-pat00016
을 획득할 수 있다.
이 후, 획득된 게인 값 Grst을 잡음이 제거된 영상(Idn)에 적용하여 인핸스 처리를 수행한다(S650). 예를 들어, 텍스처 영역에는 게인
Figure 112018071598014-pat00017
을 적용하고, 에지 영역에는 게인
Figure 112018071598014-pat00018
을 적용하여 인핸스 처리를 수행할 수 있다.
또는, 도 6b에 도시된 바와 같이 S640 단계에서 획득된 게인 값을 적용함에 따른 출력 영상(Iout)에 기초하여 메트릭을 재산출하고(S660)하고, 재산출된 메트릭에 기초하여 게인 값을 재산출하는 과정을 반복하여 최적화된 게인 값을 산출하는 것도 가능하다.
<다른 실시 예에 따른 게인 획득 및 인핸스 처리 >
한편, 다른 실시 예에 따라 프로세서(120)는 영상의 압축 과정에서 블러된 에지의 선명도, 저하된 로컬 콘트라스트 등을 복원하기 위한 게인을 산출할 수 있다. 이 경우에는 원본 영상의 압축율에 따른 최적의 게인을 산출하여 테이블 형태로 저장하고 이를 이용하여 인핸스 처리를 수행할 수 있다. 이하에서는 최적의 게인을 산출하는 방법에 대해 설명하도록 한다.
프로세서(120)는 maximum a posteriori(MAP) 기법에 기초하여 최적의 게인을 산출할 수 있다.
일 실시 예에 따라, 잡음 제거 처리로서 compression artifact removal (CAR)가 적용되고, 인핸스 처리로서 edge sharpness restoration (ESR)가 적용된다고 가정하도록 한다. 이 경우, 원본 영상을 x, 압축 영상을 y, 노이즈가 제거된 영상을
Figure 112018071598014-pat00019
, 인핸스 처리된 영상을
Figure 112018071598014-pat00020
라고 할 수 있다.
프로세서(120)는 maximum a posteriori(MAP) 기법 및 optimization 기법을 이용하여 최적의 게인을 획득할 수 있다. 여기서, MAP 기법은 주어진 관측결과와 사전지식을 결합해서 최적의 파라미터를 찾아내는 방법이다. 이러한 MAP 기법을 이용하여 본원에서는 원본 영상의 압축율에 따른 최적의 게인을 산출하여 테이블 형태로 저장하고 이를 이용하여 인핸스 처리를 수행할 수 있다.
구체적으로 프로세서(120)는 MAP 기법에 기초하여 압축 잡음이 제거된 영상
Figure 112018071598014-pat00021
을 수학식 1과 같이 모델링할 수 있다.
Figure 112018071598014-pat00022
여기서, x는 원본 영상 즉, 압축이 수행되기 전 영상을 나타내며, eb는 압축 잡음이 제거된 영상에서의 에지 블러 잡음을 나타내며 가우시안(Gaussian) 분포를 가진다. 예를 들어, 도 7에 도시된 바와 같이 원본 영상 x를 압축하면, 압축 영상 y에는 압축에 의한 잡음이 발생하게 된다. 또한, 압축 영상 y에 대해 압축 잡음 제거를 수행하면, 압축 잡음 제거(Compressin Arifact Removal) 처리가 수행된 영상
Figure 112018071598014-pat00023
은 에지 블러 잡음이 발생하며, 이를 eb라고 할 수 있다.
MAP 기법에 따르면, 에지 선명도 복원(Edge Sharpness Restortion) 처리에 의해 에지가 복원된 영상
Figure 112018071598014-pat00024
은 하기와 같은 수학식 2로 모델링될 수 있다.
Figure 112018071598014-pat00025
수학식 2를 Bayesian rule에 의해 하기와 같은 수학식 3으로 변형될 수 있다.
Figure 112018071598014-pat00026
에지 블러 잡음 eb는 가우시안 분포를 가지므로, 수학식 3의 첫번째 부분은하기와 같은 수학식 4로 나타내어질 수 있다.
Figure 112018071598014-pat00027
여기서,
Figure 112018071598014-pat00028
는 가우시안 분포를 가지는 에지 블러 잡음의 variance이다.
Figure 112018071598014-pat00029
를 추정하기 위하여, 예를 들어 도 8a에 도시된 바와 같이 JEPG Qulity Factor를 변경함에 따른 σb값을 산출할 수 있다.
한편, 낮은 비트 레이트로 압축된 영상에서 블러된 에지들은 더 넓은 에지 폭을 가지게 된다. 이에 따라 압축 전 에지들의 분산은 압축 후 에지들의 분산보다 크게 된다. 이에 따라
Figure 112018071598014-pat00030
는 도 8b에 도시된 바와 같이
Figure 112018071598014-pat00031
와 동일한 방식으로 산출될 수 있다. 즉, 수학식 3의 두번째 부분은 variance 차이가 클수록 작은 결과 값을 가지도록 하는 함수 fv를 이용하여 하기와 같은 수학식 5로 나타내어질 수 있다.
Figure 112018071598014-pat00032
여기서,
Figure 112018071598014-pat00033
는 가우시안 분포를 가지는 에지 분산 에러의 분산을 나타내는다. 도 9는 본 개시의 일 실시 예에 따른 함수 fv의 형태를 나타내는 도면이다.
이에 따라 최적의 게인을 획득하기 위한 수학식은 하기 수학식 6과 같이 나타내어질 수 있다.
Figure 112018071598014-pat00034
여기서, Ω는 영상에서 에지 영역에 해당하는 픽셀 집합을 나타낸다.
일 실시 예에 따라 프로세서(120)는 게인을 적용하여 unsharp masking(USM) 처리를 수행할 수 있다.
구체적으로, 프로세서(120)는 하기 수학식 7에 기초하여 USM 처리를 수행할 수 있다.
Figure 112018071598014-pat00035
여기서, k는 샤프니스 증가량 즉, 게인을 나타내며, r은 xsmooth를 생성하는데 이용되는 블러 반경, t는 unsharp masking이 적용되는 최소 분산의 임계값, g(x)는 smoothing 필터를 적용하여 추출한 고주파 성분 이다. 여기서, r 및 t를 고정 값이지만, k는 가변되는 값이다.
즉, 영상의 고주파 성분 g(x)를 추출하여 게인 k를 곱한 후 더하게 되면 에지 선명도가 향상될 수 있다.
한편, k는 상술한 방식으로 iterative하게 획득되므로 수학식 7은 하기 수학식 8과 같이 된다.
Figure 112018071598014-pat00036
여기서, l은 이터레이션 횟수를 나타낸다.
한편, 압축 영상에서 복잡한 텍스처 영역(complex texture region)으로 USM을 적용하게 되면 원치 않는 왜곡(distortion)이 발생될 수 있다. 낮은 비트 레이트로 압축을 수행하게 되면, 복잡하고 약한 텍스처(complex weak texture)는 유지되기가 어렵기 때문이다. 반대로, 단순한 구조(simple structure) 및 큰 그래디언트(large gradient)를 가지는 에지 영역은 좀더 신뢰성있게 샤프닝되고 복원될 수 있다. 이에 따라 Laplacian filter를 이용하여 복잡한 텍스처 영역이 검출될 수 있고 하기 수학식 9와 같이 에지 가중치 맵 we을 이용하여 약한 텍스처 영역을 제외한 에지 영역에만 unsharp masking을 적용할 수 있다.
Figure 112018071598014-pat00037
여기서, 에지 가중치 맵 we는 하기 수학식 10과 같이 나타내어질 수 있다.
Figure 112018071598014-pat00038
여기서, Lsmooth는
Figure 112018071598014-pat00039
영상에 Laplacian filter를 적용 후, smoothing필터를 적용한 결과이다. 즉, Lsmooth = │LaplacianFilter(
Figure 112018071598014-pat00040
)│*b 이고, b는 blur kernel이다.
도 10은 본 개시의 일 실시 예에 따른 에지 가중치 맵 we 을 나타낸다.
한편, 수학식 10에서 EC(i,j)는 edge correlation 수치로, step kernel S를 입력 영상의 수직, 수평 방향에 적용하여 하기 수학식 11과 같이 구할 수 있다.
Figure 112018071598014-pat00041
여기서, Thor 및 Tver 는 pixel(i,j)를 중심으로 하는 수직, 수평 방향의 n개의 pixel set을 의미한다.
도 11a는 본 개시의 일 실시 예에 따른 step kernel S의 예시를 도시하며, 도 11b는 압축 영상의 에지 그래디언트가 JEPG quality factor가 감소함에 따라 감소되는 것을 나타낸다.
한편, 에지에 unsharp masking을 적용한 영상
Figure 112018071598014-pat00042
는 undershoot과 overshoot의 부작용이 발생할 수 있다. 이에 따라 하기 수학식 12와 같이 현재 픽셀 주변의 최소 픽셀 값과 최대 픽셀 값을 획득하여, 픽셀 값이 해당 값들을 초과하거나, 미만이 되지 않도록 픽셀 값을 조정할 수 있다.
Figure 112018071598014-pat00043
도 12는 본 개시의 일 실시 예에 따라 overshoot과 undershoot 없이 에지 선명도를 향상시킨 예시이다.
예를 들어, 도 13a에 도시된 바와 같이 원본 영상(1310)을 압축하게 되면 압축 영상(1320)에서 ringing, mosquito, edge blur 현상이 발생하게 된다(1321). 도 13a 내지 도 13d에서는 설명의 편의를 위하여 좌측에 입력 영상(즉, 원본 영상(1310))을 도시하고, 우측에 각 단계에서 영상처리된 영상을 도시하였다.
이어서, 압축 영상(1320)에서 잡음 제거 처리를 수행하면, 도 13b에 도시된 바와 같이 잡음 제거 처리가 수행된 영상(1330)에서는 ringing, mosquito 잡음은 사라지지만 edge blur 현상은 그대로 남아있게 된다(1331).
잡음 제거 처리가 수행된 영상(1330)에 본 개시의 최적화 기법을 통해 계산한 k를 단순히 적용하여 에지 선명도를 향상시키면, 도 13c에 도시된 바와 같이 해당 영상(1340)에서는 overshoot/undershoot가 발생하게 된다(1341).
이에 따라, 수학식 12에 따른 최소 픽셀 값과 최대 픽셀 값을 이용하면, 도 13d에 도시된 바와 같이 해당 영상(1350)에서는 overshoot/undershoot 없이 에지 선명도가 복원될 수 있게 된다(1351).
한편, 프로세서(120)는 수학식 6 및 수학식 12에 기초하여 최적화 기법을 적용하여 압축율에 따른 최적 게인을 획득할 수 있다. 여기서, 최적화 기법의 예로 gradient decent 기법이 이용될 수 있다. gradient decent 기법은 현재 위치에서 가장 경사가 급하게 하강하는 방향을 찾고, 그 방향으로 이동하여 새로운 위치를 잡는다. 이러한 방법을 반복하여, 최적화 지점을 찾는 방법이다.
프로세서(120)는 각 압축율에 따른 최적 게인이 획득되면, 획득된 게인을 룩업 테이블 형태로 저장할 수 있다. 이후, 프로세서(120)는 입력 영상의 압축율에 기초하여 룩업 테이블에서 대응되는 게인을 획득하고, 획득된 게인에 기초하여 인핸스 처리를 수행할 수 있다.
도 14는 본 개시의 다른 실시 예에 따른 정량적 효과를 설명하기 위한 테이블이다.
8개 영상에 대하여 quality factor(QF)를 각각 10, 20으로 JPEG 압축 후, PSNR 변화를 표시하였다. QF가 10인 경우 CONCOLOR를 사용하여 잡음 제거 결과 PSNR(Peak Signal-to-noise ratio)이 최대 2.81dB 향상되었고, QF가 20인 경우 잡음 제거 결과 PSNR이 최대 2.95dB 향상되었다. 잡음 제거 후, 에지 선명도 복원 결과(CONCOLOR + edge sharpness restoration) QF 10일 때 PSNR이 최대 0.42dB, QF 20일 때 PSNR이 최대 0.46dB 향상되었다.
도 15는 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 15에 따르면, 우선 입력된 영상에 대한 잡음 제거 처리를 수행한다(S1510).
이어서, 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하고, 잡음이 제거된 영상에서 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별한다(S1520).
이어서, 제1 픽셀 블럭에 포함된 픽셀 값 및 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득한다(S1530).
이 후, 획득된 게인 값을 제2 픽셀 블럭에 적용하여 잡음이 제거된 영상에 대한 인핸스 처리를 수행한다(S1540).
또한, S1530 단계에서는 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산 및 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산에 기초하여 게인 값을 획득할 수 있다.
또한, S1530 단계에서는, 제1 픽셀 블럭에 포함된 픽셀 값에 그래디언트 및 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트에 기초하여 게인 값을 획득할 수 있다.
또한, S1530 단계에서는, 제1 픽셀 블럭이 입력 영상의 텍스처 영역에 포함되는 경우, 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산 및 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산에 기초하여 게인 값을 획득할 수 있다. 또한, 제1 픽셀 블럭이 입력 영상의 에지 영역에 포함되는 경우, 제1 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트 및 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트에 기초하여 게인 값을 획득할 수 있다.
또한, S1540 단계에서는, 제2 픽셀 블럭에 포함된 픽셀 값, 제1 픽셀 블럭에 포함된 픽셀 값에 대한 제1 평균 값, 제2 픽셀 블럭에 포함된 픽셀 값에 대한 제2 평균 값 및 게인 값에 기초하여 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, S1540 단계에서는, 제2 픽셀 블럭에 포함된 각 픽셀 값에서 제2 평균 값을 차감하고, 게인 값을 곱한 후 제1 평균 값을 가산하여 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, S1540 단계에서는, 제2 픽셀 블럭에서 대상 픽셀의 픽셀 값을 획득하고, 획득된 픽셀 값에서 제2 평균 값을 차감하고, 게인 값을 곱한 후 제1 평균 값을 가산하여 잡음이 제거된 영상에 대한 인핸스 처리를 수행할 수 있다.
또한, S1540 단계에서는, 언샤프 마스킹(unsharp masking) 및 픽셀 값 스트레칭(stretching) 중 적어도 하나를 적용하여 인핸스 처리를 수행할 수 있다.
도 16은 본 개시의 다른 실시 예에 따른 영상 처리 장치의 구성을 나타내는 블럭도이다.
도 16에 따르면, 영상 처리 장치(100')는 입력부(110), 프로세서(120), 디스플레이(130) 및 메모리(140)를 포함한다. 도 16에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이(130)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있다.
프로세서(120)는 CPU, 영상 처리 장치(100')의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 영상 처리 장치(100')의 외부에서부터 입력되는 데이터를 저장하거나 영상 처리 장치(100')에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
CPU는 적어도 하나의 메모리(140)에 액세스하여, 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
여기서, 적어도 하나의 메모리(140)는 프로세서(120)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 적어도 하나의 메모리(140)는 데이터 저장 용도에 따라 영상 처리 장치(100')에 임베디드된 메모리 형태로 구현되거나, 영상 처리 장치(100')에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 영상 처리 장치(100')의 구동을 위한 데이터의 경우 영상 처리 장치(100')에 임베디드된 메모리에 저장되고, 영상 처리 장치(100')의 확장 기능을 위한 데이터의 경우 영상 처리 장치(100')에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 영상 처리 장치(100')에 임베디드된 메모리의 경우 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현되고, 디스플레이 장치(200)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, micro SD 카드, USB 메모리 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다. 일 예에 따라 메모리(140)는 프로세서(120) 내부 메모리로 구현될 수 있으며 이 경우 프로세서(120)의 하드웨어적 메모리 용량 한계에 따른 N 라인 메모리로 구현될 수 있다.
그 밖에 영상 처리 장치(100')는 음향 신호를 출력하는 출력부(미도시), 사용자 명령을 입력받는 사용자 인터페이스(미도시)를 더 포함할 수 있다.
상술한 다양한 실시 예들에 따르면, 영상 압축, 잡음 제거 처리 등으로 감소된 에지의 선명도 및/또는 로컬 콘트라스트를 향상시킬 수 있게 된다.
다만, 본 개시의 다양한 실시 예들은 영상 처리 장치 뿐 아니라, 셋탑 박스와 같은 영상 수신 장치, TV와 같은 디스플레이 장치 등 영상 처리가 가능한 모든 전자 장치에 적용될 수 있음은 물론이다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 영상 처리 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 음향 출력 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 영상 처리 장치 110: 입력부
120: 프로세서

Claims (19)

  1. 입력부; 및
    상기 입력부를 통해 입력된 영상에 대한 잡음 제거 처리를 수행하고,
    상기 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하고,
    상기 잡음이 제거된 영상에서 상기 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별하고,
    상기 제1 픽셀 블럭에 포함된 픽셀 값 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득하고,
    상기 획득된 게인 값을 상기 제2 픽셀 블럭에 적용하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 제1 픽셀 블럭이 상기 입력 영상의 텍스처 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산을 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산으로 나눈 값에 기초하여 상기 게인 값을 획득하고,
    상기 제1 픽셀 블럭이 상기 입력 영상의 에지 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트를 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트로 나눈 값에 기초하여 상기 게인 값을 획득하는, 영상 처리 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 픽셀 블럭에 포함된 픽셀 값, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 제1 평균 값, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 제2 평균 값 및 상기 게인 값에 기초하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제2 픽셀 블럭에 포함된 각 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 영상 처리 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 제2 픽셀 블럭에서 상기 대상 픽셀의 픽셀 값을 획득하고, 상기 획득된 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    언샤프 마스킹(unsharp masking) 및 픽셀 값 스트레칭(stretching) 중 적어도 하나를 적용하여 상기 인핸스 처리를 수행하는, 영상 처리 장치.
  9. 제1항에 있어서,
    디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 인핸스 처리된 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 영상 처리 장치.
  10. 영상 처리 장치의 영상 처리 방법에 있어서,
    입력된 영상에 대한 잡음 제거 처리를 수행하는 단계;
    상기 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하는 단계;
    상기 잡음이 제거된 영상에서 상기 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별하는 단계;
    상기 제1 픽셀 블럭에 포함된 픽셀 값 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득하는 단계; 및
    상기 획득된 게인 값을 상기 제2 픽셀 블럭에 적용하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 단계;를 포함하며,
    상기 게인 값을 획득하는 단계는,
    상기 제1 픽셀 블럭이 상기 입력 영상의 텍스처 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산을 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산으로 나눈 값에 기초하여 상기 게인 값을 획득하고,
    상기 제1 픽셀 블럭이 상기 입력 영상의 에지 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트를 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트로 나눈 값에 기초하여 상기 게인 값을 획득하는, 영상 처리 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제10항에 있어서,
    상기 인핸스 처리를 수행하는 단계는,
    상기 제2 픽셀 블럭에 포함된 픽셀 값, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 제1 평균 값, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 제2 평균 값 및 상기 게인 값에 기초하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 인핸스 처리를 수행하는 단계는,
    상기 제2 픽셀 블럭에 포함된 각 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 영상 처리 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제14항에 있어서,
    상기 인핸스 처리를 수행하는 단계는,
    상기 제2 픽셀 블럭에서 상기 대상 픽셀의 픽셀 값을 획득하고, 상기 획득된 픽셀 값에서 상기 제2 평균 값을 차감하고, 상기 게인 값을 곱한 후 상기 제1 평균 값을 가산하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 영상 처리 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 인핸스 처리를 수행하는 단계는,
    언샤프 마스킹(unsharp masking) 및 픽셀 값 스트레칭(stretching) 중 적어도 하나를 적용하여 상기 인핸스 처리를 수행하는, 영상 처리 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 인핸스 처리된 영상을 디스플레이하는 단계;를 더 포함하는 영상 처리 방법.
  19. 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    입력된 영상에 대한 잡음 제거 처리를 수행하는 단계;
    상기 입력 영상에서 대상 픽셀을 기준으로 제1 픽셀 블럭을 식별하는 단계;
    상기 잡음이 제거된 영상에서 상기 대상 픽셀을 기준으로 제2 픽셀 블럭을 식별하는 단계;
    상기 제1 픽셀 블럭에 포함된 픽셀 값 및 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 게인 값을 획득하는 단계; 및
    상기 획득된 게인 값을 상기 제2 픽셀 블럭에 적용하여 상기 잡음이 제거된 영상에 대한 인핸스 처리를 수행하는 단계;를 포함하며,
    상기 게인 값을 획득하는 단계는,
    상기 제1 픽셀 블럭이 상기 입력 영상의 텍스처 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 분산을 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 분산으로 나눈 값에 기초하여 상기 게인 값을 획득하고,
    상기 제1 픽셀 블럭이 상기 입력 영상의 에지 영역에 포함되는 경우, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트를 상기 제2 픽셀 블럭에 포함된 픽셀 값에 대한 그래디언트로 나눈 값에 기초하여 상기 게인 값을 획득하는, 비일시적 컴퓨터 판독 가능 매체.
KR1020180084294A 2018-02-12 2018-07-19 영상 처리 장치 및 그 영상 처리 방법 KR102507165B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/165,183 US10963995B2 (en) 2018-02-12 2018-10-19 Image processing apparatus and image processing method thereof
PCT/KR2019/001649 WO2019156524A1 (en) 2018-02-12 2019-02-12 Image processing apparatus and image processing method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862629276P 2018-02-12 2018-02-12
US62/629,276 2018-02-12

Publications (2)

Publication Number Publication Date
KR20190098018A KR20190098018A (ko) 2019-08-21
KR102507165B1 true KR102507165B1 (ko) 2023-03-08

Family

ID=67808272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180084294A KR102507165B1 (ko) 2018-02-12 2018-07-19 영상 처리 장치 및 그 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102507165B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643190B (zh) * 2020-04-27 2024-07-16 北京金山云网络技术有限公司 图像锐化方法和装置
CN116051449B (zh) * 2022-08-11 2023-10-24 荣耀终端有限公司 图像噪声估计方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224760A1 (en) 2009-10-22 2012-09-06 Koninklijke Philips Electronics N.V. Enhanced image data/dose reduction
US20140079319A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for enhancing images and apparatuses using the same
US20160119503A1 (en) 2014-10-28 2016-04-28 Brother Kogyo Kabushiki Kaisha Image processing device setting sharpness adjustment degrees for object regions and performing unsharp masking process
US20170372456A1 (en) * 2016-06-22 2017-12-28 Intel Corporation Adaptive sharpness enhancement control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224760A1 (en) 2009-10-22 2012-09-06 Koninklijke Philips Electronics N.V. Enhanced image data/dose reduction
US20140079319A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for enhancing images and apparatuses using the same
US20160119503A1 (en) 2014-10-28 2016-04-28 Brother Kogyo Kabushiki Kaisha Image processing device setting sharpness adjustment degrees for object regions and performing unsharp masking process
US20170372456A1 (en) * 2016-06-22 2017-12-28 Intel Corporation Adaptive sharpness enhancement control

Also Published As

Publication number Publication date
KR20190098018A (ko) 2019-08-21

Similar Documents

Publication Publication Date Title
US10963995B2 (en) Image processing apparatus and image processing method thereof
US8948253B2 (en) Networked image/video processing system
GB2544375B (en) Dehazing photos and videos using visual artifact suppression
US10003768B2 (en) Apparatus and methods for frame interpolation based on spatial considerations
US8472709B2 (en) Apparatus and method for reducing artifacts in images
CN108027961B (zh) 用于从数字图像提供扩展的动态范围图像的方法和装置
US9842382B2 (en) Method and device for removing haze in single image
US9137548B2 (en) Networked image/video processing system and network site therefor
US20170084007A1 (en) Time-space methods and systems for the reduction of video noise
US8594449B2 (en) MPEG noise reduction
US8320700B2 (en) Apparatus and method of estimating scale ratio and noise strength of encoded image
US9224190B2 (en) Method and apparatus for processing image taken under low illumination environment
JP5367667B2 (ja) 画像処理装置
US20120301012A1 (en) Image signal processing device and image signal processing method
US8644636B2 (en) Method and apparatus for removing image blocking artifact by using transformation coefficient
KR20150127597A (ko) 이미지에서 적응적인 주파수 강도 컨트롤 변환으로 디테일 생성
KR102507165B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20150129688A (ko) 적응적 주파수 리프팅으로 이미지에서 디테일 생성
Liu et al. A second-order variational framework for joint depth map estimation and image dehazing
Zhang et al. Compression noise estimation and reduction via patch clustering
US8831354B1 (en) System and method for edge-adaptive and recursive non-linear filtering of ringing effect
US8373801B1 (en) Video source resolution detection
WO2011068429A1 (en) Detecting artifacts in quantization noise in images compresses using discrete cosine transforms
US20130251284A1 (en) System and Method for Filtering an Image
JP5234812B2 (ja) 映像品質推定装置、方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right