KR102206490B1 - 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법 - Google Patents

선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법 Download PDF

Info

Publication number
KR102206490B1
KR102206490B1 KR1020190150064A KR20190150064A KR102206490B1 KR 102206490 B1 KR102206490 B1 KR 102206490B1 KR 1020190150064 A KR1020190150064 A KR 1020190150064A KR 20190150064 A KR20190150064 A KR 20190150064A KR 102206490 B1 KR102206490 B1 KR 102206490B1
Authority
KR
South Korea
Prior art keywords
image
unit
output
frequency
matrix
Prior art date
Application number
KR1020190150064A
Other languages
English (en)
Inventor
김영근
성민제
황정현
이완희
김용준
Original Assignee
주식회사 아이닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이닉스 filed Critical 주식회사 아이닉스
Priority to KR1020190150064A priority Critical patent/KR102206490B1/ko
Application granted granted Critical
Publication of KR102206490B1 publication Critical patent/KR102206490B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 시스템은, 입력 영상을 패치 단위로 주파수를 변환하여 주파수 계수 행렬을 출력하는 주파수 변환부; 상기 주파수 계수 행렬을 이용하여, 상기 입력 영상을 패치 단위로 필터링 처리를 할 수 있는 적어도 하나의 필터를 포함하는 필터부; 및 상기 필터부를 제어하기 위한 제어 신호를 생성하는 제어부;를 포함한다.

Description

선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법{IMAGE PROCESS SYSTEM BY APPLYING SELECTIVE FILTERING AND IMAGE PROCESS METHOD THEREFOR}
본 발명은 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법에 관한 것으로, 더욱 상세하게는 하나의 프레임의 영상에 대해 영역별로 서로 다른 필터링 처리를 실시할 수 있는 영상 처리 시스템 및 그 영상 처리 방법에 관한 것이다.
영상 처리에서, 대부분의 잡음 제거(denoising) 방법들은 이웃 화소의 정보를 이용하여 이웃 화소와의 차이를 줄이는 방식으로 필터링(filtering)을 수행하여 잡음 제거를 하게 되고, 이로 인한 역효과로 경계면에서는 해상력이 떨어지는 흐릿화(blurring) 현상이 보통 나타난다.
아울러, 대부분의 경계선 강화(sharpening) 방법들은 이웃 화소의 정보를 이용하여 이웃 화소와의 차이를 키우는 방식으로 필터링을 수행하여 해상력을 향상하고 되고, 이로 인한 역효과로 잡음이 커지는 잡음화(noising) 현상이 보통 나타난다.
따라서, 잡음 제거와 경계선 강화 방법은 그 결과 및 효과에 있어서 서로 트레이드 오프(trade off)의 모순적 관계를 가지므로, 각각 별개의 모듈 혹은 프로세스를 통해 동작하며, 카메라 제어시에는 외부 조도, 카메라 노출, 감도 등을 반영하여 잡음 제거 정도와 경계선 강화 정도를 조절하게 된다.
본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, 여러가지 서로 다른 효과를 갖는 다수의 필터들을 영상 영역에서의 필요에 따라 선택할 수 있도록 하여, 필터 상호간에 서로 트레이드 오프(trade off)의 모순적 관계를 해결할 수 있는 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법을 제공하는 것에 그 목적이 있다.
본 발명의 영상 처리 시스템은, 입력 영상을 패치 단위로 주파수를 변환하여 주파수 계수 행렬을 출력하는 주파수 변환부; 상기 주파수 계수 행렬을 이용하여, 상기 입력 영상을 패치 단위로 필터링 처리를 할 수 있는 적어도 하나의 필터를 포함하는 필터부; 및 상기 필터부를 제어하기 위한 제어 신호를 생성하는 제어부;를 포함한다.
구체적으로, 상기 필터부는, 상기 주파수 계수 행렬을 이용하여 잡음을 제거하는 잡음 제거 필터부; 상기 주파수 계수 행렬을 이용하여 경계선을 강화하고, 신호를 증폭하는 경계선 강화 및 신호 증폭부; 및 상기 주파수 계수 행렬을 이용하여 흐릿화(blurring) 및 마스킹을 실시하는 흐릿화 및 마스킹 필터부; 중 적어도 하나를 포함하는 것이 바람직하다. 아울러, 상기 제어부는, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 적어도 하나를 실시하거나 하나도 실시하지 않도록 제어하기 위한 제어 신호를 생성하고, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 둘 이상을 실시하는 경우 각각의 가중치를 설정하는 것을 특징으로 한다.
또한, 상기 필터부는, 상기 제어부에 의해 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 둘 이상이 실시되는 경우, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 실시되는 출력에 각각의 가중치를 곱하여 합산하는 다중 필터 합산부;를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 잡음 제거 필터부는, 상기 주파수 계수 행렬과 임계치 행렬을 비교하는 것에 의해 잡음을 제거하는 것을 특징으로 한다. 상기 제어부는, 상기 잡음 제거 필터부의 임계치 행렬의 값을 설정할 수 있다.
아울러, 상기 경계선 강화 및 신호 증폭부는, 가중치 행렬과 상기 주파수 계수 행렬을 아다마르 곱(Hadamard product) 연산을 실시하여 경계선을 강화하고, 신호 증폭 이득을 곱하여 증폭하는 것을 특징으로 한다. 상기 제어부는, 상기 경계선 강화 및 신호 증폭부의 가중치 행렬의 값 및 신호 증폭 이득의 값을 설정할 수 있다.
또한, 상기 흐릿화 및 마스킹 필터부는, 수직 및 수평 방향으로 필터링 처리 간격을 조절하며, 상기 주파수 계수 행렬 중 직류 성분값만을 선택하여 흐릿화 필터링을 실시한다. 상기 제어부는, 상기 흐릿화 및 마스킹 필터부의 상기 수직 및 수평 방향으로 필터링 처리 간격을 설정할 수 있는 것을 특징으로 한다.
바람직하게는, 본 발명의 상기 영상 처리 시스템은, 상기 주파수 계수 행렬을 이용하여, 상기 입력 영상을 화소 단위로 품질에 관한 정보를 추출하는 영상 정보 추출부;를 더 포함하는 것을 특징으로 한다.
구체적으로, 상기 영상 정보 추출부는, 상기 주파수 계수 행렬을 이용하여, 상기 입력 영상의 잡음도를 평가하는 영상 잡음도 평가부; 및 상기 주파수 계수 행렬을 이용하여, 상기 입력 영상의 선명도를 평가하는 영상 선명도 평가부;를 포함한다. 아울러, 상기 영상 잡음도 평가부는, 상기 입력 영상의 고주파 성분들의 에너지를 이용하여 1차 잡음도를 평가하고, 상기 입력 영상과 잡음 제거를 실시한 영상과의 차분을 이용하여 2차 잡음도를 평가한다. 또한, 상기 영상 선명도 평가부는, 상기 주파수 계수 행렬의 에너지;와, 상기 주파수 계수 행렬의 중간 주파수 대역을 취하는 중간 주파수 선택 및 가중치 행렬;의 곱을 이용하여, 상기 입력 영상의 선명도를 평가한다.
아울러, 본 발명의 영상 처리 시스템은, 상기 필터부의 출력에 대해 주파수 역변환을 실시하여, 영상으로 출력하는 주파수 역변환부;를 더 포함하는 것을 특징으로 한다. 상기 주파수 변환부는, 제 1 변환 행렬; 상기 주파수 계수 행렬; 및 제 2 변환 행렬의 전치 행렬;을 곱하여 출력한다. 바람직하게는, 상기 주파수 역변환부는, 상기 제 1 변환 행렬의 전치 행렬; 상기 필터부의 출력; 및 상기 제 2 변환 행렬;을 곱하여 출력하는 것을 특징으로 한다.
또한, 본 발명의 영상 처리 시스템은, 동일한 화소 위치에 대해 패치를 변경하며 상기 주파수 변환부, 상기 필터부 및 상기 주파수 역변환부를 다수의 횟수를 실시하여 출력된 다수의 출력값의 통계값을 이용하여 영상을 합성하는 영상 합성부;를 더 포함한다. 아울러, 본 발명의 영상 처리 시스템은, 상기 입력 영상; 상기 영상 합성부의 합성 영상; 및 사용자 설정 화면; 중 적어도 하나를 출력하거나 적어도 하나를 이용한 영상을 출력하는 영상 출력부;를 더 포함하는 것이 바람직하다.
아울러, 상기 제어부는, 상기 영상 선명도 평가부에 의해 평가된 영상 선명도 값에 따라 적어도 일부 영상 영역에 대해, 특정 색상으로 표시; 또는, 비트맵 또는 흑백 계조 영상으로 표시;하여 상기 영상 출력부가 영상을 출력하도록 제어할 수 있다. 또한, 상기 제어부는, 상기 입력 영상에 일정 간격의 다수의 그리드 형태를 추가하여 상기 영상 출력부가 출력하도록 제어할 수 있고, 그리드를 선택하는 사용자 입력 정보를 이용하여 상기 영상 잡음도 평가부 또는 상기 영상 선명도 평가부에 의해 평가될 영역을 설정할 수 있다.
바람직하게는, 상기 제어부는, 상기 입력 영상을 상기 영상 출력부가 출력하도록 제어할 수 있고, 상기 입력 영상 중 임의의 크기의 관심 영역을 설정하는 사용자 입력 정보를 이용하여 상기 영상 잡음도 평가부 또는 상기 영상 선명도 평가부에 의해 평가될 영역을 설정할 수 있다.
아울러, 상기 제어부는, 상기 입력 영상을 상기 영상 출력부가 출력하도록 제어할 수 있고, 상기 입력 영상 중 사용자 입력 정보를 이용하여, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 실시될 것을 선택하거나 실시될 영역을 설정할 수 있다. 또한, 상기 제어부는, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 선택된 것에 대해 파라미터를 사용자가 설정할 수 있도록, 상기 영상 출력부가 파라미터 설정 화면을 출력하도록 제어할 수 있다.
본 발명에 따르면, 여러가지 서로 다른 효과를 갖는 다수의 필터들을 영상 영역에서의 필요에 따라 선택할 수 있도록 하여, 필터 상호간에 서로 트레이드 오프의 모순적 관계를 해결할 수 있다.
도 1은 본 발명의 바람직한 일실시예에 따른 선택적 필터링을 적용한 영상 처리 시스템의 구성도.
도 2는 잡음 제거 필터부 및 경계선 강화 필터부의 출력의 예시도.
도 3은 흐릿화 및 마스킹 필터부의 수행 결과의 예시도.
도 4는 영상 선명도 평가부에 의해 선명도를 추정한 결과의 예시도.
도 5는 본 발명의 영상 처리 시스템의 활용 예시도.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예들에 따른 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법에 대해 상세히 설명하기로 한다.
본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
본 발명의 영상 처리 시스템(1000)의 전체적인 동작을 설명하면 다음과 같다.
본 발명의 영상 처리 시스템(1000)은, H×W 크기의 입력 영상 I에 포함된 M×N 크기의 패치 X를 차례로 취하는 식으로 필터링을 수행하고, 이 과정에서 수행 위치를 영상 전체, 일부 영역 등으로 변경하거나, 수행 간격(stride) s를 변경할 수 있으며, 수행 중에는 제어부(700)의 제어 신호에 따라 다수의 필터들을 적절히 취사선택함으로써, 하나의 필터링 프레임워크 내에서 다양한 필터링 효과를 얻을 수 있도록 구성된다. 참고로, 본 발명의 영상 처리 시스템(1000)은, M×N 크기의 패치 X의 시작 위치를 하나의 화소씩 이동하면서 주파수 변환부(100)로 입력하게 된다. 이에 따라, 하나의 화소에 대해 주파수 변환부(100), 필터부(200) 및 주파수 역변환부(300)를 각각 최대 M×N 회 실시하게 된다.
얻어진 M×N 크기의 입력 영상 패치 X에 대해 주파수 변환, 다수의 필터링 과정, 주파수 역변환을 거친 출력 영상 패치
Figure 112019119660591-pat00001
를 영상 합성부(400)에서, 최종 결과 영상 J를 생성하게 된다. 주파수 변환부(100)를 거친 주파수 출력 정보는 영상 정보 추출부(500)에 입력되어 잡음도와 선명도를 평가한 후 그 결과가 제어부(700)로 입력되고, 제어부(700)에서는 필터부(200)와 영상 정보 추출부(500)의 파라미터들을 조정하게 된다. 필터부(200)는 잡음 제거, 경계선 강화 및 신호 증폭, 그리고 흐릿화 및 마스킹 필터부(230)가 포함되어 동시에 신호 처리를 수행한 후 결과를 출력한다.
도 1은 본 발명의 바람직한 일실시예에 따른 선택적 필터링을 적용한 영상 처리 시스템(1000)의 구성도를 나타낸다.
도 1로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예에 따른 선택적 필터링을 적용한 영상 처리 시스템(1000)은, 주파수 변환부(100), 필터부(200), 주파수 역변환부(300), 영상 합성부(400), 영상 정보 추출부(500), 영상 출력부(600) 및 제어부(700)를 포함하여 구성된다.
본 발명의 영상 처리 시스템(1000)의 각 구성은 MCU, CPU, DSP와 같은 프로세서의 적어도 일부를 이용할 수 있다.
주파수 변환부(100)는, 입력 영상을 패치 단위로 주파수를 변환하여 주파수 계수 행렬 Y를 출력하는 역할을 한다. 필터부(200)는, 주파수 계수 행렬 Y를 이용하여 입력 영상을 패치 단위로 필터링 처리를 할 수 있는 적어도 하나의 필터를 포함한다.
아울러, 주파수 역변환부(300)는, 필터부(200)의 출력에 대해 주파수 역변환을 실시하여, 패치 단위의 영상으로 출력한다. 영상 합성부(400)는, 동일한 화소 위치에 대해 패치를 변경하며 주파수 변환부(100), 필터부(200) 및 주파수 역변환부(300)를 다수의 횟수를 실시하여 출력된 다수의 출력값의 통계값을 이용하여 영상을 합성하는 역할을 한다.
아울러, 영상 정보 추출부(500)는, 주파수 계수 행렬 Y를 이용하여, 입력 영상을 화소 단위로 품질에 관한 정보를 추출한다.
영상 출력부(600)는 영상을 출력하는 역할을 한다.
제어부(700)는, 영상 정보 추출부(500)로부터 추출된 정보; 사용자 입력 정보; 및 영상에 포함된 물체를 인식하는 물체 인식기; 중 적어도 하나를 이용하여, 필터부(200) 및 영상 정보 추출부(500)를 제어하기 위한 제어 신호를 생성하는 역할을 한다. 참고로, 제어부(700)에서 영상 정보 추출부(500)로부터 추출된 정보; 사용자 입력 정보; 및 영상에 포함된 물체를 인식하는 물체 인식기;로부터의 정보는, 서로 보완적으로 사용될 수 있다.
하기에 본 발명의 영상 처리 시스템(1000)의 각 구성에 대해 구체적으로 설명하기로 한다.
주파수 변환부(100) 및 주파수 역변환부(300)
주파수 변환부(100)는, 제 1 변환 행렬; 주파수 계수 행렬 Y; 및 제 2 변환 행렬의 전치 행렬;을 곱하여 출력한다. 아울러, 주파수 역변환부(300)는, 제 1 변환 행렬의 전치 행렬; 필터부(200)의 출력; 및 제 2 변환 행렬;을 곱하여 출력한다.
구체적으로, 주파수 변환부(100)는 M×N 크기의 패치 단위의 입력 영상 X에 대하여 주파수 변환 과정을 거쳐 동일한 크기의 주파수 계수 행렬 Y를 다음의 [수학식 1]과 같이 생성한다.
Figure 112019119660591-pat00002
여기서, D와 C는 각각 주파수 공간 변환을 위한 제 1 변환 행렬 및 제 2 변환 행렬을 나타낸다. 아울러, D와 C는 각각 M×N, N×N 크기를 갖는다. 주파수 변환 방법으로는 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), DFT(Discrete Fourier Transform) 등과 같은 일반적인 방법들을 그대로 적용할 수 있다.
주파수 역변환부(300)는 입력 주파수 계수 행렬 Y에 대하여 필터부(200)를 거친 주파수 계수 행렬
Figure 112019119660591-pat00003
을, 주파수 변환부(100)에서 사용한 동일한 주파수 공간 변환 행렬들을 사용하여 출력 영상 패치
Figure 112019119660591-pat00004
로 다음의 [수학식 2]와 같이 역변환한다.
Figure 112019119660591-pat00005
여기서, 주파수 변환 및 역변환시 사용되는 행렬 D와 C는 직교(orthogonal) 행렬로써 표현된다.
필터부(200)
필터부(200)는, 주파수 계수 행렬 Y를 입력받아 잡음을 제거하는 잡음 제거 필터부(210); 주파수 계수 행렬 Y를 입력받아 경계선을 강화하고, 신호를 증폭하는 경계선 강화 및 신호 증폭부(220); 및 주파수 계수 행렬 Y를 입력받아 흐릿화 및 마스킹을 실시하는 흐릿화 및 마스킹 필터부(230); 중 적어도 하나를 포함하여 구성될 수 있다.
아울러, 필터부(200)는, 잡음 제거 필터부(210), 경계선 강화 및 신호 증폭부(220), 흐릿화 및 마스킹 필터부(230) 중 둘 이상이 제어부(700)에 의해 실시되도록 제어되는 경우, 잡음 제거 필터부(210), 경계선 강화 및 신호 증폭부(220), 흐릿화 및 마스킹 필터부(230) 중 실시되는 출력에 각각의 가중치를 곱하여 합산하는 다중 필터 합산부(240)을 더 포함하는 것이 바람직하다.
잡음 제거 필터부(210)
잡음 제거 필터부(210)는, 주파수 계수 행렬 Y와 임계치 행렬을 비교하는 것에 의해 잡음 제거(denoising)를 한다.
구체적으로, 잡음 제거 필터부(210)는, 영상의 잡음을 줄이는 필터를 포함하여, 영상 공간에서는 이웃 화소와의 차이를 줄이는 방식으로 잡음 제거를 수행하고, 주파수 공간에서는 잡음이 주로 분포하는 고주파 성분들을 제거하는 방향으로 수행한다.
주파수 변환부(100)를 거친 주파수 계수 행렬 Y는 평균값인 직류(DC)값, 저주파부터 고주파에 해당하는 교류(AC)값 계수들을 갖고 있다. 카메라에 발생하는 잡음은 일정한 규칙이 없고, 일반적으로 포아손(Poisson) 분포 형태로 나타나므로, 이들은 입력 영상에 규칙이 없이 고주파 성분의 값을 증가시키는 형태로 나타난다. 따라서, 잡음 제거 방법은, 평균값인 직류값과 저주파 성분들을 적절히 취하는 방식으로 다음의 [수학식 3]과 같이 표현할 수 있다.
Figure 112019119660591-pat00006
여기서, fd(·)는 임계치 함수로 아래와 같이 표현되고, Qd는 M×N 크기의 임계치 행렬이다. 임계치 행렬의 값 Qd(i, j)는 고주파 성분일수록 크게 설정함으로써, 영상에서 의미있는 부분만을 다음의 [수학식 4]와 같이 취할 수 있게 된다.
Figure 112019119660591-pat00007
본 발명에서는 임계치 행렬 Qd를 영상에 대한 사전 지식을 통한 사용자 설정 또는 영상 정보 추출부(500)의 잡음도 평가를 통해 제어부(700)에서 제어 신호를 생성하여 설정하도록 구성할 수 있다. 따라서, 사용자는 카메라 입력 영상에 맞게 적절한 값을 선정하여 잡음 제거를 수행할 수 있다.
경계선 강화 및 신호 증폭부(220)
경계선 강화 및 신호 증폭부(220)는, 가중치 행렬과 주파수 계수 행렬 Y를 아다마르 곱(Hadamard product) 연산을 실시하여 경계선을 강화하는 경계선 강화 필터(미도시)와 신호 증폭 이득을 곱하여 증폭하는 신호 증폭기(미도시)를 포함한다. 경계선 강화 및 신호 증폭부(220)의 가중치 행렬과 신호 증폭 이득의 값은 제어부(700)에 의해 설정될 수 있다.
경계선 강화(sharpening) 필터는 영상의 경계선을 강조하는 필터로서 영상 공간에서는 이웃 화소의 정보를 이용하여 이웃 화소와의 차이를 키우는 방식으로 해상력을 향상시키지만, 이로 이한 역효과로 잡음이 커지는 잡음화 현상이 보통 나타난다. 따라서, 경계선 강화 필터와 트레이드 오프(trade off) 관계인 잡음 제거 필터를 적절히 사용하여 잡음을 제거하고, 경계선도 강조하는 방식을 주로 취한다.
본 발명에서는 주파수 변환부(100)를 거친 주파수 계수 행렬 Y에서, 인간의 시각에 주로 영향을 미치는 대비차(contrast)를 키우는 성분들인 저주파 교류 성분들의 값을 적절히 키우는 방식을 취함으로써, 잡음들이 주로 분포하는 고주파 성분들을 사용하지 않고도 영상의 경계선을 강조하는 효과를 얻도록 다음의 [수학식 5]와 같이 경계선 강화를 실시한다.
Figure 112019119660591-pat00008
여기서, fs(·)는 가중치 함수로 [수학식 5]와 같이 표현되고, Ws는 M×N 크기의 가중치 행렬이며, 연산자
Figure 112019119660591-pat00009
는 아다마르 곱을 나타낸다.
신호 증폭기는, 빛이 적은 환경에서 촬영한 저조도(low illuminance) 영상의 경우, 시인성을 높이기 위해 영상의 레벨(level)을 증폭시키는 것으로, 보통 센서의 아날로그 혹은 디지털 신호의 증폭 방식이나, 카메라 프로세서 내의 디지털 신호 증폭 방식 등이 사용된다. 디지털 신호 증폭 방식은 단순한 반면 계단 현상을 발생시켜 영상의 품질을 저하시키는 단점이 있고, 아날로그 증폭 방식은 계단 현상이 없지만, 센서에서만 지원이 가능하고, 디지털 신호처리 카메라 프로세서에서는 구현하기 어렵다는 단점이 있다.
본 발명에서는 위의 경계선 강화 필터 처리 과정을 활용하여, 신호 증폭을 위한 용도로 그대로 사용할 수 있다. 주파수 계수 행렬 Y의 값을 전체적으로 증가시키면, 전체적인 영상의 레벨(level)을 높이는 역할을 하게 된다. 이 방법은 여기서 증폭된 신호들이, 나중에 설명할 영상 합성부(400)에 들어가서 M×N개의 결과값들을 취해 최종 결과치를 생성하므로, 마치 아날로그 증폭 방식과 같이 계단 현상이 없는 영상을 생성할 수 있다는 장점이 있다.
구체적으로 신호 증폭기는 다음의 [수학식 6]과 같이, 신호 증폭을 실시한다.
Figure 112019119660591-pat00010
여기서, wg는 신호 증폭 이득이고,
Figure 112019119660591-pat00011
는 M×N 크기의 신호 증폭 및 가중치 행렬이다.
도 2는 잡음 제거 필터부(210) 및 경계선 강화 필터부의 출력의 예시도를 나타낸다.
도 2에서 영역 R1, R2, R3는 잡음 제거 필터부(210)의 수행 결과를, R4, R5, R6은 경계선 강화 및 신호 증폭부(220)의 수행 결과를 보여준다. 영역 R4, R5, R6의 경계선 강화 및 신호 증폭부(220)의 수행들은, 영역 R1, R2, R3의 잡음 제거 필터부(210)의 수행 결과들과 비교하여 경계선의 선명도 및 대비차가 높아져 시인성이 개선된 것을 확인할 수 있다.
본 발명에서는, 도 2에 도시한 것과 같이, 다수의 영역들에 대하여 각각 임계치 행렬 Qd를 다르게 설정할 수 있도록 한다. 임계치 행렬 Qd의 설정 또한, 제어부(700)에서 실시된다.
흐릿화 및 마스킹 필터부(230)
흐릿화 및 마스킹 필터부(230)는, 수직 및 수평 방향으로 필터링 처리 간격을 조절하며, 주파수 계수 행렬 Y 중 직류 성분값만을 선택하여 흐릿화(blurring) 필터링을 실시한다.
구체적으로, 흐릿화 필터는 영상에서 불필요한 부분의 정보를 없앰으로써, 사용자로 하여금 필요한 부분에 좀더 관심을 갖도록 하거나, 영상 압축 코덱에서 데이터 크기를 줄이는 용도로 사용할 수 있다. 마스킹(masking) 필터는 이와 비슷하나 사생활(privacy)과 관련되어 영상에서 확인을 어렵게 만드는 기능이다.
본 발명에서는 주파수 변환 과정을 응용하여, 흐릿화 기능을 변형함으로써 마스킹 기능을 구현한다.
흐릿화 필터는 입력 주파수 계수 행렬 Y에서, DC 성분 값 만을 취함으로써, 흐릿화 효과를 생성하고, 마스킹 필터는 수직, 수평 방향으로 각각 필터링 처리 간격 (stride)
Figure 112019119660591-pat00012
,
Figure 112019119660591-pat00013
를 늘림으로써 생성할 수 있다. 이를 위해 영상 좌표(x,y)에 위치한 입력 패치 X의 경우, 흐릿화와 마스킹 필터링의 결과 Yb는 수행 간격의 배수에서만 주파수 계수 행렬 Y의 직류 성분 값을 갖게 된다. 참고로, 수직 및 수평 방향의 필터링 처리 간격은 제어부(700)에 의해 설정될 수 있다.
흐릿화 및 마스킹 필터부(230)의 출력은, 다음의 [수학식 7]과 같이 나타낼 수 있다.
Figure 112019119660591-pat00014
도 3은 흐릿화 및 마스킹 필터부(230)의 수행 결과의 예시도이다.
도 3에서, R1은 잡음 제거 수행 결과, R2는
Figure 112019119660591-pat00015
로 설정한 흐릿화 수행 결과, R3는
Figure 112019119660591-pat00016
로 설정한 마스킹 수행 결과, R4는
Figure 112019119660591-pat00017
로 설정한 마스킹 수행 결과이다. 본 발명에서는, 제어부(700)에 의해 각 영역별로
Figure 112019119660591-pat00018
,
Figure 112019119660591-pat00019
를 다르게 설정할 수 있다.
다중 필터 합산부(240)
다중 필터 합산부(240)는 입력 주파수 계수 행렬 Y에 대하여, 잡음 제거 필터부(210), 경계선 강화 및 신호 증폭부(220), 흐릿화 및 마스킹 필터부(230) 등을 위한 다수 필터부가 동시에 신호를 처리한 후, 각각 얻은 결과들을 취합하여, 다음의 [수학식 8]과 같이 가중합 방식으로 출력 주파수 계수 행렬
Figure 112019119660591-pat00020
를 생성한다.
Figure 112019119660591-pat00021
여기서, Yd 및
Figure 112019119660591-pat00022
는 잡음 제거 필터부(210)를 거친 결과와 제 1 가중치를, Ys 및
Figure 112019119660591-pat00023
는 경계선 강화 및 신호 증폭부(220)를 거친 결과와 제 2 가중치를, Yb 및
Figure 112019119660591-pat00024
는 흐릿화 및 마스킹 필터부(230)를 거친 결과와 제 3 가중치를 각각 나타낸다.
본 발명에서 제 1 가중치, 제 2 가중치, 제 3 가중치는 영상의 특성과 카메라의 용도에 맞게 영상 정보 추출부(500)로부터 추출된 정보; 사용자 입력 정보; 및 영상에 포함된 물체를 인식하는 물체 인식기; 중 적어도 하나를 이용하여 제어부(700)가 설정 가능하며, 전체 영상 혹은 일부 관심 영역(Region of Interest; ROI) 별로 설정이 가능하다.
영상 합성부(400)
영상 합성부(400)에서는 주파수 변환부(100), 필터부(200) 및 주파수 역변환부(300)를 M×N회 거쳐, 영상에서 동일한 출력의 화소 위치에서 얻어진 최대 M×N개의 처리 결과들
Figure 112019119660591-pat00025
을 사용하여 출력 영상의 최종 결과값을 다음의 [수학식 9]와 같이 생성함으로써, 잡음 제거 성능을 더욱 향상하게 된다.
Figure 112019119660591-pat00026
여기서, wk는 영상 정보 추출부(500)로부터 추출된 정보; 사용자 입력 정보; 및 영상에 포함된 물체를 인식하는 물체 인식기; 중 적어도 하나를 이용하여, 제어부(700)에 의해 다양한 방식으로 정의할 수 있다.
평균값을 취하는 경우
Figure 112019119660591-pat00027
으로 표현할 수 있고, 출력 패치의 통계를 활용하여 각 출력 패치의 분산
Figure 112019119660591-pat00028
에 반비례하도록
Figure 112019119660591-pat00029
로 표현하여, 출력 영상의 변화가 적도록 생성할 수도 있으며, 비슷한 결과를 얻기 위한 좀더 간단한 방법으로, 역변환에 사용되는 주파수 성분
Figure 112019119660591-pat00030
의 개수에 반비례하도록 구현할 수도 있다.
영상 정보 추출부(500)
영상 정보 추출부(500)는, 주파수 계수 행렬 Y를 입력받아, 입력 영상의 잡음도를 평가하는 영상 잡음도 평가부(510) 및 주파수 계수 행렬 Y를 입력받아, 입력 영상의 선명도를 평가하는 영상 선명도 평가부(520)를 포함하여 구성된다.
영상 잡음도 평가부(510)
영상 잡음도 평가부(510)는, 입력 영상의 고주파 성분들의 에너지를 이용하여 1차 잡음도를 평가하는 1차 잡음도 평가기(미도시); 및, 입력 영상과 잡음 제거를 실시한 영상과의 차분을 이용하여 2차 잡음도를 평가하는 2차 잡음도 평가기(미도시);를 포함한다.
영상의 잡음도(noise level)를 평가할 수 있으면, 기구적으로는 렌즈의 조리개 구경, 센서의 노출 시간 등을 결정하는데 중요한 요소로 활용할 수 있고, 영상 처리 과정 중에는 입력 영상의 잡음 제거 필터의 파라미터를 결정하는데 사용할 수 있다.
본 발명에서는 주파수 변환부(100)를 거친 주파수 계수 행렬 Y에서, 1차 잡음도 평가기에 의해 잡음들이 주로 분포하는 고주파 교류 성분들의 에너지를 이용하여 1차 잡음도 E1를 평가하고, 2차 잡음도 평가기에 의해 입력 영상과 잡음 제거를 거친 영상과의 차분을 취하여 2차 잡음도 E2를 평가한다. 이를 통해 얻어진 잡음도는, 제어부(700)에 의해 잡음 제거 필터부(210)의 임계치 행렬 Qd에 반영하여, 잡음이 심한 경우 Qd값을 증가시키고, 잡음이 적은 경우 Qd값을 낮춤으로써, 입력된 영상에 따라 적절하게 잡음을 제거하는데 활용한다.
하기 [수학식 10]은 1차 잡음도 E1를 평가하기 위한 수식을 나타낸다.
Figure 112019119660591-pat00031
여기서, E1은 영상 좌표 (x,y)에서의 1차 잡음도를 나타내고 고주파 성분들의 에너지 평균값으로 표현되며, WN는 M×N 크기의 잡음 주파수 선택 행렬로써, 고주파(High frequency) 성분들을 선택하도록 설정된다.
[수학식 10]으로부터 알 수 있는 바와 같이, 1차 잡음도 평가기는, 입력 영상을 화소별로 고주파 성분들의 에너지의 평균값으로 나타난다. 구체적으로, 화소별로 주파수 계수 행렬의 값의 제곱값과 잡음 주파수 선택 행렬을 곱하고, 영상에서 동일한 출력 화소의 위치에서 얻어진 최대 M×N개의 처리 결과들의 평균값을 취하게 된다.
하기 [수학식 11]은 2차 잡음도 E12를 평가하기 위한 수식을 나타낸다.
Figure 112019119660591-pat00032
여기서, E2은 영상 좌표 (x,y)에서의 2차 잡음도를 나타내고, 입력 영상과 잡음 제거 필터부(210)를 거친 영상과의 차이의 평균값으로 표현된다.
즉, [수학식 11]로부터 알 수 있는 바와 같이, 2차 잡음도 평가기는, 입력 영상을 화소별로 주파수 변환 전의 해당 화소;와 잡음 제거 필터부(210)에 의한 필터링만 실시 후 주파수 역변환을 실시한 화소;와의 차이값을 구한 후, 제곱하고, 영상에서 동일한 출력 화소의 위치에서 얻어진 최대 M×N개의 처리 결과들의 평균값을 취하게 된다.
영상 선명도 평가부(520)
영상 선명도 평가부(520)는, 주파수 계수 행렬 Y의 에너지;와, 주파수 계수 행렬 Y의 중간 주파수 대역을 취하는 중간 주파수 선택 및 가중치 행렬;의 곱을 이용하여, 입력 영상의 선명도를 평가한다.
영상의 선명도(Sharpness), 흐릿함(Blurness)은 카메라 초점 제어나 영상의 해상력 평가의 기준으로 활용할 수 있다. 영상 기반의 초점 평가(focus measure) 방법은 영상 공간에서 미분 필터를 사용하여 경계선의 양을 구하는 방법이 주로 사용된다.
본 발명에서는, 영상 공간의 미분 필터에 대응하는 주파수 공간상에서 중간 주파수 대역의 정보를 활용하여 초점 평가를 수행한다. 즉, 영상 선명도 평가부(520)는, 주파수 변환부(100)를 거친 주파수 계수 행렬 Y의 중간 주파수 대역을 취하는 중간 주파수 선택 및 가중치 행렬 Wf와 주파수 계수 행렬 Y의 에너지의 곱을 취합하여 다음의 [수학식 12]와 같이 선명도 평가를 수행한다.
Figure 112019119660591-pat00033
여기서, S은 영상 좌표 (x,y)에서의 선명도를 나타내고, 중간 주파수 대역의 가중합으로 표현된다.
즉, [수학식 12]로부터 알 수 있는 바와 같이, 영상 선명도 평가부(520)는, 화소별로 주파수 계수 행렬의 값의 제곱값과 중간 주파수 선택 및 가중치 행렬을 곱하고, 영상에서 동일한 출력 화소의 위치에서 얻어진 최대 M×N개의 처리 결과들의 평균값을 취하게 된다.
도 4는 영상 선명도 평가부(520)에 의해 선명도를 추정한 결과의 예시도이다.
도 4에서 관심 영역 R1은 원본 영상 위에 선명도 결과를 빨간색으로 겹쳐서 표시한 것이고, 관심 영역 R2는 선명도만을 표시한 것으로, 영상 정보 추출부(500)로부터 추출된 정보; 사용자 입력 정보; 및 영상에 포함된 물체를 인식하는 물체 인식기; 중 적어도 하나를 이용하여, 제어부(700)는 다수의 관심 영역에 대하여 각각 표시 방식을 설정할 수 있도록 구성할 수 있다.
예를 들면, 다수의 관심 영역은 전체 영상에 걸쳐 균등하게 분포하도록 설정될 수도 있고, 일부 영역에 한정되도록 설정될 수도 있다.
영상 출력부(600)
영상 출력부(600)는 입력 영상; 영상 합성부(400)의 합성 영상; 및 사용자 설정 화면; 중 적어도 하나를 출력하거나 적어도 하나를 이용한 영상을 디스플레이에 표시하는 역할을 한다. 영상 출력부(600)에 출력된 영상 정보에 대해, 사용자가 설정 정보를 입력하는 것에 의해 제어부(700)의 제어 신호가 생성될 수 있다.
제어부(700)
제어부(700)는, 하나의 프레임의 입력 영상에 대해 설정된 영역 정보에 따라, 잡음 제거 필터부(210), 경계선 강화 및 신호 증폭부(220) 및 흐릿화 및 마스킹 필터부(230) 중 적어도 하나를 실시하거나 하나도 실시하지 않도록 제어하기 위한 제어 신호를 생성할 수 있다. 잡음 제거 필터부(210), 경계선 강화 및 신호 증폭부(220) 및 흐릿화 및 마스킹 필터부(230) 중 둘 이상을 실시하는 경우, 각각의 가중치가 제어부(700)에 의해 설정될 수 있고, 다중 필터 합산부(240)는 설정된 가중치를 합산에 이용할 수 있다.
아울러, 제어부(700)는, 인공 지능에 의해, 영상 정보 추출부(500)로부터 추출된 정보를 이용하여, 필터부(200)를 제어하기 위한 제어 신호를 생성할 수도 있다.
또한, 제어부(700)는, 영상 선명도 평가부(520)에 의해 평가된 영상 선명도 값에 따라, 도 4와 같이 적어도 일부 영역에 대해 특정 색상으로 표시;또는, 비트맵 또는 흑백 계조 영상으로 표시;하여 영상 출력부(600)가 영상을 출력하도록 제어할 수 있다. 즉, 영상 출력부(600)는, 영상 합성부(400)의 합성 영상에 영상 선명도 평가부(520)에 의해 평가된 영상 선명도 값에 따라 영상의 색상에 의해 해당 부분을 강조하거나, 비트맵 또는 흑백 계조 영상으로 표현하여 선명도를 표시하는 형식으로 출력할 수 있다. 예를 들면, 색상에 의해 해당 부분을 강조하는 경우, 선명도 값이 일정값 이상인 경우 도 4와 붉은 색으로 표시할 수 있다. 아울러, 비트맵 표시하는 경우, 선명도 값이 일정값 이상인 경우에는 흰색으로, 나머지는 검은 색으로 표시할 수 있다.
제어부(700)는, 입력 영상 전체에 대해 일정 간격의 다수의 그리드 형태를 추가하여 영상 출력부(600)가 출력하도록 제어할 수 있고, 다수개의 그리드를 선택하는 사용자 입력 정보를 이용하여 영상 잡음도 평가부(510) 또는 영상 선명도 평가부(520)에 의해 평가될 영역을 설정할 수 있다.
또한, 제어부(700)는, 입력 영상을 영상 출력부(600)가 출력하도록 제어할 수 있고, 입력 영상 중 임의의 크기의 관심 영역을 설정하는 사용자 입력 정보를 이용하여 영상 잡음도 평가부(510) 또는 영상 선명도 평가부(520)에 의해 평가될 영역을 설정할 수 있다. 아울러, 제어부(700)는, 입력 영상을 영상 출력부(600)가 출력하도록 제어할 수 있고, 입력 영상 중 임의의 크기의 관심 영역을 설정하느 사용자 입력 정보를 이용하여, 잡음 제거 필터부(210), 경계선 강화 및 신호 증폭부(220) 및 흐릿화 및 마스킹 필터부(230) 중 실시될 것을 선택하거나 실시될 영역을 설정할 수 있다.
바람직하게는, 제어부(700)는, 잡음 제거 필터부(210), 경계선 강화 및 신호 증폭부(220) 및 흐릿화 및 마스킹 필터부(230) 중 선택된 것에 대해, 임계치 행렬, 가중치 행렬, 신호 증폭 이득, 수직 및 수평 방향의 필터링 처리 간격을 포함하는 파라미터를 사용자가 설정할 수 있도록, 영상 출력부(600)가 파라미터 설정 화면을 출력하도록 제어할 수 있다.
적용 분야
제어부(700)에서는 영상 잡음도 평가부(510) 및 영상 선명도 평가부(520)의 정보와, 예를 들면 자동 물체 인식기 등과 같은 인식 엔진의 정보를 기반으로, 하나의 필터링 프레임워크 안에서 영상 전체, 혹은 일부 영역들 마다 서로 다른 다양한 필터링 효과를 낼 수 있도록 할 수 있다.
영상 선명도 평가부(520)는 영상에서 초점이 맞은 위치들과 각 위치들의 선명도 정보를 제어부(700)에 제공함으로써, 사용자는 여러 초점이 맞은 위치들 중 하나를 선택하여 카메라 렌즈를 제어할 수 있다.
영상 잡음도 평가부(510)는 영상에서 잡음 정보를 제어부(700)에 제공함으로써, 잡음 제거 필터의 임계치 행렬의 값을 제어할 수 있다. 또한, 영상을 저장할 시에는 사용자가 설정한 저장 크기에 따라, 잡음 제거 필터의 임계치를 조절할 수도 있다.
도 5는 본 발명의 영상 처리 시스템(1000)의 활용 예시도를 나타낸다.
구체적으로, 도 5는 인식 엔진인 인식기와 결합되어 활용된 예를 보여준다. 인식기에서는 차량, 번호판, 사람 얼굴, 나무 등과 같은 물체 인식 정보가 제어부(700)로 입력된다. 영상 품질 향상을 위해 R8로 표시된 전체 영역에 대해서는 잡음 제거 필터를 적용하고, 영상의 저장 용량을 낮추기 위해 R7과 같은 비관심 영역인 불필요한 부분에 대해서는 흐릿화 필터링을 적용하며, R1에 표시된 차량 번호판과 같이 세부 정보 확인이 필요한 경우에는 경계선 강화 필터를 적용할 수 있다. 또한, R3 내지 R6과 같이 사람 얼굴이 검출된 경우에는 사생활(privacy) 보호를 위해 영상이 저장되지 않도록 마스킹 기능을 적용할 수 있다.
이러한 적어도 하나의 필터를 개별적으로 구현해야 하는 대부분의 카메라 프로세서들과 달리, 본 발명에서는 별개의 필터에 의한 필터링 과정들을 하나의 필터링 프레임워크내로 단순화시켜, 카메라 시스템 구성 및 제어의 효율을 높일 수 있다.
하기에 본 발명의 바람직한 일실시예에 따른 선택적 필터링을 적용한 영상 처리 방법에 대해 설명하기로 한다. 본 발명의 영상 처리 방법은, 상술한 영상 처리 시스템(1000)을 이용하므로 별도의 설명이 없더라도 영상 처리 시스템(1000)의 모든 특징을 포함하고 있음은 물론이다.
아울러, 본 발명의 영상 처리 방법은, 프로세서에 의해 실시되는 컴퓨터 프로그램의 형태로 구현될 수 있다.
본 발명의 영상 처리 방법은, 주파수 변환 단계; 필터링 단계; 주파수 역변환 단계; 영상 합성 단계; 영상 정보 추출 단계; 영상 출력 단계; 및 제어 단계;를 포함한다.
주파수 변환 단계는, 입력 영상을 패치 단위로 주파수를 변환하여 주파수 계수 행렬 Y를 출력한다. 구체적으로, 주파수 변환 단계는, 제 1 변환 행렬; 주파수 계수 행렬 Y; 및 제 2 변환 행렬의 전치 행렬;을 곱하여 출력한다.
필터링 단계는, 주파수 계수 행렬 Y를 이용하여, 적어도 하나의 필터를 선택적으로 적용하여 입력 영상을 패치 단위로 필터링을 실시한다. 아울러, 제어 단계는, 필터링 단계를 제어하기 위한 제어 신호를 생성한다.
구체적으로, 필터링 단계는, 주파수 계수 행렬 Y를 입력받아 잡음을 제거하는 잡음 제거 필터링 단계; 주파수 계수 행렬 Y를 입력받아 경계선을 강화하고, 신호를 증폭하는 경계선 강화 및 신호 증폭 단계; 및 주파수 계수 행렬 Y를 입력받아 흐릿화(blurring) 및 마스킹을 실시하는 흐릿화 및 마스킹 필터링 단계; 중 적어도 하나를 포함하는 것이 바람직하다.
아울러, 필터링 단계는, 제어 단계에 의해 잡음 제거 필터 단계; 경계선 강화 및 신호 증폭 단계; 및 흐릿화 및 마스킹 필터 단계; 중 둘 이상이 실시되는 경우, 잡음 제거 필터 단계, 경계선 강화 및 신호 증폭 단계, 및 흐릿화 및 마스킹 필터 단계 중 실시되는 출력에 각각의 가중치를 곱하여 합산하는 다중 필터 합산 단계;를 더 포함한다.
잡음 제거 필터링 단계는, 주파수 계수 행렬 Y와 임계치 행렬을 비교하는 것에 의해 잡음을 제거한다. 제어 단계는, 잡음 제거 필터 단계의 임계치 행렬의 값을 설정할 수 있다. 아울러, 경계선 강화 및 신호 증폭 단계는, 가중치 행렬과 주파수 계수 행렬 Y를 아다마르 곱(Hadamard product) 연산을 실시하여 경계선을 강화하고, 신호 증폭 이득을 곱하여 증폭하는 것을 특징으로 한다. 제어 단계는, 경계선 강화 및 신호 증폭 단계의 가중치 행렬의 값 및 신호 증폭 이득의 값을 설정할 수 있다. 또한, 흐릿화 및 마스킹 필터링 단계는, 수직 및 수평 방향으로 필터링 처리 간격을 조절하며, 주파수 계수 행렬 Y 중 직류 성분값만을 선택하여 흐릿화 필터링을 실시한다. 제어 단계는, 흐릿화 및 마스킹 필터 단계의 필터링 처리 간격을 설정할 수 있다.
아울러, 주파수 역변환 단계는, 필터링 단계의 출력에 대해 주파수 역변환을 실시하여, 패치 단위로 영상으로 출력한다. 구체적으로, 주파수 역변환 단계는, 제 1 변환 행렬의 전치 행렬; 필터링 단계의 출력; 및 제 2 변환 행렬;을 곱하여 출력하는 것을 특징으로 한다.
영상 합성 단계는, 동일한 화소 위치에 대해 패치를 변경하며 주파수 변환 단계, 필터링 단계 및 주파수 역변환 단계를 다수의 횟수를 실시하여 출력된 다수의 출력값의 통계값을 이용하여 영상을 합성한다.
영상 정보 추출 단계는, 주파수 계수 행렬 Y를 이용하여, 입력 영상을 화소 단위로 품질에 관한 정보를 추출한다.
구체적으로, 영상 정보 추출 단계는, 주파수 계수 행렬 Y를 입력받아, 입력 영상의 잡음도를 평가하는 영상 잡음도 평가 단계; 및 주파수 계수 행렬 Y를 입력받아, 입력 영상의 선명도를 평가하는 영상 선명도 평가 단계;를 포함하는 것을 특징으로 한다.
영상 잡음도 평가 단계는, 입력 영상의 고주파 성분들의 에너지를 이용하여 1차 잡음도를 평가하는 1차 잡음도 평가 단계; 및 입력 영상과 잡음 제거를 실시한 영상과의 차분을 이용하여 2차 잡음도를 평가하는 2차 잡음도 평가 단계;를 포함한다.
또한, 영상 선명도 평가 단계는, 주파수 계수 행렬 Y의 에너지;와, 주파수 계수 행렬 Y의 중간 주파수 대역을 취하는 중간 주파수 선택 및 가중치 행렬;의 곱을 이용하여, 입력 영상의 선명도를 평가한다.
영상 출력 단계는, 영상을 출력하는 역할을 한다.
영상 출력 단계는, 입력 영상; 영상 합성 단계의 합성 영상; 및 사용자 설정 화면; 중 적어도 하나를 출력하거나 적어도 하나를 이용한 영상을 디스플레이에 표시하는 역할을 한다. 영상 출력 단계에서 출력된 영상 정보에 대해, 사용자가 설정 정보를 입력하는 것에 의해 제어 단계에서 제어 신호가 생성될 수 있다.
제어 단계는, 영상 정보 추출 단계로부터 추출된 정보; 사용자 입력 정보; 및 영상에 포함된 물체를 인식하는 물체 인식기; 중 적어도 하나를 이용하여, 필터링 단계를 제어하기 위한 제어 신호를 생성한다. 잡음 제거 필터 단계; 상기 경계선 강화 및 신호 증폭 단계; 및 흐릿화 및 마스킹 필터 단계; 중 둘 이상을 실시하는 경우 각각의 가중치를 설정할 수 있다.
예를 들면, 제어 단계는, 잡음 제거 필터링 단계; 경계선 강화 및 신호 증폭 단계; 및 흐릿화 및 마스킹 필터링 단계; 중 적어도 하나를 실시하거나 하나도 실시하지 않도록 제어하기 위한 제어 신호를 생성한다.
또한, 제어 단계는, 영상 선명도 평가 단계에 의해 평가된 영상 선명도 값에 따라, 적어도 일부 영역에 대해 특정 색상으로 표시;또는, 비트맵 또는 흑백 계조 영상으로 표시;하여 영상 출력 단계가 영상을 출력하도록 제어할 수 있다. 아울러, 제어 단계는, 입력 영상에 일정 간격의 다수의 그리드 형태를 추가하여 영상 출력 단계에서 출력하도록 제어할 수 있고, 그리드를 선택하는 사용자 입력 정보를 이용하여 영상 잡음도 평가 단계 또는 영상 선명도 평가 단계에 의해 평가될 영역을 설정할 수 있다.
바람직하게는, 제어 단계는, 입력 영상을 영상 출력 단계가 출력하도록 제어할 수 있고, 입력 영상 중 임의의 크기의 관심 영역을 설정하는 사용자 입력 정보를 이용하여 영상 잡음도 평가 단계 또는 영상 선명도 평가 단계에 의해 평가될 영역을 설정할 수 있다.
또한, 제어 단계는, 입력 영상을 영상 출력 단계가 출력하도록 제어할 수 있고, 입력 영상 중 사용자 입력 정보를 이용하여, 잡음 제거 필터 단계; 경계선 강화 및 신호 증폭 단계; 및 흐릿화 및 마스킹 필터 단계; 중 실시될 것을 선택하거나 실시될 영역을 설정할 수 있다. 아울러, 제어 단계는, 잡음 제거 필터 단계; 경계선 강화 및 신호 증폭 단계; 및 흐릿화 및 마스킹 필터 단계; 중 선택된 것에 대해, 임계치 행렬, 가중치 행렬, 신호 증폭 이득, 수직 및 수평 방향의 필터링 처리 간격을 포함하는 파라미터를 사용자가 설정할 수 있도록, 영상 출력 단계가 파라미터 설정 화면을 출력하도록 제어할 수 있다.
본 발명의 선택적 필터링을 적용한 영상 처리 시스템(1000) 및 그 영상 처리 방법에 따르면, 여러가지 서로 다른 효과를 갖는 다수의 필터들을 영상 영역에서의 필요에 따라 선택할 수 있도록 하여, 필터 상호간에 서로 트레이드 오프의 모순적 관계를 해결할 수 있음을 알 수 있다.
1000 : 영상 처리 시스템
100 : 주파수 변환부 200 : 필터부
300 : 주파수 역변환부 400 : 영상 합성부
500 : 영상 정보 추출부 600 : 영상 출력부
700 : 제어부
210 : 잡음 제거 필터부 220 : 경계선 강화 및 신호 증폭부
230 : 흐릿화 및 마스킹 필터부 240 : 다중 필터 합산부
510 : 영상 잡음도 평가부 520 : 영상 선명도 평가부

Claims (48)

  1. 영상 처리 시스템에 있어서,
    입력 영상을 패치 단위로 주파수를 변환하여 주파수 계수 행렬을 출력하는 주파수 변환부;
    상기 주파수 계수 행렬을 이용하여, 상기 입력 영상을 패치 단위로 필터링 처리를 할 수 있는 적어도 하나의 필터를 포함하는 필터부;
    상기 필터부를 제어하기 위한 제어 신호를 생성하는 제어부; 및
    상기 주파수 계수 행렬을 이용하여, 상기 입력 영상을 화소 단위로 품질에 관한 정보를 추출하는 영상 정보 추출부;를 포함하되,
    상기 영상 정보 추출부는,
    상기 주파수 계수 행렬을 이용하여, 상기 입력 영상의 잡음도를 평가하는 영상 잡음도 평가부;를 포함하고,
    상기 영상 잡음도 평가부는,
    상기 입력 영상의 고주파 성분들의 에너지를 이용하여 1차 잡음도를 평가하고, 상기 입력 영상과 잡음 제거를 실시한 영상과의 차분을 이용하여 2차 잡음도를 평가하는 것을 특징으로 하는 영상 처리 시스템.
  2. 제1항에 있어서,
    상기 필터부는,
    상기 주파수 계수 행렬을 이용하여 잡음을 제거하는 잡음 제거 필터부;
    상기 주파수 계수 행렬을 이용하여 경계선을 강화하고, 신호를 증폭하는 경계선 강화 및 신호 증폭부; 및
    상기 주파수 계수 행렬을 이용하여 흐릿화(blurring) 및 마스킹을 실시하는 흐릿화 및 마스킹 필터부; 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 시스템.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 적어도 하나를 실시하거나 하나도 실시하지 않도록 제어하기 위한 제어 신호를 생성하고, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 둘 이상을 실시하는 경우 각각의 가중치를 설정하는 것을 특징으로 하는 영상 처리 시스템.
  4. 제3항에 있어서,
    상기 필터부는,
    상기 제어부에 의해 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 둘 이상이 실시되는 경우, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 실시되는 출력에 각각의 가중치를 곱하여 합산하는 다중 필터 합산부;를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
  5. 제2항에 있어서,
    상기 잡음 제거 필터부는,
    상기 주파수 계수 행렬과 임계치 행렬을 비교하는 것에 의해 잡음을 제거하는 것을 특징으로 하는 영상 처리 시스템.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 잡음 제거 필터부의 임계치 행렬의 값을 설정할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  7. 제2항에 있어서,
    상기 경계선 강화 및 신호 증폭부는,
    가중치 행렬과 상기 주파수 계수 행렬을 아다마르 곱(Hadamard product) 연산을 실시하여 경계선을 강화하고, 신호 증폭 이득을 곱하여 증폭하는 것을 특징으로 하는 영상 처리 시스템.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 경계선 강화 및 신호 증폭부의 가중치 행렬의 값 및 신호 증폭 이득의 값을 설정할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  9. 제2항에 있어서,
    상기 흐릿화 및 마스킹 필터부는,
    수직 및 수평 방향으로 필터링 처리 간격을 조절하며, 상기 주파수 계수 행렬 중 직류 성분값만을 선택하여 흐릿화 필터링을 실시하는 것을 특징으로 하는 영상 처리 시스템.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 흐릿화 및 마스킹 필터부의 상기 수직 및 수평 방향으로 필터링 처리 간격을 설정할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제2항에 있어서,
    상기 영상 정보 추출부는,
    상기 주파수 계수 행렬을 이용하여, 상기 입력 영상의 선명도를 평가하는 영상 선명도 평가부;를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
  15. 제14항에 있어서,
    상기 영상 선명도 평가부는,
    상기 주파수 계수 행렬의 에너지;와, 상기 주파수 계수 행렬의 중간 주파수 대역을 취하는 중간 주파수 선택 및 가중치 행렬;의 곱을 이용하여, 상기 입력 영상의 선명도를 평가하는 것을 특징으로 하는 영상 처리 시스템.
  16. 제14항에 있어서,
    상기 영상 처리 시스템은,
    상기 필터부의 출력에 대해 주파수 역변환을 실시하여, 영상으로 출력하는 주파수 역변환부;를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
  17. 제16항에 있어서,
    상기 주파수 변환부는,
    제 1 변환 행렬; 상기 주파수 계수 행렬; 및 제 2 변환 행렬의 전치 행렬;을 곱하여 출력하고,
    상기 주파수 역변환부는,
    상기 제 1 변환 행렬의 전치 행렬; 상기 필터부의 출력; 및 상기 제 2 변환 행렬;을 곱하여 출력하는 것을 특징으로 하는 영상 처리 시스템.
  18. 제16항에 있어서,
    상기 영상 처리 시스템은,
    동일한 화소 위치에 대해 패치를 변경하며 상기 주파수 변환부, 상기 필터부 및 상기 주파수 역변환부를 다수의 횟수를 실시하여 출력된 다수의 출력값의 통계값을 이용하여 영상을 합성하는 영상 합성부;를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
  19. 제18항에 있어서,
    상기 영상 처리 시스템은,
    상기 입력 영상; 상기 영상 합성부의 합성 영상; 및 사용자 설정 화면; 중 적어도 하나를 출력하거나 적어도 하나를 이용한 영상을 출력하는 영상 출력부;를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
  20. 제19항에 있어서,
    상기 제어부는,
    상기 영상 선명도 평가부에 의해 평가된 영상 선명도 값에 따라 적어도 일부 영상 영역에 대해,
    특정 색상으로 표시; 또는,
    비트맵 또는 흑백 계조 영상으로 표시;하여 상기 영상 출력부가 영상을 출력하도록 제어할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  21. 제19항에 있어서,
    상기 제어부는,
    상기 입력 영상에 일정 간격의 다수의 그리드 형태를 추가하여 상기 영상 출력부가 출력하도록 제어할 수 있고, 그리드를 선택하는 사용자 입력 정보를 이용하여 상기 영상 잡음도 평가부 또는 상기 영상 선명도 평가부에 의해 평가될 영역을 설정할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  22. 제19항에 있어서,
    상기 제어부는,
    상기 입력 영상을 상기 영상 출력부가 출력하도록 제어할 수 있고, 상기 입력 영상 중 임의의 크기의 관심 영역을 설정하는 사용자 입력 정보를 이용하여 상기 영상 잡음도 평가부 또는 상기 영상 선명도 평가부에 의해 평가될 영역을 설정할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  23. 제19항에 있어서,
    상기 제어부는,
    상기 입력 영상을 상기 영상 출력부가 출력하도록 제어할 수 있고, 상기 입력 영상 중 사용자 입력 정보를 이용하여, 상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 실시될 것을 선택하거나 실시될 영역을 설정할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  24. 제23항에 있어서,
    상기 제어부는,
    상기 잡음 제거 필터부; 상기 경계선 강화 및 신호 증폭부; 및 상기 흐릿화 및 마스킹 필터부; 중 선택된 것에 대해 파라미터를 사용자가 설정할 수 있도록, 상기 영상 출력부가 파라미터 설정 화면을 출력하도록 제어할 수 있는 것을 특징으로 하는 영상 처리 시스템.
  25. 영상 처리 방법에 있어서,
    입력 영상을 패치 단위로 주파수를 변환하여 주파수 계수 행렬을 출력하는 주파수 변환 단계;
    상기 주파수 계수 행렬을 이용하여, 적어도 하나의 필터를 선택적으로 적용하여 상기 입력 영상을 패치 단위로 필터링을 실시하는 필터링 단계;
    상기 필터링 단계를 제어하기 위한 제어 신호를 생성하는 제어 단계; 및
    상기 주파수 계수 행렬을 이용하여, 상기 입력 영상을 화소 단위로 품질에 관한 정보를 추출하는 영상 정보 추출 단계;를 포함하되,
    상기 영상 정보 추출 단계는,
    상기 주파수 계수 행렬을 이용하여, 상기 입력 영상의 잡음도를 평가하는 영상 잡음도 평가 단계;를 포함하고,
    상기 영상 잡음도 평가 단계는,
    상기 입력 영상의 고주파 성분들의 에너지를 이용하여 1차 잡음도를 평가하고, 상기 입력 영상과 잡음 제거를 실시한 영상과의 차분을 이용하여 2차 잡음도를 평가하는 것을 특징으로 하는 영상 처리 방법.
  26. 제25항에 있어서,
    상기 필터링 단계는,
    상기 주파수 계수 행렬을 이용하여 잡음을 제거하는 잡음 제거 필터 단계;
    상기 주파수 계수 행렬을 이용하여 경계선을 강화하고, 신호를 증폭하는 경계선 강화 및 신호 증폭 단계; 및
    상기 주파수 계수 행렬을 이용하여 흐릿화(blurring) 및 마스킹을 실시하는 흐릿화 및 마스킹 필터 단계; 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 방법.
  27. 제26항에 있어서,
    상기 제어 단계는,
    상기 잡음 제거 필터 단계; 상기 경계선 강화 및 신호 증폭 단계; 및 상기 흐릿화 및 마스킹 필터 단계; 중 적어도 하나를 실시하거나 하나도 실시하지 않도록 제어하기 위한 제어 신호를 생성하고, 상기 잡음 제거 필터 단계; 상기 경계선 강화 및 신호 증폭 단계; 및 상기 흐릿화 및 마스킹 필터 단계; 중 둘 이상을 실시하는 경우 각각의 가중치를 설정하는 것을 특징으로 하는 영상 처리 방법.
  28. 제27항에 있어서,
    상기 필터링 단계는,
    상기 제어 단계에 의해 상기 잡음 제거 필터 단계; 상기 경계선 강화 및 신호 증폭 단계; 및 상기 흐릿화 및 마스킹 필터 단계; 중 둘 이상이 실시되는 경우, 상기 잡음 제거 필터 단계; 상기 경계선 강화 및 신호 증폭 단계; 및 상기 흐릿화 및 마스킹 필터 단계; 중 실시되는 출력에 각각의 가중치를 곱하여 합산하는 다중 필터 합산 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  29. 제26항에 있어서,
    상기 잡음 제거 필터 단계는,
    상기 주파수 계수 행렬과 임계치 행렬을 비교하는 것에 의해 잡음을 제거하는 것을 특징으로 하는 영상 처리 방법.
  30. 제29항에 있어서,
    상기 제어 단계는,
    상기 잡음 제거 필터 단계의 임계치 행렬의 값을 설정할 수 있는 것을 특징으로 하는 영상 처리 방법.
  31. 제26항에 있어서,
    상기 경계선 강화 및 신호 증폭 단계는,
    가중치 행렬과 상기 주파수 계수 행렬을 아다마르 곱(Hadamard product) 연산을 실시하여 경계선을 강화하고, 신호 증폭 이득을 곱하여 증폭하는 것을 특징으로 하는 영상 처리 방법.
  32. 제31항에 있어서,
    상기 제어 단계는,
    상기 경계선 강화 및 신호 증폭 단계의 가중치 행렬의 값 및 신호 증폭 이득의 값을 설정할 수 있는 것을 특징으로 하는 영상 처리 방법.
  33. 제26항에 있어서,
    상기 흐릿화 및 마스킹 필터 단계는,
    수직 및 수평 방향으로 필터링 처리 간격을 조절하며, 상기 주파수 계수 행렬 중 직류 성분값만을 선택하여 흐릿화 필터링을 실시하는 것을 특징으로 하는 영상 처리 방법.
  34. 제33항에 있어서,
    상기 제어 단계는,
    상기 흐릿화 및 마스킹 필터 단계의 상기 수직 및 수평 방향으로 필터링 처리 간격을 설정할 수 있는 것을 특징으로 하는 영상 처리 방법.
  35. 삭제
  36. 삭제
  37. 삭제
  38. 제26항에 있어서,
    상기 영상 정보 추출 단계는,
    상기 주파수 계수 행렬을 이용하여, 상기 입력 영상의 선명도를 평가하는 영상 선명도 평가 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  39. 제38항에 있어서,
    상기 영상 선명도 평가 단계는,
    상기 주파수 계수 행렬의 에너지;와, 상기 주파수 계수 행렬의 중간 주파수 대역을 취하는 중간 주파수 선택 및 가중치 행렬;의 곱을 이용하여, 상기 입력 영상의 선명도를 평가하는 것을 특징으로 하는 영상 처리 방법.
  40. 제38항에 있어서,
    상기 영상 처리 방법은,
    상기 필터링 단계의 출력에 대해 주파수 역변환을 실시하여, 영상으로 출력하는 주파수 역변환 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  41. 제40항에 있어서,
    상기 주파수 변환 단계는,
    제 1 변환 행렬; 상기 주파수 계수 행렬; 및 제 2 변환 행렬의 전치 행렬;을 곱하여 출력하고,
    상기 주파수 역변환 단계는,
    상기 제 1 변환 행렬의 전치 행렬; 상기 필터링 단계의 출력; 및 상기 제 2 변환 행렬;을 곱하여 출력하는 것을 특징으로 하는 영상 처리 방법.
  42. 제40항에 있어서,
    상기 영상 처리 방법은,
    동일한 화소 위치에 대해 패치를 변경하며 상기 주파수 변환 단계, 상기 필터링 단계 및 상기 주파수 역변환 단계를 다수의 횟수를 실시하여 출력된 다수의 출력값의 통계값을 이용하여 영상을 합성하는 영상 합성 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  43. 제42항에 있어서,
    상기 영상 처리 방법은,
    상기 입력 영상; 상기 영상 합성 단계의 합성 영상; 및 사용자 설정 화면; 중 적어도 하나를 출력하거나 적어도 하나를 이용한 영상을 출력하는 영상 출력 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  44. 제43항에 있어서,
    상기 제어 단계는,
    상기 영상 선명도 평가 단계에 의해 평가된 영상 선명도 값에 따라 적어도 일부 영상 영역에 대해,
    특정 색상으로 표시; 또는,
    비트맵 또는 흑백 계조 영상으로 표시;하여 상기 영상 출력 단계가 영상을 출력하도록 제어할 수 있는 것을 특징으로 하는 영상 처리 방법.
  45. 제43항에 있어서,
    상기 제어 단계는,
    상기 입력 영상에 일정 간격의 다수의 그리드 형태를 추가하여 상기 영상 출력 단계가 출력하도록 제어할 수 있고, 그리드를 선택하는 사용자 입력 정보를 이용하여 상기 영상 잡음도 평가 단계 또는 상기 영상 선명도 평가 단계에 의해 평가될 영역을 설정할 수 있는 것을 특징으로 하는 영상 처리 방법.
  46. 제43항에 있어서,
    상기 제어 단계는,
    상기 입력 영상을 상기 영상 출력 단계가 출력하도록 제어할 수 있고, 상기 입력 영상 중 임의의 크기의 관심 영역을 설정하는 사용자 입력 정보를 이용하여 상기 영상 잡음도 평가 단계 또는 상기 영상 선명도 평가 단계에 의해 평가될 영역을 설정할 수 있는 것을 특징으로 하는 영상 처리 방법.
  47. 제43항에 있어서,
    상기 제어 단계는,
    상기 입력 영상을 상기 영상 출력 단계가 출력하도록 제어할 수 있고, 상기 입력 영상 중 사용자 입력 정보를 이용하여, 상기 잡음 제거 필터 단계; 상기 경계선 강화 및 신호 증폭 단계; 및 상기 흐릿화 및 마스킹 필터 단계; 중 실시될 것을 선택하거나 실시될 영역을 설정할 수 있는 것을 특징으로 하는 영상 처리 방법.
  48. 제47항에 있어서,
    상기 제어 단계는,
    상기 잡음 제거 필터 단계; 상기 경계선 강화 및 신호 증폭 단계; 및 상기 흐릿화 및 마스킹 필터 단계; 중 선택된 것에 대해 파라미터를 사용자가 설정할 수 있도록, 상기 영상 출력 단계가 파라미터 설정 화면을 출력하도록 제어할 수 있는 것을 특징으로 하는 영상 처리 방법.
KR1020190150064A 2019-11-21 2019-11-21 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법 KR102206490B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190150064A KR102206490B1 (ko) 2019-11-21 2019-11-21 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190150064A KR102206490B1 (ko) 2019-11-21 2019-11-21 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR102206490B1 true KR102206490B1 (ko) 2021-01-22

Family

ID=74309819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150064A KR102206490B1 (ko) 2019-11-21 2019-11-21 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102206490B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012751A (ko) * 2002-05-24 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 로컬 에지 통계적 분포를 기초로 선명도 메트릭스들을추정하는 방법 및 시스템
JP2006140873A (ja) * 2004-11-15 2006-06-01 Konica Minolta Holdings Inc 画質評価装置及び画質評価方法
KR20070093146A (ko) * 2005-02-07 2007-09-17 닛본 덴끼 가부시끼가이샤 화상 처리 장치
KR20120039348A (ko) * 2010-10-15 2012-04-25 중앙대학교 산학협력단 웨이블릿 도메인에서 컬러 영상의 화질을 개선하기 위한 장치 및 방법
KR20130046304A (ko) * 2011-10-27 2013-05-07 서울대학교산학협력단 주파수 변환 영역에서의 비국부적 평균 필터링을 이용한 영상 잡음 제거
KR20150109152A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 영상 처리 방법 및 장치
KR20170000792A (ko) * 2015-06-24 2017-01-03 캐논 가부시끼가이샤 화상처리장치, 화상처리장치의 제어 방법 및 기억 매체
KR101835411B1 (ko) * 2016-12-15 2018-03-08 연세대학교 원주산학협력단 디지털 단층영상합성 시스템에 최적화된 3d의료영상 분석을 위한 인터페이스 시스템 및 그것의 제어 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012751A (ko) * 2002-05-24 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 로컬 에지 통계적 분포를 기초로 선명도 메트릭스들을추정하는 방법 및 시스템
JP2006140873A (ja) * 2004-11-15 2006-06-01 Konica Minolta Holdings Inc 画質評価装置及び画質評価方法
KR20070093146A (ko) * 2005-02-07 2007-09-17 닛본 덴끼 가부시끼가이샤 화상 처리 장치
KR20120039348A (ko) * 2010-10-15 2012-04-25 중앙대학교 산학협력단 웨이블릿 도메인에서 컬러 영상의 화질을 개선하기 위한 장치 및 방법
KR20130046304A (ko) * 2011-10-27 2013-05-07 서울대학교산학협력단 주파수 변환 영역에서의 비국부적 평균 필터링을 이용한 영상 잡음 제거
KR20150109152A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 영상 처리 방법 및 장치
KR20170000792A (ko) * 2015-06-24 2017-01-03 캐논 가부시끼가이샤 화상처리장치, 화상처리장치의 제어 방법 및 기억 매체
KR101835411B1 (ko) * 2016-12-15 2018-03-08 연세대학교 원주산학협력단 디지털 단층영상합성 시스템에 최적화된 3d의료영상 분석을 위한 인터페이스 시스템 및 그것의 제어 방법

Similar Documents

Publication Publication Date Title
JP4998287B2 (ja) 画像処理装置および方法、並びにプログラム
US11127122B2 (en) Image enhancement method and system
US7181086B2 (en) Multiresolution method of spatially filtering a digital image
US7280703B2 (en) Method of spatially filtering a digital image using chrominance information
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
US9135681B2 (en) Image chroma noise reduction
JP4460839B2 (ja) デジタル画像鮮鋭化装置
US20040264799A1 (en) Method of processing an image to form an image pyramid
US7110044B2 (en) Image detail enhancement system
JP2001229377A (ja) 適応帰納的フィルタでディジタル画像のコントラストを調整する方法
WO2014070489A1 (en) Recursive conditional means image denoising
JP2005354685A (ja) パターン適応型フィルターリングによる映像信号の平滑化装置及びその平滑化方法
JPWO2008105222A1 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
JP2010193199A (ja) 画像処理装置および画像処理方法
Deng A generalized logarithmic image processing model based on the gigavision sensor model
CN106981052B (zh) 基于变分框架的自适应亮度不均变分校正方法
CN104318529A (zh) 处理在恶劣环境中所拍摄低照度图像的方法
KR102206490B1 (ko) 선택적 필터링을 적용한 영상 처리 시스템 및 그 영상 처리 방법
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
JP7437921B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Sadaka et al. Efficient perceptual attentive super-resolution
KR102615125B1 (ko) 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
RU2695424C1 (ru) Устройство для улучшения качества изображений
EP2309448A1 (en) Local image contrast enhancement

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant