KR20170040983A - 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치 - Google Patents

다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치 Download PDF

Info

Publication number
KR20170040983A
KR20170040983A KR1020150140353A KR20150140353A KR20170040983A KR 20170040983 A KR20170040983 A KR 20170040983A KR 1020150140353 A KR1020150140353 A KR 1020150140353A KR 20150140353 A KR20150140353 A KR 20150140353A KR 20170040983 A KR20170040983 A KR 20170040983A
Authority
KR
South Korea
Prior art keywords
region
neighboring blocks
image
noise
block
Prior art date
Application number
KR1020150140353A
Other languages
English (en)
Other versions
KR101766536B1 (ko
Inventor
이지현
정제창
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020150140353A priority Critical patent/KR101766536B1/ko
Publication of KR20170040983A publication Critical patent/KR20170040983A/ko
Application granted granted Critical
Publication of KR101766536B1 publication Critical patent/KR101766536B1/ko

Links

Images

Classifications

    • H04N5/217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7908—Suppression of interfering signals at the reproducing side, e.g. noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

다중 스케일 블록 영역을 구분하여 영상 잡음을 제거하는 방법 및 장치가 개시된다. 영상 잡음 제거 방법은, 입력 영상을 구획하는 기준 영역 내의 중심 블록의 픽셀값과 상기 중심 블록의 주변에 위치하는 이웃 블록들 각각의 픽셀값을 비교하여 차이값을 산출하는 단계와; 차이값을 소정의 문턱값과 비교하여 이웃 블록들을 이진화하고, 이진화된 이웃 블록들에 기반하여 상기 기준 영역의 영역 특성을 결정하는 단계와; 기준 영역의 영역 특성에 따른 필터링을 적용하여 입력 영상의 잡음을 제거하는 단계를 포함한다. 따라서, 복잡도가 적은 영역을 검출을 수행하여 처리 시간 측면에도 장점을 가지고, 주간적 화질 비교시 평탄한 영역에 대해 왜곡 없이 복원이 수행되며, 세부 정보들이 최대한 보존되는 효과가 있다.

Description

다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치{METHOD AND APPARATUS OF IMAGE DENOISING USING MULTI-SCALE BLOCK REGION DETECTION}
본 발명은 영상 잡음 제거에 관한 것으로, 더욱 상세하게는 다중 스케일 블록 영역을 구분하여 영상 잡음을 제거하는 방법 및 장치에 관한 것이다.
영상의 잡음제거는 가우시안 잡음 등으로 왜곡된 열화영상으로부터 원 신호를 복원하여 해당 영상화질을 향상 시키는 것에 중점을 두고 진행한다. 다양한 잡음제거 기술들의 성능 판단 기준은 잡음이 얼마나 효율적으로 제거되면서, 영상의 에지와 같은 세부특성이 보존되었는지에 따른다.
여러 요인들에 따라 발생되는 잡음성분은 저주파대역과 고주파대역 정보들로 크게 나눌 수 있으며, 효과적인 잡음 제거를 위해서는 이러한 잡음특성이 우선적으로 고려되어야 한다.
한편, 고주파 특성을 띄는 잡음은 비교적 쉽게 제거 가능한 반면 영상신호의 대부분이 저주파 성분으로 구성됨에 따라 잡음과 원 신호의 구별이 어려운 저주파 특성의 잡음은 상대적으로 제거하기 어렵다.
영상의 지역적, 공간적 특성에 따라 잡음제거를 수행하는 기존 알고리즘들은 열화영상 내 일정 범위 안에서 상관도가 큰 블록들을 축적하는 블록정합과 그에 따른 가중치 추정의 두 단계로 나누어진다. 이와 같이 패치를 모아 가중치를 구하는 방법은 화소 간 상관도에 따른 이점을 극대화 할 수 있지만, 영역 내 화소 값 차이를 계산하여 유사한 블록을 찾고 변환하는 과정에서 복잡도의 증가를 가져온다.
또한 각각의 패치별로 가중치를 각기 다르게 얻어낸 뒤 동일한 방식으로 처리하기 때문에 영상의 공간적인 특성을 전부 반영하는 데에도 한계가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 잡음 제거 방법은, 입력 영상을 구획하는 기준 영역 내의 중심 블록의 픽셀값과 상기 중심 블록의 주변에 위치하는 이웃 블록들 각각의 픽셀값을 비교하여 차이값을 산출하는 단계와; 차이값을 소정의 문턱값과 비교하여 이웃 블록들을 이진화하고, 이진화된 이웃 블록들에 기반하여 상기 기준 영역의 영역 특성을 결정하는 단계와; 기준 영역의 영역 특성에 따른 필터링을 적용하여 입력 영상의 잡음을 제거하는 단계를 포함한다.
여기에서, 상기 중심 블록과 상기 이웃 블록들은 상기 기준 영역 내에 위치하고, 사이즈가 동일하며, 상기 중심 블록과 상기 이웃 블록들은 미리 설정된 간격만큼 이격될 수 있다.
여기에서, 상기 기준 영역의 영역 특성을 결정하는 단계는, 차이값이 소정의 문턱값을 초과하는 경우의 이웃 블록에 1을 부여하고, 차이값이 소정의 문턱값 이하인 경우의 이웃 블록에 0을 부여함으로써, 이웃 블록들을 이진화할 수 있다.
여기에서, 상기 기준 영역의 영역 특성을 결정하는 단계는, 이웃 블록들의 이진화에 따라 기준 영역에 부여된 1의 개수를 기준으로 기준 영역의 영역 특성을 결정할 수 있다.
여기에서, 상기 기준 영역의 영역 특성을 결정하는 단계는, 기준 영역에 부여된 1의 개수에 따라 강한 변화량을 갖는 영역, 약한 변화량을 갖는 영역 및 평탄한 영역 중 하나로 기준 영역의 영역 특성을 결정할 수 있다.
여기에서, 상기 입력 영상의 잡음을 제거하는 단계는, 강한 변화량을 갖는 영역에 주성분분석(Principal Component Analysis) 기법을 적용하고, 약한 변화량을 갖는 영역에 양방향 필터(Bilateral Filter)를 적용하며, 평탄한 영역에 영상 분해를 통한 구조 추출(Structure-Texture Image Decomposion) 기법을 적용할 수 있다.
여기에서, 상기 기준 영역은, 큰 사이즈로부터 작은 사이즈로 순차적으로 설정될 수 있다.
여기에서, 상기 기준 영역은, 32×32, 16×16 및 8×8 사이즈 중 하나일 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 영상 잡음 제거 방법을 수행하는 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공한다.
상기와 같은 본 발명의 실시예에 따른 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법은, 구간적 잡음 제거 기법에 기반한 영역 별 처리를 수행하여 효율적인 복원을 진행하며, 복잡도가 적은 영역을 검출을 수행하여 처리 시간 측면에도 장점을 가진다.
또한, 주간적 화질 비교시 평탄한 영역에 대해 왜곡 없이 복원이 수행되며, 세부 정보들이 최대한 보존되는 효과가 있다.
도 1a는 지역적 이진 패턴의 생성을 설명하기 위한 예시도이다.
도 1b는 지역적 이진 패턴의 산출이 수행되는 기준 영역을 설명하기 위한 예시도이다.
도 2a는 본 발명의 실시예에 따른8×8 사이즈의 기준 영역을 설명하기 위한 예시도이다.
도 2b는 본 발명의 실시예에 따른 16×16 사이즈의 기준 영역을 설명하기 위한 예시도이다.
도 2c는 본 발명의 실시예에 따른 32×32 사이즈의 기준 영역을 설명하기 위한 예시도이다.
도 3은 본 발명의 실시예에 따른 영상 잡음 제거 방법을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 영상 잡음 제거를 위한 알고리즘을 설명하기 위한 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1a는 지역적 이진 패턴의 생성을 설명하기 위한 예시도이고, 도 1b는 지역적 이진 패턴의 산출이 수행되는 기준 영역을 설명하기 위한 예시도이다.
도 1a를 참조하면, 지역적 이진 패턴(Local Binary Pattern, LBP) 기법은 영상 내 텍스쳐(Texture) 분류를 위한 기법 중 하나로, 물체 및 얼굴 검출 또는 인식 등의 다양한 분야에서 사용되고 있다.
예를 들어, 지역적 이진 패턴 기법은 영상 전체에 대해 수행되며 3×3 블록 내 중앙 화소를 기준으로 이웃 화소들 간의 밝기 차이를 이진화함으로써 비트를 나열하여 패턴을 획득할 수 있다. 즉, 이웃 화소가 중앙 화소인 4를 기준으로 4보다 큰 화소값을 가지면 1을 부여하고, 나머지 이웃 화소들에서는 0을 부여하는 방식으로 이진화할 수 있고, 이를 시계 방향으로 읽으면 01101001 의 이진 패턴을 획득하게 된다.
도출된 이진 패턴들은 해당 영역의 특징에 따라 다르게 나타나게 되며 비슷한 패턴을 가질수록 동일한 정보를 갖는 영역일 확률이 높다.
그러나, 3×3 블록을 이용하여 추출되는 결과는 극히 작은 지역적인 특성을 갖기 때문에 보다 넓은 형태의 지역적인 특성에 대한 획득이 필요하며, 이러한 방법으로 다중-스케일 블록 지역적 이진 패턴(Multi-scale Block LBP, MB-LBP) 기법이 활용될 수 있다.
도 1b를 참조하면, 다중-스케일 블록 지역적 이진 패턴 기법은 기존 방식에서 쓰였던 블록 단위를 확장하여 9×9의 형태를 가질 수 있다. 즉, 3×3 블록 다수를 합친 형태를 가질 수 있다.
예를 들어, 3×3 의 블록마다 영역 내 존재하는 화소값의 평균을 저장하고 그 평균값으로 지역적 이진 패턴을 획득할 수 있다. 도 1b에서 0이 중심 블록을 나타낼 수 있고, 중심 블록에 이웃한 이웃 블록들은 1 내지 8로 구별할 수 있다. 따라서, 중심 블록의 화소의 평균값과 이웃 블록에 표기된 숫자의 순서대로 비교하여 이진 패턴을 산출할 수 있다.
이처럼 화소 단위가 아니라 블록 단위에 대해 이진 패턴을 수행하면 스케일이 비교적 큰 텍스쳐 정보도 획득 가능하며 영상의 밝기 변화에 좀 더 무관하게 추출할 수 있다. 또한, 반복되는 패턴이 넓은 범위에 존재하는 경우라면 물체를 인식하는 것뿐만 아니라 검출하는 관점에서도 적합한 성능을 가질 수 있다.
도 2a는 본 발명의 실시예에 따른8×8 사이즈의 기준 영역을 설명하기 위한 예시도이고, 도 2b는 본 발명의 실시예에 따른 16×16 사이즈의 기준 영역을 설명하기 위한 예시도이며, 도 2c는 본 발명의 실시예에 따른 32×32 사이즈의 기준 영역을 설명하기 위한 예시도이다.
도 2a 내지 도 2c를 참조하면, 화소 단위로 이진 패턴을 생성하는 방식을 보다 더 개선하기 위해 다양한 크기의 기준 영역을 설정할 수 있다. 여기서, 기준 영역은 도 1b의 블록 단위에 상응하는 개념을 의미할 수 있다.
먼저, 도 2a를 참조하면, 기준 영역은 8×8의 기준 블록에는 1개의 중심 블록(0)과 12개의 이웃 블록들(1~12)을 포함할 수 있다. 여기서, 중심 블록(0)과 이웃 블록들(1~12)은 2×2 사이즈를 가질 수 있고, 중심 블록(0)과 이웃 블록들(1~12) 사이에는 1개의 화소 크기의 간격만큼 이격될 수 있다.
다음으로, 도 2b를 참조하면, 기준 영역은 16×16의 기준 블록에는 1개의 중심 블록(0)과 12개의 이웃 블록들(1~12)을 포함할 수 있다. 여기서, 중심 블록(0)과 이웃 블록들(1~12)은 4×4 사이즈를 가질 수 있고, 중심 블록(0)과 이웃 블록들(1~12) 사이에는 2개의 화소 크기의 간격만큼 이격될 수 있다.
마지막으로, 도 2c를 참조하면, 기준 영역은 32×32의 기준 블록에는 1개의 중심 블록(0)과 12개의 이웃 블록들(1~12)을 포함할 수 있다. 여기서, 중심 블록(0)과 이웃 블록들(1~12)은 8×8 사이즈를 가질 수 있고, 중심 블록(0)과 이웃 블록들(1~12) 사이에는 4개의 화소 크기의 간격만큼 이격될 수 있다.
따라서, 기준 영역은 큰 사이즈로부터 작은 사이즈로 순차적으로 설정될 수 있다. 예를 들어, 기준 영역은 32×32, 16×16 및 8×8 사이즈 중 하나로 설정될 수 있다.
본 발명의 실시예에 따르면, 영역 특성 정보는 해당 블록 내 화소 변화량에 관한 것으로 정확한 이진 패턴 정보 보다는 이진화 과정에서 얻어지는 출력값을 필요로 한다.
중심 블록의 평균값을 기준으로 이웃 블록의 출력이 0, 1로 계속 변동되어 나온다면 해당 블록은 화소 변화가 다양한 것으로 판단될 수 있다.
그러나, 다중-스케일 블록 지역적 이진 패턴(MB-LBP)으로는 차이의 정도를 알기 어렵기 때문에, 변화량 획득에 유리하도록 임의의 문턱값을 지정하여 기준값과 이웃 블록 간의 절대치가 문턱값보다 큰 경우에는 1을 출력하고 작은 경우에는 0을 출력하여 이진화를 수행할 수 있다.
따라서, 출력된 결과는 기준 영역 내에 1이 나온 횟수를 RDB로 저장할 수 있고, 그 값이 작을수록 평탄한 영역임을 알 수 있다. 이를 수식으로 표현하면 다음의 수학식 1과 같다.
Figure pat00001
MBRD[0]은 중심 블록의 평균값을 의미하며 이웃 블록과의 차이값(diffMBRD)을 저장한 후, 이를 임의의 문턱값 TMBRD에 따라 이진화를 수행할 수 있다. TMBRD에 사용되는 상수값은 열화 영상의 잡음 정도에 따라 값을 변경하게 되는데 주로 잡음의 분산 값이 커질수록 보다 큰 값으로 설정할 수 있다. 그 이유는 잡음으로 인해 변화된 화소값의 차이를 최대한 무시하면서 유사한 영역을 검출하고자 함이다.
또한, 이진화된 값을 축적하여 RDB 블록에 넣게 되는데 1의 출력 횟수가 증가될수록 RDB 블록은 큰 값을 얻게되며 해당 블록이 차지하는 영역은 변화량이 큰 정보를 갖는 것으로 검출될 수 있다.
영역 특성 정보는 해당 블록이 세부 신호로 이루어진 고주파 영역인지, 화소의 변화가 거의 없는 평탄한 영역인지에 관한 것으로 블록 내 물체가 가지는 이진 패턴의 정확한 정보가 필요한 것은 아니다.
단지 이진화 과정에서 얻어지는 출력값만을 필요로 하는데, 이는 출력된 0 과 1을 통해 영역 내 변화량에 대한 추정을 가능하게 하기 때문이다.
중심 블록의 평균값을 기준으로 이웃블록의 출력이 0, 1로 계속 변동되어 나온다면 해당 블록은 화소값의 변화가 다양한 블록을 가정할 수 있을 것이다.
그러나, 기존 이진 패턴은 단순히 기준값보다 크면 1을 출력하고 같거나 작으면 0을 출력하는 형태로 차이의 정도를 알기에는 어려움이 있으므로, 변화량 획득에 유리하도록 임의의 문턱값을 지정하여 기준값과 이웃 블록 간의 절대치가 문턱값보다 큰 경우 1을 출력하고, 작은 경우 0을 출력하여 이진화를 수행할 수 있다.
따라서, 출력된 결과는 기준 영역 내에 1이 나온 횟수를 블록에 저장하는 데 사용되며, 그 값이 작을수록 평탄한 블록임을 알 수 있다.
예를 들어, RDB가 5보다 큰 경우를 강한 변화량을 갖는 영역으로 지정하고, RDB가 0과 5 사이에 있는 경우를 약한 변화량을 갖는 영역으로 지정하며, RDB가 0인 경우를 평탄한 영역을 결정할 수 있다.
도 3은 본 발명의 실시예에 따른 영상 잡음 제거 방법을 설명하기 위한 개념도이다.
도 3을 참조하면, 입력 영상(Input image)에 웨이블릿 분해(Wavelet Decomposition)가 수행될 수 있다(S100). 즉, 2 차원의 영상 신호에 대해 수평 방향으로 저역통과 필터(Low-pass Filter) 및 고역 통과 필터(High-pass Filter)를 씌워 다운 샘플링을 수행하면 열화 성분의 수가 반으로 줄어 상단에는 저주파 성분이 모이고 하단부에는 고주파 성분이 자리하게 된다.
보다 상세하네는, 웨이블릿(Wavelet)은 다중 해상도(Multiresolution) 신호 처리 및 해석법에 대한 접근 방식 중의 하나로, 다중 해상도 처리는 원 영상을 둘 이상의 해상도로 변환하여 분석하는 기법이다. 예를 들어, 해상도의 크기에 따라 해당 특성을 통해 진행되며 부대역 코딩(Subband Coding), 피라미드 영상 처리 등의 분야가 이에 속한다.
웨이블릿 변환은 시간 정보가 없어 시간-주파수 해석이 불가능했던 푸리에(Fourier) 변환을 개선한 것으로 시간에 따른 주파수 성분을 육안으로 확인할 수 있어 시간-주파수 해상도의 획득이 가능하다는 장점을 갖는다
다음으로, 임계화(Thresholding) 과정(S200)은 임의의 입력 신호에 대해 설정된 임계값 이상, 이하, 또는 특정 대역 신호를 증감시키거나 변형시키는 기법으로 일종의 필터를 적용시켜 출력 신호가 결정되는 방식으로 쉽게 이해할 수 있다. 예를 들어, 영상 처리에서 사용되는 가장 간단한 임계화 중의 하나는 화소값을 0 과 1 과 같이 하나 비트만을 사용해 표현하도록 해주는 이진화(Binarization)로 한 채널만을 가지는 흑백 영상의 경우 일정 화소값 즉, 임계값 이하는 전부 흑, 이상은 전부 백색으로 변형하면 이진화 처리된 영상을 획득할 수 있다.
본 발명의 실시예에 따르면, 웨이블릿 변환을 통해 얻어지는 웨이블릿 영역에서 임계화를 수행할 수 있다.
공간 영역에 존재하는 입력 신호를 주파수 영역으로 변환하는 과정을 거치면, 고주파 성분과 저주파 성분이 분리되어 재배열되는데 웨이블릿 분해에 관한 경우는 상술한 바와 같이 이를 육안으로 확인 가능하다.
두 주파수 성분에 대해 수행되는 임계화는 주로 특정값 이상이나 이하의 값을 제거하는 형태로 적용되며, 이는 잡음 제거 기법중의 하나로 수행될 수 있다. 임계화를 통한 잡음제거는 잡음을 특정 주파수 대역으로 가정하여 처리하는데, 통상적으로 잡음의 경우가 큰 변동량을 가지기 때문에 고주파 성분으로 판단하여 수행된다. 따라서, 웨이블릿 임계화 역시 분해 과정을 통해 얻어지는 부대역 중 고주파 성분을 갖는 디테일 부대역들에 대해 임계화 처리를 하는 것으로 잡음 제거 효과를 얻을 수 있다. .
다음으로, 주성분분석(Principal Component Analysis, PCA)이 수행될 수 있다(S300).
PCA는 일정량의 분포를 가지는 데이터 내, 분산이 가장 큰 방향 벡터인 주성분을 찾는 것으로 잡음 제거를 위해서는 복원하고자 하는 화소 주변 영역을 설정하여 기준 화소가 위치한 블록과의 차이가 적은 블록을 축적하여 행렬을 생성하는 LPG(Local Pixel Group) 방식을 취할 수 있다.
보다 상세하게는, 획득한 열화 영상 데이터 집합 X에서 하나의 행은 찾아진 블록의 샘플 벡터이며, 해당 벡터의 평균값
Figure pat00002
를 제하여 centralized된 행렬은
Figure pat00003
로 표기할 수 있다.
Figure pat00004
상기의 수학식 2를 통해
Figure pat00005
의 공분산 행렬
Figure pat00006
, 고유값 분해를 진행하여 정규 직교한 고유벡터 행렬
Figure pat00007
, 고유값을 대각 원소로 가지는 대각행렬
Figure pat00008
를 얻는다.
이 때의 고유벡터는 주성분 벡터 P로 사용되며, P를 곱하는 것으로 PCA 변환된
Figure pat00009
를 출력할 수 있다.
따라서, 잡음 제거는 linear minimum mean square-error estimation을 이용하여 가중치를 구하는 형태로 위너필터의 계산방식과 유사하게 계산될 수 있다. 원 영상과 잡음 간 상관 관계가 없어 독립적이며, 잡음 평균이 0 인 정규분포 특성을 가진다면,
Figure pat00010
의 분산 값에서 잡음의 분산값을 제하여 잡음이 없는 행렬의 분산을 추정할 수 있다.
Figure pat00011
수학식 3을 통해 위너 필터와 동일한 방식으로 가중치
Figure pat00012
를 얻어내며, 해당 가중치를 PCA 변환을 통해 얻어낸 행렬에 곱하고 다시 역변환을 진행하는 것으로 잡음이 제거된 영상 데이터 집합
Figure pat00013
을 획득할 수 있다. 여기서, 역변환 시 주성분 벡터는 정규 직교 성질을 갖는 고유 벡터를 사용하므로 해당 역행렬을 전치 행렬로 대신하여 계산할 수 있다.
LPG PCA가 수행된 입력 영상에 대하여 상술한 수학식 1에 따른 블록 영역 검출(MBRD)을 수행할 수 있다.
즉, 기준 영역에 부여된 1의 개수에 따라 강한 변화량을 갖는 영역, 약한 변화량을 갖는 영역 및 평탄한 영역 중 하나로 기준 영역의 영역 특성을 결정할 수 있다.
특히, 강한 변화량을 갖는 영역은 그대로 출력하고, 약한 변화량을 갖는 영역에는 양방향 필터(Bilateral filter)를 적용하며(S500), 평탄한 영역에는 영상 분해를 통한 구조 추출(Structure-Texture Image Decomposion) 기법을 적용할 수 있다(S600).
양방향 필터(Bilateral filter)의 적용을 설명하면 다음과 같다(S500).
양방향 필터는 Smoothing 필터에 속하는 Gaussian 필터를 개선시켜 에지 성분이 보존되는 특징을 갖는 잡음 제거 필터 중 하나로, 일정 블록 내 잡음을 제거하고자 하는 화소의 주변 값들에 의한 가중합을 이용하며 가중치는 화소 간의 거리와 값에 따라 결정될 수 있다.
복원되는 화소를 x로, 영역 내 화소를 y로, 이웃 화소 영역을 N(x)로 가정한 경우에, 양방향 필터는 다음의 수학식 4에 따른다.
Figure pat00014
수학식 4를 참조하면, 화소간 거리에 따른 가중치의 조정은 매개변수
Figure pat00015
를 통하며, 해당 화소값 차이에 따른 가중치의 조정은
Figure pat00016
로 관여하게 되는데, 잡음 제거 알고리즘으로 사용되는 경우 추정된 잡음 표준편차
Figure pat00017
값을
Figure pat00018
로 이용하기도 한다. 여기서, C 는 정규화 상수를 의미한다.
영상 분해를 통한 구조 추출(Structure-Texture Image Decomposion) 기법의 적용을 설명하면 다음과 같다.
자연물 및 인공물 등을 포함하는 대부분의 영상은 반복되는 패턴이나 작은 화소 변화를 갖는 텍스쳐 (Texture)와 강한 에지 정보를 갖는 구조(Structure)로 구성되어 있으며, 각각은 해당 특성에 따라 영상 분해를 통한 구조 추출 방식(Structure-Texture Image Decomposition)을 통해 분리하는 것이 가능하다.
여기서, 영상 분해를 통한 구조 추출 기법은 텍스쳐와 구조 성분에 각기 다른 처리를 위한 알고리즘으로 영상 향상을 비롯한 Texture Replacement, Image Retargeting 및 Image Composition 등의 분야에서 다양하게 활용될 수 있다.
또한, 상대 총 변동(Relative Total Variation)을 이용한 구조 추출 알고리즘의 경우, 영상의 텍스쳐와 구조 부분 특성에 따라 나타나는 화소 변화량 차이를 영상 분해 시 가중치로 사용할 수 있다. 따라서, 변화량의 측정은 일정 윈도우 내 화소 값으로부터 계산될 수 있다.
도 4는 본 발명의 실시예에 따른 영상 잡음 제거를 위한 알고리즘을 설명하기 위한 예시도이다.
도 4를 참조하면, 0부터 최대 12의 값을 가지는 RDB를 통해 영상의 영역 특성을 분류할 수 있다.
기존 이진 패턴은 단순히 기준값보다 크면 1을 출력하고 같거나 작으면 0을 출력하는 형태로 차이의 정도를 알기에는 어려움이 있으므로, 변화량 획득에 유리하도록 임의의 문턱값을 지정하여 기준값과 이웃 블록 간의 절대치가 문턱값보다 큰 경우 1을 출력하고, 작은 경우 0을 출력하여 이진화를 수행할 수 있다.
따라서, 출력된 결과는 기준 영역 내에 1이 나온 횟수를 블록에 저장하는 데 사용되며, 그 값이 작을수록 평탄한 블록임을 알 수 있다.
예를 들어, RDB 값이 5이상일 때 강한 변화량을 갖는 영역, 1~5일 때 약한 변화량을 갖는 영역, 0일 때 평탄한 영역으로 지정할 수 있으며, 각각의 영역에 따른 잡음 제거를 수행할 수 있다.
따라서, 도 4에 따른 알고리즘에 따라, 강한 변화량을 갖는 영역은 그대로 출력하고, 약한 변화량을 갖는 영역에는 양방향 필터(Bilateral filter)를 적용하며, 평탄한 영역에는 영상 분해를 통한 구조 추출(Structure-Texture Image Decomposion) 기법을 적용할 수 있다.
본 발명의 실시예에 따른 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법은, 구간적 잡음 제거 기법에 기반한 영역 별 처리를 수행하여 효율적인 복원을 진행하며, 복잡도가 적은 영역을 검출을 수행하여 처리 시간 측면에도 장점을 가진다.
또한, 주간적 화질 비교시 평탄한 영역에 대해 왜곡 없이 복원이 수행되며, 세부 정보들이 최대한 보존되는 효과가 있다.
또한, 본 발명의 실시예에 따른 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (9)

  1. 입력 영상을 구획하는 기준 영역 내의 중심 블록의 픽셀값과 상기 중심 블록의 주변에 위치하는 이웃 블록들 각각의 픽셀값을 비교하여 차이값을 산출하는 단계;
    상기 차이값을 소정의 문턱값과 비교하여 상기 이웃 블록들을 이진화하고, 상기 이진화된 이웃 블록들에 기반하여 상기 기준 영역의 영역 특성을 결정하는 단계; 및
    상기 기준 영역의 영역 특성에 따른 필터링을 적용하여 상기 입력 영상의 잡음을 제거하는 단계를 포함하는, 영상 잡음 제거 방법.
  2. 청구항 1에 있어서,
    상기 중심 블록과 상기 이웃 블록들은 상기 기준 영역 내에 위치하고, 사이즈가 동일하며, 상기 중심 블록과 상기 이웃 블록들은 미리 설정된 간격만큼 이격되어 있는 것을 특징으로 하는, 영상 잡음 제거 방법.
  3. 청구항 1에 있어서,
    상기 기준 영역의 영역 특성을 결정하는 단계는,
    상기 차이값이 상기 소정의 문턱값을 초과하는 경우의 이웃 블록에 1을 부여하고, 상기 차이값이 상기 소정의 문턱값 이하인 경우의 이웃 블록에 0을 부여함으로써, 상기 이웃 블록들을 이진화하는 것을 특징으로 하는, 영상 잡음 제거 방법.
  4. 청구항 3에 있어서,
    상기 기준 영역의 영역 특성을 결정하는 단계는,
    상기 이웃 블록들의 이진화에 따라 상기 기준 영역에 부여된 1의 개수를 기준으로 상기 기준 영역의 영역 특성을 결정하는 것을 특징으로 하는, 영상 잡음 제거 방법.
  5. 청구항 4에 있어서,
    상기 기준 영역의 영역 특성을 결정하는 단계는,
    상기 기준 영역에 부여된 1의 개수에 따라 강한 변화량을 갖는 영역, 약한 변화량을 갖는 영역 및 평탄한 영역 중 하나로 상기 기준 영역의 영역 특성을 결정하는 것을 특징으로 하는, 영상 잡음 제거 방법.
  6. 청구항 5에 있어서,
    상기 입력 영상의 잡음을 제거하는 단계는,
    상기 강한 변화량을 갖는 영역에 주성분분석(Principal Component Analysis) 기법을 적용하고, 상기 약한 변화량을 갖는 영역에 양방향 필터(Bilateral Filter)를 적용하며, 상기 평탄한 영역에 영상 분해를 통한 구조 추출(Structure-Texture Image Decomposion) 기법을 적용하는 것을 특징으로 하는, 영상 잡음 제거 방법.
  7. 청구항 1에 있어서,
    상기 기준 영역은,
    큰 사이즈로부터 작은 사이즈로 순차적으로 설정되는 것을 특징으로 하는, 영상 잡음 제거 방법.
  8. 청구항 7에 있어서,
    상기 기준 영역은,
    32×32, 16×16 및 8×8 사이즈 중 하나인 것을 특징으로 하는, 영상 잡음 제거 방법.
  9. 청구항 1 내지 8중 어느 하나에 따른 방법을 수행하는 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020150140353A 2015-10-06 2015-10-06 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치 KR101766536B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150140353A KR101766536B1 (ko) 2015-10-06 2015-10-06 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150140353A KR101766536B1 (ko) 2015-10-06 2015-10-06 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170040983A true KR20170040983A (ko) 2017-04-14
KR101766536B1 KR101766536B1 (ko) 2017-08-09

Family

ID=58579580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150140353A KR101766536B1 (ko) 2015-10-06 2015-10-06 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101766536B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101972768B1 (ko) * 2019-01-10 2019-04-29 주식회사 다산컨설턴트 구조 안전진단용 균열길이 측정장치
KR102026427B1 (ko) * 2018-09-11 2019-09-27 동의대학교 산학협력단 스마트폰을 이용한 콘크리트 균열 측정 방법
CN112070696A (zh) * 2020-09-07 2020-12-11 上海大学 一种基于纹理与结构分离的图像修复方法及***、终端
CN116681628A (zh) * 2023-08-03 2023-09-01 湖南华菱电子商务有限公司 一种基于深度学习的营业执照数据处理方法及***
CN116778520A (zh) * 2023-08-11 2023-09-19 山东省大数据中心 一种海量证照数据质量检验方法
CN117196997A (zh) * 2023-10-17 2023-12-08 辽宁工程技术大学 基于人工智能的三维矿震图像降噪优化方法
CN118115823A (zh) * 2024-04-30 2024-05-31 山东亿昌装配式建筑科技有限公司 一种建筑垃圾智能分类方法及***
CN118115823B (en) * 2024-04-30 2024-06-28 山东亿昌装配式建筑科技有限公司 Intelligent classification method and system for construction waste

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389328B (zh) * 2018-04-16 2021-04-23 宁波飞芯电子科技有限公司 基于动态门限电压的像素单元与光电调制方法及其应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908440B2 (ja) * 2008-03-06 2012-04-04 株式会社東芝 画像処理装置及び方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026427B1 (ko) * 2018-09-11 2019-09-27 동의대학교 산학협력단 스마트폰을 이용한 콘크리트 균열 측정 방법
KR101972768B1 (ko) * 2019-01-10 2019-04-29 주식회사 다산컨설턴트 구조 안전진단용 균열길이 측정장치
CN112070696A (zh) * 2020-09-07 2020-12-11 上海大学 一种基于纹理与结构分离的图像修复方法及***、终端
CN116681628A (zh) * 2023-08-03 2023-09-01 湖南华菱电子商务有限公司 一种基于深度学习的营业执照数据处理方法及***
CN116681628B (zh) * 2023-08-03 2023-10-24 湖南华菱电子商务有限公司 一种基于深度学习的营业执照数据处理方法及***
CN116778520A (zh) * 2023-08-11 2023-09-19 山东省大数据中心 一种海量证照数据质量检验方法
CN116778520B (zh) * 2023-08-11 2023-11-10 山东省大数据中心 一种海量证照数据质量检验方法
CN117196997A (zh) * 2023-10-17 2023-12-08 辽宁工程技术大学 基于人工智能的三维矿震图像降噪优化方法
CN117196997B (zh) * 2023-10-17 2024-02-02 辽宁工程技术大学 基于人工智能的三维矿震图像降噪优化方法
CN118115823A (zh) * 2024-04-30 2024-05-31 山东亿昌装配式建筑科技有限公司 一种建筑垃圾智能分类方法及***
CN118115823B (en) * 2024-04-30 2024-06-28 山东亿昌装配式建筑科技有限公司 Intelligent classification method and system for construction waste

Also Published As

Publication number Publication date
KR101766536B1 (ko) 2017-08-09

Similar Documents

Publication Publication Date Title
KR101766536B1 (ko) 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치
Ali MRI medical image denoising by fundamental filters
Saxena et al. Noises and image denoising techniques: A brief survey
US20070189586A1 (en) Finger/palm print image processing system and finger/palm print image processing method
EP1387315B1 (en) Preparation of a digital image with subsequent edge detection
Zhu et al. Application of Improved Median Filter on Image Processing.
Ramadan Efficient restoration method for images corrupted with impulse noise
Gao An adaptive median filtering of salt and pepper noise based on local pixel distribution
Thaipanich et al. An adaptive nonlocal means scheme for medical image denoising
Lee et al. Two-stage false contour detection using directional contrast and its application to adaptive false contour reduction
CN112801031A (zh) 静脉图像识别方法、装置、电子设备及可读存储介质
Li et al. Grey theory applied in non-subsampled Contourlet transform
Ahmed et al. Fingerprint image enhancement based on threshold fast discrete curvelet transform (FDCT) and gabor filters
Palacios-Enriquez et al. Sparse technique for images corrupted by mixed Gaussian-impulsive noise
CN116468958B (zh) 通信铁塔安全检测方法及***
Al-Taie A review paper: Digital image filtering processing
Khellah Textured image denoising using dominant neighborhood structure
Boztoprak An alternative image quality assessment method for blurred images
Mohan et al. Image denoising with a convolution neural network using Gaussian filtered residuals
Khmag et al. Natural image noise removal using non local means and hidden Markov models in stationary wavelet transform domain
Bhargava et al. An Effective Method for Image Denoising Using Non-local Means and Statistics based Guided Filter in Nonsubsampled Contourlet Domain.
KR101753365B1 (ko) Ｎｏｎ－ｌｏｃａｌ ｍｅａｎｓ 방법을 이용한 효율적인 영상 잡음 제거 방법 및 장치
Ali et al. A proposed de-noising algorithm
Saeedi et al. Image denoising based on fuzzy and intra-scale dependency in wavelet transform domain
Hemalatha Image denoising and deblurring using non-local means algorithm in monochrome images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant