KR101868266B1 - 희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치 - Google Patents
희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치 Download PDFInfo
- Publication number
- KR101868266B1 KR101868266B1 KR1020170011906A KR20170011906A KR101868266B1 KR 101868266 B1 KR101868266 B1 KR 101868266B1 KR 1020170011906 A KR1020170011906 A KR 1020170011906A KR 20170011906 A KR20170011906 A KR 20170011906A KR 101868266 B1 KR101868266 B1 KR 101868266B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- blur
- noise
- fryer
- bases
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
디블러링 장치에서 수행되는 희소표현 알고리즘을 이용한 디블러링 방법이 개시된다. 잡음 및 블러(blur)를 포함하는 촬영 영상으로부터 희소표현 알고리즘에 기초해 복수의 프라이어 영상들을 획득하는 단계; 원시 영상 및 블러 커널 변수를 추정하는 단계; 추정된 원시 영상 및 블러 커널 변수를 통해 디블러 영상을 출력하는 단계를 포함한다. 따라서, 영상 잡음이 큰 환경에서도 우수한 성능의 디블러링이 제공될 수 있다.
Description
본 발명은 블러 영상 디블러링 기법 에 관한 것으로, 희소표현 알고리즘을 이용한 잡음 있는 블러 영상 블라인드 디블러링 방법 및 장치에 관한 것이다.
영상의 블러(blur)란 영상 왜곡을 의미할 수 있다. 영상의 블러의 발생원인은 다양하다. 블러란 대표적으로 사진 ㅋ촬영 시의 노출시간 동안 카메라나 카메라 시야 범위 내의 물체가 움직임으로써 사진 전체나 해당 물체 부분이 번져 보이는 영상 왜곡의 한 형태일 수 있다.
블러를 제거 하는 것을 영상 디블러링이라 한다. 디블러링은 블러의 형태를 나타내는 블러 커널(blur kernel)을 알고 있다고 가정하고 블러가 제거 된 영상만 획득하는 논블라인드 디블러링(non-blind deblurring)과 블러 커널과 블러가 제거 된 영상을 동시에 획득하는 블라인드 디블러링(blind deblurring)으로 나눌 수 있다.
영상 편집 및 분석 등 많은 영상정보처리 분야에서는 입력영상이 퀄리티가 결과에 영향을 미친다. 블러는 입력영상의 퀄리티에 영향을 미칠 수 있기 때문에 디블러링에 대한 구체적인 연구가 필요했다.
일상 생활중에서도 블러는 빈번히 발생하며, 어두운 환경(저조도)에서 사진을 촬영하는 경우엔 블러 뿐만 아니라 영상에 잡음이 동반될 수 있다.
하지만, 기존의 디블러링 알고리즘들은 이러한 잡음을 고려하지 않고 모델링(modeling)을 하였기 때문에, 잡음이 적은 경우에만 만족스러운 디블러된 영상을 얻을 수 있다.
구체적으로, 기존의 디블러링 알고리즘들은 입력영상 대비 5% 크기의 잡음만 추가 되면 디블러된 영상이 만족스럽지 못하거나, 블러 커널의 추정 조차 실패하는 경우가 빈번히 발생할 수 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 잡음 및 블러를 포함하는 영상에 대한 디블러링 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디블러링 장치에서 수행되는 희소표현 알고리즘을 이용한 디블러링 방법은, 잡음 및 블러(blur)를 포함하는 촬영 영상을 획득하는 단계; 상기 촬영 영상의 해석을 위해 사용되는 복수의 기저들과 희소표현 계수의 선형적 결합인 희소표현 알고리즘에 기초하여, 상기 촬영 영상으로부터 복수의 프라이어(prior) 영상 변수들을 획득하는 단계; 상기 잡음 및 상기 블러를 제거하기 위해 상기 복수의 프라이어 영상 변수들을 포함하는 추정 알고리즘을 획득하는 단계; 상기 추정 알고리즘을 사용하여 상기 촬영 영상으로부터 상기 잡음이 제거된 원시 영상을 추정하는 단계; 상기 추정 알고리즘으로부터 상기 잡음의 포함 정도를 지시하는 블러 커널 변수를 추정하는 단계; 및 상기 원시 영상 및 상기 블러 커널 변수의 변화량이 미리 정해진 기준 이하인 경우 최종 영상을 출력하는 단계를 포함한다.
여기서, 상기 희소표현 알고리즘을 통해 획득되는 상기 복수의 프라이어 영상 변수들은 상기 잡음이 제거된 제1 프라이어 영상 변수와 상기 잡음 및 상기 블러가 제거된 제2 프라이어 영상 변수를 포함할 수 있다.
여기서, 상기 제1 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하는 복수의 제1 기저들의 곱의 시그마 합으로 획득될 수 있다.
여기서, 상기 제1 기저들은 상기 제2 프라이어 영상 변수 획득을 위해 필요한 상기 블러를 포함하지 않는 복수의 제2 기저들과 상기 블러 커널 변수의 콘볼루션을 통해 획득될 수 있다.
여기서, 상기 제2 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하지 않는 복수의 제2 기저들의 곱의 시그마 합으로 획득될 수 있다.
여기서, 상기 희소표현 계수는 상기 블러를 포함하는 복수의 제1 기저들의 제곱근 오차를 기초로 획득될 수 있다.
여기서, 상기 복수의 기저들은 잡음이 없는 영상들로부터 학습될 수 있다.
여기서, 상기 원시 영상은 상기 추정 알고리즘에서 상기 블러 커널 변수를 고정 시킴으로써 획득될 수 있다.
여기서, 상기 블러 커널 변수는 상기 추정 알고리즘에서 상기 원시 영상을 고정 시킴으로써 획득될 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디블러링 장치는, 프로세서(processor); 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은, 잡음 및 블러(blur)를 포함하는 촬영 영상을 획득하고, 상기 촬영 영상의 해석을 위해 사용되는 복수의 기저들과 희소표현 계수의 선형적 결합인 희소표현 알고리즘에 기초하여, 상기 촬영 영상으로부터 복수의 프라이어(prior) 영상 변수들을 획득하고, 상기 잡음 및 상기 블러를 제거하기 위해 상기 복수의 프라이어 영상 변수들을 포함하는 추정 알고리즘을 획득하고, 상기 추정 알고리즘을 사용하여 상기 촬영 영상으로부터 상기 잡음이 제거된 원시 영상을 추정하고, 상기 추정 알고리즘으로부터 상기 잡음의 포함 정도를 지시하는 블러 커널 변수를 추정하고, 그리고 상기 원시 영상 및 상기 블러 커널 변수의 변화량이 미리 정해진 기준 이하인 경우 최종 영상을 출력하도록 실행 가능하다.
여기서, 상기 희소표현 알고리즘을 통해 획득되는 상기 복수의 프라이어 영상 변수들은 상기 잡음이 제거된 제1 프라이어 영상 변수와 상기 잡음 및 상기 블러가 제거된 제2 프라이어 영상 변수를 포함하도록 실행 가능할 수 있다.
여기서, 상기 제1 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하는 복수의 제1 기저들의 곱의 시그마 합으로 획득되도록 실행 가능할 수 있다.
여기서, 상기 제1 기저들은 상기 제2 프라이어 영상 변수 획득을 위해 필요한 상기 블러를 포함하지 않는 복수의 제2 기저들과 상기 블러 커널 변수의 콘볼루션을 통해 획득되도록 실행 가능할 수 있다.
여기서, 상기 제2 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하지 않는 복수의 제2 기저들의 곱의 시그마 합으로 획득되도록 실행 가능할 수 있다.
여기서, 상기 희소표현 계수는 상기 블러를 포함하는 복수의 제1 기저들의 제곱근 오차를 기초로 획득되도록 실행 가능할 수 있다.
여기서, 상기 복수의 기저들은 잡음이 없는 영상들로부터 학습되도록 실행 가능할 수 있다.
여기서, 상기 원시 영상은 상기 추정 알고리즘에서 상기 블러 커널 변수를 고정 시킴으로써 획득되도록 실행 가능할 수 있다.
여기서, 상기 블러 커널 변수는 상기 추정 알고리즘에서 상기 원시 영상을 고정 시킴으로써 획득되도록 실행 가능할 수 있다.
본 발명에 의하면, 영상 디블리링을 수행함에 있어서 앞서 기술한 희소표현(sparse representation) 알고리즘을 이용하여 프라이어 영상를 생성하고 이들을 최적화 목표 식에 이용함으로써, 잡음에 강건한 디블러링된 최종영상 추정 및 블러 커널 추정을 할 수 있는 효과가 있다.
도 1은 디블러링 장치의 구조를 도시한 블록도이다.
도 2는 디블러링 방법을 도시한 흐름도이다.
도 3은 희소표현 알고리즘을 사용한 디블러링 방법을 도시한 흐름도이다.
도 4는 블러를 포함하는 사전(기저)을 도시한 개념도이다.
도 5는 잡음이 제거된 제1 프라이어 영상을 획득하는 방법을 도시한 개념도이다.
도 6은 블러와 잡음이 제거된 제2 프라이어 영상을 획득하는 방법을 도시한 개념도이다.
도 7은 잡음이 13%인 경우 희소표현 알고리즘을 이용한 디블러링 장치의 상대적인 성능을 도시한 개념도이다.
도 8은 잡음이 8.5%인 경우 복수의 디블러링 장치들의 상대적은 성능을 도시한 개념도이다.
도 9는 잡음이 10%인 경우 복수의 디블러링 장치들의 상대적은 성능을 도시한 개념도이다.
도 10은 복수의 디블러링 장치들의 잡음 레벨 별 최대 신호 대 잡음비를 도시한 그래프이다.
도 2는 디블러링 방법을 도시한 흐름도이다.
도 3은 희소표현 알고리즘을 사용한 디블러링 방법을 도시한 흐름도이다.
도 4는 블러를 포함하는 사전(기저)을 도시한 개념도이다.
도 5는 잡음이 제거된 제1 프라이어 영상을 획득하는 방법을 도시한 개념도이다.
도 6은 블러와 잡음이 제거된 제2 프라이어 영상을 획득하는 방법을 도시한 개념도이다.
도 7은 잡음이 13%인 경우 희소표현 알고리즘을 이용한 디블러링 장치의 상대적인 성능을 도시한 개념도이다.
도 8은 잡음이 8.5%인 경우 복수의 디블러링 장치들의 상대적은 성능을 도시한 개념도이다.
도 9는 잡음이 10%인 경우 복수의 디블러링 장치들의 상대적은 성능을 도시한 개념도이다.
도 10은 복수의 디블러링 장치들의 잡음 레벨 별 최대 신호 대 잡음비를 도시한 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
아래에서, 본 발명에 따른 실시예들이 적용되는 무선 통신 네트워크(wireless communication network)가 설명될 것이다. 본 발명에 따른 실시예들이 적용되는 무선 통신 네트워크는 아래 설명된 내용에 한정되지 않으며, 본 발명에 따른 실시예들은 다양한 무선 통신 네트워크들에 적용될 수 있다.
도 1은 디블러링 장치의 구조를 도시한 블록도이다.
도 1을 참조하면, 디블러링 장치(100)는 적어도 하나의 프로세서(110) 및 메모리(120)를 포함할 수 있다. 또한, 디블러링 장치(100)는 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 저장 장치(150) 등을 더 포함할 수 있다. 디블러링 장치(100)에 포함된 각각의 구성들은 버스(bus)(160)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(110)는 메모리(120) 및/또는 저장 장치(150)에 저장된 프로그램 명령을 실행할 수 있다. 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120)와 저장 장치(150)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
도 2는 디블러링 방법을 도시한 흐름도이다.
도 2를 참조하면, 디블러링 장치는 프로세서에 의해 디블러링과 관련된 절차를 수행할 수 있다. 디블러링 장치는 영상의 노이즈를 지시하는 잡음(noise) 및 촬영 기기의 흔들림 등으로 인해 발생하는 블러(blur)를 포함하는 촬영 영상을 획득할 수 있다(S200).
구체적으로, 블러 및 잡음을 포함하는 촬영 영상은 블러가 없는 원시 영상과 블러 커널 변수의 콘볼루션과 잡음 의 합으로 모델링될 수 있다. 해당 수식은 다음과 같은 수학식으로 표현될 수 있다.
주어진 블러 영상만으로 디블러 된 영상 및 블러 커널을 함께 구해야 하기 때문에, 조직화 항을 추가해(regularization term) 계산하는 것이 일반적이다. 주로 원시 영상 및 블러 커널 변수에 대한 조직화 항을 추가함으로써 다음과 같은 형태의 수식을 최적화할 수 있다.
수학식 2에서 및 는 각각 , 에 해당하는 조직화 항일 수 있다. 원시 영상 은 실제 영상의 잠재 영상(latent image)일 수 있다. 수학식 2의 argmin 함수는 식을 최소화 할 수 있는 변수 값을 도출하는 알고리즘일 수 있다. 디블러링 장치는 원시 영상을 수학식 2의 변수 을 고정 시킨 상태에서 에 대한 식을 풀어서 획득할 수 있다.
디블러링 장치는 블러 커널 변수를 수학식 2의 변수 을 고정 시킨 상태에서 에 대한 식을 풀어서 획득할 수 있다. 디블러링 장치는 원시 영상 및 블러 커널 변수가 미리 설정된 기준 이상으로 변화가 없는 경우 최종 영상을 출력할 수 있다.
디블러링 장치는 블러를 제거하기 위한 추정 알고리즘을 획득할 수 있다. 디블러링 장치는 추정 알고리즘으로부터 잡음이 제거된 원시 영상 을 추정할 수 있다(S210). 디블러링 장치는 추정 알고리즘으로부터 잡음 포함 정도를 지시하는 블러 커널(blur kernel)변수 를 추정할 수 있다(S220).
디블러링 장치는 원시 영상 및 블러 커널 변수 값이 미리 정해진 기준 이상인지 여부를 판단할 수 있다(S230). 디블러링 장치는 원시 영상 및 블러 커널 변수의 변화량이 미리 정해진 기준 이하인 경우 S210-S230 과정을 반복할 수 있다.
디블러링 장치는 원시 영상 및 블러 커널 변수 값이 미리 정해진 기준 이상인 경우 최종 영상을 출력할 수 있다(S240).
도 3은 희소표현 알고리즘을 사용한 디블러링 방법을 도시한 흐름도이다.
도 3을 참조하면, 디블러링 장치는 조직화 항이 포함된 희소표현 알고리즘(또는 "희소표현")을 생성하고, 생성된 희소표현 알고리즘이 포함된 추정 알고리즘을 통해 디블러링을 수행할 수 있다.
희소표현 알고리즘은 주어진 데이터를 기저(basis, )(또는 사전(dictionary))들의 선형적 결합(linear combination, 결합계수 {})으로 근사표현을 하는 것을 의미할 수 있다.
구체적으로, 희소표현 알고리즘(또는 convolutional sparse coding; CPC)은 희소표현 계수와 영상 맵(map)인 기저 필터의 콘볼루션의 합계로 전체 영상를 표현하는 것을 의미할 수 있다.
결합된 기저(coupled dictionary) 개념은 입력 소스 표현 및 목표 표현 사이에 매핑(mapping)이 존재하는 것을 의미할 수 있다. 희소표현 알고리즘을 표현한 수학식은 다음과 같을 수 있다.
기저들은 잡음이 없는 촬영 영상들로부터 학습되고, 소수의 기저들로 데이터를 표현하기 때문에 희소표현 알고리즘은 자체적으로 잡음에 강건할 수 있다.
디블러링 장치는 프로세서에 의해 디블러링과 관련된 절차를 수행할 수 있다. 디블러링 장치는 잡음 및 블러(blur)를 포함하는 촬영 영상을 획득할 수 있다(S300). 복수의 기저들은 다음과 같이 표현될 수 있다.
도 4는 블러를 포함하는 기저(사전)를 도시한 개념도이다.
도 4를 참조하면, 왼쪽은 미리 학습된 기저(사전)를 표현한 영상(400)이다. 에서 는 블러를 포함하지 않은 기저를 지시할 수 있다. 선행 처리 과정에서 자연스러운 촬영 영상을 사용하여 기저가 미리 학습될 수 있다. 블러를 포함하지 않은 기저는 i=1 부터 i=까지의 값을 가질 수 있다. 는 복수의 기저의 개수를 의미할 수 있다.
오른쪽은 블러를 포함하는 기저(이하"블러 기저"라고 한다) (사전)를 표현한 영상(410)이다. 에서 는 블러 기저를 지시할 수 있다. 블러 기저는 i=1 부터 i=까지의 값을 가질 수 있다.
다시 도 3을 참조하면, 디블러링 장치는 데이터를 촬영 영상 해석에 기초가 되는 복수의 기저들과 희소표현 계수의 선형적 결합으로 근사한 희소표현 알고리즘에 기초하여, 상기 촬영 영상으로부터 복수의 프라이어 영상들을 획득할 수 있다(S310). 잡음이 제거된 제1 프라이어 영상은 다음과 같이 획득될 수 있다.
도 5는 잡음이 제거된 제1 프라이어 영상을 획득하는 방법을 도시한 개념도이다.
촬영 영상으로부터 제1 프라이어 영상을 얻는 수식은 다음과 같을 수 있다.
디블러링 장치는 블러 기저()와 희소표현 계수()의 콘볼루션 값의 시그마 합을 잡음이 제거된 제1 프라이어 영상 ()으로 결정할 수 있다. 블러와 잡음이 제거된 제2 프라이어 영상은 다음과 같이 획득될 수 있다.
도 6은 블러와 잡음이 제거된 제2 프라이어 영상을 획득하는 방법을 도시한 개념도이다.
도 6을 참조하면, 왼쪽은 희소표현() 계수 맵을 표현한 영상(600)일 수 있다. 오른쪽은 블러 및 잡음이 제거된 제2 프라이어 영상()(610)일 수 있다. 촬영 영상으로부터 제2 프라이어 영상을 얻는 수식은 다음과 같을 수 있다.
다시 도 3를 참조하면, 디블러링 장치는 잡음 및 블러를 제거하기 위해 상기 복수의 프라이어 영상들을 추청하는 추정 알고리즘을 획득할 수 있다. 추정 알고리즘은 다음과 같은 수학식으로 표현될 수 있다.
디블러링 장치는 추정 알고리즘으로부터 잡음이 제거된 원시 영상()를 추정할 수 있다(S320). 원시 영상 추정은 수학식 10의 변수 를 고정 시킨 상태에서 변수 에 대해서 식을 풀어서 을 획득할 수 있다.
디블러링 장치는 추정 알고리즘으로부터 잡음 포함 정도를 지시하는 블러 커널(blur kernel)변수()를 추정할 수 있다(S330). 블러 커널 변수 추정은 수학식 10의 변수 를 고정 시킨 상태에서 변수 에 대해서 식을 풀어서 을 획득할 수 있다.
디블러링 장치는 원시 영상 및 블러 커널 변수의 변화량 미리 정해진 기준 이하인지 여부를 판단할 수 있다(S340). 원시 영상 및 블러 커널 변수의 변화량이 미리 정해진 기준보다 낮은 경우, 디블러링 과정을 더 이상 반복하더라도 디블러링 성능의 차이가 거의 없기 때문이다.
디블러링 장치는 원시 영상 및 블러 커널 변수의 변화량이 미리 정해진 기준 이상인 경우 S310-S340 과정을 반복할 수 있다. 디블러링 장치는 원시 영상 및 블러 커널 변수의 변화량이 미리 정해진 기준 이하인 경우 최종 영상을 출력할 수 있다(S350).
희소표현 알고리즘을 사용한 디블러링의 경우와 그렇지 않은 경우를 비교한 실시예는 다음과 같을 수 있다.
도 7은 잡음이 13%인 경우 희소표현 알고리즘을 이용한 디블러링 장치의 상대적인 성능을 도시한 개념도이다.
도 7을 참조하면, 잡음 레벨이 13%인 촬영 영상(700)을 희소표현 알고리즘을 사용하여 디블러링의 경우와 잡음 레벨이 13%인 촬영 영상(700)을 희소표현 알고리즘을 사용하지 않고 디블러링의 경우를 비교한 실시예가 확인될 수 있다.
디블러링 장치는 잡음 레벨이 13%인 촬영 영상(700)을 정교하게 디블러링 한 경우 정교한 추정 영상 및 추정 커널(710)을 획득할 수 있다.
희소표현 알고리즘을 이용한 디블러링 방식으로 측정한 결과 값은 우측 상단의 영상(720, 722, 724)에 표현되어 있을 수 있다. 희소표현 알고리즘을 이용하지 않은 디블러링 방식으로 측정한 결과는 우측 하단의 영상(730, 732, 734)에 표현되어 있을 수 있다.
영상 720은 본 발명의 도 4의 S310-S340 과정을 한 번 수행하고 얻은 결과 값일 수 있다. 영상 722은 본 발명의 도 2의 S310-S340 과정을 두 번 수행하고 얻은 결과 값일 수 있다. 영상 724는 본 발명의 도 2의 S310-S340 과정을 세 번 수행하고 얻은 결과 값일 수 있다.
영상 730은 본 발명의 도 2의 S210-S230 과정을 한 번 수행하고 얻은 결과 값일 수 있다. 영상 732은 본 발명의 도 2의 S210-S230 과정을 두 번 수행하고 얻은 결과 값일 수 있다. 영상 734는 본 발명의 도 2의 S210-S230 과정을 세 번 수행하고 얻은 결과 값일 수 있다.
원시 영상 추정과, 블러 커널 변수 추정을 반복할수록 잡음 및 블러가 더 제거되는 것이 확인될 수 있다. 또한 영상 724와 영상 734를 비교할 때, 희소표현 알고리즘을 사용한 디블러링 방법의 성능이 우수한 것이 확인 될 수 있다.
도 8은 잡음이 8.5%인 경우 복수의 디블러링 장치들의 상대적인 성능을 도시한 개념도이다.
도 8을 참조하면, 좌측 상단은 야외에서 촬영한 별장의 실제 영상(800)을 의미할 수 있다. 좌측 하단은 8.5%의 잡음 및 블러가 포함된 촬영 영상(810)을 의미할 수 있다.
중간 상단은 레빈(Levin et al) 방식으로 8.5%의 잡음 및 블러가 포함된 촬영 영상(810)을 디블러링한 최종 영상(820)일 수 있다. 이 경우 최대 신호 대 잡음비(peak signal-to-noise ratio; PSNR)는 7.35dB일 수 있다.
최대 신호 대 잡음비는 영상의 손실 압축에서 화질 손실 정보를 수치로 표현한 값으로 영상에 워터마크를 삽입할 때 원본 영상과 워터마크를 삽입한 영상의 차이를 표현하는 수치일 수 있다.
최대 신호 대 잡음비는 신호의 전력에 대한 고려 없이 평균 제곱 오차(root mean square error; RMSE)를 이용해서 계산 될 수 있다. 최대 신호 대 잡음비는 로그스케일에서 측정되기 때문에, 단위는 dB일 수 있다.
최대 신호 대 잡음비는 손실이 적을수록 높은 값을 가질 수 있다. 즉, 최대 신호 대 잡음비가 클수록 실제 영상과 유사한 영상을 출력하는 것으로 해석될 수 있다.
중간 하단은 종(zhong et al) 방식으로 8.5%의 잡음 및 블러가 포함된 촬영 영상(810)을 디블러링한 최종 영상(830)일 수 있다. 이 경우 최대 신호 대 잡음비는 24.55dB일 수 있다.
우측 상단은 페론 및 페바로(perrone and favaro) 방식으로 8.5%의 잡음 및 블러가 포함된 촬영 영상(810)을 디블러링한 최종 영상(840)일 수 있다. 이 경우 최대 신호 대 잡음비는 17.16dB일 수 있다.
우측 하단은 본 발명의 개선된 디블러링 방식으로 8.5%의 잡음 및 블러가 포함된 촬영 영상(810)을 디블러링한 최종 영상(850)일 수 있다. 이 경우 최대 신호 대 잡음비는 26.23dB일 수 있다.
본 발명의 디블러링 결과 값의 최대 신호 대 잡음비가 상대적으로 가장 높은 것이 확인될 수 있다. 또한 본 발명의 디블러링 결과 값이 실제 영상(800)과 상대적으로 더 유사한 것이 확인될 수 있다.
도 9는 잡음이 10%인 경우 복수의 디블러링 장치들의 상대적인 성능을 도시한 개념도이다.
도 9를 참조하면, 좌측 상단은 야외에서 촬영한 얼굴의 실제 영상(900)을 의미할 수 있다. 좌측 하단은 10%의 잡음 및 블러가 포함된 촬영 영상(910)을 의미할 수 있다.
중간 상단은 레빈 방식으로 10%의 잡음 및 블러가 포함된 촬영 영상(910)을 디블러링한 최종 영상(920)일 수 있다. 이 경우 최대 신호 대 잡음비는 7.00dB일 수 있다.
중간 하단은 종 방식으로 10%의 잡음 및 블러가 포함된 촬영 영상(910)을 디블러링한 최종 영상(930)일 수 있다. 이 경우 최대 신호 대 잡음비는 26.31dB일 수 있다.
우측 상단은 페론 및 페바로 방식으로 10%의 잡음 및 블러가 포함된 촬영 영상(910)을 디블러링한 최종 영상(940)일 수 있다. 이 경우 최대 신호 대 잡음비는 16.81dB일 수 있다.
우측 하단은 본 발명의 개선된 디블러링 방식으로 10%의 잡음 및 블러가 포함된 촬영 영상(910)을 디블러링한 최종 영상(950)일 수 있다. 이 경우 최대 신호 대 잡음비는 26.56dB일 수 있다.
본 발명의 디블러링 결과 값의 최대 신호 대 잡음비가 상대적으로 가장 높은 것이 확인될 수 있다. 또한 본 발명의 디블러링 결과 값이 실제 영상(900)과 상대적으로 더 유사한 것이 확인될 수 있다.
도 10은 복수의 디블러링 장치들의 잡음 레벨 별 최대 신호 대 잡음비를 도시한 그래프이다.
도 10을 참조하면, 세로축은 최대 신호 대 잡음비(PSNR)(dB)를 의미할 수 있다. 가로축은 잡음 레벨(noise level)(%)를 의미할 수 있다. 좌측 하단의 첫 번째 선(1000)은 나이브(naive) 방식으로 디블러링 결과 값을 의미할 수 있다.
좌측 하단의 두 번째 선(1010)은 본 발명 도 2의 실시예로서 프라이어 영상을 사용하지 않은 디블러링 결과 값을 의미할 수 있다. 좌측 하단의 세 번째 선(1020)은 제2 프라이어 영상만 사용한 디블러링 결과 값을 의미할 수 있다.
좌측 하단의 네 번째 선(1030)은 본 발명의 제1 및 제2 프라이어 영상을 사용한 디블러링 결과 값을 의미할 수 있다. 좌측 하단의 다섯 번째 선(1040)은 레빈 방식으로 디블러링 결과 값을 의미할 수 있다.
좌측 하단의 여섯 번째 선(1050)은 페론 및 페바로 방식으로 디블러링 결과 값을 의미할 수 있다. 좌측 하단의 일곱 번째 선(1060)은 미첼리 앤 이라니(Michaeli and irani) 방식으로 디블러링 결과 값을 의미할 수 있다.
좌측 하단의 여덟 번째 선(1070)은 종 방식으로 디블러링 결과 값을 의미할 수 있다. 좌측 하단의 두 번째 선(1010), 세 번째 선(1020), 네 번째 선(1030)을 비교할 경우, 복수의 프라이어 영상들을 활용할수록 잡음 레벨 별 최대 신호 대 잡음비가 높게 나타나는 것이 확인될 수 있다.
희소표현 알고리즘을 사용한 본 발명의 실험 결과값을 지시하는 좌측 하단의 네 번째 선(1030)은 상대적으로 경쟁 디블러링 방식과 비교할 때, 잡음 레벨이 2% 이상인 구간에서 가장 우수한 성능을 가지는 것이 확인될 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬, 램, 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 1의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (18)
- 디블러링(deblurring) 장치에서 수행되는 희소표현 알고리즘을 이용한 디블러링 방법으로,
잡음 및 블러(blur)를 포함하는 촬영 영상을 획득하는 단계;
상기 촬영 영상의 해석을 위해 사용되는 복수의 기저들과 희소표현 계수의 선형적 결합인 희소표현 알고리즘에 기초하여, 상기 촬영 영상으로부터 복수의 프라이어(prior) 영상 변수들을 획득하는 단계;
상기 잡음 및 상기 블러를 제거하기 위해 상기 복수의 프라이어 영상 변수들을 포함하는 추정 알고리즘을 획득하는 단계;
상기 추정 알고리즘을 사용하여 상기 촬영 영상으로부터 상기 잡음이 제거된 원시 영상을 추정하는 단계;
상기 추정 알고리즘으로부터 상기 잡음의 포함 정도를 지시하는 블러 커널 변수를 추정하는 단계; 및
상기 원시 영상 및 상기 블러 커널 변수의 변화량이 미리 정해진 기준 이하인 경우 최종 영상을 출력하는 단계를 포함하고,
상기 희소표현 알고리즘을 통해 획득되는 상기 복수의 프라이어 영상 변수들은 상기 잡음이 제거된 제1 프라이어 영상 변수와 상기 잡음 및 상기 블러가 제거된 제2 프라이어 영상 변수를 포함하는, 디블러링 방법. - 삭제
- 청구항 1에 있어서,
상기 제1 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하는 복수의 제1 기저들의 곱의 시그마 합으로 획득되는, 디블러링 방법. - 청구항 3에 있어서,
상기 제1 기저들은 상기 제2 프라이어 영상 변수 획득을 위해 필요한 상기 블러를 포함하지 않는 복수의 제2 기저들과 상기 블러 커널 변수의 콘볼루션을 통해 획득되는, 디블러링 방법. - 청구항 1에 있어서,
상기 제2 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하지 않는 복수의 제2 기저들의 곱의 시그마 합으로 획득되는, 디블러링 방법. - 청구항 1에 있어서,
상기 희소표현 계수는 상기 블러를 포함하는 복수의 제1 기저들의 제곱근 오차를 기초로 획득되는, 디블러링 방법. - 청구항 1에 있어서,
상기 복수의 기저들은 잡음이 없는 영상들로부터 학습되는, 디블러링 방법. - 청구항 1에 있어서,
상기 원시 영상은 상기 추정 알고리즘에서 상기 블러 커널 변수를 고정 시킴으로써 획득되는, 디블러링 방법. - 청구항 1에 있어서,
상기 블러 커널 변수는 상기 추정 알고리즘에서 상기 원시 영상을 고정 시킴으로써 획득되는, 디블러링 방법. - 디블러링 장치로서,
프로세서(processor); 및
상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고,
상기 적어도 하나의 명령은,
잡음 및 블러(blur)를 포함하는 촬영 영상을 획득하고,
상기 촬영 영상의 해석을 위해 사용되는 복수의 기저들과 희소표현 계수의 선형적 결합인 희소표현 알고리즘에 기초하여, 상기 촬영 영상으로부터 복수의 프라이어(prior) 영상 변수들을 획득하고,
상기 잡음 및 상기 블러를 제거하기 위해 상기 복수의 프라이어 영상 변수들을 포함하는 추정 알고리즘을 획득하고,
상기 추정 알고리즘을 사용하여 상기 촬영 영상으로부터 상기 잡음이 제거된 원시 영상을 추정하고,
상기 추정 알고리즘으로부터 상기 잡음의 포함 정도를 지시하는 블러 커널 변수를 추정하고, 그리고
상기 원시 영상 및 상기 블러 커널 변수의 변화량이 미리 정해진 기준 이하인 경우 최종 영상을 출력하도록 실행되고,
상기 희소표현 알고리즘을 통해 획득되는 상기 복수의 프라이어 영상 변수들은 상기 잡음이 제거된 제1 프라이어 영상 변수와 상기 잡음 및 상기 블러가 제거된 제2 프라이어 영상 변수를 포함하는, 디블러링 장치. - 삭제
- 청구항 10에 있어서,
상기 제1 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하는 복수의 제1 기저들의 곱의 시그마 합으로 획득되는, 디블러링 장치. - 청구항 12에 있어서,
상기 제1 기저들은 상기 제2 프라이어 영상 변수 획득을 위해 필요한 상기 블러를 포함하지 않는 복수의 제2 기저들과 상기 블러 커널 변수의 콘볼루션을 통해 획득되는, 디블러링 장치. - 청구항 10에 있어서,
상기 제2 프라이어 영상 변수는 상기 희소표현 계수와 상기 블러를 포함하지 않는 복수의 제2 기저들의 곱의 시그마 합으로 획득되는, 디블러링 장치. - 청구항 10에 있어서,
상기 희소표현 계수는 상기 블러를 포함하는 복수의 제1 기저들의 제곱근 오차를 기초로 획득되는, 디블러링 장치. - 청구항 10에 있어서,
상기 복수의 기저들은 잡음이 없는 영상들로부터 학습되는, 디블러링 장치. - 청구항 10에 있어서,
상기 원시 영상은 상기 추정 알고리즘에서 상기 블러 커널 변수를 고정 시킴으로써 획득되는, 디블러링 장치. - 청구항 10에 있어서,
상기 블러 커널 변수는 상기 추정 알고리즘에서 상기 원시 영상을 고정 시킴으로써 획득되는, 디블러링 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170011906A KR101868266B1 (ko) | 2017-01-25 | 2017-01-25 | 희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170011906A KR101868266B1 (ko) | 2017-01-25 | 2017-01-25 | 희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101868266B1 true KR101868266B1 (ko) | 2018-06-15 |
Family
ID=62628727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170011906A KR101868266B1 (ko) | 2017-01-25 | 2017-01-25 | 희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101868266B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11568519B2 (en) | 2020-08-31 | 2023-01-31 | Samsung Electronics Co., Ltd. | Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160029668A (ko) * | 2014-09-05 | 2016-03-15 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치 |
-
2017
- 2017-01-25 KR KR1020170011906A patent/KR101868266B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160029668A (ko) * | 2014-09-05 | 2016-03-15 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치 |
Non-Patent Citations (1)
Title |
---|
Haichao Zhang ET AL:"Sparse representation based blind image deblurring", Multimedia and Expo (ICME), 2011 IEEE International Conference on, 11-15 July 2011(2011.07.11.)* * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11568519B2 (en) | 2020-08-31 | 2023-01-31 | Samsung Electronics Co., Ltd. | Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ji et al. | Robust image deblurring with an inaccurate blur kernel | |
US10002411B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur | |
JP7362297B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101844332B1 (ko) | 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 | |
JP2007188493A (ja) | 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置 | |
JP2008146643A (ja) | 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 | |
JP2010041064A (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2014070273A1 (en) | Recursive conditional means image denoising | |
JP6293374B2 (ja) | 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置 | |
KR101362011B1 (ko) | 링잉 아티펙트없는 블러 제거 방법 | |
US8396313B2 (en) | Image compression and decompression using the PIXON method | |
JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2012054795A (ja) | 画像処理装置及び画像処理方法 | |
JP6541454B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US8055093B2 (en) | Method and system for noise level detection in image data | |
JP5914843B2 (ja) | 画像処理装置及び画像処理方法 | |
CN110111261B (zh) | 图像的自适应平衡处理方法、电子设备和计算机可读存储介质 | |
US8090215B2 (en) | Method and system for noise level detection in image data | |
US20110096205A1 (en) | Reducing signal-dependent noise in digital cameras | |
KR101868266B1 (ko) | 희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치 | |
US8208753B2 (en) | Method and system for noise level detection in image data | |
Fry et al. | Validation of modulation transfer functions and noise power spectra from natural scenes | |
KR101152525B1 (ko) | 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치 | |
Patel et al. | A review on different image de-noising methods | |
JP2014099048A (ja) | 画像復元装置および画像復元方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |