KR20050072549A

KR20050072549A - 디지털 초점 조절 방법 및 그 시스템

Info

Publication number: KR20050072549A
Application number: KR1020040000892A
Authority: KR
Inventors: 백준기; 황성현; 신정호
Original assignee: 학교법인 중앙대학교
Priority date: 2004-01-07
Filing date: 2004-01-07
Publication date: 2005-07-12
Also published as: KR100594777B1

Abstract

본 발명은 영상처리시스템에서 디지털 초점 조절 방법 및 시스템, 그 방법 및 시스템에 사용되는 영상복원전달함수를 구하는 방법 및 시스템에 관한 것으로 구체적으로 소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장받는 단계; 입력영상을 입력받는 단계; 상기 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하는 단계; 상기 입력영상과 상기 영상복원전달함수를 승산한 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 단계; 및 상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 단계;를 포함하는 것을 특징으로 하는 디지털 초점 조절 방법 및 그 시스템에 관한 것이다.

본 발명에 따르면 초점이 열화된 영상을 렌즈의 구동 없이 부화소 단위로 추정된 영상열화전달함수 및 그로부터 산출된 영상복원전달함수를 이용하여 빠른 시간 안에 보다 정밀하게 복원하는 것이 가능한 장점이 있다.

Description

디지털 초점 조절 방법 및 그 시스템{Method for providing digital auto-focusing and system therefor}

본 발명은 영상처리시스템에서 디지털 초점 조절 방법 및 시스템에 관한 것으로, 디지털 방식으로 영상을 촬영하는 각종 장치에서 각 장치의 영상열화특성을 이용하여 열화된 영상의 초점을 복원하는 방법 및 시스템에 관한 것으로, 그 방법에 사용되는 영상복원전달함수를 구하는 방법 및 시스템을 포함한다.

종래의 영상처리 시스템에 적용되고 있는 자동 초점 조절 방법에는 능동적 적외선 방식과 반 디지털 초점 조절 방식의 두 종류가 있다. 이와 같은 방식을 채용한 기존의 디지털 영상 시스템은 초점 정도를 추정하는 부분을 해석모듈과 초점거리에 맞게 렌즈를 움직이는 제어모듈을 구비하고 있다.

적외선 방식은 해석모듈에서 파장의 왕복거리를 이용하여 초점이 정확한지 파악하고, 해석모듈에서 판단한 결과를 이용하여 제어모듈에서 렌즈의 위치를 이동시킴으로써 초점을 조절하고 있다. 그러나, 이러한 적외선 방식은 해석모듈에서의 파장의 왕복거리를 알기 위하여 사용한 피사체가 실제로 촬영하고자 하는 피사체가 아닌 경우 문제가 될 수 있고, 또한 초점을 조절하기 위하여 모터를 구동하는데 걸리는 시간이 많이 소요된다는 단점이 있다.

한편, 반 디지털 방식은 해석모듈에서 고주파성분을 계산함으로써 초점이 정확한지를 판단하고, 제어모듈에서는 적외선 방식과 마찬가지로 해석모듈에서 판단한 결과를 이용하여 렌즈의 위치를 이동시킴으로써 초점을 조절한다. 그러나, 반디지털 방식에서도 해석모듈에서 고주파 성분과 초점과의 관계에 대한 신뢰성 및 제어모듈에서 렌즈의 움직임에 따른 모터 구동부의 필요성과 초점 영상을 찾아가는 동안의 시간이 지연되는 문제점이 여전히 존재하고 있다.

상기한 문제를 해결하기 위해서 본 발명에서는 렌즈의 구동이 필요없이 영상처리시스템의 특성에 맞추어 열화된 영상을 복원하는 디지털 초점 조절 방법을 제공하는 것을 목적으로 한다.

또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 방법을 실시하기 위한 디지털 초점 조절 시스템을 제공하는 것을 목적으로 한다.

또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 디지털 초점 조절 방법을 실행하기 위하여 필요한 영상복원전달함수를 산출하는 방법을 제공한다.

또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 영상복원전달함수를 산출하는 시스템을 제공한다.

상기한 목적을 달성하기 위해서 본 발명은 소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장받는 단계; 입력영상을 입력받는 단계; 상기 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하는 단계; 상기 입력영상과 상기 영상복원전달함수를 승산한 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 단계; 및 상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 단계;를 포함하는 것을 특징으로 하는 디지털 초점 조절 방법을 제공한다.

상기 영상복원전달함수 각각은 (a) 상기 영상처리시스템을 통하여 소정의 거리에 위치한 소정 피사체의 영상을 획득하는 단계; (b) 상기 획득된 영상에서 소정의 임계길이를 초과하는 길이를 갖는 소정 경계 영역 및 상기 경계의 방향을 검출하는 단계; (c) 상기 경계의 직각 방향으로 배열된 화소들의 계단함수응답을 구하는 단계; (d) 상기 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출하는 단계; (e) 상기 점확산함수 값을 이용하여 상기 피사체의 영상이 열화된 정도를 나타내는 영상열화전달함수를 산출하는 단계; 및 (f) 상기 영상열화전달함수를 이용하여 상기 열화된 영상을 복원할 수 있는 영상복원전달함수를 산출하는 단계;를 포함하는 방법을 통하여 획득되는 것이 바람직하다.

한편, 상기한 목적을 달성하기 위해서 본 발명은 소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장하기 위한 영상복원전달함수 저장수단; 입력영상을 입력받는 입력영상획득수단; 상기 영상복원전달함수 저장수단에 저장되어 있는 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하고, 상기 산출된 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 영상복원전달함수 검출수단; 및 상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 영상출력수단;을 포함하는 것을 특징으로 하는 디지털 초점 조절 시스템을 제공한다.

또한, 상기 디지털 초점 조절 시스템은 소정의 거리에 위치한 소정 피사체의 영상으로부터 소정의 임계길이를 초과하는 길이를 갖는 소정 경계 영역 및 상기 경계의 방향을 검출하는 경계검출수단; 상기 경계의 직각 방향으로 배열된 화소들의 계단함수응답을 구하는 계단함수응답산출수단; 상기 산출된 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출하는 점확산함수산출수단; 상기 산출된 점확산함수 값을 이용하여 상기 피사체의 영상이 열화된 정도를 나타내는 영상열화전달함수를 산출하는 영상열화전달함수산출수단; 및 상기 산출된 영상열화전달함수를 이용하여 상기 열화된 영상을 복원할 수 있는 영상복원전달함수를 산출하여 상기 영상복원전달함수 저장수단에 저장하는 영상복원전달함수 산출수단;을 더 포함하는 것이 바람직하다.

한편, 상기한 목적을 달성하기 위해서 본 발명은 상기한 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 디지털 초점 조절 방법의 개념을 설명하기 위한 개략도로서, 영상 열화(Blur) 과정과 복원 과정들을 설명하기 위한 모델을 도시한 것이다.

영상처리시스템에는 제작자나 사용자가 의도하지 않았더라도 초점이 잘 맞지 않았다던가, 시스템 자체의 설계 하자 등의 여러 가지 이유로 인하여 본래의 영상(X)의 초점을 열화시키는 영상 열화 시스템(10)이 존재한다.

도 1에 도시된 영상 열화 시스템(10)의 영상 열화(blur)부(12)는 원래 영상(X)의 초점을 열화시키고, 다음 수학식 1과 같이 주파수 영역(frequency domain)에서 표현되는 초점이 열화된 영상(Y`)을 가산기(14)로 출력한다.

Y` = XH

여기서, H는 영상 열화부(12)의 전달함수인 영상 열화 전달함수를 나타낸다. 또한, 수학식 1은 공간 영역(spatial domain)상에서 영상 열화 전달함수와 원래의 영상(x)(여기서, x는 X를 공간 영역상에서 표현한 것)의 콘볼루션(convolution)으로도 표현될 수 있다.

가산기(14)는 부가적인 백색 가우시안 잡음(N)과 영상 열화부(12)에서 열화된 신호(Y`)를 가산하고, 가산된 결과(Y)를 영상 처리 시스템(20)에서 관측되는 초점이 맞지 않는 영상으로서 출력한다.

한편, 본 발명은 영상 열화부(12)를 통하여 초점이 열화되고, 노이즈(N)가 가산된 영상(Y)를 소정의 영상복원전달함수를 이용한 복원시스템(또는 영상 처리 시스템)(20)을 통하여 열화된 영상(Y)을 본래의 영상(X)에 가까운 영상()으로 복원한다.

영상 처리 시스템(20)의 본 발명에 의한 디지털 초점 조절 장치(22)는 관측된 영상(Y)으로부터 다음 수학식 2로 표현되는 원래의 영상()을 복원한다.

= YG = (Y` + N)G = (XH + N)G

여기서, , Y, N 및 X 들은 열(column) 벡터들이며, G는 본 발명에 의한 디지털 초점 조절 장치의 전달함수인 영상 복원 전달함수로서, 다음 수학식 3과 같다.

여기서, H^*는 H의 공액을 나타내고, C`는 선형 고역 통과 필터의 연산자로서 Kenneth R. Castleman 에 의해 Digital Image Processing의 제목으로 저술되고 Prentice-Hall 출판사로부터 1996년에 출간된 책의 397페이지에 상세히 기술되어 있다. 이 책에서는 C`가 P(n,v)로 나타나 있다. λ는 라그랑제 곱셈자(Lagrange multiplier)로 이에 대해서는 후술한다.

한편, 주어진 열화 영상(Y)로부터 원래의 영상(X)를 구하는 수많은 방법들이 개발되어 왔다.

전술한 영상 복원 전달함수에 대해 간략하게 살펴보면 다음과 같다.

영상 복원의 문제는 도 1에 도시된 영상 열화 과정의 모델로부터, 원래의 영상(X)과 가장 근접하도록, 열화된 관측 영상(Y)에 역의 과정을 적용하는 것이다. 이러한 역의 과정을 적용할 때 영상복원 문제는 대개 ill-posed problem이 되며, 이 ill-posed problem은 원래 영상의 작은 변동이 복원된 영상이 존재하는 해(solution)의 영역에서 무한한 변동으로 나타날 수 있음을 의미한다. 그러므로, 복원된 영상은 해의 영역에서 영상의 부드러움과 거친 정도를 적절하게 유지해주는 방향으로 추정되어야 한다. 이를 위해, ill-posed problem을 well-posed problem으로 바꾸는 정칙화(regularization) 이론에서, 다음 수학식 4의 2차 평활화 함수(smoothing function)[F(λ, x)]는 해의 영역에서 평탄한 영역과 잡음 영역의 기준(norm)을 제한하는 데 사용된다.

여기서, 라그랑제 곱셈자 λ는 항과 항들 중 어느 항에 가중을 둘 것인지를 결정하고, y는 Y를 공간 영역상에서 표현한 것이다. 즉, λ 값이 감소되면 복원된 영상에서 잡음 성분은 증가하고, λ값이 증가하면 복원된 영상은 극도로 평활화(ultra smoothed)된다. 그러므로, 함수 F(λ, x)를 최소화 시키는 최적의 λ값을 결정해야 한다. 여기서, F(λ, x)를 최소화시키기 위해 소정 λ를 수학식 4에 대입하면, 다음 수학식 5와 같다.

여기서, x^T는 x의 전치행렬을 의미하고, x는 열 벡터로서 x의 i번째 원소를 나타내며, 벡터 b와 행렬 T는 각각 다음 수학식 6과 같다.

상기한 식들에서 대입하는 λ를 구하는 방법은 종래에 여러 가지 방법이 연구되어 왔고, 본 발명에서 특징으로 삼는 부분이 아니므로 λ를 구하는 구체적인 방법에 대해서 자세한 설명은 생략한다.

한편, 함수 F(x)의 행렬 T는 포지티브 세미 디피니티(positive semidefinite)의 성질을 가지며 함수 F(x)를 최소화시키기 위한 조건은 x가 다음 수학식 7과 같은 선형 방정식의 해를 만족시키면 된다. 여기서, 포지티브 세미 디피니티(positive semidifinite) 성질은 Linear algebra and its applications라는 제목으로 Gilbert Strang에 의해 저술되고 SAUNDERS 출판사로부터 1988년 3차(third edition)로 출간된 책의 54페이지에 기술되어 있다.

T`x = b

그러므로, x는 다음 수학식 8이 된다.

전술한 수학식 8의 블록 순환 행렬 방정식을 2차원 이산 푸리에 변환하면, 수학식 3과 같은 영상 복원 전달함수 즉, 제한적 최소 평방(CLS: Constrained Least Squares) 필터의 주파수 응답이 구해진다.

이하, 본 발명에 의한 영상처리 시스템의 디지털 초점 조절 방법 및 시스템을 첨부한 도면들을 참조하여 보다 구체적으로 알아본다.

도 2는 본 발명의 디지털 초점 조절 시스템을 도시한 블록선도이다.

본 발명의 디지털 초점 조절 시스템은 영상복원전달함수 저장수단(110), 입력영상획득수단(120), 입력영상분할수단(130), 영상복원전달함수 검출수단(140), 영상복원전달함수 검출수단(140) 및 영상출력수단(150)를 포함하여 구성된다.

영상복원전달함수 저장수단(110)은 소정의 과정을 통하여 산출된 복수의 영상복원전달함수(111)를 저장한다.

여기서 영상복원전달함수 저장수단(110)에 저장되는 복수의 영상복원전달함수(111) 각각은 초점거리를 고정한 상태에서 기준이 되는 피사체와의 거리를 달리하면서 촬영한 영상을 이용하여 산출된 것이거나 또는 초점거리와 상기 피사체와의 거리를 모두 변화시키면서 촬영한 영상을 이용하여 산출된 것이 바람직하다.

즉, 초점거리를 일정하게 고정시킨 상태에서 기준이 되는 피사체를 소정의 거리 간격, 예를 들어 5cm 간격으로 이동시키면서 촬영한 각각의 영상을 이용하여 산출된 영상복원전달함수만을 이용할 수도 있고, 앞에서와 같은 과정을 초점거리를 이동시키면서 반복, 예를 들어 초점거리를 1m로 한 상태에서 기준이 되는 피사체와의 거리를 5cm 간격으로 이동시키면서 촬영한 각각의 영상을 이용하여 영상복원전달함수(111)를 산출하고, 다시 초점거리를 1.1m로 한 상태에서 기준이 되는 피사체와의 거리를 5cm 간격으로 이동시키면서 촬영한 각각의 영상을 이용하여 영상복원전달함수(111)를 산출하는 등의 방식으로 산출된 영상복원전달함수(111)들 모두가 영상복원전달함수 저장수단(110)에 저장되도록 할 수도 있다.

이렇게 영상 처리 시스템의 초점거리를 일정하게 고정시킨 상태에서 피사체의 거리를 이동시켜 가면서 촬영을 하게 되면, 초점이 정확히 맞는 영상도 있겠지만, 획득된 대부분의 영상들은 초점이 맞지 않게 되는 열화된 영상의 형태를 보일 것이고, 이 열화된 영상의 특성을 살펴봄으로써 영상 처리 시스템의 특성을 알 수 있고, 이를 이용하여 디지털 초점 조절 시스템에 사용될 영상복원전달함수(111)를 구할 수 있게 된다.

여기서, 영상복원전달함수(111)를 산출하는 시스템은 본 발명의 디지털 초점 조절 시스템에 포함되어 있을 수도 있고, 별개의 시스템을 통하여 구현될 수도 있다. 도 3은 본 발명에 사용되는 영상복원전달함수(111)를 산출하기 위한 시스템을 도시한 블록선도이다.

본 발명에서 영상복원전달함수(111)를 산출하기 위한 시스템은 기준영상획득수단(210), 경계검출수단(220), 계단함수응답 산출수단(230), 점확산함수 산출수단(240), 영상열화전달함수 산출수단(250) 및 영상복원전달함수 산출수단(260)를 포함하고, 여기서 경계검출수단(220)은 영상분할수단(221), 부영상경계영역 검출수단(222), 부영상경계방향검출수단(223)을 포함하여 구성될 수 있다.

기준영상획득수단(210)은 일반적으로 피사체를 촬영하기 위한 장치로서, 도 2의 디지털 초점 조절 시스템에서 사용될 영상복원전달함수(111)를 구하기 위하여 사용되는 소정 거리에 위치한 소정의 피사체의 영상을 획득한다.

피사체의 형상은 임의로 결정될 수 있으나, 도 6에 도시된 바와 같이 수직-단일 방향의 경계를 지니는 계단 형태의 단순한 흑백 영상인 것이 수행될 연산의 양 등의 관점에서 바람직하다.

기준영상획득수단(210)은 도 3의 시스템이 도 2와 독립적으로 구성되는 경우에는 필요하지만, 도 2의 디지털 초점 조절 시스템에 포함되어 구성되는 경우에는 도 3의 입력영상획득수단(120)으로 대체될 수 있다.

경계검출수단(220)은 기준영상획득수단(210)을 통하여 획득된 영상에서 소정의 임계길이를 초과하는 길이를 갖는 소정 경계(edge) 영역 및 상기 경계의 방향을 검출한다.

피사체의 모양이 항상 일정하고, 그 경계의 방향 및 경계의 정확한 위치가 미리 정해져 있다면, 예를 들어 항상 촬영된 영상의 정 중앙에서 수직 방향으로 단일의 경계가 형성되도록 피사체의 촬영이 수행된다면 경계검출수단(220)에서는 그 경계의 위치 및 방향 등을 입력받아 저장하는 정도의 기능만 수행하면 충분하다.

그러나, 만약 기준이 되는 피사체의 모양이 경계검출수단(220)에 저장되어 있지 않다면 경계검출수단(220)은 입력된 피사체의 영상을 분석하여 영상에서의 경계부분의 위치 및 방향을 검출한다.

이렇게 입력된 영상을 분석할 필요성이 있는 경우, 경계검출수단(220)은 영상분할수단(221), 부영상경계영역 검출수단(222) 및 부영상경계방향검출수단(223)을 구비하여 입력된 기준영상을 분석한다.

영상분할수단(221)은 기준영상획득수단(210)을 통하여 입력된 기준이 되는 피사체의 영상을 소정 개수의 부영상으로 분할한다. 예를 들어, 입력된 영상이 B×B 크기의 영상인 경우, 이를 P×P 크기의 부영상 (P/B)²개로 영상을 분할한다.

부영상경계영역 검출수단(222)은 분할된 각 영상에 경계가 존재하는지를 검출하고, 부영상경계방향검출수단(223)은 경계가 존재하는 것으로 판단된 부영상에서의 각각의 경계 방향을 검출한다. 여기서, 경계(edge)란 상대적으로 밝기의 변화가 급격하게 변화하는 영역을 의미한다.

계단함수응답 산출수단(230)은 경계검출수단(220)를 통하여 경계 영역 및 경계 방향이 검출되면, 획득된 영상에서 검출된 경계방향에 직각인 방향으로 위치한 화소(pixel)들을 이용하여 계단함수응답을 산출한다.

이 때, 경계 방향에 직각인 어느 하나의 열의 화소들의 계단함수응답만을 구하는 경우 노이즈에 의한 영향을 배제할 수 없으므로, 동일한 경계 방향에 직각인 화소열 복수개, 바람직하게는 모든 화소열을 대상으로 계단함수응답을 구한 후, 이를 평균하여 평균계단함수응답을 산출하도록 하는 것이 바람직하다.

점확산함수 산출수단(240)은 계단함수응답 산출수단(230)에서 산출된 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출한다. 각 화소에서의 점확산함수 값을 산출하는 자세한 과정은 후술한다.

영상열화전달함수 산출수단(250)은 점확산함수 산출수단(240)에서 산출된 각 화소에서의 점확산함수 값을 이용하여 영상처리시스템에 입력된 영상을 열화시키는 영상열화전달함수를 산출한다.

영상복원전달함수 산출수단(260)은 영상열화전달함수 산출수단(250)에서 산출된 영상열화전달함수를 이용하여 이 영상열화전달함수에 의하여 열화된 영상을 복원시킬 수 있는 영상복원전달함수를 산출한다.

이렇게 산출된 영상복원전달함수(111)는 도 2의 영상복원전달함수 저장수단(110)에 저장된다.

다시 도 2로 돌아가서, 입력영상획득수단(120)은 영상처리시스템을 이용하여 촬영하고자 하는 영상을 입력받는다. 입력영상획득수단(120)은 일반적인 영상처리시스템에서 사용하는 방식과 동일한 방식을 통하여 구현되므로 여기서는 더 이상의 설명은 생략한다.

입력영상분할수단(130)은 입력된 영상을 소정개수의 입력부영상으로 분할한다. 입력된 영상을 분할하지 않아도 본 발명이 이루고자 하는 목적을 충분히 달성할 수 있으나, 입력된 영상을 분할하여 각각의 입력부영상을 별개의 과정을 거쳐서 처리할 경우 더욱 더 좋은 효과를 달성할 수 있어서 바람직하다.

예를 들어, 두 사람이 서 있는 영상을 촬영하고자 하는 경우, 만약 한 사람은 영상처리시스템으로부터 1m 거리에 위치해 있고, 다른 한 사람은 영상처리시스템으로부터 1.5m 거리에 위치해 있다고 가정하자. 이 때, 1m 거리에 위치한 사람을 중심으로 하여 초점을 잡으면 1.5m 거리에 있는 사람의 영상은 초점이 제대로 잡히지 않아 많이 열화된 상태로 출력될 것이다.

이 때, 입력된 영상에서 1m 거리에 있는 사람이 있는 부분은 초점거리 1m로 설정한 상태에서 1m 거리에 있는 피사체를 촬영할 때 이용하는 영상복원전달함수를 이용하여 영상을 복원하고, 1.5m 거리에 있는 사람이 있는 부분은 초점거리 1m로 설정한 상태에서 1.5m 거리에 있는 피사체를 촬영할 때 이용하는 영상복원전달함수를 이용하여 영상을 복원한 후 하나의 영상으로 출력하면 전체적으로 양호한 영상이 출력되도록 할 수 있을 것이다.

영상복원전달함수 검출수단(140)은 입력영상획득수단(120) 및/또는 입력영상분할수단(130)을 통하여 입력된 영상과 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수 각각을 승산한 값을 각각 산출하고, 산출된 결과에서 가장 고주파 성분이 많이 발생하게 하는 영상복원전달함수를 출력영상을 위하여 사용될 영상복원전달함수로 검출한다.

이 때, 영상복원전달함수 검출수단(140)은 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수 전부를 하나씩 입력영상에 승산하여 그 결과를 이용할 수 있지만, 그 중 몇 개의 영상복원전달함수만을 이용하여 출력영상에 사용될 영상복원전달함수를 검출할 수도 있다.

예를 들어, 자동초점(Auto Focusing)기능 또는 사용자가 수동으로 설정한 결과, 초점거리가 1m로 설정되어 있다면 실제로 사용자에 의해 촬영될 피사체는 1m 정도에 위치해 있을 확률이 높을 것이므로 초점거리를 1m로 설정한 상태에서 피사체를 1m 정도, 예를 들어 80cm ~ 120cm에 둔 상태로 촬영한 경우에 이용될 수 있는 영상복원전달함수만을 이용하여 출력영상에 이용될 영상복원전달함수를 결정하더라도 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수 전부에 대하여 각각 다 연산을 수행한 결과와 큰 차이가 나지는 않을 것이다.

다만, 초점이 잘못 설정된 경우에는 전체적으로 영상복원전달함수를 이용한 경우보다도 열화된 영상이 출력되게 되는 문제가 발생될 수 있으므로, 일부만 사용해서 결정된 영상복원전달함수를 이용한 최종 출력영상의 고주파 성분이 소정의 임계값보다 작은 경우에는 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수 전체에 대하여 각각 연산을 수행하는 단계를 다시 거치도록 하는 것이 바람직하다.

영상출력수단(150)은 영상복원전달함수 검출수단(140)를 통하여 검출된 영상복원전달함수와 입력된 영상을 승산한 영상을 출력영상으로 출력한다.

도 4 및 도 5를 중심으로 본 발명을 보다 구체적으로 살펴본다. 도 4는 본 발명에서 디지철 초점을 조절하는 방법을 도시한 흐름도이고, 도 5는 본 발명에서 영상복원전달함수를 산출하는 방법을 도시한 흐름도이다.

본 발명에서와 같은 방법으로 디지털 초점을 조절하기 위해서는 먼저 디지털 초점 조절에 이용될 영상복원전달함수를 저장하는 작업이 선행되어야 한다(401). 이 영상복원전달함수를 산출하는 방법은 도 5에 도시되어 있다.

영상복원전달함수(111)를 산출하기 위해서는 먼저 영상복원전달함수(111)의 산출에 사용될 피사체의 영상을 획득하여야 한다(501).

여기서 산출되는 복수의 영상복원전달함수 각각을 산출하기 위해서 초점거리를 고정한 상태에서 기준이 되는 피사체와의 거리를 달리하면서 영상을 촬영하거나, 또는 초점거리와 상기 피사체와의 거리를 모두 변화시키면서 영상을 촬영하는 것이 바람직함은 이미 살펴본 바와 같다.

또한, 영상복원전달함수를 산출하기 위하여 사용되는 피사체는 임의로 결정될 수도 있지만, 도 6과 같은 수직-단일 방향의 경계를 지니는 계단 형태의 단순한 흑백 영상을 이용하는 것이 바람직하다.

이렇게 기준영상획득수단(210)을 통하여 피사체의 영상이 입력되면, 경계검출수단(220)은 피사체의 영상의 경계 영역 및 경계 방향을 검출한다.

도 6에서와 같이 피사체의 모양이 항상 일정하고, 그 경계의 방향 및 경계의 정확한 위치가 미리 정해져 있다면, 예를 들어 항상 촬영된 영상의 정 중앙에서 수직 방향으로 단일의 경계가 형성되도록 피사체의 촬영이 수행된다면 경계검출수단(220)에서는 그 경계의 위치 및 방향 등을 입력받아 저장하는 정도의 기능만 수행하면 충분하다.

이렇게 입력된 영상을 분석할 필요성이 있는 경우, 영상분할수단(221)은 기준영상획득수단(210)을 통하여 입력된 기준이 되는 피사체의 영상을 소정 개수의 부영상으로 분할한다(502). 예를 들어, 입력된 영상이 B×B 크기의 영상인 경우, 이를 P×P 크기의 부영상 (P/B)²개로 영상을 분할한다. 여기서, B는 P의 배수일 수 있다.

부영상경계영역 검출수단(222)은 분할된 각 영상에 경계가 존재하는지를 검출하고, 부영상경계방향검출수단(223)은 경계가 존재하는 것으로 판단된 부영상에서의 각각의 경계 방향을 검출한다(503). 여기서, 경계(edge)란 상대적으로 밝기의 변화가 급격하게 변화하는 영역을 의미한다.

각 부영상들에 대하여 경계의 존재 유무 및 경계의 방향을 결정하는 방법은 도 7에 도시되어 있다.

영상의 해석에 있어서, 가장 기본적이고 중요한 문제중의 하나가 경계 검출과 분류이다. 일반적으로 경계는 상대적으로 밝기의 변화가 급격하게 변화하는 두 영역의 경계를 의미한다. 경계의 검출 방법에는 여러 가지 방법이 있을 수 있지만, 본 발명에서는 블럭 이산 코사인 변환(BDCT:Block Discrete Cosine Transform)을 사용하여 경계를 분류할 수 있다. 이를 위해, 영상이 열화되는 과정이 선형 공간 불변적이거나 또는 영상 열화 전달함수(H)가 블럭 토플리츠(block Toeplitz) 행렬이면서 블럭 순환 구조라는 가정과, [수학식 3]에 나타난 연산자(C')가 블럭 기반으로 분류된 경계의 방향 정보에 따라 결정되는 블럭-적응적인 고역 통과 필터의 연산자라는 가정들이 필요하다. 이 블럭 기반의 블럭이란, 각 부 영상을 의미한다.

도 7는 5의 각 부영상별로 경계영역 및 경계방향을 검출하는 방법을 도시한 흐름도로써, DCT 계수들을 구하는 단계(701) 및 DCT 계수들과 소정 임계값을 비교하여 경계의 방향을 추정하는 단계로 이루어진다.

도 8a~8e은 분류된 경계 방향의 형태를 나타내는 도면들로서, 도 8a는 경계의 방향이 단조로운(monotone)로운 것을 나타내고, 도 8b는 수평 방향의 경계를 나타내고, 도 8c는 수직 방향의 경계를 나타내고, 도 8d는 45°기울어진 방향의 경계를 나타내고, 도 8e는 135°기울어진 방향의 경계를 나타낸다.

먼저, 분할된 부 영상들 각각에 대한 DCT블럭에서 수직 방향의 경계 및 수평 방향의 경계를 나타내는 두개의 DCT 계수들(C_v 및 C_h)을 구한다(701). 여기서, DCT 계수들을 구하는 일반식은 다음 [수학식 9]와 같다.

여기서, 이다.

여기서, DCT계수{C(k₁, k₂)}는 해당 DCT 블럭{x(n₁, n₂)}(0≤n ₁≤P-1 및 0≤n₂≤P-1)에 대해 존재하는 P×P개의 서로 다른 기저 함수들 중에서 (k₁, k₂)번째의 기저 함수가 포함되어 있는 정도를 나타내는 값이다. 만일, P=8인 경우 64개의 DCT 계수들이 생성되며, 64개의 기저 함수들 중에서 (0,1)과 (1,0)번째의 기저 함수 성분을 나타내는 C_v와 C_h는 다음 수학식 10과 같이 표현된다.

단계 (701) 후에, C_v 및 C_h의 절대값들(｜C_v｜, ｜C_h｜)이 각각 소정 임계값(Th)보다 적은가를 판단한다(702). 만일, |C_v｜ 및 |C_h｜가 각각 Th보다 적으면, 경계의 방향은 도 8a에 도시된 바와 같이 단조로운 것으로 추정한다(710).

그러나, ｜C_v｜ 및 ｜C_h｜들이 각각 Th보다 적지 않으면, ｜C_h｜에서 ｜C _v｜를 감산한 값이 Th보다 큰가를 판단한다(703). 만일, ｜C_h｜에서 ｜C_v｜를 감산한 값이 Th보다 크면, 경계의 방향을 도 8b에 도시된 수평 방향으로 추정한다(730).

그러나, ｜C_h｜에서 ｜C_v｜를 감산한 값이 Th보다 크지 않으면, ｜C_v｜에서 ｜C_h｜를 감산한 값이 Th보다 큰가를 판단한다(704). ｜C_v｜에서 ｜C_h｜를 감산한 값이 Th보다 크면, 경계의 방향을 도 8c에 도시된 수직 방향으로 추정한다(720).

그러나, ｜C_v｜에서 ｜C_h｜ 감산한 값이 Th보다 크지 않으면, C_h와 C _v를 승산한 값이 양수인가를 판단한다(705). 만일, C_h와 C_v를 승산한 값이 양수이면, 경계의 방향을 도 8d에 도시된 바와 같이 45°기울어진 것으로 추정한다(740).

그러나, C_v와 C_h를 승산한 값이 양수가 아니면, 경계의 방향을 도 8e에 도시된 바와 같이 135°기울어진 것으로 추정한다(706).

상기한 도 7의 방법의 각 단계는 부 영상들 각각에 대해 수행되어, 즉 블럭 기반으로 수행되어 모든 부 영상들 각각에 대한 경계의 영역 및 경계의 방향이 추정된다(503).

이렇게 입력된 피사체의 영상에 대한 경계 영역 및 경계 방향이 검출되면, 계단함수응답 산출수단(230)는 검출된 경계에 직각방향으로 배열된 화소들의 계단함수응답을 산출한다(504).

도 9 및 10은 반지름(r) 3을 갖는 점확산함수 및 계단함수응답을 설명하기 위한 도면으로서, 도 9는 2차원 원형의 점 확산 함수를 나타내고, 도 10은 해당하는 1차원 계단함수응답의 일 예를 도시한 것으로, 횡축은 경계 방향에 직각인 화소들의 변위를 나타낸 것이고, 종축은 휘도의 레벨을 나타낸 것이다.

계단함수응답을 구할 때, 각 경계 방향에 대하여 직각인 화소의 열 하나에 대해서만 계단함수 응답만을 구하여 이를 대표값으로 사용하여도 되지만, 계단함수응답의 기초가 된 영역이 특히 노이즈가 심한 경우에는 적절하지 않은 결과가 산출될 수도 있으므로, 이러한 노이즈에 의한 영향을 최소화시키기 위해서는 동일한 경계 방향에 직각인 화소열들 중 복수개의 화소열, 바람직하게는 모든 화소열의 계단함수응답을 평균한 평균계단함수응답을 이용하는 것이 바람직하다.

검출된 경계의 방향과 직각 방향으로 존재하는 계단함수 응답을 S_A(n)이라고 할 때, 이 계단함수응답의 평균은 다음 [수학식 11]과 같이 구해진다.

여기서, E는 검출된 경계 방향의 집합을 나타내고, Z은 계단함수응답의 평균을 구하기 위해 사용된 계단함수응답[S_A(n)]의 수를 의미하고, A는 경계방향에 직각인 화소열들의 집합을 나타내고, n은 경계방향에 직각인 화소열들의 집합 중에서 각 화소의 변위를 나타내는 것으로 도 10에서 횡축을 나타낸다.

여기서, 평균 계단 함수 응답은 도 9에 도시된 횡축으로 2r+1 만큼의 동안 나타나게 된다.

계단함수응답을 산출한 후에는 점확산함수 산출수단(240)은 이 값을 이용하여 각 화소에서의 점확산함수값을 산출한다(505).

본 발명에서 점확산함수를 산출하기 위해서는 하나의 가정이 필요하다. 입력된 영상에서 초점이 흐린 정도가 확산원(COC: Circle of Confusion)의 모양을 따라 균일하게 분포하고 이것이 입력 영상의 모든 영역에 대하여 불변해야 한다는 것이다.

여기서, COC에 대해 잠시 살펴보면, 초점이 맞지 않는 영상의 흐림 현상은 피사체와 촬상면과의 거리가 적절하지 않을 때 발생하며 이것은 피사체 표면의 한 점이 촬상면의 한 점 즉, 초점의 위치에 대응되지 않고 확산되기 때문이다. 이 확산은 점광원이 원의 형태로 투영되는 현상으로 근사 될 수 있으며, 이 원을 확산원이라 한다. 그리고, 이 확산원은 영상 처리 시스템을 통과한 영상이 정확한 초점거리에 위치하고 있지 않을 때 발생하며, 점광원이 초점 거리의 앞 또는 뒤에 있을 때 확산원의 형태로 투영된다. 초점이 맞지 않아서 영상이 흐려지면, 영상을 주파수 영역에서 해석했을 때 저역 성분이 두드러진다. 그러므로, 초점이 맞지 않는 영상의 흐림 정도는 고주파 성분의 크기로서 알 수 있다. 이 고주파 성분의 크기는 고역 통과 필터를 통과한 열화된 영상의 분산값으로 볼 수 있다. 즉, 필터링된 고주파 성분의 분산이 클수록 영상의 흐림 정도가 적다. 실제로 종래의 많은 디지털 초점 조절 장치에서는 초점이 맞지 않아서 생기는 영상의 흐림은 적당한 분산값을 가지는 2차원의 가우시안 함수로 모델링된다.

도 9에서 보듯이 원형의 대칭적인 점확산함수의 계수들은 원의 가운데로부터 바깥쪽으로 a₀, a₁,…, a_r이 된다.

본 발명에서 다음의 [수학식 12]와 [수학식 13]을 이용하여 1차원의 평균계단함수응답으로부터 도 9에 도시된 바와 같은 2차원 원형의 대칭적인 점확산함수의 계수들(a₀, a₁,…, a_r)을 구한다.

여기서, (m, n)은 점확산함수의 공간적인 좌표를 나타내고, M은 보다 작은 최대의 정수 값을 나타내고, a_M은 수평(수직)축에서 M번째 화소에서 점확산함수의 표본값을 나타낸다.

한편, a₀, a₁, …, a_r 및 a_mn[=PSF(m, n)]은 각각 가중치로서 0보다 크고 1보다 작은 값을 나타낸다. 도 9에 도시된 바와 같이 a₁₂, a₂₁ 및 a₂₂는 모두 a₁과 a₂ 사이의 값을 나타내고, 이고, 이다.

여기서 S(k)는 평균계단함수응답의 k번째 위치에서의 값을 나타내고, N_m은 상기한 점확산함수와 평균계단함수의 응답이 서로 만나는 점의 개수에서 한 개를 빼고 반으로 나눈 값을 나타내며, 보다 작은 최대 정수값으로 나타내어진다.

[수학식 13]에 [수학식 12]를 대입한 후 연립방정식을 풀면, 각 a_M이 구해지고 이 값을 [수학식 12]에 대입하면 점확산함수를 구할 수 있게 된다.

상기한 수학식에서 보듯이, 본 발명에서는 점확산이 반지름 r의 크기로 발생하는 영상에서 점확산의 중심으로부터 상기 경계방향에 직각인 방향으로 m만큼 떨어진 위치의 화소의 계단함수응답 값[S(k)=S(r-m)]은 상기 점확산 중심으로부터 상기 경계방향에 직각인 방향으로 m+1만큼 떨어진 화소의 계단함수응답 값[S(r-m-1)]과 상기 계단함수응답과 서로 만나는 화소에서의 점확산함수 값을 더한 값[PSF(m, 0)+ 2×{PSF(m, 1) + … + PSF(m, N_m)}]과 같다는 전제를 이용한 방정식을 연산함으로써 점확산함수를 산출하므로, 점확산함수의 산출시 이전의 모든 점확산함수 값, 특히 점확산함수값이 산출되는 화소에 대각선 방향으로 위치한 화소에 의한 영향도 고려할 수 있다는 장점이 있다.

각 화소에서의 점확산함수가 산출되면, 영상열화전달함수 산출수단(250)은 이를 이용하여 공간 영역에서 영상 열화 전달함수(h)를 산출한다(506). 공간영역에서의 영상열화전달함수는 다음의 [수학식 14]와 같이 구해진다.

여기서, h의 크기는 B×B이고, 행렬의 요소들은 a_k들의 선형적인 조합으로 이루어지며, 는 점 확산 함수 계수들의 총합을 나타낸다.

상기한 [수학식 14]를 이용하여 공간영역에서 연산을 수행하여도 무방하지만, 주파수 영역에서 연산을 하는 경우 연산이 좀 더 간단해 지므로 점확산함수의 계수들의 선형 결합으로 이루어진 [수학식 14]의 영상열화전달함수를 퓨리에 변환하기 위해서 다음 [수학식 15]와 같이 변형한다

[수학식 15]를 이산 퓨리에 변환(DFT: Discrete Fourier Transform)하면 주파수 영역에서 영상열화전달함수 즉, H를 얻는다.

영상복원전달함수 산출수단(260)은 이렇게 얻어진 영상열화전달함수(H)를 [수학식 3]에 대입하여 영상복원전달함수(G)를 구한다(507). [수학식 3]에서 필요한 소정 선형 고역 통과 필터 연산자(C'), 라그랑제 곱셈자(λ)등은 미리 영상복원전달함수 산출수단(260)에 저장되어 있거나, 사용자로부터 입력받을 수 있다.

이렇게 얻어진 영상복원전달함수(111)는 영상복원전달함수 저장수단(110)에 저장되게 된다.

상기한 과정을 거쳐서 초점거리를 고정시킨 상태에서 소정 거리에 위치한 피사체의 영상으로부터 영상복원전달함수를 구하고 나면, 다음 거리에 위치한 피사체의 영상으로부터 영상복원전달함수를 구하는 작업을 수행한다(508).

몇 개의 피사체의 영상을 사용할지 여부, 사용되는 피사체의 간격을 어떻게 조절할 것인지 여부, 초점거리를 어떤 값으로 고정할지 여부 및 하나의 초점거리를 고정시킨 상태에서만 영상을 입력받을지 초점거리를 변화시켜가며 영상을 입력받을지 여부는 제작자에 의해 임의로 결정될 수 있지만, 좀 더 많은 입력영상을 이용하여 좀 더 많은 영상복원전달함수(111)를 산출하여 저장하여 두는 경우 보다 더 정밀한 초점 조절을 할 수 있어 바람직할 것이다.

모든 영상복원전달함수(111)에 대한 산출과 저장이 완료되면, 입력된 열화영상에 대한 복원작업을 수행한다.

먼저, 입력영상획득수단(120)을 통하여 영상처리 시스템을 통하여 촬영할 영상을 입력받는다(402).

입력된 영상은 입력영상분할수단(130)에 의하여 입력부영상으로 분할될 수 있고, 이렇게 입력된 영상을 분할하는 경우에는 분할된 각 입력부영상마다 별개로 이후의 단계가 진행되도록 하는 것이 바람직하다. 이렇게 입력된 영상을 입력부영상으로 분할하고, 분할된 각각의 입력부영상별로 별개의 독립적인 과정이 진행되도록 하는 경우 보다 정밀한 초점 조절을 할 수 있음은 이미 앞에서 살펴본 바와 같다.

영상복원전달함수 검출수단(140)은 입력된 영상과 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수(111)를 승산한다(403).

영상복원전달함수 검출수단(140)은 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수들 중에서 적정한 두 개의 인접한 영상 복원 전달함수를 불러온 후, 주파수 영역상의 영상 복원 전달함수들(G1,G2)을 초점이 맞지 않은 주파수 영역상의 영상신호(Y)에 승산한다.

영상복원전달함수 검출수단(140)은 승산하여 얻은 영상의 고주파 성분의 분산을 구하고 두 개의 분산을 비교하여 분산의 크기가 가장 큰 값을 나타내는 영상복원전달함수를 출력영상에 사용될 영상복원전달함수(G)로 검출한다(404).

이렇게 사용자가 설정한 초점거리 또는 자동초점기능을 이용한 초점거리나 그 밖의 센서에 의해 측정한 피사체까지의 거리 등을 이용하여 영상복원전달함수 검출수단(140)에서 영상복원전달함수(G)의 검출에 사용될 영상복원전달함수가 소정 개수 선택되도록 미리 프로그램하여 두고, 이렇게 선택된 영상복원전달함수를 일차적으로 이용하고, 이렇게 선택된 영상복원전달함수에 의한 출력영상의 고주파 성분이 임계값 이하로 되는 경우에만 다른 영상복원전달함수를 이용하여 최적의 영상복원전달함수가 검출되도록 할 수도 있고, 처음부터 저장되어 있는 영상복원전달함수 전부에 대한 연산을 한 후 그 결과를 이용할 수도 있음은 이미 살펴본 바와 같다.

영상출력수단(150)은 최종적으로 고주파 성분의 분산이 가장 큰 영상 복원 전달함수(H)와 주파수 상의 영상(Y)를 승산한 결과를 역 이산 퓨리에 변환(IDFT: Inverse Discrete Fourier Transform)하여 최종 출력영상을 출력한다(405).

도 11a와 도 11b는 각각 본 발명에 의한 디지털 초점 조절을 하기 전의 영상과 한 후의 영상을 도시한 것이다. 도 11b에서 보는 바와 같이, 본 발명의 디지털 초점 조절을 수행함(λ=0.6)으로써 초점이 열화된 영상이 보다 선명한 영상으로 출력되는 것을 볼 수 있다.

결국, 전술한 본 발명에 의한 디지탈 초점 조절 방법 및 장치에서는 열화된 특정 계단 영상의 경계 성분을 찾은 다음, 계단함수응답을 분석하여 공간상의 영상열화시스템(10)을 부화소 단위로 추정하는 새로운 방법을 제시하였다. 이를 위해, 영상의 경계 부분을 먼저 검출해서 계단 함수 응답이 얼마만큼의 경사를 가지고 분포하였는가를 관찰하여 점 확산 함수(h)의 크기와 모양을 추정하고, 추정된 점 확산 함수를 영상 복원 전달함수에 적용하여 메모리에 저장한 후 실제 입력된 초점이 맞지 않은 영상을 복원하고, 복원된 영상의 고주파 성분을 비교하여 가장 큰 값을 가진 영상을 초점이 맞은 영상으로 간주하였다.

전술한 본 발명에 의한 디지탈 초점 조정 방법 및 장치는 컴퓨터 비젼(computer vision), 현미경, 감시 카메라, 비디오 카메라 또는 캠코더(camcoder)등과 같은 영상 처리 시스템에 적용될 수 있다.

본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면 초점이 열화된 영상을 렌즈의 구동 없이 부화소 단위로 추정된 영상열화전달함수 및 그로부터 산출된 영상복원전달함수를 이용하여 빠른 시간 안에 보다 정밀하게 복원하는 것이 가능한 장점이 있다.

도 1은 본 발명의 디지털 초점 조절 방법의 개념을 설명하기 위한 개략도

도 2는 본 발명의 디지털 초점 조절 시스템을 도시한 블록선도

도 3은 본 발명에 사용되는 영상복원전달함수를 산출하기 위한 시스템을 도시한 블록선도

도 4는 본 발명에서 디지철 초점을 조절하는 방법을 도시한 흐름도

도 5는 본 발명에서 영상복원전달함수를 산출하는 방법을 도시한 흐름도

도 6은 본 발명에서 기준 피사체로 사용될 수 있는 일 실시예를 도시한 도면

도 7은 본 발명에서 각 부영상들에 대하여 경계의 존재 유무 및 경계의 방향을 결정하는 방법을 도시한 흐름도

도 8a~8e은 분류된 경계 방향의 형태를 나타내는 도면들

도 9는 2차원 원형의 점 확산 함수를 도시한 도면

도 10은 해당하는 1차원 계단함수응답의 일 예를 도시한 도면

도 11은 본 발명의 효과를 나타내기 위한 도면

Claims

소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장받는 단계;

입력영상을 입력받는 단계;

상기 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하는 단계;

상기 입력영상과 상기 영상복원전달함수를 승산한 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 단계; 및

상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 단계;를 포함하는 것을 특징으로 하는 디지털 초점 조절 방법.
제1항에 있어서, 상기 저장되는 복수의 영상복원전달함수 각각은 초점거리를 고정한 상태에서 기준이 되는 피사체와의 거리를 달리하면서 촬영한 영상을 이용하여 산출된 것이거나 또는 초점거리와 상기 피사체와의 거리를 모두 변화시키면서 촬영한 영상을 이용하여 산출된 것임을 특징으로 하는 디지털 초점 조절 방법.
제1항에 있어서, 상기 영상복원전달함수를 검출하는 단계는 상기 입력영상과 상기 영상복원전달함수를 승산한 결과 중 고주파 성분이 가장 큰 값을 나타내는 경우에 이용된 영상복원전달함수를 출력영상에 사용될 영상복원전달함수로 결정하는 것을 특징으로 하는 디지털 초점 조절 방법.
제1항에 있어서, 상기 디지털 초점 조절 방법은

상기 입력영상을 소정 개수의 입력부영상으로 분할하는 단계;를 더 포함하고,

상기 영상복원전달함수를 검출하는 단계 및 출력영상을 출력하는 단계는 상기 분할된 입력부영상 각각에 대하여 행하여지는 것을 특징으로 하는 디지털 초점 조절 방법.
소정의 영상처리시스템에서 소정의 열화현상에 의하여 열화된 입력영상의 복원에 사용되는 영상복원전달함수를 구하는 방법에 있어서,

(a) 상기 영상처리시스템을 통하여 소정의 거리에 위치한 소정 피사체의 영상을 획득하는 단계;

(b) 상기 획득된 영상에서 소정의 임계길이를 초과하는 길이를 갖는 소정 경계 영역 및 상기 경계의 방향을 검출하는 단계;

(c) 상기 경계의 직각 방향으로 배열된 화소들의 계단함수응답을 구하는 단계;

(d) 상기 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출하는 단계;

(e) 상기 점확산함수 값을 이용하여 상기 피사체의 영상이 열화된 정도를 나타내는 영상열화전달함수를 산출하는 단계; 및

(f) 상기 영상열화전달함수를 이용하여 상기 열화된 영상을 복원할 수 있는 영상복원전달함수를 산출하는 단계;를 포함하는 것을 특징으로 하는 영상처리시스템에서 디지털 초점을 조절하기 위한 영상복원전달함수를 산출하는 방법.
제5항에 있어서, 상기 (b) 단계는

(ba) 상기 획득된 피사체의 영상을 소정 개수의 부영상으로 분할하는 단계;

(bb) 상기 부영상 각각에 대하여 상기 경계 영역이 존재하는지 검출하는 단계; 및

(bc) 상기 경계영역이 존재하는 부영상에 대하여 상기 경계 방향을 검출하는 단계;를 더 포함하는 것을 특징으로 하는 영상처리시스템에서 디지털 초점을 조절하기 위한 영상복원전달함수를 산출하는 방법.
제5항에 있어서, 상기 (c) 단계에서 구해지는 계단함수응답은 상기 경계가 존재하는 영역의 계단함수응답을 평균한 값임을 특징으로 하는 영상처리시스템에서 디지털 초점을 조절하기 위한 영상복원전달함수를 산출하는 방법.
제5항에 있어서, 각 화소에서의 점확산함수 값은 점확산이 반지름 r의 크기로 발생하는 영상에서 점확산의 중심으로부터 상기 경계방향에 직각인 방향으로 m만큼 떨어진 위치의 화소의 계단함수응답 값은 상기 점확산 중심으로부터 상기 경계방향에 직각인 방향으로 m+1만큼 떨어진 화소의 계단함수응답 값과 상기 계단함수응답과 서로 만나는 화소에서의 점확산함수 값을 더한 값과 같다는 전제를 이용한 방정식을 연산함으로써 얻어지는 것을 특징으로 하는 영상처리시스템에서 디지털 초점을 조절하기 위한 영상복원전달함수를 산출하는 방법.
제6항에 있어서, 상기 (c) 단계 내지 상기 (f) 단계는 상기 경계의 방향이 동일한 방향을 나타내는 영역별로 독립적으로 진행되는 것을 특징으로 하는 영상처리시스템에서 디지털 초점을 조절하기 위한 영상복원전달함수를 산출하는 방법.
소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장하기 위한 영상복원전달함수 저장수단;

입력영상을 입력받는 입력영상획득수단;

상기 영상복원전달함수 저장수단에 저장되어 있는 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하고, 상기 산출된 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 영상복원전달함수 검출수단; 및

상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 영상출력수단;을 포함하는 것을 특징으로 하는 디지털 초점 조절 시스템.
제10항에 있어서, 상기 영상복원전달함수 저장수단에 저장되는 복수의 영상복원전달함수 각각은 초점거리를 고정한 상태에서 기준이 되는 피사체와의 거리를 달리하면서 촬영한 영상을 이용하여 산출된 것이거나 또는 초점거리와 상기 피사체와의 거리를 모두 변화시키면서 촬영한 영상을 이용하여 산출된 것임을 특징으로 하는 디지털 초점 조절 시스템.
제10항에 있어서, 상기 영상복원전달함수 검출수단은 상기 입력영상과 상기 영상복원전달함수를 승산한 결과 중 고주파 성분이 가장 큰 값을 나타내는 경우에 이용된 영상복원전달함수를 출력영상에 사용될 영상복원전달함수로 결정하는 것을 특징으로 하는 디지털 초점 조절 시스템.
제10항에 있어서, 상기 디지털 초점 조절 시스템은

상기 입력영상 획득수단으로부터 획득된 입력영상을 소정 개수의 입력부영상으로 분할하는 입력영상분할수단;을 더 포함하고,

상기 영상복원전달함수 검출수단은 상기 분할된 입력부영상 각각에 대하여 영상복원전달함수를 검출하고,

상기 영상출력수단은 상기 각각의 입력부영상에 대응하여 검출된 영상복원전달함수 각각을 이용하여 출력영상을 출력하는 것을 특징으로 하는 디지털 초점 조절 시스템.
소정의 영상처리시스템에서 소정의 열화현상에 의하여 열화된 입력영상의 복원에 사용되는 영상복원전달함수를 구하는 시스템에 있어서,

상기 영상처리시스템을 통하여 소정의 거리에 위치한 소정 피사체의 영상을 획득하는 기준영상획득수단;

상기 획득된 영상에서 소정의 임계길이를 초과하는 길이를 갖는 소정 경계 영역 및 상기 경계의 방향을 검출하는 경계검출수단;

상기 경계의 직각 방향으로 배열된 화소들의 계단함수응답을 구하는 계단함수응답산출수단;

상기 산출된 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출하는 점확산함수산출수단;

상기 산출된 점확산함수 값을 이용하여 상기 피사체의 영상이 열화된 정도를 나타내는 영상열화전달함수를 산출하는 영상열화전달함수산출수단; 및

상기 산출된 영상열화전달함수를 이용하여 상기 열화된 영상을 복원할 수 있는 영상복원전달함수를 산출하는 영상복원전달함수 산출수단;을 포함하는 것을 특징으로 하는 영상처리시스템에서 디지털 초점을 조절하기 위한 영상복원전달함수를 산출하는 시스템.
제14항에 있어서, 상기 경계영역검출수단은

상기 획득된 피사체의 영상을 소정 개수의 부영상으로 분할하는 영상분할수단;

상기 분할된 부영상 각각에 대하여 상기 경계 영역이 존재하는지 검출하는 부영상경계영역검출수단; 및

상기 경계영역이 존재하는 부영상에 대하여 상기 경계 방향을 검출하는 부영상경계방향검출수단;을 포함하는 것을 특징으로 하는 영상처리시스템에서 디지털 초점을 조절하기 위한 영상복원전달함수를 산출하는 시스템.
제1항 내지 제9항 중 어느 한 항에 기재된 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.