KR101274061B1 - 화상 처리장치 및 화상 처리방법 - Google Patents

Abstract

촬영 화상을 취득할 때의 노광 조건을 입력한다. 촬영 화상을 취득할 때의 손 떨림 정보를 입력한다. 노광 조건과, 손 떨림 정보로부터 얻어지는 비정수를 포함하는 가중치에 근거하여, 촬영 화상의 블러를 보정하는데 사용되는 필터를 생성한다.

Description

화상 처리장치 및 화상 처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은, 손 떨림 보정기술에 관한 것이다.

최근의 촬상장치의 고해상도화 및 줌 비율(zooming ration)의 증가에 따라, 촬영시의 손 떨림에 의해 발생된 촬영 화상의 블러(blur)가 문제가 되고 있고, 종래부터 손 떨림 보정 기능을 갖는 촬상장치가 널리 사용되고 있다. 이러한 손 떨림 보정 기능을 갖는 촬상장치는 일반적으로, 손 떨림에 의해 발생된 시프트 벡터를 검출하도록 구성된 센서와, 손 떨림을 상쇄되도록 렌즈와 촬상소자의 상대적 위치를 제어하도록 구성된 구동장치를 사용하여 광학적으로 손 떨림을 보정하는 광학적 손 떨림 보정방식을 사용한다.

한편, 화상 처리에 의해 손 떨림을 보정하는 방법도 검토되고 있다. 1매의 블러된(blurred) 화상에 대해 손 떨림을 보정하기 위해, 손 떨림에 의해 발생된 화상의 열화 과정을 필터에 의한 콘볼루션으로 해석하여, 손 떨림의 속도에 근거하여 필터를 산출하고, 디콘볼루션에 의해 손 떨림을 제거하는 수법이 알려져 있다(일본국 특개 2006-279807호 공보 및 2004-205799호 공보).

일반적으로, 손 떨림 필터의 주파수 특성은 어떤 주파수에서 0으로 감소한다는 성질이 있다. 이에 따라, 주파수 특성이 0으로 되는 주파수의 정보가 손실되어 버린다고 하는 문제가 발생한다. 이것을 방지하기 위해, 1매의 화상의 취득시에 노광중의 셔터를 랜덤하게 개폐하고, 그 셔터 개폐의 정보를 사용하여 디콘볼루션 연산을 행함으로써 손 떨림 또는 피사체 블러를 보정하는 기술이 제안되어 있다(일본국 특개 2008-310797호 공보). 이러한 기술은 Coded Exposure로 부르고 있다. 양호한 Coded Exposure 패턴을 사용함으로써, 손 떨림 필터의 주파수 특성이 0으로 감소하는 것을 회피하여, 손 떨림 보정을 실현할 수 있다.

그렇지만, 일본국 특개 2006-279807호 공보 및 2004-205799호 공보에 개시되어 있는 수법은 다음과 같은 과제를 갖고 있다. 우선, 일본국 특개 2006-279807호 공보 및 2004-205799호 공보에 개시된 수법은, 셔터의 개폐 등의 노광 조건을 콘트롤하고 있지 않다. 이 때문에, 특정한 주파수에서 손 떨림 필터의 주파수 특성이 0으로 감소하여(이하, 이 현상을 제로 파워 주파수(zero power frequency)로 호칭한다), 단순한 디콘볼루션을 행하는 것이 불가능하다. 이와 같은 문제를 회피하기 위해, 일본국 특개 2006-279807호 공보에서는 의사 역행렬을 사용하고 있고, 일본국 특개 2004-205799호 공보에서는 위너(Wiener) 필터를 사용하고 있다. 그러나, 어느쪽의 경우도 제로 파워 주파수가 발생한 주파수의 정보를 복원하는 것은 불가능하다.

한편, 일본국 특개 2008-310797호 공보의 수법은, Coded Exposure를 사용함으로써, 일본국 특개 2006-279807호 공보 및 2004-205799호 공보에서와 같은 제로 파워 주파수의 문제를 회피한다. 그러나, 이 방법은 비등속 운동의 손 떨림에 대해서는 적용할 수 없다.

본 발명은, 이상의 문제를 감안하여 이루어진 것으로서, 1매의 화상으로부터도 블러, 특히 비등속 운동의 손 떨림을 보정함으로써, 정밀도가 좋은 화상을 얻기 위한 기술을 제공한다.

본 발명의 제 1 국면에 따르면, 화상 처리장치는, 촬영 화상을 취득하기 위해 행하는 셔터의 개폐의 패턴을 나타내는 셔터의 개폐 패턴을 규정하는 노광 조건을 입력하는 노광 조건 입력부와, 상기 촬영 화상을 취득할 때의 손 떨림 정보를 입력하는 손 떨림 정보 입력부와, 상기 노광 조건과 상기 손 떨림 정보로부터 얻어지는 비정수를 포함하는 가중치에 근거하여, 상기 촬영 화상의 블러를 보정하는데 사용되는 필터를 생성하는 필터 생성부를 포함한다.

본 발명의 제 2 국면에 따르면, 화상 처리방법은, 촬영 화상을 취득하기 위해 행하는 셔터의 개폐의 패턴을 나타내는 셔터의 개폐 패턴을 규정하는 노광 조건을 입력하는 단계와, 상기 촬영 화상을 취득할 때의 손 떨림 정보를 입력하는 단계와, 상기 노광 조건과, 상기 손 떨림 정보로부터 얻어지는 비정수를 포함하는 가중치에 근거하여, 상기 촬영 화상의 블러를 보정하는데 사용되는 필터를 생성하는 단계를 포함한다.

본 발명의 또 다른 특징 및 국면은 첨부된 도면을 참조하여 주어지는 이하의 실시예의 상세한 설명으로부터 명백해질 것이다.

도 1은, 보정부(100)의 기능 구성예를 나타낸 블록도.
도 2는, 보정부(100)에 의해 행해지는 처리의 흐름도.
도 3a는, 주기적 보간 커널(Kernel)의 일례를 도시한 그래프.
도 3b는 필터 계산의 개념도.
도 4는, 필터 계수 산출부(105)의 동작을 나타낸 흐름도.
도 5a는, 통상의 노광 조건의 예를 나타낸 그래프.
도 5b는 필터의 주파수 특성을 도시한 그래프.
도 6a는, 노광 조건 콘트롤의 예를 나타낸 그래프.
도 6b는 필터 주파수 특성을 도시한 그래프.
도 7a 및 7b는, 제1의 실시예의 효과를 나타낸 도면.
도 8은, 제2 실시예에 따른 촬상장치를 나타낸 블록도.
도 9는, 제3 실시예에 따른 촬상장치를 나타낸 블록도.
도 10은, 제4 실시예에 따른 화상 처리장치를 나타낸 블록도.
도 11은, 제 4 실시예의 개념도.
도 12a 내지 도 12c는, 제5 실시예의 개념도.
도 13은, 제6 실시예에 따른 화상 화일 형식을 나타낸 도면.

이하, 첨부도면을 참조하여, 본 발명의 일 실시예에 대해 설명한다. 이때, 이하 설명하는 실시예는 본 발명을 구체적으로 실시한 경우의 일례를 나타낸 것으로, 특허청구범위에 기재된 구성의 구체적인 실시예의 한가지이다.

[제1 실시예]

<본 실시예의 화상 처리장치의 구성>

본 실시예에서는, 1매의 화상으로부터 블러를 보정하는 화상 처리장치에 대해 설명한다. 이때, 본 실시예에서는, 손 떨림을 시프트 손 떨림으로 한정해서 설명한다. 우선, 본 실시예에 따른 화상 처리장치에 설치된 보정부(100)의 기능 구성예에 대해 도 1을 참조하여 설명한다. 보정부(100)는, 전술한 것과 같이, 1매의 화상으로부터, 시프트 손 떨림인 손 떨림을 보정하는 처리를 행한다.

입력 단자 101에는, 촬상된 화상의 데이터(촬상 데이터)가 입력된다. 이 화상 데이터는 후단의 디콘볼루션부(106)에 입력된다. 손 떨림 벡터 기록부(102)는, 본 실시예에 따른 화상 처리장치의 다른 구성요소에 의해 측정된 손 떨림 벡터 정보를 입력 단자 107을 거쳐 입력하고, 이 입력된 손 떨림 벡터 정보를 기록한다.

노광 조건 기록부(103)는, 본 실시예에 따른 화상 처리장치의 다른 구성요소에 의해 취득된 "촬영시의 노광 조건을 표시하는 정보(노광 조건 정보)"를 입력 단자 108을 거쳐 입력한다. "노광 조건"은, 셔터를 모두 연 상태에서의 노광량 "1"에 대한 각 시간에 있어서의 노광량을 가리킨다. 노광 조건 기록부(103)는, 이 입력된 노광 조건 정보를 기록한다.

보간 커널 DB(데이터베이스)(104)에, 비정수값 화소의 화소값을 산출하기 위해 필요한 보간 커널 함수의 값을 격납(유지)하고 있다. 필터 계수 산출부(105)는, 손 떨림 벡터 기록부(102)에 기록된 손 떨림 벡터 정보와, 노광 조건 기록부(103)에 기록된 노광 조건 정보와, 보간 커널 DB(104)에 격납되어 있는 값을 사용하여, 손 떨림의 필터 계수를 산출한다.

디콘볼루션부(106)는, 입력 단자 101을 거쳐 입력된 화상 데이터에 대하여, 필터 계수 산출부(105)에 의해 산출된 필터 계수를 사용한 필터에 의한 디콘볼루션 처리를 행함으로써, 블러를 보정한 화상 데이터를 생성한다. 디콘볼루션부(106)에 의해 블러가 보정된 화상 데이터는, 출력 단자(109)를 거쳐 블러가 보정된 데이터로서, 본 실시예의 화상 처리장치의 메모리나 표시장치에 출력된다.

<보정부(100)가 행하는 처리>

다음에, 보정부(100)가 행하는 처리에 대해 도 2를 참조하여 설명한다. 스텝 S201에서, 디콘볼루션부(106)는 입력 단자 101을 거쳐 촬상 데이터를 취득한다.

스텝 S202에서, 노광 조건 기록부(103)는, 화상을 촬영중인 각 시각에 있어서의 노광 조건을 표시하는 노광 조건 정보를 입력 단자 108을 거쳐 취득하고, 취득한 노광 조건 정보를 기록한다.

스텝 S203에서, 손 떨림 벡터 기록부(102)는, 화상을 촬영중인 각 시각에 있어서의 손 떨림 벡터 정보를 입력 단자 107을 거쳐 취득하고, 취득한 손 떨림 벡터 정보를 기록한다.

스텝 S204에서, 필터 계수 산출부(105)는, 손 떨림 벡터 기록부(102)에 기록된 손 떨림 벡터 정보와, 노광 조건 기록부(103)에 기록된 노광 조건 정보와, 보간 커널 DB(104)에 격납되어 있는 값을 사용해서 손 떨림의 필터 계수를 산출한다. 필터 계수 산출부(105)의 동작에 대한 상세한 설명은 후술한다.

스텝 S205에서, 디콘볼루션부(106)는, 스텝 S201에서 취득한 촬상 데이터에 대하여, 스텝 S204에서 필터 계수 산출부(105)에 의해 산출된 필터 계수를 사용한 필터에 의해 디콘볼루션 처리를 행한다. 이러한 처리에 의해, 블러를 보정한 화상 데이터를 생성한다.

스텝 S206에서, 디콘볼루션부(106)는, 블러가 보정된 화상 데이터를 출력 단자(109)를 거쳐 블러가 보정된 데이터로서 본 실시예의 화상 처리장치의 메모리나 표시장치에 출력한다.

<필터 계수 산출부(105)의 동작>

시프트 손 떨림 운동에 대해, 시각을 t, 시각 t에 있어서의 화상중의 시프트 손 떨림 벡터를 s(t), 시각 t에 있어서의 화상중의 위치를 표시하는 2차원 벡터를 x(t)로 놓는다. 그러면, 다음 식이 성립한다.

…(1)

촬영 개시의 시각 t를 0으로 정의하였다. 시각 t=0에 있어서의 블러가 없는 화상을 I로 하고, 화상 I 중의 좌표(좌표 벡터) m에 있어서의 화소값을 I(m)으로 한다. "시각 t에 화상중의 좌표 m에 위치하는 화소"의 시각 t=0에 있어서의 좌표 벡터 m(0)은 상기 수학식 (1)에 근거하여 m(0)=m-s(t)로 주어진다. 좌표 벡터 m의 x 성분 및 y 성분은 모두 정수값을 갖는 것으로 가정한다. 즉, 좌표 벡터 m은 격자점의 좌표값을 표시한다. 좌표 벡터 m에 의해 표시되는 좌표 위치에 기여하는 화소값은, 화소값 I(m-s(t))를 시각 t=0로부터 노광 시각 T까지 적분하여 얻어진다. 따라서, 시프트 손 떨림은 다음과 같이 주어진다.

…(2)

여기에서, h(t)은 노광 조건을 결정하는 함수로서, Coded Exposure의 노광 조건을 표시한다. 상세내용에 대해서는 후술한다. Iblur는, 시프트 운동에 의해 블러된 화상이다. 비정수값의 시프트 손 떨림에 대응할 수 있도록, 주기적 보간 커널 φ(x)을 도입하여, 비정수값 화소의 화소값을 다음과 같이 정의한다.

…(3)

여기에서, Z는 정수의 집합을 나타내고, Z/NZ는 [0, 1, 2，…, N-1]의 집합을 기호적으로 나타낸 것이다. 이 경우, 0과 N은 동일한 것으로 간주한다. 수학식 (3)은 "주기적"이라고 하는 조건 이외는 통상의 보간 수학식과 동일하다. 주기적 보간 커널의 "주기적"이란 다음을 충족시킨다는 것을 의미한다.

…(4)

여기에서, M 및 N은 각각 화상의 가로 및 세로의 사이즈이다. 즉, 1매의 화상 내부의 화소 위치 및 화소 위치들 사이의 보간 커널의 값이 규정되어 있다. 보간 커널을 주기적으로 한 이유에 대해서는 후술한다. 1차원 선형보간의 주기적 보간 커널에 대해 도 3a를 참조하여 설명한다. 도 3a에 있어서, 횡축은 좌표를 나타내고, 종축은 보간 커널의 값을 나타낸다. 보간 커널이 주기적이기 때문에, x=N 근방의 그래프는 x=0 근방의 그래프와 일치하고 있다. 선형 보간의 보간 커널 뿐만 아니라, 바이큐빅(bicubic) 보건 등의 임의의 보간 커널을 사용해서 된다. 상기 수학식 (3)을 수학식 (2)에 대입하면, 다음이 얻어진다.

수학식 (5)에 있어서, 필터 K는 다음과 같이 정의된다.

…(6)

이 경우, 수학식 (5)는 다음과 같이 표현할 수 있다.

…(7)

즉, 이 수식은 순회 콘볼루션의 형태에 귀착한다. 주기적 보간 커널을 사용하여 수학식 (7)에 있어서 순회 콘볼루션의 형태를 얻는다. 수학식 (6)에 따라, 손 떨림의 궤적 s(t)과, 노광 조건 h(t)의 정보에 근거하여 필터 K를 구할 수 있다. 따라서, 필터 K에 의한 디콘볼루션을 행하면, 수학식 (7)을 사용해서 Iblur에서 I를 구할 수 있다. 이때, 디콘볼루션 알고리즘으로서 임의의 기존의 알고리즘을 사용한다. 예로서는, 주파수 공간 상에서의 나눗셈, 루시-리차드슨(Lucy-Richardson) 알고리즘, 위너 필터를 사용한 알고리즘 및 MPA에 의한 이터레이션을 사용한 알고리즘을 들 수 있다. 즉, 디콘볼루션이 가능하면, 다른 알고리즘를 사용할 수 있다. 여기에서는 특히, 주파수 공간 상에서의 나눗셈에 의한 디콘볼루션에 대해 설명한다.

수학식 (7)을 푸리에 변환하면 다음과 같이 된다.

여기에서, F[]은 푸리에 변환을 나타내고, u는 주파수 공간 상의 변수를 나타낸다. 이 수학식의 양변을 F[K]로 나누고 역 푸리에 변환을 실행하면, 아래와 같이 된다.

여기에서, F^-1[]은 역 푸리에 변환을 나타낸다. 이 수학식으로부터, 블러 보정된 화상 I을 구할 수 있다.

이상에서 필터 계수 산출부(105)의 동작 원리를 설명하였다.

<필터 계수 산출부(105)의 처리 절차>

여기에서는 수학식 6의 계산 절차를 설명한다. 설명의 간단화를 위해, 1차원 처리를 고려한다. 도 3은, 보간 커널이 선형 보간을 표시하는 경우에, 수학식 (6)의 의미를 설명하기 위한 개념도이다. 도 3b에서는, 설명의 편의상 카메라가 움직이는 대신에 피사체가 움직이는 경우를 가정하고 있다. 그러나, 이 개념은 손 떨림의 경우에도 동일하다. 피사체가, 0≤t≤2일 때 s(t)=0.3t이고, 2≤t≤4일 때 s(t)=0.5t-0.4로 표시되는 비등속 운동을 나타내는 것으로 가정한다. h(t)=0은 셔터가 닫혀 있는 상태, h(t)=1은 셔터가 열려 있는 상태를 표시한다. I(n)는 블러가 없는 화상이고, Iblur(n)는 촬영후의 취득 화상, h(t)는 노광 조건을 나타낸다. 도 3b를 참조하면, 각 I(n)의 아래에 씌어져 있는 숫자는, 화소 위치 x=0에서의 화소값 I(0)이 화소 위치 x=n에서의 화소값 Iblur(n)에 기여하는 정도를 표시한다.

우선, 화소 위치 x=0에서의 I(0)의 Iblur(0)에 대한 기여를 고려한다. t=0에서는, I(0)와 Iblur(0)는 같은 위치에 있으며, 도 3b에서 알 수 있는 것과 같이, 기여도는 1이다. t=1에서는, I(0)가 0.3 화소만큼 우측 방향으로 움직이기 때문에, 기여도는 0.7이다. 마찬가지로, t=2에서는 기여도는 0.4로 변하고, 그 이후는 0으로 변한다. 노광 조건을 고려하면, 수학식 (6)에 따라 화소 위치 x=0에서의 필터값은 다음과 같이 계산된다.

즉, 수학식 8에서는, 노광 시간 중의 각각의 시각 t에서 Iblur(0)에 대한 I(0)의 중첩의 비율을 구하고, 구한 비율을 h(t)와 곱하고 있다. 노광 시간중의 각 시각 t에서 구한 승산 결과(비율과 h(t)의 승산 결과)의 총 합계를, Iblur(0)에 대한 필터 내의 필터값 TK(0)로 규정한다. φ의 값은, 도 3a에 나타낸 주기적 보간 커널을 사용해서 계산한다. 수학식 (8)에서, 필터 K(0)=1.4/T=1.4/5이다.

다음에, I(0)의 Iblur(1)에 대한 기여를 고려한다. I(0)와 Iblur(1)는 전혀 중첩하지 않기 때문에, 도 3b에 알 수 있는 것과 같이, t=0에서 기여도는 0이다. 다음에, t=1에서 I(0)는 0.3만 기여하고, t=2에서는 0.6, t=3에서는 0.9, t=4에서는 0.4만큼 기여하고 있다. 노광 조건을 고려하면, 수학식 (6)에 따라 화소 위치 x=1에서의 필터값은 다음과 같이 계산된다.

즉, 수학식 9에서는, 노광 시간중의 각각의 시각 t에서 Iblur(1)에 대한 I(0)의 중첩의 비율을 구하고, 구한 비율을 h(t)와 곱하고 있다. 노광 시간중의 각 시각 t에서 구한 승산 결과(비율과 h(t)의 승산 결과)의 총 합계를, Iblur(1)에 대한 필터 내의 필터값 TK(1)로 규정하고 있다. 따라서, 필터 K(1)=1.5/T=1.5/5이다.

마지막으로 I(0)의 Iblur(2)에 대한 기여를 고려한다. 도 3b에서 알 수 있는 것과 같이, t=0에서 기여도는 0이다. t=1 및 2에서도 기여도는 마찬가지로 0이다. t=3에서의 기여도는 0.1이고, t=4에서는 0.6이다. 노광 조건을 고려하면, 화소 위치 x=2에서의 필터값은 다음과 같이 계산된다.

즉, 수학식 (10)에서는, 노광 시간중의 각각의 시각 t에서 Iblur(2)에 대한 I(0)의 중첩의 비율을 구하고, 구한 비율을 h(t)와 곱하고 있다. 노광 시간중의 각 시각 t에서 구한 승산 결과(비율과 h(t)의 승산 결과)의 총 합계는, Iblur(2)에 대한 필터 내의 필터값 TK(1)을 규정하고 있다. 따라서, 필터 K(2)=0.1/T=0.1/5이다. n≥3일 때, I(0)은 Iblur(n)에 기여하지 않는다. 따라서, K(n)=0이다. 이 경우에는, 필터 K=[1.4, 1.5, 0.1]/5에 의해 필터 K을 구할 수 있다. 이상에서 필터 K를 산출하는 절차를 설명하였다.

다음에, 필터 계수 산출부(105)에 의해 행해지는 처리를 도 4의 흐름도를 참조하여 설명한다. 도 4는 기본적으로는 수학식 (6)을 산출하는 절차를 나타낸 것이다. 설명의 간단화를 위해, 1차원 우측(정) 방향의 손 떨림의 예에 대해 설명한다. 이 경우에, 주목 화소의 좌표를 표시하는 좌표 벡터 m도 1차원 벡터이므로, 실질적으로는 스칼라로서 취급할 수 있다. 필터 계수 산출부(105)는, 소정의 시각 간격 Δt마다의 노광 조건 정보 및 손 떨림 벡터 정보를, 각각 노광 조건 기록부(103) 및 손 떨림 벡터 기록부(102)로부터 취득한다.

스텝 S501에서는, 주목 화소의 모든 좌표 m, K(m) 및, 시각 t를 0으로 초기화한다. 스텝 S502에서는, 시각 t에 있어서의 손 떨림 벡터 정보(손 떨림 벡터) s(t)을 손 떨림 벡터 기록부(102)로부터 취득한다. 스텝 S503에서는, m과 s(t) 사이의 차분값 x를 계산한다. 스텝 S504에서는, 이 차분값 x(=m-s(t))에 대응하는 보간 커널의 값 φ(x)을 보간 커널 DB(104)에서 판독한다.

보간 커널 DB(104)는 (x, φ(x))의 세트를 격납하고 있고, φ(x)는 구체적으로는 도 3a에 나타낸 것과 같은 형상을 갖는다. 스텝 S505에서는, 노광 조건 기록부(103)로부터 시각 t에 있어서의 노광 조건 정보(노광 조건) h(t)를 취득한다. 노광 조건 h(t)는, 예를 들면 [1, 0, 1, 1, 0, …]과 같은 시각 t에 대한 배열로 표시된다.

스텝 S506에서는, 스텝 S504에서 취득한 보간 커널의 값 φ(x)과, 스텝 S505에서 취득한 노광 조건 정보 h(t)를 승산한다. 얻어진 곱을 시간 간격 Δt와 곱해서 K(m)에 가산한다.

스텝 S507에서는, 시각 t에 Δt를 가산해서 갱신한다. 스텝 S508에서는 t<T인지 아닌지를 판단한다. t<T이면, 처리는 스텝 S502로 되돌아간다. t≥T이면, 처리는 스텝 S509로 진행한다.

스텝 S509에서는, m에 1을 가산해서 갱신하고, 대응하는 필터값 K(m)와 시각 t를 0으로 초기화한다. 스텝 S510에서는, m<S인지 아닌지를 판단한다. m<S이면, 처리는 스텝 S502로 되돌아간다. m≥s이면, 본 처리를 종료한다. S는 필터 사이즈이다.

필터 사이즈 S는 통상의 손 떨림의 화소 수와 같으면 보통 충분하다. 그러나, 만약을 위해 필터 사이즈 S를 그것보다 크게 설정해도 된다. 전술한 실시예에서는, 우측(정) 방향의 손 떨림만 고려하였기 때문에, 스텝 S501에서 주목 화소 m의 값이 0으로부터 시작한다. 일반적으로, 좌측(부) 방향으로도 손 떨림이 발생하는 경우에는, m이 음의 값에서 시작하는 일도 있다. 주기적인 조건으로 인해, 음의 화소 값 m은 화상 사이즈를 M으로 했을 때 -1=M-1, -2=M-2…로 해석한다.

이때, 설명을 간단하게 하기 위해, 주목 화소의 좌표를 1차원 벡터로 표시하였다. 주목 화소의 좌표를 2차원 벡터로 표시하기 위해서는, m을 (m, n), x를 (x, y), s(t)을 (s_x(t), s_y(t))과 변경함으로써, 도 4의 흐름도와 관련한 전술한 설명에서 각각의 1차원 벡터를 2차원 벡터로 치환한다. 이 경우, 보간 커널 φ도 2차원 벡터 (x, y)의 함수가 된다. 예를 들면, 스텝 S504에서 1차원 벡터 m-s(t)로 계산한 값을 2차원 벡터 (m-s_x(t), n-s_y(t))로 치환한다. 필터 사이즈가 S_x×S_y일 때, 2차원 영역을, (m, n), (m+1, n) … (m+Sx, n), (1, n+1)과 같이, 좌측 위로부터 우측 아래로 소트함으로써, 스텝 S509에서 주목 화소를 갱신한다.

<노광 조건>

노광 조건은 함수 h(t)에 의해 설정된다. 수학식 (6)에 의해 결정되는 필터 K의 제로 파워 주파수를 피하기 위해 이 함수를 설정한다. 이 현상은, 주파수 특성이 0이 되는 주파수의 정보가 손실된다고 하는 문제를 일으킨다. 예를 들어, 횡 방향으로의 등속도 운동을 고려한다.

통상의 노광 조건을 도 5a에 나타낸다. 이것은 일정시각 셔터를 열고, 그 후 그것을 닫은 것을 나타낸 것이다. 횡축은 시각을 나타내고, 종축은 h(t)의 값을 나타낸다. 도 5b는, 이 노광 조건에서 필터 K을 산출하고 주파수 특성을 구한 예를 나타낸 것이다. 도 5b를 참조하면, 횡축은 주파수를 나타내고, 종축은 필터 K의 이산 푸리에 변환의 절대값을 나타낸다. 도 5b에서 알 수 있는 것과 같이, 필터 K의 주파수 특성이 0이 되는 주파수가 존재하여, 제로 파워 주파수가 발생한다.

도 6a는, 제로 파워 주파수를 피하기 위해, Coded Exposure를 사용해서 노광 조건 h(t)를 콘트롤한 예를 나타낸 것이다. 도면을 보는 방법은 도 5a와 같다. 도 6b는, 이 노광 조건에서 도 5a와 동일한 시프트 손 떨림에 대해 필터 K의 주파수 특성을 구한 예를 나타낸 것이다. 도면을 보는 방법은 도 5b와 같다. 따라서, 노광 조건 h(t)를 콘트롤함으로써, 필터 K의 주파수 특성의 값이 0이 되는 것을 방지할 수 있다.

셔터의 개폐 상태만을 콘트롤하였기 때문에, h(t)의 값은 0 및 1에 한정된다. 그러나, 다른 방법을 사용하여 h(t)의 값을 0과 1 사이의 중간값으로 변화시켜도 된다.

도 7a 및 도 7b는 본 실시예의 효과를 나타낸 것이다. 도 7a는, 등가속도 운동의 횡 방향 시프트 손 떨림을 갖는 화상을 나타낸 것이다. 도 7b는, 본 실시예에 따라 시프트 손 떨림을 보정한 화상을 나타낸 것이다. 도 7a 및 도 7b에서 알 수 있는 것과 같이, 비등속 운동의 경우에 손 떨림이 양호하게 보정된다.

이상에서 설명한 것과 같이, 본 실시예에 따르면, 1매의 화상만으로부터 보간 커널, 손 떨림 벡터 및 노광 조건을 사용해서 시프트 손 떨림을 보정할 수 있다. 이에 따라, 비등속 운동의 경우에도 양호하게 손 떨림을 보정하는 것이 가능하게 된다.

제1 실시예에 따르면, 정리하면, 화상의 촬영중에 시간 폭 Δt마다 수집된 노광 조건 정보 및 손 떨림 벡터 정보를 취득한다. 필터에 있어서의 주목 위치와, 시각 Δtxn(n=1, 2, …, T/Δt)에 있어서의 손 떨림 벡터 정보가 표시하는 손 떨림 벡터 사이의 차분에 의해 결정되는 위치에 대응하는 보간 커널의 값을 취득한다. 그리고, 시각 Δtxn에 있어서 노광 조건 정보와 보간 커널의 값과 Δt를 승산한 결과를, 필터에서 주목 위치의 계수에 가산한다. "보간 커널의 값을 취득하는" 처리와 "승산 결과를 필터에 있어서의 주목 위치의 계수에 가산하는" 처리를, n=1, 2 ,…, T/Δt에 대해 행함으로써, 필터에 있어서의 주목 위치의 계수를 확정시킨다(제1 연산). 또한, "보간 커널의 값을 취득하는" 처리와 "승산 결과를 필터에 있어서의 주목 위치의 계수에 가산하는" 처리와 제1 연산을, 필터의 모든 위치에 대해서 행함으로써, 필터의 모든 계수를 확정한다(제 2 연산). 마지막으로, 화상 블러를 보정하기 위해, 화상과 제 2 연산에 의해 확정된 필터의 디콘볼루션을 행한다.

[제2 실시예]

본 실시예에서는, 제1 실시예에서 설명한 화상 처리장치를 짜넣은 촬상장치에 대해 설명한다. 본 실시예에 따른 촬상장치에 설치된 촬상부(1100)의 기능 구성예를 도 8을 참조하여 설명한다.

촬영하는 피사체로부터의 반사광은, 입력 단자(1101), 렌즈(1102), 셔터(1103)를 거쳐 촬상소자(1104)에 입사된다. 촬상소자(1104)는 이 입사된 빛에 대응하는 아날로그 신호를 출력한다. A/D 변환기(1105)는 아날로그 신호를 디지털 신호로 변환한다. 이 디지털 신호는, 출력 단자 1109를 거쳐 촬상 데이터로서 보정부(100)에 입력된다.

노광 조건 설정부(1106)는 노광 조건을 설정한다. 설정한 노광 조건을 표시하는 정보는. 노광 조건 정보로서 셔터(1103)에 입력되는 동시에, 출력 단자 1108을 거쳐 보정부(100)에도 입력된다.

자세 검출부(1107)는 촬상부(1100)의 손 떨림을 검출한다. 검출한 손 떨림을 표시하는 정보는 손 떨림 벡터 정보로서 출력 단자 1110을 거쳐 보정부(100)에 입력된다.

본 실시예에서는, 자세 검출부(1107)가 손 떨림을 검지한다. 자세 검출부(1107)는 움직임을 측정하는 장치이거나, 복수매의 화상을 취득하고, 취득한 화상을 사용해서 움직임을 추정하는 장치이어도 된다. 손 떨림 벡터 정보와 노광 조건 정보가 보정부(100)에 보내지면, 보정부(100)는 이들 정보를 사용해서 제1 실시예에서 설명한 처리를 실행하여, 촬상 데이터의 블러를 보정한다. 이상에서 설명한 것과 같이, 본 실시예에 따르면, 촬상장치에 광학 방진 기구를 포함하지 않고 손 떨림을 보정하는 것이 가능하게 된다.

[제3 실시예]

제2 실시예에서는, 광학 방진을 고려하지 않았다. 그러나, 제3 실시예에서는, 광학 방진과 조합한 경우의 촬상장치를 설명한다. 본 실시예에 따른 촬상장치에 설치된 촬상부(1200)의 기능 구성예를 도 9를 참조하여 설명한다. 도 9에 있어서 도 8과 같은 부분에 대해서는 같은 참조번호를 붙이고, 그것의 설명을 반복하지 않는다.

촬상 소자 이동 검출부(1201)는, 촬상소자(1104)의 움직임을 검출하고, 검출 결과를 촬상 소자 이동 정보로서 출력 단자 1202를 거쳐 감산기(1203)에 출력한다. 감산기(1203)는, 자세 검출부(1107)에 의해 검출된 손 떨림 벡터 정보로부터, 촬상 소자 이동 검출부(1201)에 의해 검출된 촬상 소자 이동 정보를 감산한다. 이 감산 결과는 보정부(100)에 입력된다.

본 실시예에서는, 자세 검출부(1107)에 의해 검출된 손 떨림 벡터 정보는 시프트 손 떨림 정보로서 촬상소자(1104)에 보내진다. 촬상소자(1104)는 이 시프트 손 떨림 정보에 따라 시프트 손 떨림을 경감하는 방향으로 움직인다. 이에 따라, 손 떨림을 보정한다. 촬상 소자 이동 검출부(1201)는 촬상소자(1104)의 이동 벡터를 검출하고, 그 검출 결과를 출력 단자 1202를 거쳐 감산기(1203)에 송출한다. 자세 검출부(1107)에 의해 검출된 촬상장치 그 자체의 손 떨림 벡터 정보는 출력 단자 1110을 거쳐 감산기(1203)로 송출된다. 감산기(1203)는 상기한 것과 같이 손 떨림 벡터 정보와 촬상 소자 이동 정보의 차분을 계산하고, 이것을 보정부(100)에 송출한다. 보정부(100)는, 광학 방진에 의해 완전히 제거할 수 없었던 손 떨림을 보정하게 된다.

본 실시예에서는, 촬상소자(1104)에 의해 손 떨림을 보정하는 수법을 설명하였다. 그러나, 렌즈(1102)에 의해 손 떨림을 보정하여도 된다. 이 경우에는, 촬상 소자 이동 검출부(1201) 대신에 렌즈 이동 검출부를 설치하여, 렌즈의 이동량을 계측하고, 이것을 촬상 소자 이동 정보 대신에 감산기(1203)에 출력한다. 즉, 촬상부에 의해 손 떨림을 보정할 수 있다면, 이 수법에 한정되지 않는다.

이상에서 설명한 것과 같이, 본 실시예에 따르면, 광학 방진이 손 떨림의 일부를 보정할 수 있고, 보정부(100)가 광학 방진에 의해 완전히 보정할 수 없었던 손 떨림을 보정할 수 있다. 이것에 의해, 큰 손 떨림도 정확하게 보정하는 것이 가능해진다.

[제4 실시예]

제1 실시예에서는, 손 떨림을 시프트 손 떨림에 한정하였다. 그러나, 제4 실시예에서는, 회전 손 떨림을 보정하는 화상 처리장치에 대해 설명한다. 본 실시예에 따른 화상 처리장치에 의한 손 떨림 보정의 구성에 대해 도 10을 참조하여 설명한다.

입력 단자 1301을 거쳐 촬상 데이터가 극좌표 변환부(1302)에 입력된다. 극좌표 변환부(1302)는, 회전 중심 위치를 표시하고 입력 단자 1304를 거쳐 입력되는 회전 중심 정보를 사용하여, 촬상 데이터를 직교 좌표 상의 데이터로부터 극좌표 상의 데이터로 변환한다. 보정부(100)는, 입력 단자 1305를 거쳐 입력되는 손 떨림 각도 정보와, 입력 단자 1306을 거쳐 입력되는 노광 조건 정보를 사용하여, 극좌표 변환부(1302)에 의해 변환된 촬상 데이터에 대하여, 제1 실시예에서와 동일한 손 떨림 보정처리를 행한다.

직교 좌표 변환부(1303)는, 보정부(100)의 손 떨림 보정이 이루어진 촬상 데이터를 극좌표 상의 데이터로부터 직교 좌표 상의 데이터로 변환한다. 직교 좌표 변환부(1303)에 의해 변환된 촬상 데이터는, 출력 단자(1307)를 거쳐 블러가 보정된 데이터로서 표시장치나 메모리에 출력된다.

회전 손 떨림을 보정하는 처리에 대해 도 11을 참조하여 설명한다. 도 11을 참조하면, 회전 손 떨림은 극 좌표 변환에 의해 1차원의 시프트 손 떨림으로 변환할 수 있다. 이 시프트 손 떨림을 제1 실시예에서 설명한 손 떨림 보정처리에 의해 보정하고, 극좌표를 직교좌표로 변환함으로써, 회전 손 떨림을 보정한다.

이상에서 설명한 것과 같이, 본 실시예에 따르면, 회전 손 떨림을 보정하는 것이 가능해진다. 이때, 제3 실시예와 마찬가지로, 본 실시예를 촬상장치와 조합하면, 손 떨림의 일부가 광학 방진에 의해 제거될 수 있고, 나머지의 회전 손 떨림이 본 실시예의 방법에 의해 보정될 수 있다는 말할 필요도 없다.

[제5 실시예]

본 실시예에서는, 노광 조건 h(t)를 제어하는 수법의 일례에 대해 설명한다. 본 실시예는, 상기 제1 내지 제4 실시예에 적용할 수 있다. 본 실시예에서는, 셔터의 개폐로 노광 조건을 제어하는 것이 아니라, 연속 촬영으로 얻은 화상을 선택적으로 가산 및 합성함으로써, 노광 조건을 제어한다. 이와 같은 일련의 처리에 대해서 도 12a 내지 12c를 참조하여 설명한다. 도 12a는 연속 촬영 및 시분할 노광에 의해 얻어진 화상을 나타내고 있다. 도 12b 및 도 12c는 시분할 노광한 화상을 적절히 선택해서 가산에 의해 합성하는 모양을 나타내고 있다. 도 12b 및 도 도 12c를 참조하여, 화상의 아래에 "0"을 갖는 화상은 가산 대상으로부터 제외하고, 화상의 아래에 "1"을 갖는 화상은 가산 대상에 포함된다. 도 12b 및 도 12c에서 알 수 있는 것과 같이, 시분할 화상이 선택되는 방식에 의해, 다양한 Coded Exposure 패턴을 생성할 수 있다. 이상에서 설명한 것과 같이, 본 실시예에 따르면, 연속 촬영에 의해 얻어진 화상을 선택적으로 가산에 의해 합성함으로써, 다양한 노광 조건에서 촬영한 화상을 취득하는 것이 가능하게 된다.

[제6 실시예]

본 실시예에서는, 제1 및 제 4 실시예에서 설명한 처리를 소프트웨어에 의해 실현하는 경우에 대해 설명한다. 구체적으로는, 보정부(100)가 컴퓨터 프로그램으로서 컴퓨터에 격납되어 있고, 이 컴퓨터에 설치된 CPU가 이 컴퓨터 프로그램을 실행한다.

본 실시예에서는, 소프트웨어를 실행하는 장치에, 도 13에 예시하는 것과 같은 화상 화일(1600)이 입력된다. 이 화상 파일(1600)은, 손 떨림 벡터 정보를 격납하고 있는 태그(1601), 노광 조건 정보를 격납하고 있는 태그(1602), 및 촬상된 화상이 격납하고 있는 태그(1603)를 포함하고 있다.

이러한 화상 화일(1600)이 장치에 입력되면, 보정부(100)에 대응하는 컴퓨터 프로그램은, 태그 1601 및 1602에 격납되어 있는 정보를 사용하여, 태그 1603에 격납되어 있는 화상의 블러를 보정하는 처리를 실행한다. 그후, 블러를 보정한 화상을 표시장치나 메모리에 출력한다. 이상에서 설명한 것과 같이, 본 실시예에 따르면, 소프트웨어 상에서 상기 형식의 화상 화일을 판독하여, 자동적으로 블러를 보정하는 것이 가능해진다,

이상에서 설명한 실시예를 정리하면, Coded Exposure의 장점을 이용하면서, 일반적인 비등가속 운동의 손 떨림에 대응하기 위해 보간 커널을 준비한다. 손 떨림의 궤적과 노광 조건에 근거하여 필터를 산출하고, 이 필터를 사용해서 손 떨림 보정을 행하였다. 노광 조건을 콘트롤함으로써, 제로 파워 주파수의 문제를 회피할 수 있다. 보간 커널을 사용함으로써, 임의의 운동의 손 떨림에 용이하게 대응할 수 있다.

즉, 임의의 운동의 손 떨림에 대응가능한 경우, 노광 시간이 길어도, 상기 실시예들이 보증되게 된다. 일반적으로, 손 떨림의 운동은 등속이 아니고 비등속 운동이다. 그러나, 짧은 노광 시간 내에서는, 손 떨림의 운동은 등속 운동으로 간주할 수 있다. 이 때문에, 비등속 운동의 손 떨림에 대처하고 있지 않은 종래기술이, 손 떨림의 운동을 등속으로 간주할 수 있는 짧은 노광 시간에는 대처할 수 있다. 그러나, 이 기술은. 손 떨림의 운동을 등속으로 간주할 수 없는 긴 노광 시간에는 대처할 수 없다.

이와 같은 관점에서, 상기 실시예에서 설명한 화상 처리장치는 비등속 운동의 손 떨림에 대처하고 있으므로, 긴 노광 시간에도 대처할 수 있다. 즉, 상기 실시예에 따르면, 노광 시간을 길게 해도, 손 떨림을 보정할 수 있다.

기타 실시예

본 발명의 국면은, 전술한 실시예(들)의 기능을 수행하기 위해 기억장치에 기록된 프로그램을 판독하여 실행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 소자)의 컴퓨터나, 예를 들면, 전술한 실시예(들)의 기능을 수행하기 위해 기억장치에 기록된 프로그램을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 단계들을 갖는 방법에 의해 구현될 수도 있다. 이와 같은 목적을 위해, 예를 들어, 네트워크를 거쳐, 또는 기억장치로서의 역할을 하는 다양한 종류의 기록매체(예를 들어, 컴퓨터 판독가능한 매체)로부터 이 프로그램이 컴퓨터로 주어진다.

예시적인 실시예들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시예에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (10)

1. 촬영 화상을 취득하기 위해 행하는 셔터의 개폐의 패턴을 나타내는 셔터의 개폐 패턴을 규정하는 노광 조건을 입력하는 노광 조건 입력부와,
   상기 촬영 화상을 취득할 때의 손 떨림 정보를 입력하는 손 떨림 정보 입력부와,
   상기 노광 조건과 상기 손 떨림 정보로부터 얻어지는 비정수를 포함하는 가중치에 근거하여, 상기 촬영 화상의 블러를 보정하는데 사용되는 필터를 생성하는 필터 생성부를 포함하고,
   상기 손 떨림 정보는, 손 떨림의 벡터 정보와, 상기 손 떨림의 벡터 정보를 광학 방진에 근거하여 보정하여 얻어진 손 떨림 벡터 정보 중에서 한 개인 화상 처리장치.
   
2. 제 1항에 있어서,
   상기 촬영 화상을 취득하는 촬상장치의 화소의 단위보다 작은 단위로 상기 손 떨림 정보가 규정되는 화상 처리장치.
   
3. 제 1항에 있어서,
   상기 필터는, 블러가 없는 화상을 상기 촬영 화상으로 열화시키는데 사용되는 화상 처리장치.
   
4. 제 1항에 있어서,
   상기 필터 생성부는, 상기 노광 조건과, 보간 커널 및 상기 손 떨림 정보로부터 얻어지는 상기 비정수를 포함하는 상기 가중치에 근거하여, 상기 촬영 화상의 블러를 보정하는데 사용되는 필터를 생성하는 화상 처리장치.
   
5. 삭제
6. 제 1항에 있어서,
   상기 촬영 화상은 극좌표 변환이 행해진 화상이고,
   상기 화상 처리장치는, 상기 필터와 상기 촬영 화상의 디콘볼루션 처리에 의해 얻어지는 화상에 대해 직교 좌표 변환을 행하는 변환부를 더 포함하는 화상 처리장치.
   
7. 촬영 화상을 취득하기 위해 행하는 셔터의 개폐의 패턴을 나타내는 셔터의 개폐 패턴을 규정하는 노광 조건을 입력하는 단계와,
   상기 촬영 화상을 취득할 때의 손 떨림 정보를 입력하는 단계와,
   상기 노광 조건과, 상기 손 떨림 정보로부터 얻어지는 비정수를 포함하는 가중치에 근거하여, 상기 촬영 화상의 블러를 보정하는데 사용되는 필터를 생성하는 단계를 포함하고,
   상기 손 떨림 정보는, 손 떨림의 벡터 정보와, 상기 손 떨림의 벡터 정보를 광학 방진에 근거하여 보정하여 얻어진 손 떨림 벡터 정보 중에서 한 개인 화상 처리방법.
   
8. 청구항 제7항의 화상 처리방법을 컴퓨터로 실행할 수 있는 프로그램이 기억되어 있는 컴퓨터 판독가능한 기억매체.
   
9. 복수의 연속 촬영 화상을 입력하는 화상 입력부와,
   상기 복수의 연속 촬영 화상 중에서, 합성 화상을 생성하기 위한 합성 대상 화상의 선택 패턴을 규정하는 노광 조건을 입력하는 노광 조건 입력부와,
   상기 합성 화상을 취득할 때 손 떨림 정보를 입력하는 손 떨림 정보 입력부와,
   상기 노광 조건과 상기 손 떨림 정보로부터 취득한 비정수를 포함하는 가중치에 근거하여 상기 합성 화상의 블러를 보정하기 위해 사용되는 필터를 생성하는 필터 생성부를 포함하는 화상 처리장치.
10. 복수의 연속 촬영 화상을 입력하는 단계와,
    상기 복수의 연속 촬영 화상 중에서, 합성 화상을 생성하기 위한 합성 대상 화상의 선택 패턴을 규정하는 노광 조건을 입력하는 단계와,
    상기 합성 화상을 취득할 때 손 떨림 정보를 입력하는 단계와,
    상기 노광 조건과 상기 손 떨림 정보로부터 취득한 비정수를 포함하는 가중치에 근거하여 상기 합성 화상의 블러를 보정하기 위해 사용되는 필터를 생성하는 단계를 포함하는 화상 처리방법.
    

Images