KR20070032216A

KR20070032216A - 촬상 방법 및 촬상 장치

Info

Publication number: KR20070032216A
Application number: KR1020060081435A
Authority: KR
Inventors: 히로후미 노무라; 진요 쿠마키; 준지 시마다; 노부오 니시; 멩롱
Original assignee: 소니 가부시끼 가이샤
Priority date: 2005-09-16
Filing date: 2006-08-28
Publication date: 2007-03-21

Abstract

본 발명은, 저조도 피사체의 촬상시에 노광 번짐을 방지하고 S/N비를 양호하게 하기 위한 것으로서, 포착된 복수 화상의 처음 화상에 관해서는, S11에서 손떨림 보정이 OFF로 설정된다. S12에서는 필터 계수(k)가 1로 설정된다. 초기시는 필터의 과도 응답을 해소하기 위한 제어이다. S13에서는, 카운터에 1이 가산된다. 그리고, 처리가 종료된다. 다음의 화상에 관한 처리에서, S20에서 손떨림의 검출과 보정을 행한다. 즉, 검출한 움직임 벡터에 따라, 손떨림 성분을 없애는 보정이 이루어진다. S21에서는, 신뢰성(R) 및 필터 계수(Ky)에 따라 필터의 계수(k)가 산출된다. S13에서, 카운터에 1이 가산되고 처리가 종료된다. 산출된 필터 계수(k)가 필터에 공급되고, 필터 계수가 적절한 값으로 설정된다.

촬상 소자, 손떨림 검출부, 움직임 벡터 검출부, 특징 추출부

Description

촬상 방법 및 촬상 장치{IMAGING METHOD AND IMAGING APPARATUS}

도 1은 본 발명의 한 실시 형태의 전체 구성을 도시하는 블록도.

도 2는 본 발명의 한 실시 형태에 있어서의 손떨림 검출부의 일례의 블록도.

도 3은 본 발명의 한 실시 형태에 있어서의 움직임 검출을 설명하기 위한 약선도.

도 4는 움직임 벡터 검출시의 평가치와 편이의 관계를 3차원적으로 도시하는 약선도.

도 5는 움직임 벡터 검출시의 평가치와 편이의 관계를 2차원적으로 도시하는 약선도.

도 6은 본 발명의 한 실시 형태에 있어서의 필터의 일례를 도시하는 블록도.

도 7은 본 발명의 한 실시 형태의 처리의 흐름을 도시하는 플로우 차트.

도 8은 본 발명의 한 실시 형태에 있어서의 신뢰성의 판정 처리를 설명하기 위한 약선도.

도 9는 본 발명의 다른 실시 형태에 있어서의 블록을 설명하기 위한 약선도.

도 10은 본 발명의 다른 실시 형태에 있어서의 움직임 벡터 검출시의 평가치와 편이의 관계를 2차원적으로 도시하는 약선도.

(도면의 주요부분에 대한 부호의 설명)

120 : 촬상 소자 140 : 손떨림 검출부

141 : 움직임 벡터 검출부 142 : 특징 추출부

150 : 메모리 컨트롤러 151 : 화상 메모리

160 : 필터 170 : 시스템 컨트롤러

180 : 휘도 검출부 220 : 대표점 추출 회로

230 : 감산기 250 : 움직임 벡터 검출 회로

301 : 검출 영역 302 : 대표점

304 : 움직임 벡터

401 : 통상의 손떨림시의 평가치와 편이의 관계

402 : 로우 콘트라스트시의 평가치와 편이의 관계

403 : 이동 피사체 진입시의 평가치와 편이의 관계

본 발명은 화질의 양호한 정지화상, 동화상 등을 얻을 수 있는 촬상 방법 및 촬상 장치에 관한 것이다.

촬상 장치에 있어서, 저조도(低照度) 상태에서는, 입사광량이 적기 때문에 전하 축적량이 감소하고, 촬상 소자로부터 출력되는 신호의 쇼트 잡음 등의 랜덤 노이즈 성분이 상대적으로 높아짐에 의해, 촬상 신호의 S/N비가 악화한다. 장시간의 노광을 행함으로써 전하 축적량을 증가시켜, 랜덤 성분을 상대적으로 낮게 함으로써 S/N비를 개선할 수 있다. 그러나, 장시간 노광은, 노광중의 손떨림에 의한 화상의 번짐(노광 번짐이라고 적절히 칭한다)을 발생시키기 때문에, 삼각대 등에 의해 촬상 장치를 고정할 필요가 있다.

하기의 특허 문헌 1에는, 이러한 문제를 해결하기 위해, 노광 번짐이 거의 생기지 않는 셔터 속도 예를 들면 1/30초로서 촬상하는 것을 반복하고, 이 연사(連寫)에 의해 얻어진 복수 화상의 손떨림을 보정하여 중합시키는 것이 기재되어 있다. 여기서의 손떨림은, 노광 기간의 간격 예를 들면 1필드, 1프레임 사이에서 생기는 손떨림이다. 특허 문헌 2에도 마찬가지로, 모든 노광 시간을 복수의 노광 기간으로 분할하고, 각 노광 기간에서 얻어진 화상을 손떨림 보정하여 가산함으로써 화질의 양호한 화상을 얻는 것이 기재되어 있다.

특허 문헌 1 : 일본 특개평9-261526호 공보

특허 문헌 2 : 일본 특개평11-75105호 공보

특허 문헌 1 또는 특허 문헌 2에 기재되어 있는 바와 같이, 손떨림을 보정한 복수의 화상을 가산하는 방법은, 단순 가산이기 때문에, 가산하는 화상 매수에 따라 메모리 용량이 증대하기 때문에, 가산할 수 있는 화상 매수가 제한되어, 충분한 S/N비의 향상을 달성할 수 없는 문제가 있다. 또한, 불필요한 움직임 피사체 등이 진입한 화상 및 로우 콘트라스트의 화상에서는, 손떨림 보정을 위한 움직임 벡터의 정밀도가 낮아져, 화질의 개선이 불충분하게 되는 결점이 있다.

따라서 본 발명의 목적은, 저조도 상태에서도, 손떨림이 생기게 하지 않고, 양호한 화질의 촬상 화상을 생성할 수 있는 촬상 방법 및 촬상 장치를 제공하는 데 있다.

(과제를 해결하기 위한 수단)

상술한 과제를 해결하기 위해, 본 발명은, 시간적으로 다른 복수의 화상을 포착하는 화상 포착 스텝과, 복수의 화상으로부터 움직임을 검출하고, 움직임 정보를 생성하는 움직임 검출 스텝과, 움직임 정보의 신뢰성을 판정하는 신뢰성 판정 스텝과, 움직임 정보에 따라 복수의 화상 사이에서 생기는 손떨림을 보정하는 손떨림 보정 스텝과, 순회형 필터에 의해 손떨림 보정 후의 화상을 필터 처리하는 필터 스텝을 구비하고, 움직임 정보의 신뢰성에 따라 필터 처리의 특성을 변화시키는 촬상 방법이다.

본 발명은, 시간적으로 다른 복수의 화상을 포착하는 화상 포착 수단과, 복수의 화상으로부터 움직임을 검출하고, 움직임 정보를 생성하는 움직임 검출 수단과, 움직임 정보의 신뢰성을 판정하는 신뢰성 판정 수단과, 움직임 정보에 따라 복수의 화상 사이에서 생기는 손떨림을 보정하는 손떨림 보정 수단과, 순회형 필터에 의해 손떨림 보정 후의 화상을 필터 처리하는 필터 수단을 구비하고, 움직임 정보의 신뢰성에 따라 필터 수단의 특성을 변화시키는 촬상 장치이다.

이하, 본 발명의 한 실시 형태에 의한 촬상 장치에 관해 도면을 참조하면서 설명한다. 한 실시 형태의 전체의 구성이 도 1에 도시되어 있다. 도 1에서, 참조 부호 110은, 촬상 광학계를 나타낸다. 촬상 광학계(110)는, 피사체의 확대/축소를 행하기 위한 줌렌즈, 초점 거리를 조정하기 위한 포커스 렌즈, 광량을 조정하기 위한 아이리스(조리개), ND(Neutral Density) 필터, 및 이들의 렌즈 및 아이리스를 구동하는 구동 회로를 구비하고 있다. 줌렌즈, 포커스 렌즈, IRIS, 및 ND 필터는, 드라이버(111)에 의해 구동된다.

촬상 광학계(110)를 통과한 피사체광이 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 소자를 이용한 촬상 소자(120)에 입사되고, 촬상 소자(120)에 의해 피사체광에 따른 촬상 신호가 포착된다. 또한 촬상 장치의 일례는, 디지털 카메라이지만, PDA(Personal Digital Assistants), 휴대전화기 등이라도 좋고, 또한, 동화상을 촬영하는 장치라도 좋다.

촬상 소자(120)는, 원색계(原色系)와 보색계(補色系)의 어느 쪽이라도 좋고, 광학 촬상계(110)에 입사된 피사체를 광전 변환한 RGB 각 색의 원색 신호 또는 보색계의 아날로그 신호를 출력한다. 타이밍 제너레이터(도면에서는, TG로 표기한다)(121)로부터 각종 타이밍 신호가 촬상 소자(120)에 대해 공급되고, 촬상 소자(120)가 구동된다. 타이밍 제너레이터(121)는, 촬상 소자(120)를 구동하기 위한 각종 타이밍 신호를 생성한다.

촬상 소자(120)로부터의 촬상 신호가 IC(Integrated Circuit)로서 구성된 아 날로그 신호 처리 회로(130)에 공급된다. 아날로그 신호 처리부(130)에서, 색 신호마다, 샘플 홀드 되고, AGC(Automatic Gain Control)에 의해 게인이 제어되고, A/D 변환에 의해 디지털 신호로 된 촬상 신호가 출력된다.

아날로그 신호 처리부(130)로부터의 디지털 촬상 신호가 메모리 컨트롤러(150), 손떨림 검출부(140) 및 휘도 검출부(180)에 공급된다. 손떨림 검출부(140)는, 촬상된 복수 화상의 각각의 움직임을 검출하고, 움직임 정보로서의 움직임 벡터를 출력한다. 움직임 벡터 검출부(141)와 특징 추출부(142)로 구성되어 있다. 움직임 벡터 검출부(141)는, 아날로그 신호 처리부(130)로부터 출력되는 시계열의 디지털 화상 신호에 의거하여 움직임 벡터를 검출한다. 특징 추출부(142)는, 특징 정보를 추출한다. 특징 정보는, 검출된 움직임 벡터와 대응하는 평가치이다. 휘도 검출부(180)는, 아날로그 신호 처리부(130)로부터 출력되는 신호의 휘도 레벨을 검출한다.

검출된 움직임 벡터, 추출된 특징 정보 및 검출된 휘도 레벨이 시스템 컨트롤러(170)에 대해 공급된다. 시스템 컨트롤러(170)는, 특징 정보 및 휘도 레벨을 기초로, 검출된 움직임 벡터의 신뢰성을 산출한다.

메모리 컨트롤러(150)는, 화상 메모리(151)를 제어하는 부분이다. 화상 메모리(151)는, 손떨림 검출과 보정의 시간적인 위상을 조정하기 위한 메모리이다. 아날로그 신호 처리부(130)로부터 출력된 디지털 화상 신호는, 메모리 컨트롤러(150)를 통하여 화상 메모리(151)에 기억되고, 움직임 벡터 검출에 필요한 시간을 지연시킨 후, 화상 메모리(151)로부터 판독되는 동시에, 메모리 컨트롤러(150)에 의해, 시스템 컨트롤러(170)가 지시하는 손떨림 보정량에 따라, 손떨림 보정이 이루어진다.

메모리 컨트롤러(150)로부터의 손떨림 보정 후의 디지털 화상 신호가 필터(160)에 공급된다. 필터(160)는, 디지털 회로로 이루어지는 순회형 필터의 구성으로 되어 있고, 1필드 또는 1프레임의 메모리를 갖는다. 필터(160)로부터 출력 화상 신호가 얻어진다. 이 출력 화상 신호는, S/N비가 개선되고, 손떨림 보정이 된 화상 신호이다. 출력 화상 신호는, 도시하지 않지만, 압축되어 메모리 카드 등의 기록 미디어에 기록됨과 함께, LCD(Liquid Crystal Display) 등의 화상 표시부에 표시된다.

시스템 컨트롤러(170)는, 드라이버(111), 타이밍 제너레이터(121), 및 아날로그 신호 처리부(130)를 제어한다. 또한, 움직임 벡터 검출부(141)로부터의 움직임 벡터, 특징 추출부(142)로부터의 특징 정보 및 휘도 검출부(180)로부터의 휘도 레벨이 시스템 컨트롤러(170)에 공급된다. 또한, 시스템 컨트롤러(170)는, 메모리 컨트롤러(150)에 의한 손떨림 보정을 제어하고, 특징 추출부(142)로부터의 특징량 및 휘도 검출부(180)로부터의 휘도 레벨을 기초로 움직임 벡터의 신뢰성을 판정하고, 신뢰성에 의거하여 필터(160)의 필터 계수를 제어한다.

또한, 휘도 검출부(180)에 의해 오토 포커스 제어를 위한 AF(Auto Focus)용 신호, 자동 노광용의 신호 및 오토 화이트 밸런스용의 신호가 생성된다. 이들의 신호가 시스템 컨트롤러(170)에 공급되고, 시스템 컨트롤러(170)에 의해, 촬상 광학계(110)를 제어하는 신호가 형성되고, 형성된 제어 신호가 드라이버(111)에 공급된 다.

또한, 손떨림에 의해 촬상 소자(120)에 투사되는 피사체의 떨림을 저감하기 위해, 시스템 컨트롤러(170)는, 노광 번짐이 생기지 않을 정도의 전자 셔터 스피드가 되도록, 타이밍 제너레이터(121)를 제어한다. 일반적으로, 노광 번짐이 생기지 않을 정도의 셔터 스피드는, 「1/초점 거리(35㎜ 환산)」라고 말하여지고 있다. 초점 거리로서는, 시스템 컨트롤러(170)가 포커스 제어를 위해 산출한 값이 사용된다.

저조도시에는, 시스템 컨트롤러(170)는, 장시간 노광(즉, 느린 셔터 속도)으로 하는 대신에, 상술한 노광 번짐이 생기지 않을 정도의 셔터 스피드로서, 소정 간격 예를 들면 1필드 또는 1프레임의 간격으로 복수매가 화상을 받아들이도록, 화상 받아들임 동작을 제어한다. 받아들여지는 화상의 매수는, 피사체의 밝기에 대응한 매수, 또는 미리 설정한 소정의 매수로 된다. 정지화 카메라의 경우에는, 복수매의 화상은, 피사체가 변화하지 않고, 손떨림이 없다면, 동일 화상이다. 받아들여진 복수매의 화상을 손떨림 보정 및 필터 처리한 결과의 화상이 출력 화상으로 된다.

손떨림 검출부(140)에서는, 블록 매칭에 의한 움직임 검출 방법의 하나인 대표점 매칭 방식에 의해, 화면의 전체적인 움직임이 검출된다. 이 방식은, 비교하는 프레임 사이에서, 피사체가 거의 동일한 것을 전제로 하고 있기 때문에, 프레임 사이에서 크게 다른 피사체에는 적합하지 않다.

도 2는, 손떨림 검출부(140)의 일례의 구성을 도시한다. 화상 입력(201)은, 움직임 벡터의 검출 대상이 되는 화상 데이터의 입력부이다. 화상 입력(201)으로부터 입력된 화상 데이터는, 움직임 검출에 불필요한 주파수 성분을 제거하기 위한 필터 처리 회로(210)에 공급된다. 필터 처리 회로(210)의 출력이 대표점 추출 회로(220)에 공급된다. 대표점 추출 회로(220)는, 입력 화상 데이터의 복수 화소로 구성되는 영역마다, 소정 위치의 화소 데이터(대표점이라고 칭한다)를 추출하고, 그 휘도 레벨을 기억한다.

대표점(representative point) 추출 회로(220)로부터의 대표점과 필터 처리 회로(210)의 출력의 화소 데이터가 감산기(230)에 의해 감산된다. 감산 처리는, 영역마다 이루어진다. 절대치 변환 회로(240)는, 감산기(230)로부터 출력된 차신호(差信號)를 절대치화 한다.

움직임 벡터 검출 회로(250)는, 차신호(이하, 잔차(residual difference)라고고 적절히 칭한다)의 절대치를 사용하여 움직임 벡터를 검출한다. 검출된 움직임 벡터(260)가 출력된다. 필터 처리 회로(210), 대표점 추출 회로(220), 감산기(230), 절대치 변환 회로(240) 및 움직임 벡터 검출 회로(250)가 움직임 벡터 검출부(141)를 구성한다.

또한, 움직임 벡터(260)가 나타내는 좌표 위치의 평가치가 특징 추출 회로(142)에 공급된다. 특징 추출부(142)는, 검출된 움직임 벡터(260)에 대응하는 평가치를 특징 정보(261)로서 출력한다.

도 3은 대표점 매칭 방식에 의한 움직임 벡터의 검출 방법을 도시하는 것이다. 1장의 촬상 화상 예를 들면 1프레임의 화상이 다수의 영역으로 분할된다. 도 3 에서, 검출 영역(301)은, 예를 들면 시각(n)의 프레임의 움직임 벡터를 검출하기 위한 탐색 영역이다. 도면의 예에서는,(5×5)화소의 크기의 영역이 설정되어 있다. 이 검출 영역(301)중에서, 대표점과 가장 휘도 상관이 높은 화소가 움직임 벡터로서 검출된다. 시각(m)의 프레임의 검출 영역(301)과 공간적으로 동일 위치의 참조 영역(306) 내에 대표점(302)이 설정된다. 대표점(302)은, 비교원이 되는 시각(m)의 화상에 1화소만 존재한다. 시각(n과 m)의 간격은, 연사에 의해 복수매의 화상이 받아들여지는 간격 예를 들면 1필드 또는 1프레임이다.

화소(303)는, 검출 영역(301)에 있어서의 임의의 1화소를 나타내고, 검출 영역(301) 내의 각 화소가 대표점(302)의 비교 대상의 화소가 된다. 움직임 벡터(304)는, 검출된 움직임 벡터의 일례를 나타낸다. 사선을 붙여서 도시하는 화소(305)는, 움직임 벡터가 나타내는 좌표에 존재한다.

참조 영역(306) 및 검출 영역(301)의 쌍은, 각 프레임에서 다수 설정되고, 각각에 있어서, 대표점(302)과 검출 영역(301) 내의 화소의 휘도 레벨과의 잔차가 계산된다. 그리고, 검출 영역(301)의 (5×5)의 각 화소의 위치에 있어서의 잔차가 적산됨에 의해, 1장의 화상(5×5)에 관한 (5×5)의 평가치가 계산되고, 평가치의 분포 중에서, 극소치의 위치의 좌표가 움직임 벡터로서 검출된다.

시각(m)에 있어서의 좌표(u, v)의 대표점의 휘도 레벨을 km(u, v)로 표기하고, 시각(n)에 있어서의 좌표(x, y)에 있어서의 휘도 레벨을 kn(x, y)로 표기하면, 대표점 매칭 방식에 있어서의 움직임 벡터 검출에 있어서의 잔차 연산식은, 하기의 식 (1)로 표시하게 된다.

[수식 1]

구해진 잔차는, 참조 영역(306) 및 검출 영역(301)의 하나의 쌍에 관한 것이다. 프레임 전체에 존재하는 다수의 쌍에 관하여 마찬가지로, 잔차가 구해지고, 좌표(x, y)의 각각에서 잔차가 적산됨에 의해, 좌표(x, y)의 평가치가 구해진다. 도 3의 예에서는, (5×5)=25개의 화소 위치에서 평가치가 각각 발생한다.

편이와 평가치 관계의 일례는, 도 4에 도시하는 것으로 된다. 평가치가 극소이고 또한 최소점이 되는 점(a)과 대표점의 좌표와의 차가 움직임 벡터(mv(x, y))가 된다. 1프레임의 화면 전체의 대표점이 좌표(a)의 위치까지 마찬가지로 움직이는 경우에, 좌표(a)의 평가치가 극소가 된다. 식으로 표현하면, 하기의 식 (2)로 표시하는 것으로 된다. 단, P(x, y)가 좌표(x, y)에 있어서의 평가치(즉, 잔차의 절대치의 적산치)를 의미하고 있다.

[수식 2]

대표점의 좌표가 (0, 0)이면 움직임 벡터는, 하기의 식 (3)으로 표현할 수 있다.

[수식 3]

특징 추출부(142)는, 도 4에서의 점(a)에 있어서의 평가치를 출력하는 회로 이다. 즉, 하기의 식 (4)를 특징 정보(L)로서 출력한다.

[수식 4]

검출된 움직임 벡터의 신뢰성의 판정에 관해 설명한다. 도 5는, 도 4에서 도시한 편이와 평가치의 관계를 2차원적으로 표현한 것이다. 예를 들면 평가치가 최소가 되는 좌표(a)를 통과하여 x축 및 y축의 한쪽에 평행한 평면으로 절단한 경우의 평가치의 변화를 나타내고 있다. 극소치의 편이는, 점(a)의 x축상의 좌표 또는 y축상의 좌표이다.

도 5중의 실선(401)은, 통상의 손떨림시의 평가치의 변화를 도시한 것이다. 움직임 벡터가 검출되는 편이에서 최소점에 있어서의 평가치의 절대치가 충분히 작아지고, 최소점 이외의 편이에서는 화상 간의 상관은 낮다. 이 경우는, 검출된 움직임 벡터의 신뢰성이 높다고 판정할 수 있다.

한편, 로우 콘트라스트시의 평가치의 변화에 의거하여 검출된 움직임 벡터의 신뢰성은, 낮다고 판정된다. 도 5중의 파선(402)은, 로우 콘트라스트시의 평가치의 변화를 도시한 것이다. 움직임 벡터가 검출되는 편이에서 최소점에서의 평가치의 절대치가 충분히 작아지고, 모든 편이에 있어서 화상 사이의 상관이 높다. 그러나, 여기서 검출된 움직임 벡터는 노이즈 등의 영향을 받기 쉽기 때문에 신뢰성이 낮다. 로우 콘트라스트의 경우는, 대표점의 휘도 레벨과 검출 영역의 화소의 휘도 레벨의 차가 전체적으로 작아지기 때문에 전체적으로 평가치가 작아진다. 그 결과, 노이즈 등의 영향을 받아 검출 정밀도가 저하하거나, 손떨림 이외의 움직임 벡터를 검출할 가능성이 있다. 그 때문에, 검출되는 움직임 벡터의 신뢰성을 높이기 위해서는, 로우 콘트라스트의 경우를 검출하여 배제할 필요가 있다.

이 한 실시 형태에서는, 식 (5)에 표시되는 평가치의 총합을 이용하여 로우 콘트라스트인지의 여부 판별을 행한다. 즉, X, Y는 검파 영역의 가로, 세로의 화소 수로 하고, 평가치(P(x, y))의 각 좌표에서의 평가치의 총합을 화소 수(즉, 면적)(X×Y)로 정규화(正規化)한 값(S)을 구하고, S가 작은 경우는 로우 콘트라스트의 피사체라고 판단한다.

[수식 5]

식 (5)에서 구해진 값(S)으로부터 신뢰도(Rs)를 구하는 처리를 도 8A를 참조하여 설명한다. 신뢰성이 낮은 경우, 즉, S가 임계치(thrA) 미만일 때는, 신뢰도(Rs)가 0으로 설정된다. 신뢰성이 높은 경우, 즉 S가 임계치(thrB) 보다 큰 때는, 신뢰도(Rs)가 1로 설정된다. 상기 이외의 경우는, 도 8A에 도시하고, 하기의 식 (6)에 의해 설정된다.

[수식 6]

도 5에서의 1점 쇄선(403)은, 복수의 화상을 포착하고 있는 기간 내에서, 이동 피사체가 진입한 때의 평가치의 변화를 도시하는 것이다. 움직임 벡터가 검출되 는 편이에서 최소점에 있어서의 평가치의 절대치가 비교적 크고, 모든 편이에서 화상 사이의 상관이 낮다. 이동 피사체가 진입한 경우는, 화상 간의 상관이 낮아지기 때문에 최소점에 있어서의 평가치의 절대치 레벨은 커진다. 화상 간의 상관이 낮기 때문에 검출된 움직임 벡터의 신뢰성은 낮고, 보정에 이용하는 것은 불가능하다. 그 때문에, 최소점에 있어서의 평가치(L)를 이용하여 신뢰성의 판정을 행한다. 최소점에 있어서의 평가치(L)는, 식 (7)로 표현할 수 있다. L이 큰 경우는 이동 피사체가 혼재하는 피사체라고 판정한다.

[수식 7]

식 (7)에서 구해진 값(L)으로부터 신뢰도(R_L)를 구하는 처리를 도 8B를 참조하여 설명한다. 신뢰성이 높은 경우, 즉 L이 임계치(thrC) 미만일 때는, 신뢰도(R_L)는 1로 설정된다. 신뢰성이 낮은 경우, 즉 L이 임계치(thrD)보다 큰 때는, 신뢰도(R_L)는 0으로 설정된다. 상기 이외의 경우는, 도 8B에 도시하고, 하기의 식 (8)에 의해 설정된다.

[수식 8]

움직임 벡터 검출부(141)는, 상술한 2개의 신뢰도(Rs 및 R_L)를 통합한 신뢰도(R)를 식 (9)에 따라 구하여 검출된 움직임 벡터와 함께, 시스템 컨트롤러(170) 에 대해 출력한다. 신뢰도(R)가 작은 경우는 움직임 벡터의 신뢰성은 낮고, 역으로 신뢰도(R)가 큰 경우는 움직임 벡터의 신뢰성은 높다. 또한, 움직임 벡터 검출부(141)로부터 평가치를 시스템 컨트롤러(170)에 대해 공급하고, 시스템 컨트롤러(170)에서, 신뢰도를 계산하도록 하여도 좋다.

[수식 9]

도 6은, 도 1중의 필터(160)의 일례의 구성을 도시한다. 메모리 컨트롤러(150)로부터 출력된 데이터X(z)(501)가 필터(160)에 입력된다. 필터(160)의 가산기(520)로부터 출력Y(z)(502)가 취출된. 입력 데이터X(z)(501)가 앰프(510)에서, 레벨이 k배로 증폭되고 가산기(520)에 공급된다. 필터 계수(k)는, 시스템 컨트롤러(170)에 의해 지시된다. 단, 0≤k≤1이다.

가산기(520)의 출력 데이터가 출력Y(z)로서 취출됨과 함께, 지연기(530)에 공급된다. 지연기(530)의 출력 데이터가 앰프(511)를 통하여 가산기(520)에 공급된다. 앰프(511)는, 지연기(530)의 신호를 (1-k)배로 증폭한다. 지연기(530)는, 출력Y(z)(502)를 1샘플링 주기 지연시키는 지연기이다. 1샘플링 주기는, 대표점이 존재한 참조 영역과, 검출 영역과의 시간차이고, 예를 들면 1필드 또는 1프레임이다.

도 6에 도시하는 필터(160)에서, k=1의 경우에는, 앰프(511)로부터 가산기(520)에 공급되기 전의 시각의 출력 성분이 0이 되고, 입력 데이터X(z)(501)가 그대로 출력 데이터Y(z)(502)로서 취출된다. k≠1의 경우에는, 앰프(511)로부터 가산기(520)에 공급되기 전의 시각의 출력 성분이 0으로 되지 않고, 가산기(520)에 서, 입력 데이터X(z)(501)에 대해 앞의 시각의 출력 성분이 가산된다. 신호 성분은, 다른 시각의 사이에서도 상관이 있는 것에 대해, 랜덤 노이즈 성분은, 상관을 갖지 않기 때문에, 가산기(520)에서의 가산 처리에 의해 노이즈 성분을 감소시킬 수 있다.

여기서, 필터 계수(Ky)에 관해 설명한다. 필터 계수(Ky)는, 휘도 검출부(180)로부터 출력되는 촬상 소자(120)의 신호 레벨(Y)에 의해, 도 8C에 따라 산출된다. 노이즈 성분이 많이 포함되는 휘도 레벨의 경우, 즉 Y가 thrE 미만일 때의 필터 계수(Ky)는, 식 (10)으로 표현할 수 있다. 노이즈 성분이 적은 휘도 레벨인 경우, 즉 Y가 thrE 이상일 때는, 필터 계수(Ky)는 소정의 필터 계수(Kmax)로 설정된다.

[수식 10]

도 6에 도시하는 필터(160)에 있어서의 필터 계수(k)는, 신뢰도(R)와 휘도 레벨에 따른 필터 계수(Ky)로부터, 식 (11)에 의해 산출된다. 단, 초기 화상만은 필터의 과도 응답을 해소하기 위해, 필터 계수(k)를 1로 설정한다.

[수식 11]

도 7을 참조하여 시스템 컨트롤러(170)에 의해 이루어지는 제어 동작에 관해 설명한다. 이 제어 동작은, 복수의 화상이 포착되는 간격 예를 들면 1필드 또는 1 프레임마다 실행되고, 실행 회수를 카운터의 값이 나타낸다. 저조도시에, 노광 번짐이 생기지 않을 정도의 셔터 속도로서 연사가 이루어지고, 연사로 얻어진 소정 매수의 화상이 손떨림 보정 및 필터 처리된다. 소정 매수의 화상의 처리가 이루어지고, 카운터의 값이 소정치에 달하면, 처리가 완료되고, 그 결과의 화상이 최종적인 촬상 화상으로서 취급된다.

스텝 S10에서는, 제어 동작이 1회 이루어질 때마다 잉크리먼트하는 카운터의 값(단지 카운터라고 칭한다)이 0인지의 여부 판별을 행한다. 맞는 경우(카운터가 0이다)는 처리가 스텝 S11로 이동하고, 틀린 경우(카운터가 0이 아니다)는 처리가 스텝 S20으로 이동한다.

스텝 S11에서는, 손떨림 보정이 OFF로 설정된다. 즉, 메모리 컨트롤러(150)는, 화상 메모리(151)에 격납되어 있는 화상에 대해 손떨림 보정을 행하지 않고, 그대로 화상이 출력된다. 신뢰성이 낮은 경우가 연속한 경우에, 한번도 손떨림 보정된 신호가 출력되지 않는 것을 막기 위해, 카운터=0의 초기시에 반드시 초기 화상을 받아들이는 처리를 행한다.

스텝 S12에서는 필터(160)의 필터 계수(k)가 1로 설정된다. 초기시는 필터의 과도 응답을 해소하기 위한 제어이다. 스텝 S13에서는, 카운터에 1이 가산된다. 그리고, 처리가 종료된다. 1필드 또는 1프레임 후에 입력되는 다음의 화상의 처리가 스텝 S10부터 시작한다.

스텝 S20에서는, 손떨림의 검출과 보정을 행한다. 즉, 시스템 컨트롤러(170)는, 움직임 벡터 검출부(141)가 검출한 움직임 벡터에 따라, 손떨림 성분을 없애는 보정량을 메모리 컨트롤러(150)에 지시하고, 메모리 컨트롤러(150)가 화상 메모리(151)로부터 손떨림 보정한 화상을 출력한다.

스텝 S21에서는, 상술한 식 (11)로 표시한 바와 같이, 신뢰도(R) 및 필터 계수(Ky)에 따라 필터의 계수(k)가 산출된다. 그리고, 스텝 S13에서, 카운터에 1이 가산되고 처리가 종료된다. 시스템 컨트롤러(170)에 의해 산출된 필터 계수(k)가 필터(160)에 공급되고, 필터(160)의 필터 계수가 적절한 값으로 설정된다.

상술한 본 발명의 한 실시 형태는, 화면 전체에 관해 움직임 벡터를 발생하고 있지만, 화면을 복수의 블록으로 분할하고, 각 블록마다 손떨림 보정과 필터 처리를 행하도록 하여도 좋다. 본 발명의 다른 실시 형태는, 각 블록마다 처리를 행하는 것이다.

본 발명의 다른 실시 형태에서, 촬상 장치의 전체의 구성은, 상술한 한 실시 형태에 관한 도 1에 도시하는 것과 마찬가지이고, 도 1의 구성 요소의 참조 부호를 다른 실시 형태의 설명에서도 사용한다. 다른 실시 형태에서는, 손떨림 검출부(140)(움직임 벡터 검출부(141)와 특징 추출부(141)를 포함한다)에서는, 도 9에 도시하는 바와 같이 촬상 소자(120)의 촬상 화면을 종방향으로 J분할, 횡방향으로 I분할하여 형성된 (I×J)개의 블록마다 처리가 이루어진다. 각 블록 내에 복수의 참조 영역 및 검출 영역이 설정된다. 따라서 메모리 컨트롤러(150)에 의한 손떨림 보정 동작 및 필터(160)의 처리도, 블록마다 이루어진다. 휘도 검출부(180)는, 블록마다 아날로그 신호 처리부(130)로부터 출력되는 신호의 휘도 레벨을 검출한다.

저조도로, 노광 번짐이 생기지 않을 정도의 셔터 속도로서 연사가 이루어지 고, 얻어진 복수매의 화상을 손떨림 보정 및 순회형의 필터 처리하는 점은, 상술한 한 실시 형태와 마찬가지이다. 단, 손떨림 보정 및 필터 처리는, 블록마다 이루어진다.

대표점 방식에 의한 움직임 벡터 검출을 행하는 구성은, 상술한 한 실시 형태에 있어서의 구성(도 2 참조)과 마찬가지이고, 도 3을 참조하여 설명한 바와 같이, 참조 영역 내의 대표점의 휘도 레벨과 검출 영역(301) 내의 각 화소의 휘도 레벨과의 잔차의 절대치가 계산된다. 이 경우, 시각(m)에서의 블록(i, j)(단, i= 0, 1, 2, …, I-1, j= 0, 1, 2, …, J-1)에 있어서의 좌표(u, v)의 대표점의 휘도 레벨을 kmi, j(u, v), 시각(n)에 있어서의 좌표(x, y)에 있어서의 휘도 레벨을 kni,j(x, y)라고 하면, 대표점 매칭 방식에 있어서의 움직임 벡터 검출에 있어서의 잔차 연산식은, 하기의 식 (12)로 표시하는 것으로 된다.

[수식 12]

구해진 잔차는, 참조 영역(306) 및 검출 영역(301)의 하나의 쌍에 관한 것이다. 블록 전체에 존재하는 다수의 쌍에 관하여 마찬가지로, 잔차가 구해지고, 좌표의 각각(x, y)에서 잔차가 적산됨에 의해, 좌표(x, y)의 평가치가 구해진다. 상술한 한 실시 형태에 있어서의 예에서는, 블록마다 (5×5)=25개의 화소 위치에서 평가치가 각각 발생한다.

상술한 도 4에 도시되는 편이와 평가치의 관계는, 블록마다 얻어지는 것이 다. 평가치가 극소이고 또한 최소점이 되는 점(a)과 대표점의 좌표와의 차가 블록(i, j)의 움직임 벡터(mvi,j(x, y))가 된다. 1블록의 화면의 전체의 대표점이 좌표(a)의 위치까지 마찬가지로 움직이는 경우에, 좌표(a)의 평가치가 극소로 된다. 식으로 표현하면, 각 블록의 움직임 벡터(mvi, j(x, y))는, 하기의 식 (13)으로 표시하게 된다. 단, Pi,j(x, y)가 블록(i, j)의 좌표(x, y)에서의 평가치(즉, 잔차의 절대치의 적산치)를 의미하고 있다.

[수식 13]

대표점의 좌표가 (0, 0)이면, 블록(i, j)의 움직임 벡터는, 하기의 식 (14)로 표현할 수 있다.

[수식 14]

특징 추출부(142)는, 각 블록에서 구해진 움직임 벡터와 대응하는 평가치를 출력하는 회로이다. 즉, 하기의 식 (15)를 블록(i, j)의 특징 정보로서 출력한다.

[수식 15]

도 10은, 블록마다의 편이와 평가치의 관계를 2차원적으로 표현한 것이다. 상술한 한 실시 형태에 있어서의 도 5와 마찬가지로, 실선(601)은, 통상의 손떨림시의 평가치의 변화를 나타낸 것이다. 움직임 벡터가 검출되는 편이에서 최소점에 있어서의 평가치의 절대치가 충분히 작아지고, 최소점 이외의 편이에서는 화상 간의 상관은 낮다. 이 경우는, 검출된 움직임 벡터의 신뢰성이 높다고 판정할 수 있다.

한편, 로우 콘트라스트시의 평가치의 변화에 의거하여 검출된 움직임 벡터의 신뢰성은, 낮다고 판정된다. 도 10중의 파선(602)은, 로우 콘트라스트시의 평가치의 변화를 도시한 것이다. 움직임 벡터가 검출되는 편이에서 최소점에서의 평가치의 절대치가 충분히 작아지고, 모든 편이에서 화상 사이의 상관이 높다. 그러나, 여기서 검출된 움직임 벡터는 노이즈 등의 영향을 받기 쉽기 때문에 신뢰성이 낮다. 로우 콘트라스트의 경우는, 대표점의 휘도 레벨과 검출 영역의 화소의 휘도 레벨과의 차가 전체적으로 작아지기 때문에 전체적으로 평가치가 작아진다. 그 결과, 노이즈 등의 영향을 받아 검출 정밀도가 저하나, 손떨림 이외의 움직임 벡터를 검출할 가능성이 있다. 그 때문에, 검출된 움직임 벡터의 신뢰성을 높이기 위해서는, 로우 콘트라스트의 경우를 검출하여 배제할 필요가 있다.

다른 실시 형태에서는, 식 (16)에 표시되는 블록마다의 평가치의 총합(Si,j)을 이용하여 로우 콘트라스트인지 여부의 판별을 행한다. 즉, X, Y는 검파 영역의 가로, 세로의 화소 수로 하고, 평가치(Pi,j(x, y))의 각 좌표에 있어서의 평가치의 총합을 화소 수(즉, 면적)(X×Y)로 정규화한 값(Si,j)을 구하고, Si,j가 작은 경우는 로우 콘트라스트의 피사체라고 판단한다.

[수식 16]

식 (16)에서 구해진 블록(i, j)의 값(Si,j)으로부터 신뢰도(Rsi,j)는, 한 실시 형태와 마찬가지로, Si,j가 임계치(thrA) 미만일 때는, 신뢰도(Rsi,j)가 0으로 설정된다. 신뢰성이 높은 경우, 즉, Si,j가 임계치(thrB)보다 큰 때는, 신뢰도(Rsi,j)가 1로 설정된다. 상기 이외의 경우는, 하기의 식 (17)에 의해 설정된다.

[수식 17]

각각이 분할된 블록에 있어서의 움직임 벡터 검출부(141)로부터 출력된 움직임 벡터는, 손떨림 성분 이외에 움직임 피사체에 의한 성분이 포함되어 있는 경우가 있다. 움직임 피사체에 의한 오동작을 저감하기 위해서는, 손떨림 성분만을 추출하고, 그 움직임 벡터에 따라 메모리 컨트롤러(150)에서, 손떨림을 보정할 필요가 있다. 또한, 이 손떨림 보정에 더하여, 검출된 움직임 벡터에 손떨림 이외의 성분을 검출하고, 필터(160)에서 적분되지 않도록 신뢰도(R_Li,j)를 산출할 필요가 있다.

손떨림 성분은, 식 (18)로 표현할 수 있다. 단, MD는 미디언 필터를 나타낸다. 메모리 컨트롤러(150)에는, 이 손떨림 성분(mvMD)이 시스템 컨트롤러(170)로부 터 지시되어 보정된다.

[수식 18]

움직임 피사체의 검출과 신뢰도에 관해서 설명한다. 해당하는 블록에 움직임 피사체가 존재하는 정도는, 움직임 벡터 성분과 손떨림 성분과의 괴리(乖離) 정도에 의해 판단한다. 이 괴리 정도(deviation degree)(Li,j)는, 식 (19)로 표현할 수 있다. Li,j가 큰 경우는, 이동 피사체가 혼재하는 피사체라고 판단한다.

[수식 19]

이 때의 블록(i, j)의 신뢰도(R_Li,j)는, 한 실시 형태와 마찬가지로 도 8B에 따라 Li,j에 의해 산출된다. 신뢰성이 높은 경우, 즉 Li,j가 thrC 미만일 때는, 신뢰도(R_Li,j)는 1로 설정된다. 신뢰성이 낮은 경우, 즉 Li,j가 thrD 보다 큰 때는, 신뢰도(R_Li,j)는 0으로 설정된다. 상기 이외의 경우는, 식 (20)에 의해 설정된다.

[수식 20]

각각의 블록(i, j)에 있어서의 움직임 벡터 검출부(141)에서 검출된 움직임 벡터의 신뢰도를 Ri,j로 하면, 신뢰도를 Ri,j는, 식 (21)로 표현할 수 있다. 신뢰 도(Ri,j)가 작은 경우는 움직임 벡터의 신뢰성은 낮고, 역으로 신뢰도(Ri,j)가 큰 경우는 움직임 벡터의 신뢰성은 높다.

[수식 21]

손떨림 보정된 각 블록의 화상이 공급되는 필터는, 한 실시 형태에 있어서의 도 6에 도시하는 구성을 갖고 있다. 단, 필터 계수가 블록마다 설정된다. 블록마다의 필터 계수를 ki,j로 한다. 필터 계수는 (0≤ki, j≤1)이다.

여기서, 블록(i, j)의 필터 계수(Kyi,j)에 관해 설명한다. 필터 계수(Kyi,j)는, 한 실시 형태와 마찬가지로, 휘도 검출부(180)로부터 출력되는 촬상 소자(120)의 신호 레벨(Yi,j)에 의해, 도 8C에 따라 산출된다. 노이즈 성분이 많이 포함되는 휘도 레벨인 경우, 즉 Yi,j가 thrE 미만일 때의 필터 계수(Kyi,j)는, 식 (22)로 표현할 수 있다. 노이즈 성분이 적은 휘도 레벨인 경우, 즉 Yi,j가 thrE 이상일 때는, 필터 계수(Kyi,j)는 소정의 필터 계수(Kmax)로 설정된다.

[수식 22]

한 실시 형태와 마찬가지로, 필터 계수(ki,j)는, 신뢰도(R)와 휘도 레벨에 따른 필터 계수(Kyi,j)에 의해, 식 (23)에 의해 산출된다. 단, 초기 화상만은 필터의 과도 응답을 해소하기 위해 필터 계수(k)를 1로 설정한다.

[수식 23]

시스템 컨트롤러(170)에 의해 이루어지는 제어 동작은, 한 실시 형태에서 설명한 도 7과 마찬가지이다. 단, 한 실시 형태에서는, 제어 동작은 1필드 또는 1프레임마다 실행되어 있지만, 1블록마다 동작하는 것이 필요하게 된다. 그리고, 소정 매수의 화상의 모든 블록에 관한 처리가 이루어지고, 카운터의 값이 소정치에 달하면, 처리가 완료되고, 그 결과의 화상이 최종적인 촬상 화상으로서 취급된다.

상술한 본 발명의 다른 실시 형태는, 한 실시 형태와 비교하여 복수의 블록의 각각을 개별적으로 제어하기 때문에, 필터 계수의 제어를 화상의 국소적 특징에 맞추어 행할 수 있고, 화질은 보다 향상시킬 수 있다.

이상, 본 발명의 실시 형태에 관해 구체적으로 설명하였지만, 본 발명은, 상술한 실시 형태로 한정되는 것이 아니라, 본 발명의 기술적 사상에 의거한 각종의 변형이 가능하다. 예를 들면 움직임 벡터 검출은, 대표점 방식으로 한하지 않고 다른 방식을 사용하여도 좋다.

본 발명에 의하면, 저조도 상태에서도 노광 번짐이 생기지 않는 축적 시간에 연사를 행함에 의해, 복수의 화상을 취득하고, 복수의 화상 사이의 손떨림을 보정함으로써, 손떨림이 없는 화상을 생성하고, 또한, 순회형 필터에 의해 필터 처리함으로써, S/N비를 개선한 화상을 생성할 수 있다. 시간 방향의 순회형 필터를 사용 함으로써, 단순 가산의 방법과 달리, 화상 매수에 제한 없이 장기간에 걸쳐 받아들일 수 있다. 본 발명에서는, 로우 콘트라스트, 화상 포착중의 불필요한 움직임 피사체에 의해, 움직임 벡터의 신뢰성이 저하되는 것을 고려하여, 신뢰성에 따른 필터 계수의 제어를 행하므로서 화질을 향상시킬 수 있다.

Claims

시간적으로 다른 복수의 화상을 포착하는 화상 포착 스텝과,

상기 복수의 화상으로부터 움직임을 검출하고, 움직임 정보를 생성하는 움직임 검출 스텝과,

상기 움직임 정보의 신뢰성을 판정하는 신뢰성 판정 스텝과,

상기 움직임 정보에 따라 상기 복수의 화상 사이에서 생기는 손떨림을 보정하는 손떨림 보정 스텝과,

순회형 필터에 의해 손떨림 보정 후의 화상을 필터 처리하는 필터 스텝을 구비하고,

상기 움직임 정보의 신뢰성에 따라 상기 필터 처리의 특성을 변화시키는 것을 특징으로 하는 촬상 방법.
제 1항에 있어서,

상기 화상 포착 스텝에서, 노광 번짐이 생기지 않을 정도의 축적 시간으로서 상기 복수 화상의 각각을 포착하는 것을 특징으로 하는 촬상 방법.
제 1항에 있어서,

상기 복수 화상의 선두의 화상에 관해, 상기 손떨림 보정 스텝을 행하지 않는 것을 특징으로 하는 촬상 방법.
제 1항에 있어서,

상기 복수 화상의 선두의 화상에 관해, 상기 순회형 필터의 특성을 변경하는 것을 특징으로 하는 촬상 방법.
제 1항에 있어서,

상기 신뢰성 판정 스텝에서, 로우 콘트라스트의 피사체를 촬영한 화상으로부터 얻어진 상기 움직임 정보는, 상기 신뢰성이 낮다고 판정하는 것을 특징으로 하는 촬상 방법.
제 1항에 있어서,

상기 신뢰성 판정 스텝에서, 상기 복수 화상의 일부에 움직임 피사체가 존재하는 화상으로부터 얻어진 상기 움직임 정보는, 상기 신뢰성이 낮다고 판정하는 것을 특징으로 하는 촬상 방법.
제 1항에 있어서,

포착한 화상을 복수의 블록으로 분할하고, 상기 블록마다 상기 움직임 검출 스텝, 상기 신뢰성 판정 스텝, 상기 손떨림 보정 스텝, 상기 필터 스텝 및 상기 필터 처리의 특성을 변화시키는 처리를 행하는 것을 특징으로 하는 촬상 방법.
시간적으로 다른 복수의 화상을 포착하는 화상 포착 수단과,

상기 복수의 화상으로부터 움직임을 검출하고, 움직임 정보를 생성하는 움직임 검출 수단과,

상기 움직임 정보의 신뢰성을 판정하는 신뢰성 판정 수단과,

상기 움직임 정보에 따라 상기 복수의 화상 사이에서 생기는 손떨림을 보정하는 손떨림 보정 수단과,

순회형 필터에 의해 손떨림 보정 후의 화상을 필터 처리하는 필터 수단을 구비하고,

상기 움직임 정보의 신뢰성에 따라 상기 필터 수단의 특성을 변화시키는 것을 특징으로 하는 촬상 장치.