KR101830804B1 - 적응 필터링을 이용한 디지털 이미지 안정화 방법 - Google Patents

Abstract

비디오 데이터 처리 방법이 개시된다. 상기 비디오 데이터 처리 방법은, 카메라에 의해 캡쳐된 비디오 프레임 안의 모션 벡터들의 변환으로부터 보상될 카메라 동작을 나타내는 보상 변환을 식별하는 단계, 및 보상 윈도우의 과도한 오버-익스커젼을 방지하기 위하여 비-선형적으로 표준화된 시-적분(time-integrated) 된 익스커젼들에 기초하여 보상 변환을 적응적 필터링하는 단계를 포함한다.

Description

적응 필터링을 이용한 디지털 이미지 안정화 방법{DIGITAL IMAGE STABILIZATION METHOD WITH ADAPTIVE FILTERING}

본 발명의 개념에 따른 실시 예는 디지털 이미지 안정화(digital image-stabilization(DIS))에 관한 것으로, 특히 캡쳐된 비디오 프레임들(captured video frames)의 보상 윈도우들(compensation windows)의 오버-익스커젼(over-excursion)을 줄이기 위한 방법에 관한 것이다.

디지털 카메라들(digital cameras), 디지털 비디오 카메라들(digital video cameras), 및 이와 같은 카메라들을 포함하는 핸드-헬드 디바이스들(hand-held devices)은 상기 카메라가 조작자의 손에서 동작되는 동안 이미지들 또는 비디오를 캡쳐하기 위해 종종 사용된다.

따라서 상기 비디오 카메라는 이미지 또는 비디오를 캡쳐하는 동안 상기 조작자의 손에서 흔들리거나 지터링(jittering) 할 수 있다. 지터(jitter)는 수평 성분, 수직 성분, 및 회전 성분(rotational component)을 포함할 수 있다.

상기 지터는 상기 핸드-캡쳐드 비디오(hand-captured video)가 이를 보는 사람에게 디스트랙팅(distracting) 또는 디스오리엔팅(disorienting)하도록 만들 수 있고, 따라서 디지털 적으로 카메라 궤적을 추정하고(즉, 연속적인 프레임들의 각 쌍 사이에서 검출된 지터) 같은 장면의 비디오 프레임들의 시퀀스(sequence)로부터 상기 지터를 필터링(filter out)하기 위한 디지털 회로를 사용하는 것이 요구된다.

정적이거나 움직이는 안정적인 비디오 카메라에 의해 제작된 비디오는 캡쳐된 비디오에 주로 부드러운 모션들, 예컨대 병진(translation) 또는 회전 (rotation)을 포함한다.

반면, 불안정적인 비디오 카메라는 비디오 이미지들 전체에 걸쳐 높은 주파수의 지터(병진 및/또는 회전)를 포함하는 비디오를 생산한다.

디지털 이미지 안정화(digital image-stabilization(DIS)) 시스템은 먼저 원하지 않은(또는 의도되지 않은) 모션(motion)을 추정한 다음, 정정을 이미지 시퀀스로 적용한다.

정확한 글로벌 모션(global motion)의 추정(카메라 궤적 추정)은 비디오 안정화 알고리즘(algorithm)의 핵심이다.

안정화된 비디오의 시각적 효과는 카메라 궤적 추정의 질에 크게 의존한다.카메라/장면의 글로벌 모션은 의도된 글로벌 모션, 예컨대 패닝(panning) 글로벌 모션과 의도되지 않은 글로벌 모션, 예컨대 지터리(jittery) 글로벌 모션을 구별하기 위하여 분석되고, 보상 변환(P(n))은 의도되지 않은 지터리 모션을 보상하기 위해 생성된다.

상기 비디오 안정화 알고리즘은 사용자가 원하는 카메라 모션이 유지되는 동안 지터 모션(jitter motion)을 제거한다. 일반적으로 카메라 모션이 느리고 선형적이거나 단조로운 동안에, 빠르고(즉, 높은 주파수의) 비선형적인 손떨림 또는 플랫폼(platform)의 진동에 의해서 지터가 야기된다.

글로벌 모션(카메라 궤적) 벡터는 매칭(matching)되는 특징점 페어(feature point pair)를 사용하여 인접한 프레임들 사이에서 계산된 보상 변환 P(n)의 아핀 변환 파라미터들(affine transformation parameters)에 포함된다.

상기 보상 변환 P(n)은 아핀 변환일 수 있다. 수학에서, 아핀 기하학은 아핀 변환들에 의해 변하지 않도록 유지되는 기하학적 성질들, 즉 비-특이 선형 변환 및 변형(non-singular linear transformation and translation)의 연구이다.

아핀 행렬이라고 불리는, 숫자로 나타나는 계수들에 의해 정의되는 방정식들의 수학적 시스템은 연속적인 프레임들의 각 페어(pair) 사이에서 또는 이들의 일부분들(예컨대, 프레임들 내의 이동 객체들) 사이에서 감지된 이동의 측면 (lateral, 예컨대 위/아래), 회전(rotaional), 및 스칼라(scalar, 예컨대 줌 인(zoom in) 또는 줌 아웃(zoom out)) 성질을 나타내기 위하여 발전되었다.

따라서, 카메라 지터의 보상을 위한 보상 변환 P(n)은 화면에서 실제로 정지된 어떤 객체들(예컨대, 바위들, 탁자들, 주차된 차들, 산들, 태양)에 연관된 제1아핀 변환 행렬로 특성화될 수 있다.

거의 모든 경우에 손떨림과 플랫폼의 진동의 결과로 비디오 프레임들의 병진, 회전, 및 스케일링이 발생할 수 있다. 이 모든 것들을 모델링(modeling)하기 위하여 여섯 개의 파라미터의 아핀 변환이 요구된다.

비록 보상 변환 P(n)이 원하지 않는 지터 모션에 대한 보상을 하기 위해 정확히 생성되더라도, 결과 보상 프레임은 캡쳐된 입력 비디오 프레임들에 연관된 의미 있는 오실레이팅(oscillating) 움직임을 가질 수 있고, 상기 캡쳐된 입력 비디오 프레임들에서 사용 가능한 이미지 데이터를 넘어 확장될 수 있다.

이 결과 보상 윈도우의 오버-익스커젼(over-excursion)이 발생할 수 있다.

비디오에 포함된 져키 모션(jerky motion)을 제거하기 위하여, 상기 보상 유닛(compensation unit)은 각 입력 비디오 프레임의 경계 지역들(boundary regions) 일부를 잘라낸다(crop).

제거된 경계 지역들의 양은 크로핑 비율(cropping ratio)에 의해 계량될 수 있다. 큰 크로핑 비율은 경계의 더 많은 영역이 제거되는 것을 의미한다.

출력 비디오 프레임은 입력 비디오 프레임에 겹쳐진 보상 윈도우로서 모델링될 수 있다(예컨대, 도 1의 경우).

예컨대 상기 보상 윈도우는 상기 입력 비디오 프레임에 대하여 회전 (rotation), 쉬프트(shift), 스케일링(scaling) 될 수 있다.

주어진 크로핑 비율에 대해서, 상기 보상 윈도우의 움직임의 양은 보상 윈도우 익스커젼(compensation window excursion)이라고 불린다. 상기 입력 비디오 프레임 경계를 넘은 상기 보상 윈도우의 움직임은 보상 윈도우 오버-익스커젼(compensation window over-excursion)이라고 불린다.

만약, 지터가 없다면(예컨대, 원하지 않은 카메라 궤적이 없다면), 보상 변환 P(n)(실제로-정지된 객체들(actually-stationary objects)의 특징점들에 기초한)은 적어도 두 개 이상의 프레임들 각각에서 동일한 위치가 될것으로 예상될 수 있다.

만약 높은 주파수의 지터가 있다면, 감소된 디그리(degree) 또는 감소된 주파수의 보상 윈도우 오버-익스커젼을 갖는 공간적으로 안정된(spatially stabilized) 비디오를 생산하는 것이 요구된다.

불충분한 비디오 안정화와 오버-익스커젼 사이에서 적응적으로 균형을 잡는 필터링 방법의 요구가 존재한다.

본 발명이 이루고자 하는 기술적인 과제는 보상 윈도우 오버-익스커젼의 히스토리(history)에 기초하여 비디오 프레임의 장면에서 정지된/배경 객체를 대표하는 주요(principal) 변환/보상 변환 P(n)을 적응적으로 필터링하는 단계를 포함하는 디지털 이미지 안정화 방법을 제공하는 것이다.

또한 본 발명이 이루고자 하는 기술적인 과제는 강 보상(strong compensation(SC)) 필터를 이용하여 높은 효율과 예측 가능한 지터 제거 방법을 제공하는 것이다.

상기 SC 필터는 고 주파수-선택적인 고차 선형 시-불변 디지털 필터(highly frequency-selective high-order linear time-invariant digital filter)이다. 상기 SC 필터를 사용한 져키 입력 비디오의 효과적인 필터링은 캡쳐된 입력 비디오 프레임 동안의 보상 윈도우의 의미있는 움직임을 의미한다.

주어진 크로핑 비율(cropping ratio)에 대해서, 상기 보상 윈도우의 움직임의 양은 보상 윈도우 익스커젼으로 불린다. 캡쳐된 입력 비디오 프레임 경계를 넘은 보상 윈도우의 움직임은 보상 윈도우 오버-익스커젼이라고 불린다.

입력 비디오의 큰 이동을 위한 상기 SC 필터의 엄격한 적용은 더 많은 보상 윈도우 오버-익스커젼의 대가로 아주 안정적인 출력 비디오를 생산할 것이다.

반면, 더 낮은 주파수-선택적인(lower frequency-selective) 특성을 갖는 약 보상(weak compensation(WC)) 필터는 더 낮은 안정성의 출력 비디오의 대가로 더 낮은 보상 윈도우 오버-익스커젼을 생산할 것이다.

또한 본 발명이 이루고자 하는 기술적인 과제는 좋은 비디오 안정성 특성을 유지하는 반면 입력 비디오의 큰 움직임과 함께 발생하는 과도한 오버-익스커젼을 방지하기 위해 구성되는 적응적 보상(adaptive compensation(AC)) 필터를 제공하는 것이다.

본 발명의 실시 예에 따른 선형 시-불변 필터는 예측 가능한 특성을 제공하기 위해서 SC 필터를 보완하는 WC필터를 포함한다. WC 필터와 SC 필터의 조합은 복수의 K-프레임들 동안에 보상 윈도우 익스커젼들의 히스토리에 기초하여 제어될 수 있다.

히스토리 안의 작은 익스커젼들은 현재 프레임 n에 대한 SC 필터의 큰 영향을 허용하는 반면, 히스토리 안의 큰 익스커젼들은 현재 프레임 n에 대한 WC 필터의 큰 영향을 타당한 것으로 만든다.

히스토리 안의 중간 값(medium)의 익스커젼들은 SC 필터와 WC 필터의 비례적인 영향을 배분한다.

본 발명의 다른 측면은 여기에 포함된 DIS 방법들을 수행하기 위한 디지털 이미지 안정화 회로를 제공한다.

상기 회로는 비디오 카메라 안에 포함될 수 있고, 캡쳐된 비디오 프레임들의 저장에 앞서(예컨대 비디오 카메라가 실시간 MPEG 인코더를 포함한다면, MEPG 인코딩에 앞서 또는 MPEG 인코딩을 하는 동안) 실시간으로 지터를 제거하는 것에 활성화될 수 있다.

다른 실시 예에 따라, 연속된 비디오 프레임들의 카메라 궤적을 추정할 수 있고, 비디오 프레임들의 저장된 시퀀스로부터 지터를 필터링할 수 있는 DIS 회로는, 디지털 이미지 안정화 방법을 수행하는데 최적화된 ASIC(application specific integrated circuit)에 구현된 MEPG 비디오 인코더와 같이, 일반적인 목적의 디지털 이미지 안정화 방법을 구현하기 위한 소프트웨어에 의해 제어되는 마이크로 컴퓨터(micro computer) 또는 전용 하드웨어일 수 있다.

본 발명의 개념에 따른 실시 예의 특징은 계산된 주요 변환/보상 P(n) 변환을 계산하고 오버-익스커젼들의 제거에 최적화된 필터링 된 주요/보상 P'(n)을 출력하기 위한 필터링 강도를 선택하기 위한 보상 윈도우 오버-익스커젼 히스토리 데이터의 연속적인 저장이다.

상기 방법은 수직 방향-위쪽, 수직 방향-아래쪽, 수평 방향-오른쪽, 및 수평 방향 왼쪽을 동시에 측정하고, 필터링 계수 E(n)을 선택하기 위해 그것들 중에서 극점(peak)를 검출한다.

본 발명의 실시 예에 따른 비디오 데이터 처리 방법은 카메라에 의해 캡쳐된 비디오 프레임 안의 모션 벡터들의 변환으로부터 보상될 카메라 움직임을 나타내는 보상 변환을 식별하는 단계, 및 보상 윈도우의 과도한 오버-익스커젼을 방지하기 위하여 비-선형적으로 표준화된 시-적분(time-integrated) 된 익스커젼들에 기초하여 보상 변환을 적응적 필터링하는 단계를 포함할 수 있다.

실시 예에 따라, 상기 적응적 필터링은, 보상 변환의 강 보상 필터링을 수행하는 높은 주파수-선택적 고차 선형 시-불변 순환 필터와 상기 보상 변환의 약 보상 필터링을 수행하는 더 낮은 주파수-선택적 고차 선형 시-불변 순환 필터 또는 더 낮은 주파수-선택적 저차 선형 시-불변 순환 필터의 스칼라 조합을 포함할 수 있다.

실시 예에 따라, 상기 적응적 필터링하는 단계는, 작은 익스커젼 히스토리에 기초하여 현재 프레임에 대해 강 보상 필터의 큰 영향력을 배분하는 단계, 및 큰 익스커젼 히스토리에 대하여 현재 프레임에 대해 약 보상 필터의 큰 영향력을 배분하는 단계를 포함할 수 있다.

실시 예에 따라, 중간 값의 익스커젼들의 익스커젼 히스토리에 대하여 상기 강 보상 필터와 상기 약 보상 필터의 영향력의 비율을 배분하는 단계를 더 포함할 수 있다.

실시 예에 따라, 상기 비-선형적으로 표준화된 시-적분된 상기 익스커젼들은, 상기 익스커젼 히스토리의 적어도 네 개의 시-적분된 익스커전 크기들 중에서 최대 크기 M(n)를 선택할 수 있다.

실시 예에 따라, E(n)은 작은 익스커젼들에서 큰 익스커젼들까지의 히스토리로부터 구간 [0,1]에서 M(n)의 비-선형적으로 표준화된 값일 수 있다.

실시 예에 따라, 상기 강 보상 필터링은 상기 약 보상 필터링에 대해 설정된 차단 주파수보다 낮은 차단 주파수에서 설정될 수 있다.

실시 예에 따라, 상기 강 보상 필터링은 상기 약 보상 필터링에서의 롤오프보다 급격한 롤오프의 사용을 포함할 수 있다.

실시 예에 따라, 상기 강 보상 필터링은 대략 1Hz 정도의 차단 주파수를 가질 수 있다.

실시 예에 따라, 상기 강 보상 필터 및 상기 약 보상 필터의 상기 영향력의 배분은 0에서 1까지의 연속 구간 안에서 비-선형적으로 표준화된 값에 기초할 수 있다.

본 발명의 실시 예에 따른 이미지 처리 회로는 이미지 데이터의 프레임들을 수신하기 위한 수신기, 제1모션 특성을 가지는 모션 벡터들의 제1그룹과 제2모션 특성을 가지는 모션 벡터들의 제2그룹을 저장하기 위한 메모리, 상기 모션 벡터들의 상기 제1그룹과 상기 제2그룹의 변환으로부터 보상될 카메라 움직임을 나타내는 보상 변환을 식별하기 위한 변환 선택기, 및 비-선형적으로 표준화된 시-적분된 익스커젼들에 기초하여, 보상 윈도우의 과도한 오버-익스커젼을 방지하기 위한 적응 필터를 포함할 수 있다.

실시 예에 따라, 상기 보상 변환의 강 보상 필터링을 수행하기 위한 더 높은 주파수-선택적인 고차 선형 시-불변 필터와 상기 보상 변환의 약 보상 필터링을 수행하기 위한 더 낮은 주파수-선택적인 저차 선형 시-불변 필터를 조합하기 위한 믹서를 더 포함할 수 있다.

실시 예에 따라, 상기 적응 필터는 작은 익스커젼들의 익스커젼 히스토리에 기초하여 현재 프레임에 대한 상기 강 보상 필터의 더 큰 영향력을 배분하고, 큰 익스커젼들의 익스커젼 히스토리에 대한 상기 현재 프레임에 대한 상기 약 보상 필터의 더 큰 영향력을 배분할 수 있다.

실시 예에 따라, 중간 값의 익스커젼들의 익스커젼 히스토리에 대한 상기 강 보상 필터와 상기 약 보상 필터의 영향력을 비율을 배분하는 단계를 더 포함할 수 있다.

실시 예에 따라, 비-선형적으로 표준화된 신호를 출력하기 위해서 익스커젼 히스토리의 네 개의 시-적분된 익스커젼 크기들 중에서 최대 크기를 계산하기 위한 조절 인자 계산기를 더 포함할 수 있다.

실시 예에 따라, 상기 비-선형적으로 표준화된 신호는, 0에서 1의 범위 안에서상기 강 보상 필터와 상기 약 보상 필터의 스칼라 값으로 믹싱하는 것을 조절하기 위해 상기 믹서로 입력될 수 있다.

실시 예에 따라, 상기 강 보상 필터는, 상기 약 보상 필터에 대해 설정된 차단 주파수보다 더 낮은 차단 주파수로 설정될 수 있다.

실시 예에 따라, 상기 강 보상 필터는,상기 약 보상 필터에서의 롤오프보다 급격한 롤오프의 사용을 포함할 수 있다.

실시 예에 따라, 상기 적응 필터는, 순환 필터들의 사용에 의해 익스커젼 히스토리를 보존하기 위한 것일 수 있다.

실시 예에 따라, 상기 모션 벡터들의 상기 제1그룹의 변환들은 선택된 특징점들의 동작을 표현하고, 상기 모션 벡터들의 상기 제2그룹의 변환들은 비디오 프레임으로부터 분할된 겹치지 않는 타일들의 동작을 표현할 수 있다.

본 발명의 실시 예에 따른 카메라는 이미지를 캡쳐하기 위한 이미지 센서, 캡쳐된 이미지를 이미지 데이터의 프레임들로 변환하기 위한 이미지 데이터 회로 및 이미지 처리 회로를 포함하고, 상기 이미지 처리 회로는, 상기 이미지 데이터의 상기 프레임들을 수신하기 위한 수신기, 객체들의 동작을 감지하고 모션 벡터들을 생성하기 위한 모션 벡터 감지기, 상기 모션 벡터들의 변환들로부터 보상될 카메라 움직임을 표현하는 보상 변환을 식별하기 위한 변환 선택기, 보상 윈도우의 오버-익스커젼을 필터링하기 위한 적응 필터, 및 상기 보상 변환과 상기 적응 필터의 출력에 기초하여, 캡쳐된 이미지를 조절하기 위한 보상 유닛을 포함할 수 있다.

실시 예에 따라, 상기 모션 벡터들을 특징점 그룹과 타일 그룹을 포함하는 적어도 두 개 이상의 그룹들 중의 하나로 그룹화하기 위한 그룹화 회로를 더 포함하고, 상기 타일 그룹은 비디오 프레임으로부터 분할된 겹치지 않는 타일들을 포함할 수 있다.

실시 예에 따라, 상기 변환 선택기는 히스토리 스코어, 모션 스코어, 특징 스코어, 및 규모 스코어로부터 선택된 복수의 스코어링 함수들에 기초하여 상기 보상 변환을 식별하기 위한 것일 수 있다.

실시 예에 따라, 상기 적응 필터는 비-선형적으로 표준화된 시-적분된 익스커젼들에 기초하여 보상 윈도우의 과도한 오버-익스커젼을 방지하기 위한 것일 수 있다.

실시 예에 따라, 상기 적응 필터는 순환 필터들의 사용에 의해 익스커젼 히스토리를 보존하기 위한 것일 수 있다.

본 발명의 실시 예에 따른 방법과 장치는 좋은 비디오 안정성 특성을 유지하는 반면 입력 비디오의 큰 움직임과 함께 발생하는 과도한 오버-익스커젼을 방지하는 효과가 있다.

또한 본 발명의 실시 예에 따른 방법과 장치는 강 보상(strong compensation(SC)) 필터를 이용하여 높은 효율을 가지며 예측 가능한 상태로 지터 제거할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 디지털 이미지 안정화(DIS) 방법을 수행하는 DIS 회로의 블락도이다.
도 2는 복수의 타일 벡터 그룹들(tile vector groups)의 아핀(affine) 변환을 연산하기 위한 도 1에 도시된 DIS 회로에 포함된 감지 유닛의 블락도이다.
도 3은 도 1에 도시된 DIS 회로에 포함된 타일 그룹 변환과 특징 그룹 변환 Ti(n)의 스코어링(scoring)에 기초하여 주요(고정/배경) 변환 P(n)을 선택하기 위한 궤적 유닛의 일 실시 예에 따른 블락도이다.
도 4a는 도 1에 도시된 DIS 회로의 DIS 방법의 단계를 수행하기 위한 본 발명의 일 실시 예에 따른 그룹 변환 스코어링(group transform scoring) 및 선택 회로의 블락도이다.
도 4b는 본 발명의 일 실시 예에 따른 히스토리 스코어(story score) 계산 유닛의 블락도이다.
도 5는 본 발명의 일 실시 예에 따른 콜렉티브 변환 스코어링(collective transform scoring) 및 선택 회로의 블락도이다.
도 6은 본 발명의 일 실시 예에 따른 이동 객체 제외 회로(moving object exclusion circuit)의 블락도이다.
도 7은 본 발명의 일 실시 예에 따른 처리 단계를 나타내는 흐름도이다.
도 8은 캡쳐된 비디오 프레임과 본 발명의 일 실시 예에 따른 DIS 방법에 포함된 단계에서 계산되는 보상 윈도우를 나타내는 도면이다.
도 9는 DIS를 수행하는 DIS 모듈들의 블락도이다.
도 10은 본 발명의 일 실시 예에 따른 적응적 보상 필터 모듈의 블락도이다.
도 11은 본 발명의 일 실시 예에 따른 적응적 보상 필터 모듈의 개략적인 블락도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

본 발명의 일 실시 예에 따라, 각 캡쳐된 비디오 프레임은 디지털 이미지 안정화에 적합하도록 좋은 특징점 분포를 제공하는 특징점을 알고리즘적으로 (algorithmically) 선택하기 위한 목적으로, 적은 수의 겹치지 않는 타일들(tiles,전형적으로 표준 화질(standard definition)을 위한 4×4 타일들 및 고화질(high definition)을 위한 6×6 타일들)로 나누어진다. 상기 이미지의 다른 부분들은 적합한 특징점들의 다른 밀도를 가질 수 있다. 극단적인 경우, 예컨대, 어떤 구름도 없는 파란 하늘의 경우에 프레임의 부분은 어떠한 적합한 특징점들을 가지지 않을 수 있다. 다른 부분들에서, 잠재적인 특징점들은 매우 조밀할 수 있다.

얻어진 특징점 분포는 비디오 프레임, 예컨대, 겹치지 않는 타일들의 작은 부분에 기초하고, 각 타일 내의 특징점들의 개수가 상기 타일의 발광 이미지 데이터의 분산 σ²에 따라 선형적으로 증가한다. 더 관심 있는 이미지 데이터의 타일과 그에 따른 더 많은 특징점에 대한 요구는 더 높은 분산 σ²를 갖도록 예측된다.

만약 장면이 저광 조건(low light condition)에서 캡쳐되면, 그것은 상대적으로 더 많은 노이즈(noise)를 가질 것이고, 특징점들의 픽셀들의 개수는 타일 내의 픽셀들의 개수보다 훨씬 적기 때문에, 노이즈 효과는 타일들보다 특징점들에 더 크게 작용한다. 상기 타일 내의 픽셀들의 더 큰 개수는 노이즈 소거 효과를 제공하고 이러한 경우에 다운 샘플된 타일 기반 모션 벡터(downsampled tile-based motion vector)가 더 정확하다.

비록 장면이 저광 조건에서 캡쳐되지 않더라도, 만약 장면이 너무 플랫 (flat)하면, 타일-기반 모션 벡터는 더 정확할 수 있다. 만약 타일 장면이 구름 낀 하늘 또는 푸른 하늘과 같이 매우 플랫하면, 약간의 특징점들이 있을 수 있고 플랫 타일 내의 이러한 특징점들은 다음 프레임 내의 많은 장소 내의 매칭 점들 (matching point)과 유사한 레벨들(levels)을 발견할 수 있다. 그러나, 타일-기반 매칭 (tile-based matching)은 작은 특징-점 탐색 영역에만 의존하는 것이 아니고, 타일의 모든 패턴들이 타일 매칭 프로세스(process)에 공헌할 수 있다. 결과적으로, 타일-기반 모션 벡터들은 장면이 플랫할 때 더 신뢰할 수 있다.

특징점 모션 벡터 그룹의 가장 높은 스코어(score)가 주어진 문턱값 (threshold)보다 작을 때, 우리는 특징-점 기반 모션 벡터들 대신에 타일-기반 모션 벡터들을 사용하도록 결정하고, 이러한 전략은 높은 노이즈 또는 플랫(flat)한 장면들에서 효과적으로 작동한다.

본 발명의 개념의 실시 예에 따라, 우리는 배경과 큰 객체의 움직임을 나타내는 추정된 모션 벡터들을 선택하는 반면, 더 작은 물체들은 그것들과 관련된 정확한 모션 벡터를 가질 필요가 없다. 더 작은 객체에 대한 어떠한 부정확한 벡터들은 DIS 알고리즘의 이후 단계에서 제거될 수 있다.

글로벌 움직임 또는 카메라 움직임 때문에 의미가 있는(of significance) 큰 정적인 물체의 특징점들은 일관성 있는 경로로 이동할 것이 예측된다. 우리는 독립적으로 움직이는 충분하게 큰 물체들은 적어도 하나의 타일의 대부분을 커버 (cover)하는 것을 인지하고, 따라서 작은 물체의 모션이 타일 자체의 모션 벡터로 적은 효과를 가지는 한, 그들의 모션은 타일 자체의 우세(predominate) 모션으로서 추정될 수 있다.

우리는 최저의 해상도에서 블럭 매칭(block matching)을 이용해 타일별 하나의 모션 벡터를 얻는다. 타일-기반 모션 벡터들은 높은 노이즈 또는 플랫 장면 비디오들과 같은 특별한 경우에서의 카메라 궤적 결정을 위해 사용될 수 있다.

주어진 타일에 대한 모션 벡터는 절대 차이의 합(sum of absolute difference(SAD))을 최소로 하는 것이다. 그리고, 각 타일 내의 특징점들의 모션 벡터들을 계산하는 프로세스는 계층적 모션 추정 알고리즘의 사용함으로써 그리고 타일의 모션 벡터를 시작 벡터로서 사용하여 로컬 움직임 상의 타일 움직임을 취하여(preffering) 계산량을 줄이도록 변경될 수 있다.

적어도 하나의 타일의 대부분을 커버하는 충분히 큰 물체는 인접한 타일들로 확장할 수 있기 때문에, 각 타일 내의 몇몇의 특징점들은 그들이 발견된 타일의 모션 벡터보다 인접한 타일의 모션 벡터에 더욱 강하게 관련될 수 있다.

따라서, 모든 인접한 타일들의 모션 벡터들을 어떤 주어진 타일의 특징점들의 모션 벡터에 대한 블록 매칭 탐색의 멀티플(multiple) 시작 벡터들로서 사용하는 것이 효과적일 수 있다. 따라서 선택된 특징점들의 모션 벡터들을 얻기 위해 사용되는 시작 벡터들은, 그것이 존재한다면, 네 방향의 직접적인 이웃들(상측 타일, 좌측 타일, 우측 타일, 하측 타일)에 속하는 모션 벡터들과 마찬가지로 특징점이 속하는 타일의 모션 벡터들이다.

사용되는 각 시작 벡터들마다, 우리는 단지 특징점 모션 벡터들에 대한 로컬 탐색(local serach)을 위해 매우 작은 범위를 사용한다. 여기의 목적은 각각의 그리고 모든 특징점에 대한 정확한 벡터들을 결정하는 것이 아니다(배드(bad) 모션 벡터들은 DIS 프로세싱 체인(chain) 내에서 나중에 분류될 것이다).

오히려, 관심 있는 특징점들은 단지 배경 또는 큰 객체들에 속하는 것들이다. 그런 특징점들에 대해, 타일 모션 벡터들 중 하나는 좋거나, 관심 있는 특징점들의 모션 벡터에 가까워야 것이고, 그에 따라, 각 선택된 타일 모션 벡터들에 대한 작은 로컬 탐색은 충분하다.

작은 로컬 블록 매칭 탐색은 타일 내의 모든 선택된 특징점에 대한 시작 벡터들의 집합(set) 각각 주변의 고-해상도 도메인(이것은 오리지널 비디오 해상도, 또는 2 또는 4의 f_s3 요소에 의해 부표본화된(subsampled) 것일 수 있다.)에서 수행된다.

도 1은 본 발명의 개념의 실시 예와 관련된 디지털 이미지 안정화(DIS) 방법을 수행하는 디지털 이미지 안정화(DIS) 회로의 블럭도이다. 상기 DIS 회로는 수신된 저키 비디오(jerky video)를 분석하고, 인터-프레임 변환(T_i(n))을 출력하는 감지 유닛(2000), 인터-프레임 변환들(T_i(n)) 중에서 선택된 선택된 주요(principal)/보상(compensation) 변환(P(n))을 출력하는 궤적 유닛(trajectory unit; 4000), 및 선택된 주요/보상 변환(P(n))을 이용해 상기 저키 비디오를 수정하여 안정화된 비디오를 출력하는 보상 유닛(compensation unit; 6000)을 포함한다.

감지 유닛(2000)은 비디오 데이터의 수신된 프레임 내의 특징점들(FP)의 인터-프레임 모션 벡터들(inter-frame motion vector)과 겹치지 않는 타일들(타일 벡터들(tile vectors))의 인터-프레임 모션 벡터들을 추정한다. 감지 유닛(2000)은 특징점 모션 벡터 그룹 변환들과 타일 벡터 그룹 변환들(T_i(n))을 더 출력한다.

궤적 유닛(4000)은 인터-프레임 변환들(T_i(n)) 중에서 하나를 주요 변환 (P(n))으로서 선택하고, 따라서, 작은 이동 객체들과 움직이고 전체 프레임(entire frame)을 커버(cover)할 수 있는 큰 이동 객체들의 인터-프레임 변환들(T_i(n))을 제거한다.

도 2는 도 1의 DIS 회로의 DIS 방법의 단계로서 타일 벡터 그룹들의 아핀 (affine) 변환들을 계산하는 도 1의 DIS 회로 내의 감지 유닛(2000)의 블럭도이다.

감지 유닛(2000)은 특징점 회로(feature point circuit; 3000), 모션 벡터 (motion vector(MV) 그룹화(grouping) 회로(1300), 및 모션 벡터(MV) 그룹 아핀 변환 계산기(2010)를 포함한다.

특징점 회로(3000)는 비디오 데이터의 각 프레임을 수신하고, 보다 바람직하게(preferably) 각 비디오 프레임을 겹치지 않는 복수의 타일(tile)의 작은 숫자 j×k로 나눈다. 타일들의 개수 j×k는 SD 비디오(standard-definition video)를 위한 4×4로부터 HD 비디오(high-definition video)를 위한 6×6까지의 범위를 가질 수 있고, (4..8)×(4..8) 의 범위 내의 다른 숫자들 또한 가능하고, 유리할 수 있다.

상기 타일 사이즈(tile size)는 독립적으로 움직이는 충분히 큰 물체들이 적어도 하나의 타일의 대부분을 커버 할 수 있도록 선택되고, 작은 객체들의 모션 (motion)은 무시될 수 있는 반면, 충분히 큰 객체들의 모션은 DIS 목적에 따라 캡쳐될 수 있다. 특징점 회로(3000)는 수신된 비디오 프레임 내의 특징점들(SFPs)을 식별하여 선택하고, 특징점들과 타일들의 모션 벡터들(SFP MVs and Tile MVs)을 출력한다.

특징점 회로(3000)는 특징점 선택기(feature point selector)와 모션-벡터 계산기(motion vector calculator)와 공유된 RAM 메모리(350)를 포함한다. 특징점 선택기는 해리스-코너(Harris-Corner) 특징점 후보 식별기, 및 특징점 후보 분류기를 더 포함한다. 컴퓨터 파워(computational power)를 절약하고 요구되는 복수의 동작들(operations)의 개수를 감소시키기 위해, 특징점 회로(3000)는 루마(luma) 데이터에만 동작하고, 하나 이상의 다운샘플러들(downsamplers) 및 계층적 블럭-매칭 탐색 유닛을 포함한다.

특징점 회로(3000)는 모든 타일에 대한 하나의 모션 벡터(motion vector)를 추정한다. 타일 모션 벡터(Tile MV) 추정은 입력 이미지의 중앙을 커버하는 겹치지 않는 타일들(예컨대, 특징점 분류 알고리즘 내에 사용될 수 있는 같은 동일한 타일들)에 기초하여 수행된다. 복수의 타일들 각각에 대하여, 풀(full) 블럭 매칭 탐색은 깊게 다운샘플링된 이미지에 수행된다. 풀-탐색 블록 매칭은 모든 타일에 대하여 수행되고, 타일 모션 벡터(Tile MV)는 이후의 사용, 예를 들어, 특징점들(352에 저장된 SFP MV)의 모션 벡터들을 얻기 위하거나 정적인-객체 감지를 위한 계층적 블록-매칭 탐색부 내에서 시작 벡터로서의 사용을 위해 저장된다(356).

특징점 회로(3000)는 비디오 프레임의 타일들이라고 일컫는 작은 부분들(타일들)에 기초한 분포를 갖는 특징점들의 리스트(352)를 제공한다. 타일별 특징점들의 최대 개수는 타일의 발광 이미지 데이터의 분산 σ² 에 따라 선형적으로 증가한다. DIS 방법을 위한 좋은 특징점들은 적합한 모션 추정 알고리즘이 적용될 때 애매하지 않은(non-ambiguous) 모션 벡터들을 산출하는 점들이다. 이미지 내의 특징점들을 식별하기 위해, 해리스 코너(Harris-Corner) 감지 알고리즘은 이러한 픽셀이 특징점으로서 얼마나 적합한지 측정하기 위해 비디오 프레임의 픽셀들에 적용된다. 이미지의 서로 다른 부분들(타일들)은 식별된 특징점 후보들의 서로 다른 밀도를 가질 수 있다.

특징점 회로(3000)는 가급적으로 각 타일의 모션 벡터를 계산하기 위한 타일-벡터 계산기(tile-vector calculator)의 함수를 수행하는 모션-벡터 계산기 및 각 선택된 특징점(selected feature point; SFP)의 모션 벡터를 결정하고 출력하기 위한 계층적 블락-매칭 검색 유닛을 포함한다. 타일-벡터 계산기는 현재 프레임(F_t)의 깊게 다운샘플링 된 루마 데이터(luma data)를 사용하여 각 타일의 모션 벡터를 계산한다. 계층적 블락-매칭 검색 유닛은 최대-해상도의 또는 두 개의 연속된 프레임들의 다운 샘플링된 루마 데이터를 이용하여 선택된 특징점들 각각의 모션 벡터를 결정하고, 타일 벡터들을 시작 벡터들로서 사용할 수 있다.

데이터에 관련된 모든 특징점과 타일은 다음 DIS 블럭, 구체적으로 모션 벡터 그룹화 회로(motion vector grouping circuit; 1300)로 전달된다.

모션 벡터 그룹화 회로(1300)는 특징점 모션 벡터들과 타일 모션 벡터들에 대해 그룹화 알고리즘을 수행한다. 모션 벡터 그룹화 회로(1300)는 페어링 알고리즘 컨트롤러(pairing algirithm controller; 1302)에 의해 선택된 벡터들의 각 쌍을 비교함으로써 그룹화 결정들을 수행하는 모션 벡터 비교기(1310)를 포함한다.

모션 벡터 그룹화 회로(1300)는 연속적인 비디오 프레임들 사이에서 객체의 인지된(perceived) 관련 동작들에 기초하여 특징점 모션 벡터들을 장면 내의 객체들과 함께 선택된 특징점들(SFPs)의 모션 벡터들로 관련되도록 그룹화한다. 모션 벡터 그룹화 회로(1300)는 또한 연속적인 비디오 프레임들 사이에서 객체의 인지된 관련 동작들에 기초하여 타일 모션 벡터들을 장면 안의 객체들과 관련되도록 그룹화한다.

모션 벡터 그룹화 회로(1300)는 RAM 메모리(350)를 특징점 회로(3000)와 공유한다. 메모리(350)의 SPF MV 리스트(352) 부분은 선택된 특징점들(SFPs)의 위치들과 모션 벡터들의 리스트를 포함한다. 메모리(350)의 타일 MV 리스트(356) 부분은 겹치지 않는 타일들의 위치들과 모션 벡터들의 리스트를 포함한다.

페어링 알고리즘 컨트롤러(1302)는 어떤 특징점들과 타일들(모션 벡터들)이 어떤 다른 것들과 이전에 페어(pair)되었는지, 어떤 것이 언페어(unpaired)로 남았는지, 및 어떤 것들이 전체적으로 그룹화에서 제외될 것인지에 대한 트랙(track)을 유지한다. 페어링 알고리즘은 반복적으로 모션 벡터들의 쌍들(벡터 A & 벡터 B)을 모션 벡터 비교기(1310)로의 입력들로서 제공한다.

모션 벡터 그룹화 회로(1300) 내의 페어링 알고리즘 컨트롤러(1302)는 SPF MV 리스트(352)와 타일 MV 리스트(356)에 액세스(access)하고 모션 벡터 비교기(1310) 내의 비교를 위한 벡터들 A와 벡터들 B를 선택한다. 일련의 벡터A-벡터B 비교 결과 하나 이상의 벡터들의 그룹, 예컨대, 선택된 특징점들의 그룹과 타일들의 그룹인 경우, 페어링 알고리즘 컨트롤러(1302)는 그룹화된 모션 벡터들 또는 그것의 기술적인 리스트(descriptive list)를 메모리(350)의 FP MV 그룹 인벤토리(FP MV group inventories; 354) 부분과 타일 MV 그룹 인벤토리(358) 부분으로 라이트(write)한다.

모션 벡터(MV) 그룹 아핀 변환 계산기(2010)는 특징점 모션 벡터들의 각 그룹의 인터-프레임 변환을 계산하고, 타일 모션 벡터들의 각 그룹의 인터-프레임 변환을 계산하고, 그것들 모두를 T_i(n)으로서 출력한다.

도 3은 도 1의 DIS 회로의 DIS 방법의 단계들과 관련된, 타일 그룹 변환들과 특징 그룹 변환들(T_i(n))의 스코어링 방법에 기초하여 주요 (정적인/배경) 변환 P(n)을 선택하기 위한 도 1의 DIS 회로의 궤적 유닛(4000)의 블록도이다.

궤적 유닛(4000)은 타일 그룹 변환 스코어링 및 선택 회로(4100-1 또는 도 4a의 4100), 특징 그룹 변환 스코어링 및 선택 회로(4100-2 또는 도 4a의 4100), 콜렉티브(collective) 그룹 선택 회로(도 5의 4200), 이동 객체 제외 회로(moving object exclusion circuit; 도 6의 4400), 및 적응적 보상 필터(도 10 및 도 11의 8000)를 포함한다.

궤적 유닛(4000)은 장면 내의 이동 객체들을 무시하는 반면 언스테디 (unsteady) 카메라에 의해 야기되는 주요 모션(P(n))을 식별하고, 선택된 주요 변환 P(n)을 필터링(filtering)하고, 보상 변환(C(n))을 출력한다. 궤적 유닛(4000)은 수신된 인터-프레임 변환들(T_i(n)) 중에서 주요 변환(P(n))을 선택하도록 복수의 연속적인 스코어링 함수들을 사용한다.

도 4a는 도 1의 DIS 회로의 궤적 유닛(4000)의 그룹 변환 스코어링 및 선택 회로(4100)의 블럭도이다. 그룹 변환 스코어링 및 선택 회로(group transform scoring and selection circuit; 4100)는 변환 스코어 계산기(transform score calculator; 4150), 변환 품질 계산기(transform quality calculator; 4160), 및 도 1의 DIS 회로의 DIS 방법의 단계를 수행하는 그룹 변환 및 품질 선택기(group transform and quality selcctor; 4170)를 포함한다. 그룹 변환 스코어링 및 선택 회로(4100)는 타일 그룹 인터-프레임 변환(T_{Tile ,i}(n))으로부터 타일 그룹 주요 변환(GP_Tile(n))을 출력하고(4100-1), FP 인터-프레임 변환(T_{FP ,i}(n))으로부터 특징 그룹 주요 변환(GPFP(n))을 출력한다(4100-2).

도 4b는 도 4의 그룹 변환 스코어링 및 선택 회로(4100) 내의 히스토리 스코어 계산 유닛(history score calculation unit; 4110-1)의 일 실시예의 블록도이다.

도 4a 및 4b를 참조하면, 그룹 변환 스코어링 및 선택 회로(4100)는 히스토리 스코어 계산 유닛(4110)(예컨대, 4110-1), 모션 스코어 계산 유닛(4120), 특징 스코어 계산 유닛(4130)에 더하여 규모 스코어 계산 유닛(4140), 변환 스코어(S_i(n)) 계산기(4150), 변환 품질(Q_i(n)) 계산기(4160), 및 그룹 변환 및 품질 선택기(4170, 예컨대 4170-1)를 포함한다.

도 4a의 그룹 변환 스코어링 및 선택 회로(4100)의 그룹 변환 및 품질 선택기(4170)는 전체 변환 스코어 계산기(4150)로부터 수신된 (각 인터-프레임 변환 (T_i(n)) 의) 전체 변환 스코어(S_i(n))에 기초하여 (작은 이동 객체들의 인터-프레임 변환들을 배제시킴으로써) 인터-프레임 변환들(T_i(n)) 중 하나를 그룹 주요 변환(GP(n))으로서 선택하고, 그룹 주요 변환(GP(n))과 그것에 연관된 품질(Q(n))을 출력한다.

T_i(n)을 감지 유닛(2000)으로부터 수신된 모든 수신된 변환 후보들 중에서 i번째 변환이라고 한다. 여기서, n은 프레임과 시연속적인(time sequence nature) 성질을 나타낸다. GP(n)은 프레임 시간 n에서의 선택된 그룹 주요 변환이라고 한다. 즉, 선택된 i에 대해서 GP(n)=T_i(n)이다.

각 T_i(n)에 대해서, 전체 변환 스코어(S_i(n)) 계산기(4150)는 히스토리 스코어 계산 유닛(4110, 예컨대 4110-1)으로부터 히스토리 스코어(H_i(n))를 수신하고, 모션 스코어 계산 유닛(4120)으로부터 모션 스코어(M_i(n))를 수신하고, 특징 스코어 계산 유닛(4130)으로부터 특징 스코어(F_i(n))를 수신하고, 규모 스코어 계산 유닛(4140)으로부터 규모 스코어(E_i(n))를 수신하고, 전체 변환 스코어(S_i(n))를 아래의 식에 기초하여 계산한다.

S_i(n) = H_i(n)* M_i(n)* F_i(n) * E_i(n).

각 T_i(n)에 대해서, 변환 품질(Q_i(n)) 계산기(4160)는 특징 스코어 계산 유닛(4130)으로부터 특징 스코어(F_i(n))를 수신하고, 규모 스코어 계산 유닛(extent score calculation unit; 4140)으로부터 규모 스코어(E_i(n))을 수신하고, 아래의 식에 기초하여 변환 품질(Q_i(n))을 계산한다.

Q_i(n)=F_i(n)+E_i(n).

가장 큰 값(S_i(n))을 가지는 T_i(n)은 도 4a의 그룹 변환 스코어링 및 선택 회로(4100)의 그룹 변환 선택기(4170)에 의해 그룹 주요 변환(GP(n))으로서 선택될 수 있다. 따라서, 실시 예에 따라, 도 1의 DIS 회로의 DIS 보상 유닛(6000) 내에서, 가장 높은 스코어(S_i(n))을 갖는 인터-프레임 변환 후보(T_i(n))는 그룹 주요 변환(GP(n))으로서 선택되고, 지터(jittery) 카메라 모션을 보상하기 위한 보상 변환 (C(n))을 생산하기 위해서 적응적으로 필터링된다.

히스토리 스코어 계산 유닛(4110, 예컨대 4110-1)은 그룹 주요 변환(GP(n))의 히스토리(history)를 저장하고, 그룹 주요 변환(GP(n))의 저장된 히스토리의 소정의 길이(HL)에 기초하여 각 T_i(n)에 대한 히스토리 스코어(H_i(n))를 계산, 예컨대 감지 유닛(2000)으로부터 각 T_i(n)이 수신된 순서대로 계산한다.

상기 길이(HL)는 선행 프레임들의 소정의 개수를 나타내는 정수이다. 입력되는 T_i(n)은 수학적으로 이전에-선택된 그룹 주요 변환들(GP(n-1)...GP(n-k))을 저장하는 길이(HL) 각각과 비교된다. 여기서, 상기 k는 1(직전 프레임:n-1 을 의미한다)부터 HK(시간적으로 더 먼 프레임:n-HK)까지의 범위를 가지는 인테그랄 프레임-타임 인덱스(integral frame-time index)이다.

T_i(n)의 변환들은 이전에-선택된 그룹 주요 변환들(GP(n-1)부터 GP(n-HL))을 저장하는 길이(HL)와 더 높은 코릴레이션(correlation)를 가질수록 더 높은 히스토리 스코어(H_i(n))를 가진다.

T_i(n)과 각 GP(n-k) 사이의 코릴레이션(H_i,k(n))은 범위 [0,1]내에서 1에서 정규화된 놈(normalized norm)을 뺀 값(1-|T_i(n)-GP(n-k)|)이고, 1과 같은 H_{i ,k}(n)의 값은 가장 높은 코릴레이션를 지시한다.

각 코릴레이션(H_{i ,k}(n)(1-| T_i(n)-|GP(n-k)|))의 공헌은 상응하는 히스토리-웨이트(history-weight; HW(k))에 의해 웨이팅된다(weighted).

히스토리 스코어(H_i(n))는 전체 코릴레이션이고, H_{i ,k}(n)의 합에 웨이팅된 HW(n-k)이다. 여기서 1< k< HL 이고, 상기 HL은 히스토리의 길이(이전 프레임들의 개수)이다. 따라서,

복수의 웨이트들(weights) HW(n-HL)에서 HW(n-1))은 그들의 합이 1과 같고, 히스토리 스코어(H_i(n)) 출력이 비선형적으로 정규화되고, 연속적인 범위([0,1])를 갖도록 선택된다.

도 4b에 도시된 히스토리 스코어 계산 유닛(4110)의 하드웨어 구현 예(4110-1)는 저장된 콘텐츠들을 비교기(4114)로 출력하기 위해 (n-1에서 n-HL에 대한) HL 탭들(HL taps)을 갖는 HL을 이전에-선택된 그룹 주요 변환(GP(n-1) 내지 GP(n-HL))에 저장하기 위한 FIFO(first-in-first-out) 메모리 버퍼를 포함한다. 비교기 (4114)는 전류(T_i(n))을 이전에-선택된 그룹 주요 변환들(GP(n-1) 내지 GP(n-HL))에 저장된 HL 각각과 비교하고, 히스토리 웨이트들(HW(n-1) 내지 HW(n-HL))에 의해 웨이팅된 각 비교 결과를, 연속 구간 [0,1]에서 전체 코릴레이션을 전체 히스토리 스코어(H_i(n))로서 출력하는 전체 히스토리 스코어 계산기(4116)로 출력한다.

모션 스코어 계산 유닛(motion score calculation unit; 4120)은 각 T_i(n)을 수신하고, 오직 T_i(n)에만 기초하여 그것의 모션 스코어(M_i(n))를 계산한다. 다른 실시 예에 따라, 모션 스코어 계산 유닛(4120)은 모션 스코어(M_i(n))를 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신할 수 있다. 작은 모션에 대한 변환들은 높은 모션 스코어(M_i(n))를 가지고, 그룹 주요 변환(GP(n))이 되기 더 좋다. T_i(n) 중에서 각 인터-프레임 변환에 대하여, 모션 스코어 계산 유닛 (4120)은 모션 스코어(M_i(n))를 계산한다.

M_i(n)은 작은 모션에 대응하여 큰 값을 가지고, 큰 모션에 대응하여 작은 값을 가진다. 모션(M_i(n))은 변환의 수평, 수직, 또는 전체 선형 이동에 기초할 수 있다. 모션 스코어(M_i(n))는 선형 이동에 반대로 연관되고, 연속 구간[0,1]을 갖도록 비선형적으로 표준화될 수 있다.

특징 스코어 계산 유닛(feature score calculation unit; 4130)은 각 T_i(n)을 수신하고, 오직 T_i(n)에만 기초하여 그것의 특징 스코어(F_i(n))를 계산한다. 다른 실시 예에 따라, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))을 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신할 수 있다.

T_i(n) 중의 각 인터-프레임 변환에 대해서, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))를 계산한다. 특징 스코어(F_i(n))는 T_i(n) 중에서 각 인터-프레임 변환에 의해 표현되는 특징점 그룹을 만들기 위해 함께 그룹화된 특징점들의 개수와 관련된다. T_i(n) 중의 변환들은 그룹별 특징점들을 더 많이 가질수록 더 높은 특징 스코어(F_i(n))를 가진다. 특징 스코어(F_i(n))는 연속 구간 [0,1]을 갖도록 비선형적으로 표준화될 수 있다.

규모 스코어 계산 유닛(extent score calculation unit; 4140)은 각 T_i(n)을 수신하고, 오직 T_i(n)에 기초하여 그것의 규모 스코어(E_i(n))를 계산한다. 다른 실시 예에 따라, 규모 스코어 계산 유닛(4140)은 규모 스코어(E_i(n))을 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신할 수 있다.

T_i(n) 중에서 각 인터-프레임 변환에 대해, 규모 스코어 계산 유닛(4140)은 규모 스코어(E_i(n))를 계산한다. 넓은 영역을 커버하는 특징점들을 갖는 T_i(n) 중의 변환들은 커버하는 영역이 클수록 더 높게 스코어링 된다. 규모 스코어(E_i(n))는 더 넓은 영역을 커버하는 것에 대응하여 더 큰 값을 가지고, 반대로 더 좁은 영역을 커버하는 것에 대응하여 더 작은 값을 가진다. 규모 스코어(E_i(n))는 변환의 그룹의 모든 특징점들을 포함하는 직사각형 영역의 높이와 폭의 곱에 관련된다. 규모 스코어(E_i(n))는 연속 구간 [0,1]을 갖도록 비선형적으로 표준화될 수 있다.

본 발명의 개념에 따른 다양한 실시 예들은 제외시키지 않으면 비디오 안정화에 원하지 않는 결과들을 야기시키는 전체 장면을 가로질러 움직이는 큰 객체들을 제외하기 위하여 장면 히스토리 분석을 사용한다. 적절한 장면 히스토리 분석이 없다면, 주요 변환 선택기는 큰 이동 객체 (특히 그것이 전체 화면을 커버한다면)에 대응되는 변환 후보를 선택하게 될 것이다. 우리는 큰 객체가 가로질러 움직이고 전체 장면을 채우는 경우 변환 후보들(T_i(n))은 불안정한 카메라에 대응하는 주요 변환(P(n))을 포함하지 않는다고 알 것이다.

도 5는 도 1의 DIS 회로의 궤적 유닛(4000)의 콜렉티브 변환 스코어링 및 선택 회로(4200)의 일 실시 예의 블럭도이다. 콜렉티브 변환 스코어링 및 선택 회로 (4200)는 콜렉티브 판정(collective decision; CD(n))을 계산하는 콜렉티브 판정 계산기(collective decision calculator; 4250)와 도 1의 DIS 회로의 DIS 방법의 단계들로서 콜렉티브 주요 변환(collective principal transform; CP(n))을 출력하는 콜렉티브 변환 선택기(collective transform selector; 4260)를 포함한다.

도 5의 콜렉티브 판정 계산기(4250)는 특징 그룹 변환 품질(feature group transform quality; Q_FP(n)), 타일 그룹 변환 품질(tile group transform quality; Q_Tile(n)), 및 감지 유닛(2000)으로부터 수신된 특징 그룹 변환 후보들(feature group transform candidates;K_FG(n))의 개수로부터 콜렉티브 판정(CD(n))을 산출한다.

실시 예에 따라 콜렉티브 판정 계산기(4250)는 특징 그룹들의 개수(K_FG(n))로부터 비선형적으로 표준화된 프래그멘테이션 메져(fragmentation measure;Θ_F(n))를 계산하며, Θ_F(n)는 K_FG(n)이 작을 때 0이고, Θ_F(n)는 K_FG(n)이 클 때 1이다. 따라서 Θ_F(n) 값이 1에 가까운 것은 비디오 장면의 모든 특징점들이 많은 특징 그룹들로 분열된 것을 나타내고, 반대로 Θ_F(n) 값이 0에 가까운 것은 비디오 장면의 모든 특징점들이 적은 특징 그룹들로 분열된 것을 나타낸다.

콜렉티브 판정 계산기(4250)는 Q_F(n)과 Θ_F(n)*Q_T(n)을 비교함으로써 콜렉티브 판정(CD(n))을 출력하고, 만약 Q_F(n)>Θ_F(n)*Q_T(n)이면 컬렉티브 판정(CD(n))은 특징 그룹을 선택하도록 설정된다. 그리고 만약 Q_F(n)<=Θ_F(n)*Q_T(n)이면 컬렉티브 판정(CD(n))은 타일 그룹을 선택하도록 설정된다. 이 공식에서, 만약 특징 그룹들이 분열되지 않았다면 Θ_F(n) 값이 0에 가깝고, 상기 특징 그룹은 더 선택되기 쉽다. 반면에 만약 특징 그룹들이 분열되었다면 Θ_F(n) 값이 1에 가깝고, 타일 그룹 변환 품질 (Q_Tile(n))은 특징 그룹 변환 품질(Q_FP(n))과 대등한 입장에서 비교된다.

콜렉티브 변환 선택기(4260)는 특징 그룹 주요 변환(GP_FP(n))과 타일 그룹 주요 변환(GP_Tile(n)) 사이에서 선택을 수행한다. 콜렉티브 변환 선택기(4260)는 콜렉티브 판정(CD(n))에 의해서 제어되어, 출력 콜렉티브 주요 변환(CP(n))은 CD(n)이 특징 그룹으로 설정될 때 특징 그룹 주요 변환(GP_FP(n))으로 설정되고, 그렇지 않은 경우 타일 그룹 주요 변환(GP_Tile(n))으로 설정된다.

이 실시 예에서, 콜렉티브 변환 스코어링 및 선택 회로(4200)는 특징 그룹 변환 품질(Q_FP(n)) 및 타일 그룹 변환 품질(Q_Tile(n))에 기초하여 선택들을 수행한다. 이러한 그룹 변환 품질들은 특징 스코어 계산 유닛(4130)과 규모 스코어 계산 유닛 (4140)으로부터의 입력들을 수신하는 도 4a의 변환 품질 계산기(4160)에 의해 계산된다.

특징 스코어 계산 유닛(4130)은 그것의 특징-기반(feature-based)과 타일-기반(tile-based) 변환(T_i(n))의 특징 스코어(F_i(n))를 계산한다. 이 실시 예에서, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))을 계산하는 목적으로 감지 유닛 (2000)으로부터 저장된 정보를 수신한다.

T_i(n) 중에서 각 인터-프레임 변환에 대해서, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))을 계산한다. 하나의 그룹의 더 많은 특징점들 또는 하나의 그룹의 더 많은 타일들의 변환들(T_i(n))은 더 높은 특징 스코어(F_i(n))을 가질 것이고, 이는 특징 그룹 변환 품질(Q_FP(n)) 또는 타일 그룹 변환 품질(Q_Tile(n)) 각각이 더 높아지도록 할 것이다. 실시 예에 따라 타일별 특징점들의 개수는 특징-기반 변환들(T_i(n))의 스코어 특징 스코어(F_i(n))를 지배할 수 있다.

다른 실시 예에 따라, 타일들의 개수는 타일-기반 변환들(T_i(n))의 스코어 특징 스코어(F_i(n))를 지배할 수 있다. 타일별 특징점들의 개수, 및/또는 타일 벡터들의 각 그룹 내의 타일들의 개수는 감지 유닛(2000)으로부터 직접 얻어질 수 있다.

규모 스코어 계산 유닛(4140)은 특징-기반 및 타일-기반 변환들(T_i(n))의 규모 스코어(E_i(n))를 계산한다. 이 실시 예에서, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))를 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신한다.

특징점들 또는 타일들의 변환들은 더 넓은 영역에 걸칠수록 더 높게 스코어링 될 수 있다. 특징점의 개수와 타일 벡터들의 각 그룹 내의 타일들의 차원들은 감지 유닛(2000)으로부터 직접 얻어질 수 있다.

이와 유사하게 특징-기반 모션 벡터들의 각 그룹의 수평 및 수직 방향의 규모는 감지 유닛(2000)으로부터 직접 얻어질 수 있다. 특징 그룹들 또는 타일 그룹은 더 넓은 영역에 걸칠수록 더 높은 규모 스코어(E_i(n))을 가질 것이고, 그 결과 특징 그룹 변환 품질(Q_FP(n)) 또는 타일 그룹 변환 품질(Q_Tile(n)) 각각은 더 높아진다. 이 실시 예에서, 규모 스코어 계산 유닛(4140)은 규모 스코어(E_i(n))을 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 규모 정보를 수신한다.

콜렉티브 주요 변환(collective principal transform; CP(n))이 콜렉티브 변환 스코어링 및 선택 회로(4200)에 의해서 선택되고 난 후, 대형 객체 제외 하드웨어(large object exclusion hardware)는 선택된 콜렉티브 주요 변환(CP(n))이 전체 장면에서 움직이고 전체 장면을 커버하는 대형 이동 객체인지 여부를 판단한다.

상기 제외(exclusion)가 효과적인 경우 단위 변환(unity transform; UT)이 대체물로 생성되고, DIS 시스템의 보상 회로를 위해 선택된 주요 변환(P(n))으로서 제공되어, 안정화된 비디오는 부정확하게 또는 불필요하게 대형 이동 객체의 변환을 하지 않을 것이다.

실시 예에 따라, 이동 객체 제외 방법(moving object exclusion method)은 두 가지 관측에 기초하여 활성화된다. 여기서 상기 두 가지 관측은 이미 존재하는 정적인 배경(P(n)의 히스토리에 의해 지시되는)과, 정적인 배경과 대형 이동 객체의 공존의 시간-주기(time-period of co-existence)이다.

이동 객체 제외 방법은 아래의 시나리오(scenario)를 다루는데 아주 효과적일 수 있다. 장면이 대부분 이동 객체가 있거나 없는 정적인 배경이다. 대형 이동 객체는 장면으로 진입하고 점차적으로 더 큰 영역을 커버한다. 상기 대형 이동 객체는 전체 장면을 커버한다. 상기 대형 이동 객체는 장면을 떠나기 시작하고, 배경이 다시 나타나기 시작한다. 상기 대형 이동 객체는 마침내 사라진다.

상기 이동 객체 분석기는 제외 시나리오(IF)를 감지한다:

연속적으로 정적인 MV 그룹의 존재는 대부분 정적인 배경으로 된 장면을 지시한다.

연속적으로 유사한-속도의 MV 그룹들의 카운트(count) 증가는 장면 안으로 움직여 들어오는 객체를 지시한다.

이러한 추세가 계속되고, 시간 n에서 연속적으로 유사한-속도의 MV 그룹들이 전체 장면을 커버하고 정적인 MV 그룹이 없어지면 상기 제외 시나리오가 검출된다.

제외 판정(exclusion decisio; ED(n))은 제외 변환 선택기로 보내진다. 제외 변환 선택기는 ED(n)이 제외 시나리오를 지시하지 않으면 콜렉티브 주요 변환 (CP(n))을 선택하고, 그 시나리오 안에서 주요 변환(P(n))은 기준 변환으로 설정된다. 따라서, 대형 이동 객체가 전체 장면을 커버할 때에도 안정화된 비디오는 부정확하게 대형 이동 객체를 따르지 않을 것이다.

도 6은 도 1의 DIS 회로의 궤적 유닛(4000)의 이동 객체 제외 회로(4400)의 일 실시예의 블록도이다. 이동 객체 제외 회로(moving object exclusion circuit; 4400)는 이동 객체 분석기(moving object analyzer; 4470) 및 도 1의 DIS 회로의 DIS 방법 내의 단계를 수행하는 제외 변환 선택기(exclusion transfer selector; 4480)를 포함한다.

이동 객체 제외 회로(4400)는 장면의 히스토리를 저장하기 위한 복수의 그룹 히스토리 회로들(4410, 4420, 4430, 및 4440), 및 이동 객체 분석기(4470)를 포함한다. 어느 때라도, 단지 하나의 지정된 정적인 그룹(G₀)가 있으나, 0 또는 그 이상의 현재(existing) 모션 그룹들 G_K(k＞0)가 있을 수 있다. 또한 다음 프레임 동안 k (예컨대, k(n+1)=k(n)+1) 현재 모션 그룹들 G_k 중 하나가 될 수 있는 새로운 모션 그룹 G_N이 있을 수 있다.

정적인 그룹(G₀)은 관련된 그룹 히스토리(GH₀)를 가진다. k 현재 모션 그룹들(G_k)는 관련된 모션 벡터(M_k) 뿐만 아니라, 관련된 그룹 히스토리(GH_k)도 가진다. 각 현재 모션 그룹(G_K)는 기본적으로 프레임 n까지 시간이 지남에 따라 유사한-속도의 T_i(n) 각각에 대해 저역-통과 필터된 |T_i(n)|인 모션 벡터(M_k)를 갖는다.

각 새로운 모션 그룹(G_N)은 그것의 생성(creation)의 시간에 초기화된 관련된 그룹 히스토리(GH_N(n))을 가진다. 이동 객체 분석기(4470)는 복수의 그룹 히스토리들(GH₀(n), GH₁(n),...GH_J(n)), 및 GH_K(n)을 포함하는 장면 히스토리와 GH_N(n)을 수신하고, 그것들로부터 제외 판정(ED(n))을 계산한다.

제외 변환 선택기(4480)는 단위 변환(UT)과 콜렉티브 주요 변환(CP(n)) 사이의 선택을 수행한다. 제외 변환 선택기(4480)는 제외 판정(ED(n))에 의해 제어되어 ED(n)이 활성화되었을 때 출력 주요 변환(P(n))은 단위 변환(UT)으로 설정되고, 그렇지 않은 경우 콜렉티브 주요 변환(CP(n))으로 설정된다. 단위 변환(UT)은 보상 유닛(6000)이 보상 동안 아무것도 하지 않도록 야기시킬 것이다.

따라서, 이동 객체 분석기(4470)가 "대형 이동 객체(large moving object)" 시나리오를 감지하고 제외 판정(ED(n))을 활성화할 때, 그렇지 않은 경우 주요 변환(P(n))으로서 선택될 수 있는 대형 이동 객체의 변환은 선택된 주요 변환(P(n))이 되는 것으로부터 제외된다. 효과에서, 대형 이동 객체의 변환은, 감지될 때, 도 1의 보상 유닛(6000)에 의해 수행되는 보상으로부터 제외된다.

도 7은 도 6의 이동 객체 제외 회로(4400) 내의 모션 그룹 히스토리 회로의 일 실시 예에서 수행되는 단계들을 자세히 설명하는 혼합된 블록 다이어그램-플로우 차트이다. 이동 객체 제외 회로(4400)는 도 1의 DIS 회로의 DIS 방법의 단계들을 수행한다. 도 7은 정적인 그룹(G₀), 현재 모션 그룹(G_K), 및 새롭게 생성된 모션 그룹(G_{N +1})에 각각 대응하는 대표적인 그룹 히스토리 회로(4410, 4430, 및 4440)를 상세히 도시한다.

도 6의 이동 객체 제외 회로(4400)의 이동 객체 분석기(4470)에 의해 그룹 히스토리 회로들(예컨대, 4410)로부터 수신된 그룹 히스토리들(예컨대, H₀(n))은 각 그룹과 관련된 두 종류의 히스토리 데이터, 선택-히스토리(예를 들어, SH₀(n))와 현재-히스토리(Existence-History, 예컨대, EH₀(n)) 를 포함한다.

이동 객체 분석기(moving objet analyzer; 4470)는 다음과 같이 제외 시나리오를 감지한다. 정적인 변환(G₀(n))의 그룹 히스토리(GH₀) 내에서 지시된 연속적인 존재(existence) 및 선택들은 많은 수의 프레임 동안 존재한 대부분의 정적인 배경의 장면(scene)을 지시한다. 구체적인 모션 그룹(G_K)의 그룹 히스토리(GH_K)내의 연속하는 존재들의 점차적으로 증가하는 숫자는 객체가 장면(scene) 안으로 들어온다는 것을 나타낸다; 만약 존재들 및 모션의 현 추세가 지속되면, 그리고 시간(n)에서 선택된 변환 P(n)이 G_K에 결합하는 것을 제외하고 정적인 변환이 G₀에 속하지 않으면, 대형 이동 객체 시나리오가 감지되고, 활성화된 제외 판정(ED(n))이 주요 변환 선택기(4160-2)로 보내진다. 만약 ED(n)이 대형 객체 제외 시나리오를 지시한다면, 주요 변환(P(n))은 단위 변환으로 설정되고, 그렇지 않은 경우, 주요 변환(P(n))은 T_i(n)의 어떤 스코어링(scoring) 함수에 따라 선택된다.

그룹 히스토리 회로(4410, 4420, 4430, 및 4440) 각각은 수신된 인터-프레임 변환들(T_i(n)) 중 하나에 관련된 각 그룹에 대한 히스토리 정보의 3가지 종류들의 저장 및 처리를 수행한다. 그룹 히스토리의 상기 3가지 종류는 선택 히스토리, 현재-히스토리(existence-history), 및 모션-히스토리이다. 정적인 그룹 G₀는 영상 안정화 시작시 비어있는 히스토리와 함께 생성된다. 정적인 그룹 G₀의 모션 히스토리는 생략될 수 있고, 널(null)로 추정될 수 있다. 모션 그룹 (G₁,...,G_K,...,G_N)은 DIS 비디오 프로세싱의 코스 동안 동적으로 생성되거나 삭제될 수 될 수 있다.

도 7을 참조하면 정적인 그룹(G₀), N 현재 모션 그룹(G_k), 및 새롭게 생성된 모션 그룹(G_{N +1})에 각각 대응하는 그룹 히스토리 회로들(4410, 4430, 및 4440)은 그룹 히스토리들(GH₀, GH_K, 및 GH_N+1)을 제공한다.

모션 그룹(Go)의 그룹 히스토리 회로(4410)은 선택-히스토리(SH₀)와 존재-히스토리(EH₀)의 저장을 위한 히스토리 메모리를 포함한다. 존재-히스토리(EH₀)는 인터-프레임 변환들(T_i(n))이 이전 프레임들 내의 모션 그룹(G₀)에 결합되었는지 여부를 지시하는 과거 프레임 값별 1-비트이다. 선택-히스토리(SH₀)는 모션 그룹(G₀)에 결합된 인터-프레임 변환(T_i(n))이 이전 프레임들 내의 주요 변환(P(n))으로서 선택되었는지 여부를 지시하는 과거 프레임 값별 1-비트이다.

그룹(G₀)은 정적으로 여겨지기 때문에, 선택된 주요 변환(P(n))을 포함하는 어떤 T_i(n)이 정적인 그룹(G₀)에 속하는지 여부의 판정(판정 단계 dS4418)은 T_i(n)을 다양한 히스토리에-근거한 모션 벡터(M₀)보다 문턱 값(thd₀)와 비교하는 것에 의존하기 때문에 정적인 그룹(G₀)의 그룹 히스토리 회로(4410)은 모션-히스토리(M₀)를 생략한다. 정적인 그룹(G₀)은 비디오 안정화 시작시에 비어있는 히스토리와 함께 만들어진다.

만약 프레임 n동안 T_i(n)이 |T_i(n)|＜thd₀ 를 만족하면, (판정 단계 dS4418의 YES 브랜치(branch)):

이 T_i(n)은 G₀에 속한다;

존재-히스토리(EH₀)는 프레임 n에서 정적인 변환의 존재를 지시하기 위해 업데이트 된다;

만약 P_i(n) = 상기 T_i(n) 라면, 선택-히스토리(SH₀)는 상기 T_i(n) 선택을 지시히기 위해 업데이트 된다.

그렇지 않은 경우, (판정 단계 dS4418의 NO 브랜치), 프레임 동안 |T_i(n)|＜thd₀를 만족시키지 않으면, T_i(n)은 존재 모션 그룹(G₁~G_N) 각각 내의 그룹 히스토리와 비교된다.

모션 그룹(G_K)의 그룹 히스토리 회로(4430)은 선택-히스토리(SH_K), 및 존재-히스토리(EH_K), 및 모션-히스토리(M_K)의 저장을 위한 히스토리_K 메모리를 포함한다. 존재-히스토리(EH_K)는 인터-프레임 변환(T_i(n))이 이전 프레임들 내의 모션 그룹(G_K)에 속하는지 여부를 지시하는 과거 프레임 값 별 1-비트이다. 선택-히스토리(SH_K)는 모션 그룹(G_K)에 속한 인터-프레임 변환(T_i(n))이 이전 프레임들 내의 주요 변환(P(n))으로서 선택되었는지 여부를 지시하는 지난 프레임 값마다 1-비트이다.

모션-히스토리(M_K)는 그룹(G_K)의 전체적인 모션의 벡터(M_K)를 지시하는 정보를 저장한다. 각 T_i(n)은 또한 모션 벡터(M)으로 맵핑(map)한다. 각 모션 그룹(G_K)은 모션 벡터(M_K)로 맵핑한다. |T_i(n)|을 T_i(n)의 모션 벡터의 사이즈로 하고, |T_i(n)-M_K|을 1≤K≤N(N은 현재의 현재 모션 그룹들의 개수)에서 현재 모션 그룹(G_K)의 모션 벡터(M_K)로부터 T_i(n)의 편차로 한다. N개 존재하는 모션 그룹들 중에서 최소의 |T_i(n)-M_J|를 갖는 모션 그룹(G_J)는 T_i(n)에 대한 가장 매칭되는 그룹(G_J)를 지시한다. 상기 조인(join) 판단은 |T_i(n)-M_J|를 소정의 문턱 값(thd₁)과 비교하여 결정될 수 있다. 따라서, 예를 들어, 판정 단계 dS4438에서, 만약 1과 N 사이의 특정한 J 및 모든 K에서 |T_i(n)-M_J|≤|T_i(n)-M_K|이고, |T_i(n)-M_J|＜thd₁ 이라면 (판정 단계 dS4438의 YES 브랜치), 상기 T_i(n)은 존재하는 모션 그룹(G_J)에 조인한다.

만약 모든 K에 대하여 |T_i(n)-M_J|＜thd₁ 이고 |T_i(n)-M_J|＜|T_i(n)-M_K| 라면 (판정 단계 dS4438의 YES 브랜치):

T_i(n)은 G_J에 속한다,

모션-히스토리(M_J)는 새롭게 속한 T_i(n)을 반영하도록 조정된다;

현재-히스토리(EH_J)는 프레임 n에서 모션 그룹(G_J)의 존재를 지시하기 위해 업데이트 된다;

만약 P(n) = 상기 T_i(n) 이라면, 선택-히스토리(SH_J)는 상기 T_i(n)=P(n)의 선택을 지시하기 위해 업데이트 된다.

반면에, 만약 판정 단계 dS4438이 T_i(n) 및 모든 존재하는 모션 그룹(G₁~G_N)을 위해 반복되어 왔고 M_K 중 아무것도 |T_i(n)-M_K|＜thd₁ 을 만족시키지 못했다면 (판정 단계 dS4438의 NO 브랜치), 상기 T_i(n)은 새롭게 형성된 모션 그룹(G_{N +1})에 속한다(S4449 단계). 만약 이 T_i(n)이 새롭게 형성된 모션 그룹(G_{N +1})에 속한다면 (S4449 단계):

T_i(n)은 새롭게 형성된 모션 그룹(G_{N +1})에 속한다;

모션-히스토리(M_N+1)은 이 T_i(n)의 모션 벡터로 설정된다;

존재-히스토리(EH_N+1)은 프레임 n에서 새로운 모션 그룹(G_{N +1})의 존재를 지시하기 위해 초기화된다;

만약 P(n) = 상기 T_i(n) 이라면, 선택-히스토리(SH_N+1)은 상기 T_i(n)=P(n)의 선택을 지시하기 위해 업데이트 된다.

시간의 확장된 주기(프레임들)에 참여하는 어떤 T_i(n) 없는 어떠한 모션 그룹(G₀~G_J 중의)은 삭제될 것이다.

도 8은 시간 n 일 때 캡쳐된 비디오 프레임과 주요 변환(P(n))으로부터 계산된 보상 변환(C(n))에 상응하는 보상 윈도우를 나타내는 도면이고, 수직 오버-익스커젼(v1)은 줄어들 수 있다.

보상 윈도우의 수직 오버-익스커젼은 본 발명의 실시 예에 따른 DIS 방법의 단계에서 수직 오버-익스커젼(v1)으로서 측정된다.

도 8을 참조하면, 캡쳐된 비디오 프레임의 보상 변환(C(n))에 상응하는 보상 윈도우는 수직 오버-익스커젼(v0 또는 v1), 수평 오버-익스커젼(u0 또는 u1), 또는 수직 오버-익스커젼(v0 또는 v1) 및 수평 오버-익스커젼(u0 또는 u1) 모두를 가질 수 있다.

각각의 잠재적인 오버-익스커젼들(v0, v1, u0, 및 u1)은 보상 변환 (C(n))의 병진 성분, 보상 변환(C(n))의 회전 성분, 또는 보상 변환(C(n))의 병진 성분 및 회전 성분의 조합에 의해서 발생할 수 있다.

익스커젼들의 히스토리에 기초하여 각 캡쳐된 비디오 프레임에 대한 필터링된 보상 변환(C(n))을 출력하기 위해서 주요 변환(P(n))을 적응적으로 필터링 함으로써 오버-익스커젼들(v0, v1, u0, 및 u1)을 최소화하는 것이 바람직하다.

도 9는 본 발명의 개념에 따른 다른 실시 예에 따라 DIS를 수행하는 DIS 회로의 블락도이다.

DIS 회로는 수신된 져키 비디오를 분석하고 인터-프레임 변환(Ti(n))을 출력하는 감지 유닛(2000), Ti(n) 중에서 주요 변환(P(n))을 식별하는 주요 변환 선택 회로들(4100, 4200, 및 4400) 및 주요 변환(P(n))을 보상 변환(C(n))으로 필터링하는 적응적 보상 필터(8000)를 포함하는 궤적 유닛(4000), 및 져키 비디오 프레임들을 보상 변환(C(n))을 사용하여 수정함으로써 안정화된 비디오를 출력하는 보상 유닛(6000)을 포함한다.

주요 변환 선택 회로들(4100, 4200, 및 4400)은 장면 안의 이동 객체들의 인터-프레임 변환들(Ti(n))을 무시하고 언스테디 카메라에 의해서 발생된 글로벌 모션의 인터-프레임 변환(Ti(n))을 식별함으로써 인터-프레임 변환들(Ti(n)) 중에서 하나를 주요 변환(P(n))으로서 선택하고, 그것의 선택을 계산된 주요 변환(P(n))으로서 출력한다.

따라서 DIS 회로의 주요 변환 선택 회로들(4100, 4200, 및 4400)은 인터-프레임 변환들(Ti(n)) 중 하나를 계산된 주요 변환(P(n))으로서 선택하고 출력한다.

보상 변환(C(n))은 주요 변환(P(n))을 적응적으로 필터링 함으로써 얻어진다. 보상 변환(C(n))은 상응하는 입력 비디오 이미지와의 관계에서 안정화된 비디오 이미지(보상 윈도우)의 기하학적 구조의 표현이다.

상기 표현은 위치, 앵글(angle), 크기 등을 포함한다. 보상 변환들에 사용되는 몇몇은 보통 유사 변환(similarity transform) 및 아핀 변환이지만, 발명의 개념이 상기 변환들에 한정되지 않으며, 우리는 본 발명의 개념에 따른 일 실시 예의 방법의 설명을 위해 아핀 변환을 사용할 것이다.

주요 변환 선택 회로들(4100, 4200, 및 4400)은 순차적으로 프레임들의 연속적인 시퀀스의 선택된 주요 변환들(P(n-∞),...P(n-1), P(n))을 적응적 보상 필터(8000)로 출력한다. 주요 변환(P(n-∞))은 반복적인(무한 임펄스 응답(imfinite impulse response(IIR))) 필터들의 사용을 지시한다.

적응적 보상 필터(8000)는 주요 변환들(P(n-∞),...P(n-1), P(n))의 배열에 의해 표현되는 지터 모션들로부터 의도된 카메라 궤적을 추정하고, 추정된 카메라 궤적에 따라 보상 변환(C(n))을 출력한다.

안정화된 비디오의 시각적 효과는 적응적 보상 필터(8000)의 품질에 크게 의존한다. 종래의 궤적 추정 방법들은 모션 벡터 적분과 칼만 필터(kalman filter) 등을 포함한다.

그러나, 이들과 다른 종래의 궤적 추정 방법들은 져키 비디오 특성의 넓은 범위에서 제대로 수행되지 않는다. 본 발명의 개념에 따른 실시 예에서는 적응적 보상 필터(8000)가 져키 모션들을 필터링 하고 안정화된 비디오를 생산하는 데에 사용된다.

도 10은 본 발명의 일 실시 예에 따른 도 9에 도시된 DIS 회로의 궤적 유닛(4000)의 적응적 보상 필터(8000)의 블락도이다.

적응적 보상 필터(8000)은 보상 윈도우 익스커젼들의 히스토리에 기초하여 주요 변환(P(n))을 적응적으로 필터링한다. 적응적 보상 필터(8000)는 프레임들의 연속적인 시퀀스의 수신된 주요 변환들(P(n-∞),...P(n-1), P(n))에 기초하여 주요 변환(P(n))을 필터링하고, 적응적으로 필터링된 보상 변환(C(n))을 출력한다.

적응적 보상 필터(8000)는 강 보상 필터(strong compensation(SC) filter; 8700), 약 보상 필터(weak compensation(WC) filter;8600), 컨트롤 신호 (E(n))을 출력하기 위한 적응적 필터 컨트롤 회로(8500), 및 익스커젼 조절 믹서(excursion modulated mixer;8200)를 포함한다.

강 보상 필터(8700)는 높은 주파수-선택적 고차 선형 시불변 디지털 필터(highly frequency-selective high-order linear time-invariant digital filter)이고, 아주 져키한 입력 비디오의 필터링에 효과적이다.

반면에 약 보상 필터(8600)는 덜 안정적인 출력 비디오의 대가로 적은 보상 윈도우 오버-익스커젼들을 생산하는 더 낮은 주파수-선택적 성질을 가진다.

적응적 보상 필터(8000)는 강 보상 필터(8700)와 약 보상 필터(8600)의 효과적인 조합이다. 익스커젼 조절 믹서(8200)는 생성된 컨트롤 신호 (E(n))에 기초하여 출력하는 강 보상 필터(8700)와 약 보상 필터(8600)의 믹싱(mixing)을 수행하고, 보상 윈도우 익스커젼들의 히스토리에 기초하여 적응적 필터 컨트롤러(8500)에 의해 출력한다.

도 11은 도 9의 DIS 회로의 궤적 유닛(4000)의 적응적 보상 필터(8000)의 첫 번째 실시 예(8000-1)의 블락도이다.

실시 예에 따라 적응적 보상 필터(8000-1)는 강 보상 필터(8700)와 약 보상 필터(8600), 및 적응적 필터 컨트롤러(8500-1)의 익스커젼 계산기(8510)으로의 피드백 루프(feedback loop)를 포함한다.

도 11을 참조하면, 강 보상 필터(8700)는 시각적으로 잘 안정화된 비디오를 얻고 높은 주파수-선택적인 출력(F(n))을 가지기 위해서 1.0Hz에서 컷오프(cutoff) 주파수를 가지고 급격한 롤오프(rolloff)를 가지는 고차 선형 시불변 순환 디지털 필터(high-order linear time-invariant recursive digital filter)이다.

약 보상 필터(8600)는 고차 또는 저차 선형 시불변 순환 디지털 필터이다. 약 보상 필터(8600)는 오버-익스커젼들을 줄이기 위해 1Hz 보다 조금 더 높은 컷오프 주파수를 가지고 완만한 롤오프를 가지는 더 낮은 주파수-선택적인 출력(G(n))을 가진다.

적응적 보상 필터(8000-1)의 익스커젼 조절 믹서(8200-1)는 스칼라 컨트롤 신호(E(n))에 따라 강 보상 필터(8700)의 출력(F(n))과 약 보상 필터(8600)의 출력(G(n))을 결합하는 익스커젼 조절 적응적 필터링을 수행한다.

강 보상 필터(8700)의 출력(F(n))과 약 보상 필터(8600)의 출력(G(n))은 모두 중간에 일어나는 보상 변환들이고, 익스커젼 조절 믹서(8200-1)의 출력(C(n)) 또한 보상 변환이다.

익스커젼 조절 믹서(8200-1)는 C(n)(C(n)=(1-E(n))*F(n)+E(n)*G(n))을 출력한다. 여기서 E(n)은 [0,1]의 범위에서의 비선형적으로 표준화된 스칼라 컨트롤 신호이다. "*"는 스칼라와 변환 사이의 곱셈 연산이고, 변환에 매핑 된다. "+"는 두 변환들 간의 덧셈 연산이고, 변환에 매핑된다.

따라서 이 실시 예에서 적응적 보상 필터(8000-1)는 강 보상 필터(8700)와 약 보상 필터(8600)의 선형 결합이다. 따라서 적응적 보상 필터(8000-1)은 선형 중첩(linear superposition)의 원칙에 의해 알려진 안정한 성질을 갖는 효과적인 고차 선형 시불변 순환 디지털 필터이다.

선형 결합된 보상 변환(C(n))은 보상 윈도우 익스커젼들의 히스토리에 기초하여 스칼라 컨트롤 신호(E(n))에 의해 제어된다. 상기 히스토리 안의 작은 익스커젼들은 작은 E(n)을 생산하므로 현재 프레임 n에 대한 강 보상 필터(8700)의 영향은 커지는 반면, 상기 히스토리 안의 큰 익스커젼들은 1에 가까운 E(n)을 생산하므로 현재 프레임 n에 대한 약 보상 필터(8600)의 영향이 커진다. 상기 히스토리 안의 중간 값의 익스커젼들은 강 보상 필터(8700)와 약 보상 필터(8600)의 영향에 비례하도록 배정한다.

따라서 강 보상 필터(8700)는 작은 익스커젼들에 주된 공헌을 제공하고, 그것은 높은 주파수 지터들을 필터링 하는 데에 아주 효과적이다. 그리고 더 큰 익스커젼들에서 약 보상 필터(8600)의 공헌이 더 많기 때문에, 오버-익스커젼의 발생이 급격히 감소한다.

적응적 보상 필터(8000-1)은 우수한 비디오 안정화된 성질을 유지하면서 입력 비디오의 큰-움직임에 의한 과도한 오버-익스커젼을 방지한다.

도 11을 참조하면, 적응적 필터 컨트롤러(8500-1)은 익스커젼 계산기(8510), 네 개의 익스커젼 히스토리 적분기(8520), 및 조절 인자 계산기(8530-1)를 포함한다.

적응적 필터 컨트롤러(8500-1)은 피드백 루프의 일부분이다. 익스커젼 계산기(8510)는 이전의 적응적 보상 필터 출력들((C(n-∞),...C(n-2), C(n-1))로부터 얻어진 E(n)을 출력한다. 상기 n은 시간 연속적인 성질을 나타내고, E(n)과 C(n)은 실현 가능하지 않은 지연 없는 루프를 형성하지 않는다.

따라서 상기 실시 예는 실시간 비디오 안정화에 적합하고, 예측가능한 성질의 대략적인 선형 시불변 필터를 포함한다.

익스커젼 계산기(8510)는 익스커젼 조절 믹서(8200-1)에 의해 출력된 보상 변환(C(n))의 피드백을 수신한다.

익스커젼 계산기(8510)는 보상 윈도우의 네 모서리들의 위치에 기초하여 프레임별 왼쪽, 오른쪽, 아랫쪽, 윗쪽의 익스커젼들을 따로 계산하기 위해서 u0 계산기, u1 계산기, v0 계산기, 및 v1 계산기를 포함한다 (도 8 참조).

적응적 보상 필터(8000-1)은 순환 필터들의 사용을 통한 익스커젼 히스토리를 포함한다. 익스커젼 계산기(8510)의 각 면의 출력은 본질적으로 저역 통과 순환 필터(low-pass recursive filter)인 익스커젼 히스토리 적분기에 의해 개별적으로 시간에 대해 적분된다.

각 저역 통과 순환 필터(Hu0, Hu1, Hv0, 및 Hv1)의 출력은 조절 인자 계산기(8530-1)로 공급된다. 조절 인자 계산기(8530-1)는 네 개의 시간에 대해 적분된 익스커젼 양들(Hu0, Huu1, Hv0, 및 Hv1) 중에서 최대 값을 선택하고, 연속 구간[0,1]에서 비 선형적으로 표준화된 스칼라 컨트롤 신호(E(n))을 생성한다.

조절 인자 계산기(8530-1)는 F(n)과 G(n)의 믹싱을 조절하기 위해 비 선형적으로 표준화된 스칼라 컨트롤 신호(E(n))을 출력한다. 작은 값의 E(n)는 작은 익스커젼들의 히스토리를 의미하고, 큰 값의 E(n)은 큰 익스커젼들의 히스토리를 의미한다.

따라서 보상 변환(C(n))을 생성하고 출력하기 위한 스칼라 컨트롤 신호(E(n))의 제어 하의 F(n)과 G(n)의 믹싱은 보상 윈도우 익스커젼들의 히스토리에 기초한다. 이 실시 예는 주파수 오버-익스커젼들 없이 좋은 안정화를 제공하고, 알려진 주파수 응답과 예측가능한 안정화 성질들을 가지며, 실시간 비디오 안정화에 적절하다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

2000 : 감지 유닛
4000 : 궤적 유닛
4400 : 이동 객체 제외 회로
6000 : 보상 유닛
8000 : 적응적 보상 필터

Claims (25)

1. 카메라에 의해 캡쳐된 입력 비디오 프레임 안의 모션 벡터들의 변환들로부터 보상될 카메라 움직임을 나타내는 주요 변환을 식별하는 단계;
   익스커젼(excursion) 히스토리에 기초하여 강 보상 필터와 약 보상 필터의 스칼라 조합을 결정하는 단계; 및
   상기 결정된 스칼라 조합에 따라 상기 주요 변환을 적응적 필터링하는 단계를 포함하는 비디오 데이터 처리 방법.
2. 제1항에 있어서,
   상기 강 보상 필터는 높은 주파수-선택적 고차 선형 시-불변 순환 필터(highly frequency-selective high-order linear time-invariant recursive filter)를 포함하고,
   상기 약 보상 필터는 낮은 주파수-선택적 고차 선형 시-불변 순환 필터(lower frequency-selective high-order) 또는 낮은 주파수-선택적 저차 선형 시-불변 순환 필터(lower-order linear time-invariant recursive filter)를 포함하는 비디오 데이터 처리 방법.
3. 제1항에 있어서, 상기 적응적 필터링하는 단계는,
   작은 익스커젼 히스토리에 대하여 현재 프레임에 대해 상기 강 보상 필터의 영향력이 상기 약 보상 필터의 영향력보다 크도록 상기 스칼라 조합을 결정하는 단계; 및
   큰 익스커젼 히스토리에 대하여 상기 현재 프레임에 대해 상기 약 보상 필터의 영향력이 상기 강 보상 필터의 영향력보다 크도록 상기 스칼라 조합을 결정하는 단계를 포함하는 비디오 데이터 처리 방법.
4. 이미지 데이터의 프레임들을 수신하는 수신기;
   제1모션 특성을 가지는 모션 벡터들의 제1그룹과, 제2모션 특성을 가지는 모션 벡터들의 제2그룹을 저장하는 메모리;
   상기 모션 벡터들의 상기 제1그룹과 상기 제2그룹의 변환으로부터 보상될 카메라 움직임을 나타내는 주요 변환을 식별하는 변환 선택기; 및
   익스커젼 히스토리에 기초하여 강 보상 필터와 약 보상 필터의 스칼라 조합을 결정하고, 상기 결정된 스칼라 조합에 따라 상기 주요 변환을 적응적 필터링하고, 상기 필터링의 결과에 따라 보상 변환을 출력하는 적응 필터를 포함하는 이미지 처리 회로.
5. 제4항에 있어서,
   상기 스칼라 조합에 따라, 상기 주요 변환에 대한 상기 강 보상 필터의 출력과 상기 주요 변환에 대한 상기 약 보상 필터의 출력을 조합하는 믹서를 더 포함하고,
   상기 강 보상 필터는 높은 주파수-선택적인 선형 시-불변 필터를 포함하고,
   상기 약 보상 필터는 낮은 주파수-선택적인 선형 시-불변 필터를 포함하는 이미지 처리 회로.
6. 제4항에 있어서, 상기 적응 필터는,
   작은 익스커젼 히스토리에 기초하여 현재 프레임에 대한 상기 강 보상 필터의 영향력이 상기 약 보상 필터의 영향력보다 크도록 상기 스칼라 조합을 결정하고, 큰 익스커젼 히스토리에 기초하여 상기 현재 프레임에 대한 상기 약 보상 필터의 영향력이 상기 강 보상 필터의 영향력보다 크도록 상기 스칼라 조합을 결정하는 이미지 처리 회로.
7. 제4항에 있어서,
   상기 익스커젼 히스토리의 익스커젼들을 시간에 대해 적분하고, 상기 시간에 대해 적분된 익스커젼들을 이용하여 비-선형적으로 표준화된 스칼라 컨트롤 신호를 생성하는 필터 컨트롤러를 더 포함하고,
   상기 적응 필터는 상기 비-선형적으로 표준화된 스칼라 컨트롤 신호에 따라, 상기 스칼라 조합을 결정하는 이미지 처리 회로.
8. 제7항에 있어서, 상기 필터 컨트롤러는,
   상기 시간에 대해 적분된 익스커젼들 중에서 최대 값을 가지는 익스커젼을 선택하는 이미지 처리 회로.
9. 이미지를 캡쳐하는 이미지 센서;
   캡쳐된 이미지를 이미지 데이터의 프레임들로 변환하는 이미지 데이터 회로; 및
   이미지 처리 회로를 포함하고,
   상기 이미지 처리 회로는,
   상기 이미지 데이터의 상기 프레임들을 수신하는 수신기;
   객체들의 동작을 감지하고 모션 벡터들을 생성하는 모션 벡터 감지기;
   상기 모션 벡터들의 변환들로부터 보상될 카메라 움직임을 표현하는 주요 변환을 식별하는 변환 선택기;
   익스커젼 히스토리에 기초하여 강 보상 필터와 약 보상 필터의 스칼라 조합을 결정하고, 상기 결정된 스칼라 조합에 따라 상기 주요 변환을 적응적 필터링하고, 상기 필터링의 결과에 따라 보상 변환을 출력하는 적응 필터; 및
   상기 보상 변환을 이용하여, 캡쳐된 이미지를 안정화하는 보상 유닛을 포함하는 카메라.
10. 제9항에 있어서, 상기 적응 필터는,
    작은 익스커젼 히스토리에 기초하여 현재 프레임에 대한 상기 강 보상 필터의 영향력이 상기 약 보상 필터의 영향력보다 크도록 상기 스칼라 조합을 결정하고,
    큰 익스커젼 히스토리에 기초하여 상기 현재 프레임에 대한 상기 약 보상 필터의 영향력이 상기 강 보상 필터의 영향력보다 크도록 상기 스칼라 조합을 결정하는 카메라.
    
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제

Images