KR20150119395A

KR20150119395A - 움직임 추정 방법 및 장치

Info

Publication number: KR20150119395A
Application number: KR1020157025571A
Authority: KR
Inventors: 페트로넬 비기오이; 피터 코르코란; 피오트르 스텍
Original assignee: 포토내이션 리미티드
Priority date: 2013-03-18
Filing date: 2014-03-14
Publication date: 2015-10-23
Also published as: CN105051785B; EP2983136B1; JP2016514867A; US20160035104A1; CN107248168A; WO2014146983A3; US10229504B2; EP2983136A2; EP2826022B1; EP2983136A3; JP6022734B2; US10587806B2; KR101613176B1; CN105051785A; WO2014146983A2; EP2826022A2; US20190273867A1

Abstract

주어진 씬(scene)의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법은 상기 이미지 프레임들 각각에 대해 대응하는 통합 이미지들을 계산하는 단계 및 각각의 프레임 내에서 적어도 하나의 상응하는 관심 영역을 선택하는 단계를 포함한다. 각각의 관심 영역에 대해, 각각의 통합 이미지로부터 통합 이미지 프로파일이 계산되고, 각각의 프로파일이 요소들의 어레이를 포함하며, 각각의 요소는 상기 프레임에 대한 상기 관심 영역의 연속적인 스와스(swath)들로부터의 픽셀 강도들의 합을 포함한다. 통합 이미지 프로파일들이 상관되어 상기 한 쌍의 프레임들 간의 상기 관심 영역의 상대적인 변위가 결정되게 한다. 각각의 관심 영역은 연속적으로 분할된 관심 영역들에 대한 추정된 움직임의 필요한 계층이 제공될 때까지 반복하기 전에 복수 개의 부가적인 관심 영역들로 분할된다.

Description

움직임 추정 방법 및 장치{A method and apparatus for motion estimation}

본 발명은 움직임 추정 방법 및 장치에 관한 것이다.

WO2008/151802(참조: FN-174) 및 WO2011/069698(참고: FN-352)에는 비디오 시퀀스에서 대응하는 이미지 프레임들에 대한 프로파일들을 상관시켜 상기 이미지 프로파일들 간의 상대적인 움직임을 결정하는 것이 개시되어 있는데, 이 경우에는 상기 움직임이 카메라 움직임 또는 피사체 움직임을 포함한다. 그러나, 프레임 간 움직임(frame-to-frame motion)의 전역 측정치를 제공하는 것은 제한적인 애플리케이션을 갖게 된다.

따라서, 이미지 시퀀스의 블록들 또는 영역들 내에서 전역 또는 국부적 움직임 양자 모두를 나타내는 정보를 제공하는 것이 유용할 수 있다. 계층적 접근법을 사용하여 비디오 프레임들의 시퀀스로 국부적 블록 움직임을 탐색하는 움직임 추정 방법에는 여러가지가 있다.

전형적인 접근법에는 다음과 같이 2가지가 있다.

· 예를 들면 각각의 레벨이 다운스케일된 이전 레벨 버전인 소위 가우스 피라미드(Gaussian pyramid)로 이미지가 압축해제되는 US6459822에 개시된 바와 같은 이미지 피라미드들. 레벨들 간의 일반적인 스케일 팩터(scale factor)는 2이다. 상응하는 블록들 간의 변위는 블록들 간의 픽셀 값들을 상관시킴으로써 탐색된다. 상기 이미지 피라미드를 저장하는데 필요한 메모리의 양과는 별도로, 이는 비록 작은 검색 반경을 채용한다 하더라도 계산 집약적인 프로세스이다.

· 이미지가 이미지의 원래의 크기로 유지되지만 모든 검색 반복으로 검색 블록들이 작아지게 되고 또한 상기 검색 반경이 감소하게 되어, 좀더 정확한 추정을 허용해 주는 가변 블록 크기. 이러한 접근법에 관련된 문제점은 이미지 픽셀들이 여러 번 액세스 되어야 하고 각각의 반복의 복잡도가 수치상 높다는 점이다.

US8200020B1에는 소스 이미지로부터 소스 타일(source tile)을 선택하는 컴퓨팅 기기가 개시되어 있다. 상기 소스 타일로부터, 상기 컴퓨팅 기기가 제1 사각형 특징 및 제2 사각형 특징을 선택할 수 있다. 상기 제1 및 제2 사각형 특징들에 기반하여, 상기 컴퓨팅 기기는 소스 특징 벡터를 계산할 수 있다. 상기 컴퓨팅 기기는 또한 타깃 이미지의 검색 부위를 선택하고, 상기 검색 부위 내에서 타깃 타일을 선택할 수 있다. 상기 타깃 타일에 기반하여, 상기 컴퓨팅 기기는 타깃 특징 벡터를 계산할 수 있다. 상기 컴퓨팅 기기는 상기 소스 특징 벡터 및 상기 타깃 특징 벡터 간의 차가 오차 임계값 미만임을 결정할 수 있고, 이러한 결정에 기반하여, 상기 소스 이미지 및 상기 타깃 이미지 간의 매핑을 부가적으로 결정할 수 있다. 그리고 나서, 상기 컴퓨팅 기기는 상기 매핑을 상기 소스 이미지에 적용하여 변환된 소스 이미지를 생성할 수 있다.

US6809758에는 인접한 프레임들 간의 움직임 벡터 필드를 계산하는 것; 상기 움직임 벡터 필드의 수평 및 수직 성분들로부터 움직임 벡터 히스토그램을 형성하는 것; 상기 움직임 벡터 히스토그램에 임계값을 적용하여 임계 움직임 벡터 히스토그램을 생성하는 것; 상기 임계 움직임 벡터 히스토그램으로부터 평균 수평 및 수직 움직임 성분들을 생성하는 것; 다수의 프레임에 걸쳐 상기 평균 수평 및 수직 움직임 성분들을 필터링하여 상기 프레임들 각각에 대해 원하지 않는 수평 및 수직 움직임 성분들을 식별하는 것; 및 상응하는 원하지 않는 수평 및 수직 움직임에 따라 각각의 프레임을 시프트함으로써 이미지 시퀀스를 안정화하는 것;을 포함하는, 연속적인 프레임들의 시퀀스를 사용하여 형성되는 움직임 이미지의 안정화가 개시되어 있다.

본 발명의 제1 실시태양에 의하면, 청구항 제1항에 따른 주어진 씬(scene)의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법이 제공된다.

이러한 본 발명의 실시태양은 각각의 이미지 프레임으로부터 획득된 통합 이미지를 채용하여 이미지 영역들의 계층의 다수의 레벨로 이미지 프레임들 간의 상대적인 움직임을 결정한다. 상응하는 영역들 간의 움직임은 이미지 상관을 사용하여 직접 탐색 되지 않고 통합 이미지 프로파일들을 가지고 직접 탐색 된다. 통합 이미지 프로파일은 이미지의 관심 영역으로부터 열(column)들 또는 행(row)들에 내재하는 모든 픽셀들의 강도들의 합들을 포함하는 선형 어레이이다. 상응하는 영역들로부터의 통합 이미지 프로파일들은 영역들 간의 변위를 탐색하도록 상관된다.

논의된 바와 같이, 이미지를 여러 번 다운스케일하고 모든 다운 스케일된 레벨들을 피라미드 또는 계층으로 유지하는 것은 임베디드 애플리케이션(embedded application)들에서 실용적이지 않다. 그 외에도, 상기 계층 내에서의 이미지의 그러한 다운스케일된 레벨들로부터 구축되는 프로파일들은 불필요한 메모리 트래픽을 야기하게 한다. 이러한 문제점은 계층 변위 맵(hierarchical displacement map)을 생성하도록 상기 계층의 각각의 레벨에 대해 필요에 따라 샘플링된, 프레임당 단일의 통합 이미지를 사용함으로써 효과적으로 해결된다.

여러 실시 예에서는, 상기 계층의 레벨들 각각이 하나 이상의 영역들로 분할되고 그럼으로써 영역들의 개수가 상기 계층의 각각의 레벨 다운에 대해 증가하게 되며, 예컨대 베이스 레벨에서는, 상기 이미지가 16 x 16 영역들로 분할되고 다음 레벨 업이 8 x 8 영역들을 지니게 되며, 다음 레벨 업이 4 x 4 영역들을 지니게 되고 이하 등등의 영역을 지니게 된다. 몇몇 실시 예들에서는, 상기 통합 이미지 정보의 샘플링이 스케일되고, 그럼으로써 각각의 레벨이 상기 레벨의 2배의 해상도로 샘플링되어, 연속적으로 좀더 국부화된 이미지 영역들에 대해 좀더 미세한 움직임 추정을 제공하게 된다.

본 발명의 실시 예들은 상기 피라미드의 각각의 블록에 대한 통합 프로파일들의 구축을 최적화하여서 계산 복잡도를 감소시킴과 아울러 메모리의 양 및 메모리 대역폭 요건들을 최소화하는 계층 움직임 추정을 수행하는 효과적인 방식을 제공한다.

제2 실시 태양에 의하면, 청구항 제18항 및 제19항 각각에 따른 주어진 씬의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법이 제공된다.

이러한 방법들은 단일의 관심 영역을 서브-블록들로 세분화하여 통합 이미지 프로파일들을 재구축하지 않고 단일의 관심 영역 내에서 다수의 움직임을 검출한다. 상기 방법들은 2개의 상응하는 관심 영역 간의 오차 함수의 국부 최소값들을 이용하고 추가로 상기 관심 영역 내에 포함된 오브젝트(object)들 간의 근사 경계치들을 설정하려고 시도한다.

제3 실시 태양에 의하면, 청구항 제21항에 따른 주어진 씬의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법이 제공된다.

이러한 방법을 사용하는 경우, 피라미드의 상단에서 움직임 추정을 개시하는 대신에, 상기 기기에 내장된 움직임 센서에 기반한 움직임의 초기 추정을 사용하여, 움직임 추정이 상기 계층의 루트 레벨보다 하나 이상의 레벨 낮게 개시된다.

또한, 위에서 참조한 본 발명의 실시 태양들을 수행하도록 구성된 이미지 처리 기기 및 컴퓨터 프로그램 제품이 또한 제공된다.

본 발명의 실시 예들은 예로써 첨부도면들을 참조하여 지금부터 설명될 것이다.

도 1은 본 발명의 한 실시 예에 따른 움직임 추정을 수행하도록 구성된 이미지 처리 장치의 블록도이다.
도 2는 본 발명의 한 실시 예에 따른 움직임 추정 방법을 전반적으로 예시하는 흐름도이다.
도 3은 도 2의 방법의 제1 반복에 대한 통합 이미지 프로파일을 생성하는데 사용되는 통합 이미지 픽셀들을 보여주는 도면이다.
도 4는 참조 이미지(R)에 대해 변위된 타깃 이미지(T)를 예시하는 도면이다.
도 5는 도 4에 도시된 바와 같은 한 쌍의 변위된 이미지들에 대한 대표적인 통합 이미지 프로파일들을 예시하는 도면이다.
도 6은 도 2의 방법의 제2 반복에서 변위된 관심 영역(region of interest; ROI)들을 보여주는 도면이다.
도 7은 도 2의 방법의 제2 반복에서 참조 이미지(R)의 상하단 좌측 ROI들에 대한 통합 이미지 프로파일들을 구축하는데 필요한 픽셀들을 보여주는 도면이다.
도 8은 도 2의 방법의 제3 반복에서 변위된 관심 영역(ROI)을 보여주는 도면이다.
도 9는 보간된 통합 이미지 프로파일을 예시하는 도면이다.
도 10 및 도 11은 평균 절대 오차(mean absolute error; MAE)에 기반한 프로파일들 간의 서브-픽셀 변위의 계산을 예시하는 도면들이다.
도 12는 이미지 프레임의 상당 부분을 커버하는 오브젝트를 보여주는 도면이다.
도 13은 도 12의 이미지에 대한 국부 최소값들을 지니는 MAE를 나타내는 프로파일을 보여주는 도면이다.
도 14는 도 2의 방법에 따라 생성된 움직임 벡터들의 변위 매트릭스를 보여주는 도면이다.
도 15는 전역 변환 매트릭스(global transformation matrix)를 계산하는데 사용하기 위해 매트릭스로부터의 벡터들을 선택하는 방법을 예시하는 도면이다.
도 16은 도 15의 방법에 의해 생성된 도 14의 매트릭스에 대한 선택 마스크를 보여주는 도면이다.
도 17 - 도 19는 상기 계층의 한 레벨로부터 상기 계층의 다음 레벨로 관심 영역의 불균일한 세분화를 예시하는 도면들이다.

도 1을 지금부터 참조하면, 도 1에는 본 발명의 한 실시 예에 따른 움직임 추정을 수행하는 이미지 처리 기기(10)가 개략적으로 도시되어 있다. 상기 기기는 버스(12)를 포함하며 상기 버스(12)는 (상기 버스 아래에 도시된) 기능 처리 모듈들(14-22)이 (상기 버스 위에 도시된) 메모리(24-28)로부터 정보를 판독하고 (상기 버스 위에 도시된) 메모리(24-28)로 정보를 기록하는 것을 허용한다. 여기서 유념해야 할 점은 상기 모듈들(14-22)이 내부 처리를 용이하게 하도록 국부 메모리를 합체할 수 있다는 점이다.

이미지 프레임들은 (도시되지 않은) 이미지 센서로부터 다운 샘플러(down sampler; DS)(14)를 통해 획득된다. 상기 다운 샘플러(14)는 예를 들면 후지츠(Fujitsu)에 의해 제공된 타입의 가우스 다운-샘플러(Gaussian down-sampler)일 수 있다. 다운-샘플링된 이미지는 통합 이미지(integral image; II) 생성기(generator; GEN)(16)에 공급되며 상기 통합 이미지 생성기(II GEN)(16)는 상기 통합 이미지(II)를 메모리(24)에 기록한다. 통합 이미지의 계산은 공지되어 있으며 Computer Vision and Pattern Recognition, 2001, Volume 1에 Viola, P. 및 Jones, M. 명의로 실린 "Rapid Object Detection using a Boosted Cascade of Simple Features"에서 최초로 개시되었다. 통합 이미지들은 WO2008/018887(참조: FN-143)에 개시된 바와 같이, 이미지들의 페이스(face)들과 같은 오브젝트들을 식별하는데 사용되는 것이 전형적이다. 알 수 있는 바와 같이, 원래 이미지 중 단지 강도 버전만이 통합 이미지를 제공하는데 필요하다. 이는 상기 이미지의 그레이 스케일 버전일 수도 있고, 다중 평면 이미지 포맷, 예를 들면 RGB, LAB, YCC 등등 중의 어느 단일 평면일 수도 있다.

계층 등록 엔진(hierarchical registration engine; HRE)(18)은 메모리(24)로부터 한쌍의 프레임들에 대한 통합 이미지 정보를 판독하고 이하에서 좀더 구체적으로 설명되겠지만 상기 이미지 쌍에 대한 변위 맵(26)을 생성한다.

그리고나서, 애플리케이션 프로그램을 실행하는 CPU 모듈(20)은 연속적인 이미지 프레임들에 대한 변위 맵들(26)을 사용하여 비디오 시퀀스 내에서의 이미지 안정화를 제공하도록 예를 들면 WO2014/005783(참조: FN-384)에 기재되어 있는 타입의 그래픽스 왜곡 엔진(graphics distortion engine; GDE)(22)에 의해 요구되는 구성 정보(28)를 제공할 수 있다.

알 수 있겠지만, 상기 HRE 모듈(18)은 비디오 프레임을 직접 사용하지 않고 오히려 이미지 프레임의 다운 샘플링된 표현으로부터 계산된 통합 이미지 정보를 사용한다. 상기 HRE 모듈(18)은 참조 프레임에 대한 한 세트의 이미지 정보를 사용한, 메모리(24) 내의 2개의 프레임에 대한 통합 이미지 정보의 버퍼링 및 상기 참조 프레임에 대한 타깃 프레임 내의 관심 영역(ROI)(들)의 변위의 계산을 요구한다. 이하에서 좀더 구체적으로 논의되겠지만, 몇몇 실시 예들에서는, 상기 참조 프레임이 일시적으로 상기 타깃 프레임과 대체될 수 있고, 그럼으로써 상기 참조 프레임이 상기 타깃 프레임보다 앞서고 그 다음에 상기 타깃 프레임의 뒤를 잇게 된다.

도 2를 참조하면, 상기 HRE 모듈(18)은 상기 계층의 각각의 레벨에서 관심 영역들에 대한 움직임 벡터들을 탐색하도록 계층 검색을 수행한다. 이는 최대 서브-샘플링 간격으로 완전한 이미지 프레임에 대한 통합 이미지 정보에 대해 계층 검색이 처음으로 수행되게 하는 대략-미세 접근법(coarse-to-fine approach)이다. 그리고나서 상기 프레임은 복수 개의 영역들로 분할되고 상기 완전한 프레임에 대한 움직임 추정이 개별 영역들에서 국부 움직임에 대한 초기 추정으로서 사용되고, 상기 계층을 통해 하방으로 마찬가지의 동작이 수행된다.

따라서, 완전한 이미지 프레임으로 개시할 경우(단계 30), 상기 모듈(18)은 메모리에서 꺼낸 통합 이미지 데이터(24)에 기반하여 참조 프레임(R) 및 타깃 프레임(T) 각각에 대한 통합 이미지 프로파일을 구축한다(단계 32). 통합 이미지 프로파일은 이미지의 관심 영역의 상응하는 스와스(swath), 검색 방향에 따른 열(column) 또는 행(row)에서의 모든 픽셀 강도들의 합을 각각의 요소에서 포함하는 어레이이다. 전형적으로는, 상기 통합 이미지 프로파일이 상기 HRE 모듈(18) 내에 국부적으로 저장되지만, 이는 필요한 경우에 범용 메모리 내에 다시 기록될 수 있다.

도 3을 참조하면, 대개 상기 계층의 주어진 관심 영역에 대한 통합 이미지 프로파일을 계산하는 것은 제1 행의 ROI를 따라 통합 이미지를 서브-샘플링하고 이러한 값들(R₁ _-x)을 마지막 행의 ROI를 따른 상기 값들(R₁ _-x)의 서브-샘플링된 값들(R₂ _-x)로부터 감산하는 것을 포함하며, 상단 행 값들은 상단 좌측 모서리를 마킹(marking)하고 하단 행 값들은 통합 이미지 프로파일 내의 값을 제공하는 각각의 스와스의 하단 우측 모서리를 마킹한다. 도 3에 도시된 바와 같은 계층의 상단 레벨에서는, R₁ _-1=0일 때, 상기 제1 열에 대한 프로파일 값은 단지 R₂ _-1이고 다음 열에 대한 프로파일 값은 단지 R₂ _-2 - R₂ _-1이며 상기 이미지의 폭을 가로질러 마찬가지의 동작이 수행된다. 이 때문에, 통합 이미지 정보 중 단지 하단 행은 상기 계층의 상단 레벨에서 샘플링되고 그럼으로써 이러한 레벨에서 통합 이미지 프로파일이 생성하게 될 필요가 있다(유사한 접근법이 수직 변위를 결정하는데 적용된다).

도 4에는 수평으로 그리고 수직으로 변위된 한 쌍의 이미지들(T, R)이 도시되어 있고 도 5에는 이러한 이미지들에 대한 수평 통합 이미지 프로파일들(T, R)이 도시되어 있다. 이러한 통합 이미지 프로파일들은 상기 참조 프레임으로부터 상기 타깃 프레임의 변위를 결정하도록 용이하게 상관될 수 있다(또, 동일한 동작이 수직 변위를 탐색하도록 수행되지만 이러한 경우에는, 프로파일들이 상기 이미지들의 행들을 합산함으로써 구축된다).

도 2의 실시 예에서는, 계층 레벨들 각각이 그 아래에 직접 놓이는 레벨의 1/2 해상도로 샘플링되고, 상기 계층의 상단에는 가장 대략적인 완전 이미지 버전이 있으며 하단에는 가장 미세한 완전 이미지 버전이 있다. 따라서, 단계 38에서는, 상기 계층의 한 레벨에서 탐색되는 (통합 이미지 샘플들에서의) 움직임이 2로 승산되고 상기 계층의 한 레벨 아래에 놓이는 레벨에 대한 초기 추정으로서 설정되며, 국부적 움직임이 없을 때 초기 추정의 공칭 부정확도는 각각의 방향에서 ±1 샘플이다.

비록 수평 및 수직 변위를 나타내는 단지 1개의 움직임 벡터만이 생성될 수 있는 계층의 개시 레벨에 적용가능하지 않지만, 움직임 벡터들의 매트릭스가 생성되는 계층의 하위 레벨들(도 14)에서, 몇몇 실시 예들에서는, 단계 38에서, 이상치(outlier)들의 영향을 감소시키도록 상기 매트릭스에 저역 통과 필터가 적용될 수 있다.

한 치수를 들여다 보면, 한 레벨로부터의 한 행의 변위 값들(A-D)이 다음 레벨에 대한 한 행의 개시 변위 값들을 생성하도록 업스케일된다.

A B C D

a b c d e f g h

간단한 업-스케일링의 경우에는, 필터링 없이 개시 변위 값들이 다음과 같은 패턴을 사용하여 계산될 수 있다.

b = (3 * A + B) / 4

c = (A + 3 * B) / 4

d = (3 * B + C) / 4

e = (B + 3 * C) / 4; 등등

필터링하기 위해, 간단한 가우스 커널 [1 2 1]이 출력값들에 적용될 수 있고 a, b, c...의 계산들을 대입하면, 교대로 반복하게 되는 최종 커널의 케이스가 2가지 존재한다.

c' = (5 * A + 10 * B + C) / 16

d' = (A + 10 * B + 5 * C) / 16

여기서 c' 및 d'는 저역 통과 필터링 이후의 값들이다. 위의 계산들에서 사용된 곱셈들은 비트 시프트들 및 덧셈들, 예를 들면 5 * A = (A << 2) + A로 용이하게 압축해제될 수 있고 그래서 이러한 필터 타입은 어떠한 곱셈도 없이 구현될 수 있어서 하드웨어 구현에 매우 편리하게 된다(동일한 원리는 움직임 벡터들의 열 방향 처리(column wise processing)에 적용된다).

상기 실시 예에서는, 각각의 ROI가 상기 계층의 다음 레벨로 진행할 때 4개의 새로운 ROI로 분할된다(도 2의 단계 34). 또, 세분화 레벨은 다양할 수 있으며 심지어는 가변적이거나 불균일한 ROI 크기들로, 동적일 수 있다.

도 6에는 상기 방법의 제1 반복 후의 ROI들의 레이아웃 - 참조 프레임(R)이 우측 상에 도시되어 있고 타깃 프레임(T)이 좌측 상에 도시되어 있는 레이아웃이 도시되어 있다. 이 단계에서는, 4개의 ROI가 동일한 움직임으로 초기화(단계 36)되는데, 그 이유는 상기 움직임이 상기 계층의 상단 레벨에 대한 통합 이미지 정보의 분석으로부터 결정된 단일 벡터로부터 유래되기 때문이다. 따라서, 상기 타깃 이미지(T)의 관심 영역들에 대한 이미지 정보가 상기 계층의 이전 상위 레벨에서 결정된 움직임에 따라 상기 참조 이미지(R)의 샘플들에 대해 시프트된 샘플들로부터 취해진다.

또, 상기 참조 이미지에 대한 타깃 이미지의 변위들 및 프로파일들은 도 6의 단계 32에 도시된 4개의 관심 영역 각각에 대해 결정된다. 도 7에 예시된 바와 같이, 통합 이미지 프로파일들은 상기 이미지의 4개의 영역 각각의 상단 및 하단 행들을 따라 통합 이미지 포인트들을 샘플링함으로써 구축된다. 그러나, 중요한 점은 상기 타깃 이미지의 변위된 영역들에 대한 통합 이미지 정보가 상기 계층의 상위 레벨로부터 현재의 영역들의 경계를 정하는 관심 영역에 대해 검출된 변위에 따라 시프트된 위치들로부터 샘플링된다는 점이다.

일단 타깃 및 참조 이미지들의 영역들 각각에 대한 통합 이미지 프로파일들이 구축되는 경우에, 상기 제2 레벨에 대한 움직임은 단계들 38, 34 및 36에서 상기 프로세스가 상기 계층의 다음 레벨에 대해 반복되기 전에 단계 32에서 또 결정될 수 있다.

도 8에 과장된 형태로 도시된 바와 같이, 상기 계층을 통한 처리가 진행됨에 따라, 상기 ROI들에 대한 움직임 추정이 더 이상 규칙적이지 않다. 예시된 바와 같이, 상기 타깃 이미지의 하나의 ROI의 움직임이 다른 한 ROI의 움직임과는 독립적일 수 있는데, 이는 특히 움직이는 오브젝트들을 포함하는 씬들에 대해 들어맞는다.

그래서, 한 대표적인 구현 예에서는, 상기 계층의 최상단 층에 대해, 통합 이미지 정보가 서브-샘플링되고 그래서 원래의 통합 이미지 해상도에 비해 4배 다운 스케일된다. 수평적인 통합 이미지 프로파일을 계산하기 위하여, 상기 통합 이미지의 최하단 라인으로부터의 모든 제4 픽셀이 샘플링된다. 연속적인 샘플들 간의 차들을 계산함으로써, 통합 이미지 프로파일 값들이 획득된다. 원래의 프레임 크기가 640 x 480인 경우에, 상기 피라미드의 상단 레벨은 각각의 이미지에 대해 160개의 값들을 필요로 하게 된다.

상기 피라미드의 다음 하위 레벨로부터의 블록들은 필요한 프로파일들을 계산하기 위해 샘플링될 통합 이미지로부터의 모든 제2 라인의 픽셀들을 필요로 한다. 예를 들면, 원래의 통합 이미지 분해능의 50%에서 상기 통합 이미지의 하단 좌측 1/4로부터 프로파일을 계산하기 위해, 2개의 라인 L₀ 및 L₁로부터의 모든 제2 픽셀이 도 7에 도시된 바와 같이 상기 통합 이미지로부터 판독된다. 따라서, 640 x 480 이미지의 경우에, 320개에 이르는 ROI에 대한 통합 이미지 정보의 픽셀이 필요한데, 이는 여전히 전통적인 방법들이 필요한 것보다 60배 좁은 대역폭이다.

또, 수직 방향으로 변위를 계산하기 위한 모든 계산들이 유사하게 수행된다.

상기 프로파일들을 구축하는 이러한 방법은 타깃 이미지 내에서의 이미지 블록들의 임의 위치를 허용하며 어떠한 추가적인 처리도 필요로 하지 않고 상기 원래의 이미지의 임의의 정수(integer) 다운 스케일링을 직접 지원한다.

도 2를 다시 참조하면, 일단 상기 방법이 이 경우에 제3 반복이 상기 타깃 및 참조 프레임들에 대해 상기 통합 이미지들의 각각의 픽셀을 샘플링하는, 상기 계층의 최저 레벨에 대한 처리를 완료한 경우에는, 서브-픽셀 변위를 결정(단계 40)하는 것이 또한 가능하다.

서브-픽셀 정확도를 가지고 프로파일들을 정렬하는 것은 예를 들면 저 해상도 이미지 정보, 예를 들면 VGA가 고 해상도 이미지, 예를 들면 풀 HD(full HD) 내에서 정확한 움직임을 결정하는 것을 허용한다.

서브-픽셀 시프트를 탐색하기 위해, 관심 영역에 대한 통합 이미지 프로파일들 중 하나가 원래의 샘플링 간격들 간의 픽셀들의 값들을 결정하기 위해 보간된다. 한 구현 예에서는, 큐빅 스플라인 보간법(cubic spline interpolation)이 채용된다. 도 9에는 연속 라인 프로파일을 제공하도록 보간된 제1 프로파일로부터의 원래의 샘플들(원들)이 도시되어 있다. 0.5 픽셀만큼 시프트된 제2 프로파일로부터의 샘플들이 교차된 것으로 도시되어 있다. 상기 변위(오차)는 교차들에 의해 표현된 값들 및 상응하는 위치들에서 취해진 블루 라인(blue line)의 값들 간의 평균 절대 오차(mean absolute error; MAE)로서 계산된다. 계산 시간을 절약하기 위해, 상기 블루 라인으로부터의 모든 값들이 계산되지 않는다. 상기 함수는 단지 2개의 프로파일 간의 오차가 평가되어야 하는 위치들에서만 평가된다.

MAE가 최소값을 지니는 서브-픽셀 시프트를 탐색하기 위해, 2진 검색(binary search)이 채용된다. 도 10에는 프로파일들 간의 변위를 가지고 오차가 변경되는 방법이 도시되어 있다. 0으로 마킹된 포인트는 1개에 이르는 픽셀로 정렬되는 프로파일들에 대한 초기 위치이다. 검색은 검색 범위의 ±0.5인 초기 단계로 개시된다. 그러한 위치들에서 평가된 오차 값들이 비교되고 현재 위치가 더 적은 오차의 위치로 이동된다.

상기 동작은 필요한 정확도를 정의하는 고정 반복 횟수에 대해 반복된다. 1/256 픽셀 정확도를 이루기 위해, 8번의 반복이 사용된다. 도 11에는 최종 검색 단계들이 도시되어 있으며 이는 상기 프로파일들 간의 변위가 0.7 내지 0.71 픽셀들 사이에 있음을 결정한다.

위에서 설명한 바와 같이, 이미지 계층의 상단 레벨들에 대해 결정된 움직임이 하위 레벨들의 하부 ROI들에 대한 초기 추정으로서 사용된다. 그러나, 이는 특히 작은 검색 반경들이 채용되는 경우에, 다시 말하면 최대 허용 변위가 그러한 오차들을 수용하지 못할 정도로 너무 작게 설정되는 경우에, 잘못된 초기화 및 복구 불가능한 추정 오차들로 이끌 수 있다. 그러한 문제가 생기게 되는 전형적인 케이스는 카메라의 시계(field of view) 내측에 크고, 신속하게 움직이는 오브젝트가 존재하는 경우이다. 상기 오브젝트가 상기 비디오 프레임의 절반보다 작게 커버하는 경우에, 최소의 프로파일 상관이 상기 씬의 백그라운드의 움직임을 나타내게 된다. 그러한 상황은 상기 오브젝트가 이미지화된 씬 내의 백그라운드와는 다른 방향으로 이동하는 도 12에 도시되어 있다.

이러한 상황에서는, 상기 계층의 상단 레벨에 대한 움직임의 단일 변위 측정이 단지 백그라운드 움직임만을 반영하게 된다. 이러한 움직임은 ROI 1-4로서 마킹된 영역들을 포함하는 피라미드의 다음 레벨에 대한 초기 추정으로서 설정되게 된다. 이러한 것이 ROI들 1 및 3에 대한 적절한 초기화를 제공하게 되지만, 백그라운드 변위를 사용하는 것은 ROI들 2 및 4에 대한 부정확한 초기화를 제공하게 된다. 더군다나, 이러한 오차는 또한 상기 계층의 모든 하위 레벨들, ROI들 2 및 4로부터 유래하는 모든 영역들에 전파되게 된다.

도 13에는 도 12의 이미지에 대한 상기 계층의 상단 레벨에 대한 통합 이미지 프로파일들에 대한 MAE 함수가 예시되어 있다. 위의 서브-픽셀 해상도에 대한 예에서와 같이, 상기 함수는 상기 프로파일들 중 하나의 프로파일을 나머지 프로파일들에 대해 시프트하고 상기 프로파일들의 변위된 요소들 간의 평균 절대 오차를 계산함으로써 계산된다. 도 10 및 도 11의 예와는 달리, 이러한 경우에, 상기 함수는 전역 최소값과 아울러, 국부 최소값을 포함한다. 상기 전역 최소값은 가장 지배적인 움직임을 반영하지만, 상기 국부 최소값은 이러한 경우에 오브젝트 움직임을 반영한다.

상기 최소값들의 위치만큼 시프트되는 프로파일들의 절대값들의 차를 계산한 것은 움직이는 오브젝트의 위치를 나타낸다. 이는 상기 프로파일의 어느 부분이 상기 씬으로부터의 어느 오브젝트에 속하는지를 보여준다. 이는 다수의 움직임 값이 도 2의 단계 32에서와 같은 단일의 프로파일 상관으로부터 복귀되는 것을 허용하고, 결과적으로는 상기 계층의 하위 레벨로부터 하부 블록들의 좀더 정확한 초기화를 허용한다.

도 12의 예를 다시 고려하여 보면, 상기 피라미드의 상단 레벨로부터의 상기 프로파일의 우측 부분에서의 움직임이 좌측 부분과는 다른 움직임을 반영하고 있음을 알 수 있게 된다. 따라서, 4개의 ROI 각각에 동일한 초기 변위 값들이 구비되어 있는 도 6에 예시된 예와는 달리, ROI들 2 및 4는 현재 좀더 적합한 변위 값들로 초기화될 수 있다.

당업자라면 이러한 기법이 또한 비-통합 이미지 기반 애플리케이션들에 적용가능함을 이해할 수 있을 것이다.

마찬가지로, 상기 움직이는 오브젝트의 범위를 알면 상기 계층의 한 레벨로부터 다음 레벨 아래로의 관심 영역의 불균일한 분할이 허용된다.

도 17을 참조하면, 도 17에는 영역의 중심을 향하는 오브젝트(object; O)가 백그라운드(background; B)에 대해 이동하고 있는 관심 영역(region of interest; ROI)이 예시되어 있다. 도 18에는 그러한 관심 영역에서 수평 변위에 대해 결정된 통합 프로파일들을 대표하는 2개의 통합 프로파일이 도시되어 있다.

도 19에는 수평 변위에 대한 상기 프로파일들을 따른 오차 값을 예시하는 2차원 맵이 도시되어 있다. 수평 치수는 상기 프로파일들의 길이이지만 수직 치수는 변위이다. 흑색 상단-좌측 및 하단-우측 모서리들은 상기 프로파일들의 겹치지 않은 부분들에 기인한 것들이고 고려할 필요가 없다. 여기서 관찰될 수 있는 점은 특정 변위들에 대해 형성된 최소 오차 라인(L)이 존재하며 이러한 라인이 스네이크(snake)들 또는 레벨-세트들과 같은 기하학적인 제약 또는 유효 윤곽(active contour) 방법들을 이용한 선형 또는 2차 프로그래밍과 같은 일부 제약된 최적화 방법들을 이용해 탐색될 수 있다는 점이다.

상기 라인 L의 수직 위치는 변위를 나타낸다. 상기 라인이 수평에 가까운 경우에 이는 움직이는 오브젝트 또는 백그라운드를 나타내고 상기 라인의 경사진 부분들은 불확실성 영역(uncertainty area)들을 나타낸다. 상기 예에서는, 2개의 경사진 부분이 관심 영역에 대해 도 17에서 세분화 포인트들 H1, H2를 탐색하는데 사용된다. 또, 수직 방향에서의 움직임 및 세분화들은 도 17에서 세분화 포인트 V1을 제공하도록 유사하게 탐색된다. 따라서, 이러한 경우에 관심 영역은 상기 계층의 하위 레벨에 대해 3개의 수평 영역 및 2개의 수직 영역으로 분할된다.

당업자라면 이러한 기법이 또한 비-통합 이미지 기반 애플리케이션들에 적용가능함을 이해할 것이다.

위에서 설명한 실시 예의 여러 변형 예가 가능하다. 예를 들면, 가속도계들 및/또는 자이로 스코프들과 같은 움직임 센서들이 오늘날의 모바일 기기들 대부분에 장착되어 있고 이러한 움직임 센서들이 프레임 간(frame-to-frame) 카메라 변위를 검출하는데 사용될 수 있다. 이러한 기기들의 정확도는 제한적이어서, 상기 기기들이 움직임의 서브-픽셀 정확도 측정을 허용하고 있지 않은 것이 전형적이다.

그러나, 내장형 움직임 센서는 검색에 대한 초기 추정을 제공함으로써 도 2의 실시 예에서 채용된 이미지 계층에서 요구되는 레벨들의 개수를 감소시키고 그래서 상기 계층의 레벨들 모두에 대한 움직임을 계산할 필요성 또는 실제로는 상기 계층의 어느 주어진 레벨로 백그라운드 카메라 움직임에 대한 초기 추정을 제공할 필요성을 회피하는 양호한 방식을 제공할 수 있다.

따라서, 카메라의 기하학적 구조를 알고 카메라의 움직임 센서(들)로부터의 측정값들을 갖는 경우에 소정의 정확도에 이르기까지 상기 센서 평면에서의 움직임을 계산하는 것이 가능하다. 그래서 예를 들면, 상단 레벨 변위 계산은 도 2에 예시된 실시 예로부터 생략될 수 있으며, 상기 센서 측정값들로부터 계산된 움직임이 예를 들면 도 6에 나타낸 바와 같이 제2 레벨(아마도 후속 레벨들)에 대한 초기 추정으로서 사용된다. 이는 움직이는 오브젝트들에도 불구하고, 전역 움직임을 보장하거나 전역 움직임을 확인하는데 도움이 된다. 이는 비디오 안정화에 특히 유용한데, 그 유는 그러한 것이 실제 카메라 움직임의 측정을 제공함으로써 카메라 프레임 내측에서 움직이는 오브젝트들의 영향을 배제하는데 도움이 되기 때문이다.

반대로 생각하게 되면, 도 2에 예시된 접근법을 움직임 센서 정보와 조합하는 것으로 움직임 센서만을 사용하는 것이 서브-픽셀 정확도 측정을 제공할 수 없었던 서브-픽셀 정확도 측정이 제공된다.

상기 움직임 센서(들)를 보충하는데 필요한 계층 레벨들의 개수는 이미지 크기 및 센서 정확도에 의존한다. 예를 들면, 센서가 +-3 픽셀들의 정확도를 제공할 수 있는 경우에, 각각의 레벨에서 +-2 픽셀들의 검색 반경을 갖는 계층의 적어도 2개의 레벨이 필요하다.

도 2의 단계 40에서는, 도 14에 예시된 바와 같은 (각각의 국부적 움직임 벡터가 잠재적으로는 서브-픽셀 정확도를 갖는 국부적 수평 및 수직 변위를 나타내는) 국부적 움직임 벡터들을 포함하는 변위 매트릭스가 HRE 모듈(18)에 의해 제공되며 메모리(26)에 기록될 수 있다.

그러나, 2개의 연속 비디오 프레임 간의 변위들을 보여주는 국부적 움직임 벡터들의 매트릭스를 지니는 것은 신뢰성 있는 비디오 안정화를 제공하기에 충분하지 않을 수 있다. 상기 GDE(22)와 같은 모듈이 그러한 안정화를 제공하기 위하여, 상기 모듈이 대개는 어느 2개의 프레임 간의 기하학적 변환을 결정하게 되는데, 이는 임의의 형태, 예를 들면 매트릭스, 쿼터니온(quaternion) 또는, 스케일-회전-이동(scale-rotation-translation)으로 표현될 수 있다. 또, 그러한 변환의 사용에 대한 세부들은 WO2014/005783(참조: FN-384)에서 찾아 볼 수 있다.

도 14에 도시된 바와 같은 움직임 벡터들의 매트릭스로부터 기하학적인 변환을 획득하기 위하여, 최소 제곱 또는 이에 상응하는 접근법이 사용될 수 있다. 이러한 접근법은 상기 변위 매트릭스가 가우스 분포를 가지고 비교적 작은 측정 오차들을 포함한 경우에 충분하게 된다. 불행히도, 이는 거의 사실이 아니다. 상기 움직임 벡터들은 여러 가지 방식으로 무효화 될 수 있는데, 예를 들면 상기 움직임 벡터들이 카메라 움직임보다는 오히려 움직이는 오브젝트로부터 유래되는 국부적 움직임을 포함할 수도 있고, 상기 움직임 벡터들이 이미지화되는 씬에서의 세부사항의 부족 또는 상관 프로세스를 방해하는 반복 패턴들 때문에 잘못될 수도 있다. 이 때문에, 씬 내에서 ROI들에 대해 결정되는 원시(raw) 변위 매트릭스 정보를 직접 사용하여 기하학적 변환을 제공하면 양호하지 않은 결과들을 초래할 가능성이 있게 된다.

벡터 세트로부터 이상치(outlier)들을 거부하는, Vision Research Lab으로부터의 RANSAC과 같은 방법들을 사용하여 가장 확률이 높은 일관적인 움직임을 형성하는 벡터들만을 남겨두는 것이 가능하다. 그러한 벡터들이 선택된 다음에, 최소 제곱 또는 이에 상응하는 접근법이 나머지 벡터들로부터 최종의 기하학적 변환을 추정하는데 사용될 수 있다. 그러나, RANSAC과 같은 방법들은 계산 집약적이며 모바일 기기의 프로세서에 상당한 부하가 걸리게 할 수 있다. RANSAC의 다른 단점들은 다음과 같다.

· RANSAC은 프로세서의 부하가 많이 걸려서 예측 불가능하게 될 수 있는 알 수도 없고 가변적인 반복 횟수로 반복적이라는 점; 및

· RANSAC은 동일한 벡터들의 세트에 대해, 2번의 연속 실행이 약간 다른 결과들을 초래할 수 있도록 확률적이라는 점.

본 발명의 실시 예들은 이하에서 설명되는 바와 같이 예측가능한 실행 시간을 가지고 반복가능한 결과들을 제공하면서 여러 자리수(order of magnitude) 만큼 매트릭스 추정의 계산 복잡도를 감소시킨다.

도 15를 참조하면, 도 14로부터의 움직임 벡터들의 값들은 먼저 정수 값들로 양자화된다(단계 150). 양자화 레벨은 원하는 정확도 및 프레임 내에서의 예상 움직임 범위에 의존한다. 가장 간단한 경우에, 상기 양자화는 최근린(最近隣; nearest) 정수 값으로 반올림하는 것으로 수행될 수 있지만, 다른 양자화 빈들이 사용될 수 있다.

단계 152에서는, 컴패러그램(comparagram)이 구축된다. 이는 각각의 치수가 수평 및 수직 방향으로 각각 양자화된 움직임을 나타내며 상기 컴패러그램 빈의 값이 수평 및 수직 방향들 모두에서 동일한 양자화된 움직임 값들을 공유하는 벡터들의 빈도(frequency)를 나타내는 2D 히스토그램이다.

단계 154에서는, 상기 컴패러그램 내에서의 최대 빈 값이 탐색된다. 상기 최대 빈 값의 위치는 시드(seed)가 되고, 상기 시드는 상기 시드의 값에 대한 인접 빈들의 값의 유사도(similarity)에 기반하여 인접 빈들을 접속하는 영역을 성장시키기 위한 것이다(단계 156).

마킹된 빈들로 나뉘는 상기 변위 매트릭스 내의 모든 움직임 벡터들이 움직임 추정을 위해 선택된다(단계 158). 표준 최소 제곱 방법을 사용하여 최종 움직임 추정이 수행될 수 있다(단계 160). 도 14의 매트릭스에 대한 샘플 선택 벡터 마스크가 도 15에 도시되어 있다. 이는 비록 좀더 합리화되고 결정론적인 처리 자원들을 채용한다 하더라도 예를 들면 RANSAC에 의해 제공되는 결과들과 비교하는 것이 유리하다.

당업자라면 위에 개시된 실시 예들의 여전히 다른 변형 예들이 가능함을 이해할 수 있을 것이다.

예를 들면, 여기서 유념해야 할 점은 참조 이미지(도 8 참조)에 대해, 통합 이미지 값들이 단지 상기 이미지 내의 관심 영역들의 경계들만으로부터 요구된다는 점이다. 따라서, 본 발명의 몇몇 실시 예들에서는, 축소된 통합 이미지(Reduced Integral Image; RII)가 모든 제2 획득 이미지용으로 메모리에 저장된다. 각각의 그러한 이미지는 요구된 통합 이미지 프로파일들이 도 8 RHS에 예시된 경계들과 일치하는 샘플로부터 구축될 수 있다. 반면에, 완전한 통합 이미지(II)는 대체 타깃 이미지용으로 저장되는데 그 이유는 관심 영역들에 사용된 경계들이 도 8 LHS에 대해 볼 수 있는 바와 같이 상기 계층의 상위 레벨들에 대해 계산된 변위에 따라 변하기 때문이다.

물론, 상기 완전한 통합 이미지(II)는 페이스 검출기(도시되지 않음)를 포함하는 다른 처리 모듈들에 의해 사용될 수 있으며 WO2008/018887(참조: FN-143)에 개시된 바와 같이, 그러한 검출기들은 모든 프레임에 대해 통합 이미지를 항상 필요하지 않는다 - 따라서 RII를 채용하는 본 발명의 실시 예들이 이미 페이스 검출 기능을 수행하고 있을 수 있는 기기에 반드시 보다 큰 처리 부담을 주지 않는다.

어떤 경우라도, RII를 사용할 때, 상기 생성기(16)는 메모리(24)에 완전한 통합 이미지(프레임 N) 및 축소된 통합 이미지(II)(프레임 N+1); 그리고나서 통합 이미지(II)(프레임 N+2) 및 RII(프레임 N+3)를 번갈아 기록한다.

상기 HRE 모듈(18)은 메모리(24)로부터의 II(N) 및 RII(N+1)를 사용하여 프레임 N+1에 대한 변위 맵을 생성하고; 그리고나서 메모리(24)로부터의 RII(N+1) 및 II(N+2)를 사용하여 프레임 N+2에 대한 변위 맵을 생성한다.

또, 당업자라면 예시된 실시 예가 레벨 간에 영역들을 2로 분할하지만, 불균일한 세분화들과 아울러, 2로 분할된 것과는 다른 세분화들이 상기 실시 예의 변형 예들에서 사용될 수 있음을 이해할 수 있을 것이다.

여기서 유념해야 할 점은 임의의 스케일 팩터를 허용함으로써 상기 통합 이미지로부터 보간된 값들을 판독할 필요가 있게 되고 이러한 것이 복잡도를 증가시키게 하고 대역폭 이득을 감소하게 하지만, 그럼에도, 이러한 구현 예들이 여전히 표준 접근법보다 여전히 양호한 수행을 이루게 한다는 점이다.

Claims

주어진 씬(scene)의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법에 있어서,
상기 움직임 추정 방법은,
a) 상기 이미지 프레임들 각각에 대한 대응하는 통합 이미지들을 계산하는 단계;
b) 각각의 프레임 내에서 적어도 하나의 상응하는 관심 영역을 선택하는 단계;
c) 각각의 관심 영역에 대해:
i. 각각의 통합 이미지로부터 통합 이미지 프로파일을 계산하는 단계로서, 각각의 프로파일이 요소들의 어레이를 포함하며, 각각의 요소는 상기 프레임에 대한 상기 관심 영역의 연속적인 스와스(swath)들로부터의 픽셀 강도들의 합을 포함하는, 단계;
ii. 상기 통합 이미지 프로파일들을 상관시켜 상기 한 쌍의 프로파일들 간의 상기 관심 영역의 상대적인 변위를 결정하는 단계; 및
iii. 각각의 관심 영역을 복수 개의 부가적인 관심 영역들로 분할하는 단계; 및
연속적으로 분할된 관심 영역들에 대한 추정된 움직임의 필요한 계층이 제공될 때까지 단계 c)를 반복하는 단계;
를 포함하는, 움직임 추정 방법.
제1항에 있어서, 단계 b)는 관심 영역으로서 완전한 이미지 프레임을 초기에 선택하는 단계를 포함하는, 움직임 추정 방법.
제1항에 있어서, 상기 통합 이미지 프로파일을 계산하는 단계는 상기 계층의 제1 선택 레벨에서 상기 통합 이미지를 제1 서브-샘플링 간격으로 서브-샘플링하고 단계 c)의 각각의 반복에 대해, 연속적으로 작은 서브-샘플링 간격들로 상기 통합 이미지를 서브-샘플링하는 단계를 포함하는, 움직임 추정 방법.
제1항에 있어서, 상기 분할하는 단계는 각각의 영역을 수평 및 수직으로 분할하여 정수 개의 관심 영역이 이루어지게 하는 단계를 포함하는, 움직임 추정 방법.
제1항에 있어서,
상기 움직임 추정 방법은,
참조 프레임으로서 상기 이미지 프레임들 중 제1 이미지 프레임을 지정하고 타깃 프레임으로서 상기 이미지 프레임들 중 제2 이미지 프레임을 지정하는 단계;
를 포함하며,
상기 움직임 추정 방법은,
상기 계층의 상위 레벨에서 상기 분할된 관심 영역들에 상응하는 관심 영역에 대해 결정된 상대적인 변위에 따라 상기 계층의 한 레벨에서 상기 타깃 프레임의 상기 분할된 영역들을 변위 시키는 단계;
를 더 포함하는, 움직임 추정 방법.
제3항에 있어서,
상기 움직임 추정 방법은,
상기 계층의 하단 레벨에서 상기 통합 이미지의 각각의 픽셀을 샘플링하는 단계;
를 포함하는, 움직임 추정 방법.
제6항에 있어서,
상기 움직임 추정 방법은,
상기 계층의 하단 레벨에서 상기 이미지 프레임들 각각에 대해 상기 통합 이미지 프로파일들을 보간하여 상기 계층의 하단 레벨에서 관심 영역들에 대한 서브-픽셀 변위 측정을 제공하는 단계;
를 부가적으로 포함하는, 움직임 추정 방법.
제5항에 있어서, 상기 변위 시키는 단계는 상기 상관에 응답해 상기 관심 영역 내에서 하나보다 많은 변위를 결정하여 상기 하나보다 많은 변위에 따라 상기 타깃 이미지 내의 상기 분할된 관심 영역들을 다르게 변위 시키는, 움직임 추정 방법.
제5항에 있어서, 상기 분할하는 단계는 상기 상관에 응답해 상기 관심 영역 내에서 하나보다 많은 변위를 결정하여 상기 관심 영역의 불균일한 분할을 결정하고 상기 불균일한 분할에 따라 상기 관심 영역을 다르게 분할하는, 움직임 추정 방법.
제5항에 있어서,
상기 움직임 추정 방법은,
타깃 프레임에 대해 완전한 크기의 통합 이미지를 계산하고 참조 프레임에 대해 축소된 크기의 통합 이미지를 계산하는 단계;
를 포함하며,
상기 축소된 크기의 통합 이미지는 상기 계층 내의 관심 영역들의 경계들에 상응하는 상기 이미지 프레임의 픽셀들에 대해 단지 통합 이미지 데이터만을 포함하는, 움직임 추정 방법.
제10항에 있어서,
상기 움직임 추정 방법은,
상기 참조 프레임이 번갈아 상기 타깃 프레임보다 앞서고 상기 타깃 프레임의 뒤를 잇게 하도록 이미지 프레임들의 시퀀스로부터 상기 참조 및 타깃 프레임들을 선택하는 단계;
를 포함하는, 움직임 추정 방법.
제5항에 있어서,
상기 움직임 추정 방법은,
카메라 움직임 센서로부터 상기 한 쌍의 이미지 프레임들 간의 카메라 움직임의 측정치를 수신하는 단계;
를 부가적으로 포함하며,
상기 선택하는 단계는 상기 이미지 내에서 복수 개의 영역들을 선택하는 단계를 포함하며, 상기 타깃 프레임 내의 적어도 하나의 관심 영역은 상기 카메라 움직임의 측정치에 따라 변위 되는, 움직임 추정 방법.
제1항에 있어서,
상기 움직임 추정 방법은,
상기 계층의 하단 레벨에서 관심 영역들에 대해 결정되는 움직임 벡터들의 어레이에 기반하여, 상기 한 쌍의 프레임들의 상대적인 움직임을 나타내는 기하학적인 변환을 생성하는 단계;
를 포함하는, 움직임 추정 방법.
제13항에 있어서,
상기 움직임 추정 방법은,
이상(outlying) 움직임 벡터들을 제거하도록 상기 생성하는 단계 이전에 상기 움직임 벡터들을 필터링하는 단계;
를 포함하는, 움직임 추정 방법.
제3항에 있어서, 단계 c)의 각각의 반복에 대해, 상기 서브-샘플링 간격들은 이등분되는, 움직임 추정 방법.
제4항에 있어서, 상기 정수는 2인, 움직임 추정 방법.
제1항에 있어서, 상기 변위는 수직 또는 수평 변위 중 하나 또는 양자 모두를 포함하는, 움직임 추정 방법.
주어진 씬(scene)의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법에 있어서,
상기 움직임 추정 방법은,
a) 각각의 프레임 내에서 적어도 하나의 상응하는 관심 영역을 선택하는 단계;
b) 각각의 관심 영역에 대해:
i. 상기 관심 영역들에 대한 이미지 정보를 상관시켜 상기 한 쌍의 프레임들 간의 상기 관심 영역의 상대적인 변위를 결정하는 단계;
ii. 각각의 관심 영역을 복수 개의 부가적인 관심 영역들로 분할하는 단계로서, 상기 분할하는 단계는 상기 상관에 응답해 상기 관심 영역 내에서 하나보다 많은 변위를 결정하여 상기 관심 영역의 불균일한 분할을 결정하고 상기 불균일한 분할에 따라 상기 관심 영역을 다르게 분할하는, 단계; 및
연속적으로 분할된 관심 영역들에 대한 추정된 움직임의 필요한 계층이 제공될 때까지 단계 b)를 반복하는 단계;
를 포함하는, 움직임 추정 방법.
주어진 씬(scene)의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법에 있어서,
상기 움직임 추정 방법은,
a) 상기 이미지 프레임들 중 제1 이미지 프레임을 참조 프레임으로서 지정하고 상기 이미지 프레임들 중 제2 이미지 프레임을 타깃 프레임으로서 지정하는 단계;
b) 각각의 프레임 내에서 적어도 하나의 상응하는 관심 영역을 선택하는 단계;
c) 각각의 관심 영역에 대해:
i. 상기 관심 영역들에 대한 이미지 정보를 상관시켜 상기 한 쌍의 프레임들 간의 상기 관심 영역의 상대적인 변위를 결정하는 단계;
ii. 각각의 관심 영역을 복수 개의 부가적인 관심 영역들로 분할하는 단계; 및
iii. 계층의 상위 레벨에서 상기 분할된 관심 영역들에 상응하는 관심 영역에 대해 결정된 상대적인 변위에 따라 상기 계층의 한 레벨에서 상기 타깃 프레임의 상기 분할된 영역들을 변위 시키는 단계로서, 상기 변위 시키는 단계는 상기 상관에 응답해 상기 관심 영역 내에서 하나보다 많은 변위를 결정하여 상기 하나보다 많은 변위에 따라 상기 타깃 이미지 내에서 상기 분할된 관심 영역들을 다르게 변위 시키는, 단계; 및
연속적으로 분할된 관심 영역들에 대한 추정된 움직임의 필요한 계층이 제공될 때까지 단계 c)를 반복하는 단계;
를 포함하는, 움직임 추정 방법.
제19항에 있어서, 상기 분할하는 단계는, 상기 상관에 응답해 상기 관심 영역 내에서 하나보다 많은 변위를 결정하여 상기 관심 영역의 불균일한 분할을 결정하고 상기 불균일한 분할에 따라 상기 관심 영역을 다르게 분할하는, 움직임 추정 방법.
주어진 씬(scene)의 한 쌍의 이미지 프레임들 간의 움직임을 추정하는 방법에 있어서,
상기 움직임 추정 방법은,
a) 카메라 움직임 센서로부터 상기 한 쌍의 이미지 프레임들 간의 카메라 움직임의 측정치를 수신하는 단계;
b) 상기 이미지 프레임들 중 제1 이미지 프레임을 참조 프레임으로서 지정하고 상기 이미지 프레임들 중 제2 이미지 프레임을 타깃 프레임으로서 지정하는 단계;
c) 각각의 프레임 내에서 복수 개의 관심 영역들을 선택하는 단계;
d) 상기 카메라 움직임의 측정치에 따라 상기 타깃 프레임 내에서 상기 관심 영역들 중 적어도 하나의 관심 영역을 변위 시키는 단계;
e) 각각의 관심 영역에 대해:
i. 상기 관심 영역에 대한 이미지 정보를 상관시켜 상기 한 쌍의 프레임들 간의 상기 관심 영역의 상대적인 변위를 결정하는 단계; 및
ii. 상기 관심 영역을 복수 개의 부가적인 관심 영역들로 분할하는 단계; 및
연속적으로 분할된 관심 영역들에 대한 추정된 움직임의 필요한 계층이 제공될 때까지 단계 e)를 반복하는 단계;
를 포함하는, 움직임 추정 방법.
청구항 제1항 내지 제21항 중 어느 한 항의 방법에 따라 씬(scene)의 이미지 프레임들의 시퀀스를 획득하고 상기 씬의 한 쌍의 이미지 프레임들 간의 움직임을 추정하도록 구성된 이미지 처리 기기.
제22항에 있어서, 상기 이미지 처리 기기는 디지털 카메라, 비디오 카메라, 카메라 폰 또는 카메라 지원 태블릿 기기 중 어느 하나를 포함하는, 이미지 처리 기기.
이미지 처리 기기상에서 실행될 때 청구항 제1항 내지 제21항 중 어느 한 항의 단계들을 수행하도록 구성된, 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 판독가능 명령어들을 포함하는, 컴퓨터 프로그램 제품.