KR101783990B1 - 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 - Google Patents

디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 Download PDF

Info

Publication number
KR101783990B1
KR101783990B1 KR1020120151346A KR20120151346A KR101783990B1 KR 101783990 B1 KR101783990 B1 KR 101783990B1 KR 1020120151346 A KR1020120151346 A KR 1020120151346A KR 20120151346 A KR20120151346 A KR 20120151346A KR 101783990 B1 KR101783990 B1 KR 101783990B1
Authority
KR
South Korea
Prior art keywords
motion vector
template
motion vectors
representative
image
Prior art date
Application number
KR1020120151346A
Other languages
English (en)
Other versions
KR20140081511A (ko
Inventor
이활석
박상지
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020120151346A priority Critical patent/KR101783990B1/ko
Priority to US13/934,441 priority patent/US9036033B2/en
Priority to JP2013261012A priority patent/JP6339358B2/ja
Publication of KR20140081511A publication Critical patent/KR20140081511A/ko
Application granted granted Critical
Publication of KR101783990B1 publication Critical patent/KR101783990B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 촬영 영상의 영상 프레임의 복수의 템플릿 모션 벡터들에 대하여, 템플릿 모션 벡터들 각각에 유사한 이웃 모션 벡터들의 상대적인 위치들을 고려하여 템플릿 모션 벡터들 각각의 위치를 보정하고, 이웃 모션 벡터들의 개수를 고려하여 템플릿 모션 벡터들 각각의 스코어를 산출하여, 해당 스코어를 기초로 영상 프레임을 대표하는 대표 모션 벡터를 선정하는 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법에 관한 것으로, 본 발명에 따르면, 종래의 대표 움직임 예측 기술들과 달리, 영상 내에 움직이는 물체가 있는 경우나, 촬영 영상의 노이즈가 심하거나 화질 자체가 떨어지는 경우라 하더라도 영상 프레임을 대표하는 움직임을 나타내는 대표 모션 벡터를 보다 정확하게 예측할 수 있게 된다.

Description

디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법{Digital image processing apparatus and, method for estimating global motion of image}
본 발명은, 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법에 관한 것으로, 촬영 영상의 영상 프레임을 대표하는 움직임을 나타내는 대표 모션 벡터를 획득하는 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법에 관한 것이다.
최근 휴대용 촬영장치 및/또는 CCTV 등에 대한 수요가 급증하는 과정에서 촬영장치의 흔들림에 의한 영상의 불안정성을 해소하기 위한 연구개발이 활발하게 이루어 지고 있다. 특히, 사용자가 촬영장치 본체를 직접 손으로 들고 촬영하는 휴대용 촬영장치뿐만 아니라, 지정된 위치에 부착되어 작동하는 CCTV 등의 경우에도 외부로부터의 진동 등에 의해 촬영장치 자체의 흔들림으로 인해 영상의 불안정성이 문제되고 있다.
촬영장치의 흔들림에 의한 영상의 불안정성을 해소하기 위한 디지털 영상 처리 기술로, 촬영 영상의 영상 프레임에 대하여 복수의 후보 모션 벡터들을 도출한 다음에 이들 복수의 후보 모션 벡터들을 기초로 하여 촬영 영상의 영상 프레임을 대표하는 움직임을 예측하는 대표 움직임 예측 기술들이 대두되고 있다.
그러나, 이러한 종래의 대표 움직임 예측 기술의 경우 대표 움직임을 예측하는 성능 자체가 떨어지는 경우가 많고, 특히, 영상 내에 움직이는 물체가 있는 경우나, 촬영 영상의 노이즈가 심하거나 화질 자체가 떨어지는 경우에는 정확한 대표 움직임을 산출하기 어려워 영상의 불안정성을 해소하기 어렵다는 기술적 한계가 있다.
따라서, 영상 내에 움직이는 물체가 있는 경우나, 촬영 영상의 노이즈가 심하거나 화질 자체가 떨어지는 경우라 하더라도 대표 움직임을 보다 정확하게 예측할 수 있는 영상 처리 기술이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는, 영상 프레임을 대표하는 움직임을 나타내는 대표 모션 벡터를 보다 정확하게 예측하여 영상 내에 움직이는 물체가 있는 경우나, 촬영 영상의 노이즈가 심하거나 화질 자체가 떨어지는 경우라 하더라도 영상의 불안정성을 해소할 수 있는 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법을 제공하는 데에 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 이루기 위한, 디지털 영상 처리 장치는 촬영 영상의 영상 프레임을 영상 프레임 내의 서로 다른 영역들에 대한 복수의 템플릿들에 매칭하여 템플릿들에 각각 대응되는 템플릿 모션 벡터들을 획득하는 템플릿 모션 벡터 획득부; 획득된 템플릿 모션 벡터들 각각에 대하여 템플릿 모션 벡터들 각각에 이웃하는 적어도 하나 이상의 이웃 모션 벡터와의 가중합을 기초로 모션 벡터들 각각의 위치를 보정하는 위치 보정부; 템플릿 모션 벡터들 각각의 신뢰도 및 템플릿 모션 벡터들 각각에 대응되는 이웃 모션 벡터의 수를 기초로 템플릿 모션 벡터들 각각의 스코어를 산출하는 스코어 연산부; 및 산출된 스코어를 기초로 템플릿 모션 벡터들 중에서 영상 프레임을 대표하는 대표 모션 벡터를 선정하는 대표 움직임 예측부를 포함한다.
보다 바람직하게는, 가중합은 템플릿 모션 벡터 및 템플릿 모션 벡터에 대응되는 이웃 모션 벡터 각각의 신뢰도를 가중치로 하여 합산할 수 있다.
보다 바람직하게는, 이웃 모션 벡터는 이웃 모션 벡터에 대응되는 템플릿 모션 벡터와의 유클리디안 거리가 임계값보다 작은 모션 벡터일 수 있다.
보다 바람직하게는, 대표 모션 벡터를 기초로 영상 프레임을 포함하는 촬영 영상을 안정화시키는 안정화부를 더 포함할 수 있다.
상기의 기술적 과제를 이루기 위한, 영상의 대표 움직임 예측 방법은 촬영 영상의 영상 프레임을 영상 프레임 내의 서로 다른 영역들에 대한 복수의 템플릿들에 매칭하여 템플릿들에 각각 대응되는 템플릿 모션 벡터들을 획득하는 단계; 획득된 템플릿 모션 벡터들 각각에 대하여 템플릿 모션 벡터들 각각에 이웃하는 적어도 하나 이상의 이웃 모션 벡터와의 가중합을 기초로 템플릿 모션 벡터들 각각의 위치를 보정하는 단계; 템플릿 모션 벡터들 각각의 신뢰도 및 템플릿 모션 벡터들 각각에 대응되는 이웃 모션 벡터의 수를 기초로 템플릿 모션 벡터들 각각의 스코어를 산출하는 단계; 및 산출된 스코어를 기초로 템플릿 모션 벡터들 중에서 영상 프레임을 대표하는 대표 모션 벡터를 선정하는 단계를 포함한다.
보다 바람직하게는, 가중합은 템플릿 모션 벡터 및 템플릿 모션 벡터에 대응되는 이웃 모션 벡터 각각의 신뢰도를 가중치로 하여 합산할 수 있다.
보다 바람직하게는, 이웃 모션 벡터는 이웃 모션 벡터에 대응되는 템플릿 모션 벡터와의 유클리디안 거리가 임계값보다 작은 모션 벡터일 수 있다.
보다 바람직하게는, 대표 모션 벡터를 기초로 영상 프레임을 포함하는 촬영 영상을 안정화시키는 단계를 더 포함할 수 있다.
상기의 기술적 과제를 해결하기 위하여, 본 발명은, 상기한 영상의 대표 움직임 예측 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록 매체를 제공할 수 있다.
본 발명에 따르면, 종래의 대표 움직임 예측 기술들과 달리, 영상 내에 움직이는 물체가 있는 경우나, 촬영 영상의 노이즈가 심하거나 화질 자체가 떨어지는 경우라 하더라도 영상 프레임을 대표하는 움직임을 나타내는 대표 모션 벡터를 보다 정확하게 예측할 수 있게 된다.
도 1은 본 발명의 바람직한 일 실시예에 따른 디지털 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 디지털 영상 처리 장치의 일 구성요소인 디지털 신호 처리부의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 대표 움직임 예측 방법을 개략적으로 도시한 흐름도이다.
도 4a 내지 4c들은 종래의 대표 움직임 예측 기술들과 본 발명에 따른 대표 움직임 예측 방법 간의 차이점을 설명하기 위해 대표 움직임 예측 과정을 예시한 도면이다.
도 5a 내지 5b들은 종래의 대표 움직임 예측 기술들에 대비하여 본 발명에 따른 대표 움직임 예측 방법이 개선된 성능을 갖는다는 주장을 뒷받침하기 위해 실시한 대표 움직임 예측 실험 결과를 예시한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 디지털 영상 처리 장치의 구성을 개략적으로 도시한 블록도이고, 도 2은 도 1에 도시된 디지털 영상 처리 장치의 일 구성요소인 디지털 신호 처리부의 구성을 개략적으로 도시하는 블록도이다.
도 1를 참조하면, 본 실시예에 따른 디지털 영상 처리 장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 영상 처리 장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 영상 처리 장치를 제어할 수 있도록 한다.
촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다. 촬상소자(30)는 입사하는 광으로부터 촬영 영상의 영상 프레임에 관한 데이터를 생성하며, 아날로그/디지털 변환부(40)는 촬상소자(30)에서 출력되는 아날로그 데이터를 디지털 데이터로 변환한다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부(40)가 필요 없는 경우도 있을 수 있다. 이러한 디지털 영상 처리 장치의 구성요소들은 데이터 획득부라고 총칭될 수 있는 바, 물론 데이터 획득부는 반드시 이러한 구성요소들을 모두 구비할 필요는 없으며 입사하는 광으로부터 촬영 영상에 대한 데이터를 획득할 수 있는 구성요소라면 데이터 획득부의 구성요소가 될 수 있다.
촬상소자(30)로부터의 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(50)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다. 또한 후술하는 바와 같이 디지털 신호 처리부(50)는 템플릿 모션 벡터 획득부(51), 위치 보정부(52), 스코어 연산부(53), 대표 움직임 예측부(54) 및 안정화부(55)를 구비함으로써, 촬영장치 자체의 흔들림으로 인해 영상의 불안정성을 줄이는 기능을 수행할 수 d있다. 물론 템플릿 모션 벡터 획득부(51), 위치 보정부(52), 스코어 연산부(53), 대표 움직임 예측부(54) 및 안정화부(55)는 디지털 신호 처리부(50)의 일부가 아닌 별도의 구성요소일 수도 있으며, 나아가 다른 구성요소의 일부일 수도 있는 등 다양한 변형이 가능하다. 더불어, 템플릿 모션 벡터 획득부(51), 위치 보정부(52), 스코어 연산부(53), 대표 움직임 예측부(54) 및 안정화부(55)는 그 중 적어도 일부가 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈 등의 소정의 프로그램 모듈일 수 있으며, 물리적으로는 다양한 종류의 공지된 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 디지털 영상 처리 장치와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명 자체가 이에 한정되지는 않는다. 템플릿 모션 벡터 획득부(51), 위치 보정부(52), 스코어 연산부(53), 대표 움직임 예측부(54) 및 안정화부(55)의 기능에 대해서는 후술한다.
디지털 신호 처리부(50)로부터 출력된 촬영 영상 데이터는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 촬영 영상을 디스플레이한다. 그리고 디지털 신호 처리부(50)로부터 출력된 촬영 영상 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 촬영 영상 데이터를 저장매체(70)에 저장한다. 물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 촬영 영상 파일로부터 촬영 영상에 관한 데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80)에 촬영 영상이 디스플레이되도록 할 수도 있다. 저장매체(70)는 착탈가능한 것일 수도 있고 또는 디지털 영상 처리 장치에 영구장착된 것일 수 있다.
이와 같은 디지털 영상 처리 장치를 이용하여 촬영 영상을 안정화시키는 것은, 촬영 영상을 구성하는 어떤 일 영상 프레임을 기준으로 하여 다른 영상 프레임의 위치를 수정함으로써, 해당 영상의 촬영 장치 자체가 흔들렸음에도 불구하고, 촬영 영상의 영상 프레임들 내에서의 피사체의 위치를 유지하는 것을 의미한다.
이를 위하여 본 실시예에 따른 디지털 영상 처리 장치는 데이터 획득부를 통해 촬영 영상의 영상 프레임을 획득한다.
템플릿 모션 벡터 획득부(51)는 촬영 영상의 영상 프레임을 영상 프레임 내의 서로 다른 영역들에 대한 복수의 템플릿들에 매칭하여 템플릿들에 각각 대응되는 템플릿 모션 벡터들을 획득한다.
특히, 본 발명에서는 영상 프레임에 대한 템플릿 모션 벡터들을 획득함에 있어서, 영상 프레임 내의 서로 다른 영역들에 대한 복수의 템플릿들을 적용함으로써, 촬영 영상 내에 움직이는 물체가 있더라도, 움직이는 물체에 의해 영향받지 않은 템플릿들의 템플릿 모션 벡터들을 기초로 대표 움직임을 예측할 수 있게 되어, 움직이는 물체에 의한 영향을 상대적으로 덜 받을 수 있게 된다.
위치 보정부(52)는 템플릿 모션 벡터 획득부(51)에 획득된 템플릿 모션 벡터들 각각에 대하여 템플릿 모션 벡터들 각각에 이웃하는 적어도 하나 이상의 이웃 모션 벡터와의 가중합을 기초로 템플릿 모션 벡터들 각각의 위치를 보정한다.
이때, 템플릿 모션 벡터(MVi)에 대응하는 이웃 모션 벡터들의 집합(Ni)에 속하는 이웃 모션 벡터는 하기의 수학식 1과 같이 해당 템플릿 모션 벡터(MVi)와의 유클리디안 거리(Euclidiean Distance, ED)가 임계값(threshold value)보다 작은 모션 벡터(MVj)일 수 있다.
Figure 112012106752974-pat00001
이처럼 본 발명에서는 단순히 템플릿 모션 벡터들 각각의 위치와 신뢰도만을 고려하지 않고, 템플릿 모션 벡터들 각각에 유사한 이웃 모션 벡터들의 상대적인 위치들을 함께 고려하여 대표 움직임 예측 성능을 개선한다. 즉, 추출된 템플릿 모션 벡터가 정확하지 않을 수 있다고 가정하고, 이를 최대한 보정하기 위함이다.
예컨대, 단순히 템플릿 모션 벡터들 각각의 신뢰도가 낮은 상태에서 해당 템플릿 모션 벡터들을 기초로 대표 움직임을 예측할 경우에는 대표 움직임에 대한 정확한 예측이 힘들게 된다.
따라서, 본 발명에서는, 예측 성능을 향상시키기 위해, 템플릿 모션 벡터들 각각의 위치와 신뢰도뿐만 아니라, 템플릿 모션 벡터들 각각에 유사한 이웃 모션 벡터들의 상대적인 위치들을 함께 고려하고 있다.
아울러, 템플릿 모션 벡터와, 해당 템플릿 모션 벡터에 대응하는 이웃 모션 벡터와의 가중합은 템플릿 모션 벡터 및 이웃 모션 벡터 각각의 신뢰도(Confidence)를 가중치로 하여 연산할 수 있고, 이에 따라, 해당 템플릿 모션 벡터의 위치 보정(MVi`)은 하기의 수학식 2와 같이 가중합 연산을 통해 수행할 수 있다.
Figure 112012106752974-pat00002
여기에서 Ck는 해당 모션 벡터(MVk)의 신뢰도를 가리킨다.
스코어 연산부(53)는 위치 보정부(52)에서 위치 보정된 템플릿 모션 벡터들 각각의 신뢰도 및 템플릿 모션 벡터들 각각에 대응되는 이웃 모션 벡터의 수를 기초로 템플릿 모션 벡터들 각각의 스코어를 산출한다.
이때, 템플릿 모션 벡터의 스코어(Si)는 하기의 수학식 3과 같이 해당 템플릿 모션 벡터의 이웃 모션 벡터들의 수(|Ni|)를 제곱한 값에 소정의 가중치(W)를 적용하여 해당 템플릿 모션 벡터의 신뢰도(Ci)에 합산하여 산출할 수 있다.
본 발명에서는 템플릿 모션 벡터들 각각의 위치 보정뿐만 아니라, 템플릿 모션 벡터들 각각의 스코어를 산정함에 있어서도, 단순히 템플릿 모션 벡터들 각각의 위치와 신뢰도만을 고려하지 않고, 템플릿 모션 벡터들 각각에 얼마나 유사한 모션 벡터가 많은지 여부를 함께 고려하여 대표 움직임 예측 성능을 개선한다.
이때, 스코어 가중치(W)는 템플릿 모션 벡터에 공통적으로 적용될 수 있도록 템플릿 모션 벡터들에 따라 달라지는 변수값이 아닌 소정의 상수값으로 설정되는 것이 바람직하다.
Figure 112012106752974-pat00003
대표 움직임 예측부(54)는 스코어 연산부(53)에서 산출된 템플릿 모션 벡터들 각각의 스코어를 기초로 템플릿 모션 벡터들 중에서 해당 영상 프레임을 대표하는 움직임을 나타내는 대표 모션 벡터를 선정한다.
이와 같이, 대표 움직임 예측부(54)에서 해당 영상 프레임의 대표 모션 벡터를 선정하면, 안정화부(55)는 이러한 대표 모션 벡터를 기초로 해당 영상 프레임을 포함하는 촬영 영상을 안정화시킬 수 있다.
촬영 영상을 안정화시키는 방법은 해당 영상 프레임을 대표 모션 벡터에 따라 이동시키거나, 대표 모션 벡터에 따라 해당 영상 프레임의 데이터를 수정하는 등의 일련의 영상 처리 과정을 통해 해당 영상 프레임을 포함하는 촬영 영상을 안정화시킬 수 있는 것일 수 있다.
예컨대, 안정화부(55)는 해당 영상 프레임의 대표 모션 벡터가 (i, j)일 경우에, 해당 프레임의 (x+i, y+j)가 (x, y) 화소의 데이터를 갖도록 해당 영상 프레임의 데이터를 수정할 수 있다. 이는 본 발명의 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명 자체가 이러한 안정화 방법에 한정되는 것은 아니며, 종래의 공지된 대표 움직임 기반의 안정화 기술들이 모두 적용될 수 있다고 할 것이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 대표 움직임 예측 방법을 개략적으로 도시한 흐름도로, 본 실시예에 따른 영상 데이터 전송 방법은 도 1 및/또는 도 2에 도시된 디지털 영상 처리 장치 및/또는 디지털 신호 처리부(50)에서 수행될 수 있다. 따라서, 도 1 및/또는 도 2에 도시된 디지털 영상 처리 장치 및/또는 디지털 신호 처리부(50)에서와 동일한 사항에 대해서는 이를 참조할 수 있다.
도 3을 참조하면, 먼저, 촬영 영상의 영상 프레임을 상기 영상 프레임 내의 서로 다른 영역들에 대한 복수의 템플릿들에 매칭하여 상기 템플릿들에 각각 대응되는 템플릿 모션 벡터들을 획득한다(S301).
S301 단계에서 획득된 템플릿 모션 벡터들 각각에 대하여 템플릿 모션 벡터들 각각에 이웃하는 적어도 하나 이상의 이웃 모션 벡터와의 가중합을 기초로 하여 템플릿 모션 벡터들 각각의 위치를 보정한다(S302).
S302 단계에서 위치보정된 템플릿 모션 벡터들 각각의 신뢰도 및 상기 템플릿 모션 벡터들 각각에 대응되는 이웃 모션 벡터의 수를 기초로 템플릿 모션 벡터들 각각의 스코어를 산출한다(S303).
S303 단계에서 산출된 스코어를 기초로 템플릿 모션 벡터들 중에서 영상 프레임을 대표하는 대표 모션 벡터를 선정한다(S304).
본 실시예에 따른 대표 움직임 예측 방법에 따르면, 복수의 후보 모션 벡터들 및 후보 모션 벡터들 각각의 신뢰도 값이 주어진 상황((MV1, C1), (MV2, C2), (MV3, C3), ... , (MVM, CM))에서 대표 모션 벡터(MV*)를 용이하게 산출할 수 있다.
도 4a 내지 4c들은 종래의 대표 움직임 예측 기술들과 본 발명에 따른 대표 움직임 예측 방법 간의 차이점을 설명하기 위해 대표 움직임 예측 과정을 예시한 도면이다.
도 4a는 종래의 대표 움직임 예측 기술들과 본 발명에 따른 대표 움직임 예측의 전제로, 복수의 후보 모션 벡터들 및 후보 모션 벡터들 각각의 신뢰도 값이 주어진 상황((MV1, C1), (MV2, C2), (MV3, C3), ... , (MVM, CM))을 예시한다.
도 4a를 참조하면, 4개의 후보 모션 벡터들(#1, #2, #3, #4)은 (-7, 3), (-4, 2), (-4, -2), (5, 2)의 위치를 각각 가지며, 각각의 신뢰도로 0.2, 0.3, 0.1, 0.5가 설정된다.
그리고, 해당 프레임의 실제 움직임 벡터(True Motion Vector, TMV)은 (-5,0)로 가정한다. 즉, 대표 모션 벡터가 실제 움직임 벡터에 가장 가까운 값, 즉, 양자간의 유클리디안 거리(Euclidiean Distance, ED)가 최소인 경우가 대표 모션 벡터를 가장 정확하게 예측한 것으로 볼 수 있다.
도 4b는 종래의 대표 움직임 예측 기술들에 따라 대표 움직임 예측을 예측한 결과를 예시한다.
본 발명에 따른 대표 움직임 예측 방법과 비교하기 위한, 종래의 대표 움직임 예측 기술들로, 전술한 선행 논문에 제시된 3가지 종래 기술(선행기술 1 내지 3)들을 예시한다.
전술한 바와 같이, 선행기술 1 내지 3은 모두 복수의 후보 모션 벡터들 및 후보 모션 벡터들 각각의 신뢰도 값이 주어진 상황((MV1, C1), (MV2, C2), (MV3, C3), ... , (MVM, CM))에서 대표 모션 벡터(MV*)을 산출하는 기술들이다.
이하에서, 선행 기술 1은 하기의 수학식 4와 같이, 후보 모션 벡터들 중 최대 신뢰도를 갖는 모션 벡터(MVi *)를 대표 모션 벡터(MV*)로 선정하는 이른바, 최대 신뢰도 방식 기술을 가리킨다.
Figure 112012106752974-pat00004
이하에서, 선행 기술 2는 하기의 수학식 5와 같이, 후보 모션 벡터들 각각에 해당 신뢰도를 곱하여 합산한 결과를 대표 모션 벡터(MV*)로 선정하는 이른바, 가중합 방식 기술을 가리킨다.
Figure 112012106752974-pat00005
이하에서, 선행 기술 3은 하기의 수학식 6와 같이, 후보 모션 벡터들 중 신뢰도가 큰 순서대로 m개를 선정하여, 이들만을 대상으로 가중합 연산한 결과를 대표 모션 벡터(MV*)로 선정하는 이른바, 선택적 가중합 방식 기술을 가리킨다.
Figure 112012106752974-pat00006
도 4b를 참조하면, 먼저, 선행 기술 1에 따라 후보 모션 벡터들 중 최대 신뢰도를 갖는 모션 벡터를 대표 모션 벡터로 선정하는 경우에는 후보 모션 벡터들인 #1, #2, #3, #4 중 최대 신뢰도인 0.5를 갖는 #4가 대표 모션 벡터가 되며, 해당 대표 모션 벡터의 위치는 (5, 2)이다. 그리고, 선행 기술 1에 따른 대표 모션 벡터(MV*)가 실제 움직임 벡터(TMV)에 근접한 정도를 나타내는 유클리디안 거리(ED)는 10.12가 된다.
또한, 선행 기술 2에 따라 후보 모션 벡터들 각각에 해당 신뢰도를 곱하여 합산한 가중합 연산 결과를 대표 모션 벡터로 선정하는 경우에는 후보 모션 벡터들인 #1, #2, #3, #4들 각각의 위치들인 (-7, 3), (-4, 2), (-4, -2), (5, 2)에 각각의 신뢰도들인 0.2, 0.3, 0.1, 0.5를 가중치로 하여 가중합 연산한 결과인 (-0.5, 2)가 대표 모션 벡터가 된다. 그리고, 선행 기술 2에 따른 대표 모션 벡터(MV*)가 실제 움직임 벡터(TMV)에 근접한 정도를 나타내는 유클리디안 거리(ED)는 4.95가 된다.
또한, 선행 기술 3에 따라 후보 모션 벡터들 각각에 해당 신뢰도를 곱하여 합산한 가중합 연산 결과를 대표 모션 벡터로 선정하는 경우에는 후보 모션 벡터들 중 신뢰도가 가장 높은 2개의 모션 벡터들인 #2, #4들 각각의 위치들인 (-4, 2), (5, 2)에 각각의 신뢰도들인 0.3, 0.5를 가중치로 하여 가중합 연산한 결과인 (1.3, 1.6)이 대표 모션 벡터가 된다. 그리고, 선행 기술 3에 따른 대표 모션 벡터(MV*)가 실제 움직임 벡터(TMV)에 근접한 정도를 나타내는 유클리디안 거리(ED)는 6.45가 된다.
이처럼 선행기술 1 내지 3에 의해 산출된 대표 모션 벡터들의 유클리디안 거리는 각각 10,12, 4.92, 6.45로 상당히 높은 값을 갖게 된다. 이는 예컨대, 대표 모션 벡터를 선정함에 있어서 각각의 신뢰도를 고려하지 않고, 단순히 중간값(median)인 (-4, 2)로 산정하는 경우에 산출되는 유클리다인 거리가 2.23인 점과 비교할 때도, 상대적으로 높은 값을 갖는다는 점에 비추어 볼 때, 대표 모션 벡터의 예측 성능이 다소 떨어진다는 점을 확인할 수 있다.
도 4c를 참조하면, 본 실시예에 따른 후보 모션 벡터들(#1, #2, #3, #4)은 도 4a에 도시된 실시예와 마찬가지로, (-7, 3), (-4, 2), (-4, -2), (5, 2)의 위치를 각각 가지며, 각각의 신뢰도로 0.2, 0.3, 0.1, 0.5이 설정된다.
그리고, 후보 모션 벡터들 각각의 이웃 모션 벡터들은 후보 모션 벡터들 각각과의 유클리디안 거리(ED)가 4 이하인 다른 후보 모션 벡터로 가정한다.
이에 따라, 후보 모션 벡터 #1의 이웃 모션 벡터로 #2, #3이 탐색되고, 후보 모션 벡터 #2의 이웃 모션 벡터로 #1, #3이 탐색되고, 후보 모션 벡터 #3의 이웃 모션 벡터로 #1, #2이 탐색되며, 후보 모션 벡터 #4의 이웃 모션 벡터는 탐색되지 않는다.
이러한 후보 모션 벡터 및 이웃 모션 벡터의 위치, 후보 모션 벡터 및 이웃 모션 벡터 신뢰도를 가중합 연산하여 위치 보정한 후보 모션 벡터들의 위치는 각각 (-5, 0.167), (-5, 0.167), (-5, 0.167), (5, 2)와 같다.
아울러, 이러한 위치 보정된 후보 모션 벡터들의 신뢰도와 이웃 모션 벡터들의 개수를 기초로 후보 모션 벡터들(#1, #2, #3, #4) 각각의 스코어를 산정한 결과는 각각 3.2, 3.3, 3.1, 0.5와 같다. 이때, 스코어 산정에 적용한 스코어 가중치 상수값(W)은 하기의 수학식 7에 의해 산출된다.
Figure 112012106752974-pat00007
여기에서, Ci는 후보 모션 벡터들 각각의 신뢰도를 나타낸다.
이들 중 가장 스코어가 높은 후보 모션 벡터 #2를 대표 모션 벡터(MV*)로 선정하고, 이의 위치인 (-5, 0.167)와 실제 움직임 벡터(TMV)의 유클리디안 거리(ED)를 계산하면 0.167이 산출되며, 이는 도 4b에 도시된 실시예들과 비교할 때, 상대적으로 굉장히 낮은 수치에 해당하며, 본 실시예에 따른 대표 움직임 예측 방법의 예측 성능이 우수함을 나타낼 수 있다.
도 5a 내지 5b들은 종래의 대표 움직임 예측 기술들에 대비하여 본 발명에 따른 대표 움직임 예측 방법이 개선된 성능을 갖는다는 주장을 뒷받침하기 위해 실시한 대표 움직임 예측 실험 결과를 예시한 도면들로, 총 4단계에 이르는 다양한 정도의 노이즈들을 갖는 영상들(noise#1, noise#2, noise#3, noise#4)에 대하여 선행 기술 1 내지 3 및 본 발명에 따른 대표 움직임 예측 기술을 각각 적용하여 그 대표 움직임 예측 성능을 분석한 결과 중 일부를 예시한다. 본 실험예에서는 대표 움직임 예측을 수행한 대상으로 noise#4, noise#3, noise#2, noise#1의 순으로 노이즈가 심한 영상들을 사용한 것을 전제로 한다.
먼저, 도 5a는 테스트 영상들 중 두번째로 노이즈가 심한 영상(noise #2)에 대하여 선행 기술 1 내지 3 및 본 발명(score)에 따른 대표 움직임 예측 기술을 각각 적용한 결과를 예시한다.
도 5a에 도시된 그래프의 X축은 템플릿 크기를 의미하며, 선행 기술 1 내지 3 및 본 발명에 따른 대표 움직임 예측 기술과 같이 복수의 후보 모션 벡터들을 기초로 대표 모션 벡터를 산출하는 기술의 경우에는 일반적으로 템플릿 크기가 커질수록 대표 움직임을 예측하는 성능이 향상된다.
또한, 도 5a에 도시된 그래프의 Y축은 평균 유클리다인 거리(Average Euclidiean Distance)를 의미하며, 이는 해당 영상 프레임의 피사체 등에 대하여 실제 눈으로 확인하여 측정한 실제 움직임과, 선행 기술 1 내지 3 및 본 발명에 따라 예측된 대표 움직임과의 평균 유클리다인 거리(Average Euclidiean Distance)를 의미하며, 본 수치가 작을수록 보다 정확하게 대표 움직임을 예측한 것으로 볼 수 있다.
도 5a를 참조하면, 테스트 영상들 중 두번째로 노이즈가 심한 영상(noise #2)에 대하여 선행 기술 1 내지 3 및 본 발명(score)에 따른 대표 움직임 예측한 결과를 비교하면, 본 발명 및 선행 기술 2가 상대적으로 선행기술 1 및 3보다 우수한 예측 성능을 갖는 것을 확인할 수 있다.
아울러, 본 발명 및 선행 기술 2는 가장 성능이 떨어지는 템플릿 크기인 100과, 가장 성능이 향상되는 템플릿 크기인 250, 300에서는 서로 유사한 성능을 갖는 것으로 나타나고 있으나, 이외의 템플릿 크기 구간 즉, 성능이 중간 정도인 구간에서는 본 발명에 따른 대표 움직임 예측이 선행 기술 2보다 상대적으로 우수한 성능을 갖는 것을 확인할 수 있다.
도 5b는 도 5a에 따른 실험 결과에서 가장 성능이 떨어지는 템플릿 크기와 가장 성능이 향상되는 템플릿 크기에서 서로 유사한 성능을 갖는 본 발명 및 선행기술 2를 각각 테스트 영상들 중 가장 노이즈가 심한 영상(noise #1)과 가장 노이즈가 적은 영상(noise #4)에 적용한 결과를 예시한다.
도 5b를 참조하면, 노이즈가 심한 영상(noise #1)에 대한 대표 움직임 예측이, 노이즈가 적은 영상에 대한 대표 움직임 예측보다 전반적으로 우수한 성능을 갖게 되는 것을 확인할 수 있으며, 본 발명과, 선행기술 2를 비교하면, 대부분의 템플릿 구간들에 대해서 본 발명이 우수한 성능을 갖게 되는 것을 확인할 수 있다
이처럼, 본 발명에 따라 대표 움직임 예측을 수행하면, 종래의 대표 움직임 예측 기술들보다 우수한 성능을 제공할 수 있다.
특히, 후보 모션 벡터 추출에 사용하는 템플릿의 크기가 작은 경우와 같이 후보 모션 벡터들을 추출하는 성능이 상대적으로 떨어지는 경우에도 상대적으로 우수한 성능을 제공할 수 있다.
또한, 악천 후, 네트워크 카메라의 통신 속도 제약, 열상 카메라 자체의 노이즈, 탈초점(out-of-focus) 등으로 인해 촬영 영상의 화질이 저하된 경우에도 상대적으로 우수한 성능으로 대표 움직임을 획득할 수 있다.
아울러, 영상 프레임의 서로 다른 영역을 한정하는 복수의 템플릿들을 적용하여 후보 모션 벡터들을 추출하여 이들 각각의 신뢰도를 기초로 대표 움직임을 예측함으로써, 촬영 영상 내에 움직이는 물체가 있더라도, 움직이는 물체에 의해 영향받지 않은 다른 영역의 템플릿들에 의한 후보 모션 벡터들을 기초로 대표 움직임을 예측할 수 있게 되어, 움직이는 물체에 의한 영향을 상대적으로 덜 받을 수 있게 된다.
아울러, 본 발명에 따른 영상의 대표 움직임 예측 방법은 촬영 영상의 안정화 뿐만 아니라, H.264 등의 동영상 압축 기술이나, 동영상 내의 대상 탐지 및 입자 추적(Particle Filter) 등에도 적용될 수 있을 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명에 따른 영상의 대표 움직임 예측 방법을 참조 및/또는 변형하여 움직임 예측 기능을 포함하는 다양한 형태의 영상 처리 방법을 유추할 수 있을 것이나, 본 발명은 본 도면에 도시된 실시예로부터 유추될 수 있는 모든 영상 처리 방법을 포함하며, 본 도면에 도시된 실시예만으로 한정되지는 아니한다고 할것이다.
본 발명에 따른 영상의 대표 움직임 예측 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
10: 렌즈
20: 위치, 조리개
21: 조리개 구동부
30: 촬상소자
31: 촬상소자 제어부
40: 아날로그/디지털 변환부
50: 디지털 신호 처리부
51: 템플릿 모션 벡터 획득부
52: 위치 보정부
53: 스코어 연산부
54: 대표 움직임 예측부
55: 안정화부
60: 메모리
70: 저장매체
71: 저장/판독 제어부
80: 디스플레이부
81: 디스플레이 제어부
100: CPU
200: 조작부

Claims (9)

  1. 촬영 영상의 영상 프레임을 상기 영상 프레임 내의 서로 다른 영역들에 대한 복수의 템플릿들에 매칭하여 상기 템플릿들에 각각 대응되는 템플릿 모션 벡터들을 획득하는 템플릿 모션 벡터 획득부;
    상기 획득된 템플릿 모션 벡터들 각각에 대하여, 템플릿 모션 벡터 및 상기 템플릿 모션 벡터에 대응되는 적어도 하나의 이웃 모션 벡터 각각의 신뢰도를 가중치로 하는 가중합을 상기 템플릿 모션 벡터 및 상기 적어도 하나의 이웃 모션 벡터 각각의 신뢰도의 합으로 나누어 상기 템플릿 모션 벡터들 각각의 위치를 보정하는 위치 보정부;
    상기 위치 보정된 템플릿 모션 벡터들 각각에 대하여, 템플릿 모션 벡터의 신뢰도에, 상기 템플릿 모션 벡터에 대응되는 적어도 하나의 이웃 모션 벡터의 수의 제곱에 소정의 상수값을 가중치로 적용한 결과를 더하여 상기 템플릿 모션 벡터들 각각의 스코어를 산출하는 스코어 연산부; 및
    상기 산출된 스코어를 기초로 상기 템플릿 모션 벡터들 중에서 상기 영상 프레임을 대표하는 대표 모션 벡터를 선정하는 대표 움직임 예측부;를 포함하고,
    상기 이웃 모션 벡터는, 상기 템플릿 모션 벡터들로부터 상기 이웃 모션 벡터에 대응되는 템플릿 모션 벡터를 제외한 다른 템플릿 모션 벡터들 중 적어도 하나 이상인 것을 특징으로 하는 디지털 영상 처리 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 이웃 모션 벡터는 상기 이웃 모션 벡터에 대응되는 상기 템플릿 모션 벡터와의 유클리디안 거리가 임계값보다 작은 것을 특징으로 하는 디지털 영상 처리 장치.
  4. 삭제
  5. 촬영 영상의 영상 프레임을 상기 영상 프레임 내의 서로 다른 영역들에 대한 복수의 템플릿들에 매칭하여 상기 템플릿들에 각각 대응되는 템플릿 모션 벡터들을 획득하는 단계;
    상기 획득된 템플릿 모션 벡터들 각각에 대하여, 템플릿 모션 벡터 및 상기 템플릿 모션 벡터에 대응되는 적어도 하나의 이웃 모션 벡터 각각의 신뢰도를 가중치로 하는 가중합을 상기 템플릿 모션 벡터 및 상기 적어도 하나의 이웃 모션 벡터 각각의 신뢰도의 합으로 나누어 상기 템플릿 모션 벡터들 각각의 위치를 보정하는 단계;
    상기 위치 보정된 템플릿 모션 벡터들 각각에 대하여, 템플릿 모션 벡터의 신뢰도에, 상기 템플릿 모션 벡터에 대응되는 적어도 하나의 이웃 모션 벡터의 수의 제곱에 소정의 상수값을 가중치로 적용한 결과를 더하여 상기 템플릿 모션 벡터들 각각의 스코어를 산출하는 단계; 및
    상기 산출된 스코어를 기초로 상기 템플릿 모션 벡터들 중에서 상기 영상 프레임을 대표하는 대표 모션 벡터를 선정하는 단계;를 포함하고,
    상기 이웃 모션 벡터는, 상기 템플릿 모션 벡터들로부터 상기 이웃 모션 벡터에 대응되는 템플릿 모션 벡터를 제외한 다른 템플릿 모션 벡터들 중 적어도 하나 이상인 것을 특징으로 하는 영상의 대표 움직임 예측 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 이웃 모션 벡터는 상기 이웃 모션 벡터에 대응되는 상기 템플릿 모션 벡터와의 유클리디안 거리가 임계값보다 작은 것을 특징으로 하는 영상의 대표 움직임 예측 방법.
  8. 삭제
  9. 삭제
KR1020120151346A 2012-12-21 2012-12-21 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 KR101783990B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120151346A KR101783990B1 (ko) 2012-12-21 2012-12-21 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
US13/934,441 US9036033B2 (en) 2012-12-21 2013-07-03 Digital image processing apparatus and method of estimating global motion of image
JP2013261012A JP6339358B2 (ja) 2012-12-21 2013-12-18 デジタル映像処理装置及び映像の代表動き予測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120151346A KR101783990B1 (ko) 2012-12-21 2012-12-21 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법

Publications (2)

Publication Number Publication Date
KR20140081511A KR20140081511A (ko) 2014-07-01
KR101783990B1 true KR101783990B1 (ko) 2017-10-10

Family

ID=50974200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120151346A KR101783990B1 (ko) 2012-12-21 2012-12-21 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법

Country Status (3)

Country Link
US (1) US9036033B2 (ko)
JP (1) JP6339358B2 (ko)
KR (1) KR101783990B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712818B2 (en) * 2013-01-11 2017-07-18 Sony Corporation Method for stabilizing a first sequence of digital image frames and image stabilization unit
JP7009252B2 (ja) * 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110337810B (zh) * 2018-04-02 2022-01-14 北京大学 用于视频处理的方法和设备
CN109191496B (zh) * 2018-08-02 2020-10-02 阿依瓦（北京）技术有限公司 一种基于形状匹配的运动预测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251474A (ja) * 1995-03-15 1996-09-27 Canon Inc 動きベクトル検出装置，動きベクトル検出方法，画像ぶれ補正装置，画像追尾装置及び撮像装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100579493B1 (ko) * 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
GB0425430D0 (en) 2004-11-18 2004-12-22 Mitsubishi Electric Inf Tech Dominant motion analysis
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
US7605845B2 (en) * 2005-04-28 2009-10-20 Texas Instruments Incorporated Motion stabilization
US7840085B2 (en) * 2006-04-06 2010-11-23 Qualcomm Incorporated Electronic video image stabilization
KR100891768B1 (ko) 2007-05-02 2009-04-07 삼성전자주식회사 모션 벡터 탐색 방법
US8204125B2 (en) * 2007-11-28 2012-06-19 Tsai Sheng Group Llc Fast motion estimation in scalable video coding
US8175160B1 (en) * 2008-06-09 2012-05-08 Nvidia Corporation System, method, and computer program product for refining motion vectors
JP2009302731A (ja) * 2008-06-11 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US8179446B2 (en) * 2010-01-18 2012-05-15 Texas Instruments Incorporated Video stabilization and reduction of rolling shutter distortion
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
JP2011217044A (ja) * 2010-03-31 2011-10-27 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
US8849054B2 (en) 2010-12-23 2014-09-30 Samsung Electronics Co., Ltd Digital image stabilization
US9824426B2 (en) * 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
TWI456984B (zh) * 2011-10-24 2014-10-11 Univ Nat Central 視訊穩定系統及其方法
US9609217B2 (en) * 2011-11-02 2017-03-28 Mediatek Inc. Image-based motion sensor and related multi-purpose camera system
US20130294519A1 (en) * 2011-12-22 2013-11-07 Marat Gilmutdinov Complexity scalable frame rate-up conversion

Also Published As

Publication number Publication date
US9036033B2 (en) 2015-05-19
KR20140081511A (ko) 2014-07-01
JP2014123359A (ja) 2014-07-03
US20140176740A1 (en) 2014-06-26
JP6339358B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
US9648229B2 (en) Image processing device and associated methodology for determining a main subject in an image
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US20200120262A1 (en) Image processing device, image processing method, and program
US20130107066A1 (en) Sensor aided video stabilization
KR101783990B1 (ko) 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
US20130107064A1 (en) Sensor aided image stabilization
US8036525B2 (en) Method and apparatus for motion compensation
JP5968379B2 (ja) 画像処理装置およびその制御方法
CN113438409B (zh) 延迟校准方法、装置、计算机设备和存储介质
JP5118590B2 (ja) 被写体追尾方法及び撮像装置
JP2019101997A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
JP6231816B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
JP2022184134A (ja) 撮像装置およびその制御方法
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5868197B2 (ja) ノイズ低減装置およびその制御方法
US20130236055A1 (en) Image analysis device for calculating vector for adjusting a composite position between images
JP5353141B2 (ja) プログラム、カメラ、画像処理装置、及び画像の合焦度算出方法
JP5610967B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2017098633A (ja) 撮影装置、画像評価方法及びプログラム
JP2024037524A (ja) 撮像装置およびその制御方法
JP6525693B2 (ja) 画像処理装置及び画像処理方法
JP4696055B2 (ja) 手振れベクトル検出方法及びその装置並びに検出プログラム、電子式手振れ補正方法及びその装置並びに補正プログラム、撮像装置
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant