KR0182058B1 - 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법 - Google Patents

움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법 Download PDF

Info

Publication number
KR0182058B1
KR0182058B1 KR1019950011469A KR19950011469A KR0182058B1 KR 0182058 B1 KR0182058 B1 KR 0182058B1 KR 1019950011469 A KR1019950011469 A KR 1019950011469A KR 19950011469 A KR19950011469 A KR 19950011469A KR 0182058 B1 KR0182058 B1 KR 0182058B1
Authority
KR
South Korea
Prior art keywords
motion
resolution
motion vector
video signal
value
Prior art date
Application number
KR1019950011469A
Other languages
English (en)
Other versions
KR960043898A (ko
Inventor
김재민
장영범
Original Assignee
김광호
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자주식회사 filed Critical 김광호
Priority to KR1019950011469A priority Critical patent/KR0182058B1/ko
Priority to JP11463596A priority patent/JPH08317411A/ja
Priority to DE1996118984 priority patent/DE19618984B4/de
Priority to US08/644,183 priority patent/US5793429A/en
Priority to TW85105566A priority patent/TW317065B/zh
Publication of KR960043898A publication Critical patent/KR960043898A/ko
Application granted granted Critical
Publication of KR0182058B1 publication Critical patent/KR0182058B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

이 발명은 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법에 관한 것으로, 외부로부터 비디오 신호를 입력받아 공급하고, 완전 추정된 움직임 신호를 출력하는 비디오 신호 입출력수단(10)과, 상기 비디오 신호 입출력수단(10)으로부터 입력되는 신호를 저장하는 탐색 기억수단(20)과, 상기 비디오 신호 입출력 수단(10)으로부터 입력되는 신호를 저장하는 탐색 기억수단(20)과, 상기 비디오 신호 입출력 수단(10)으로부터 입력되는 신호를 이용하여 다등급의 해상도 프레임을 생성하고 그에 따라 움직임으로 추정하는 제어신호를 출력하는 제어수단(30)과, 상기 제어수단(30)의 출력신호에 따라 상기 탐색 기억수단(20)에 저장되어 있는 데이터에서 블록 매칭을 행하는 블록 매칭 수단(40)과, 상기 제어수단(30)의 출력신호에 따라 상기 탐색 기억수단(20)에 저장되어 있는 데이터의 값을 보간하여 출력하는 보간수단(50)으로 이루어져 있으며, 3차원 공간 모델을 이용하여 움직임 추정을 하는 데에 있어서, 3차원 모델의 계수를 단순하게 하여 실현함으로써, 각 기본 모델의 선택을 쉽게 선택하고, 기본 모델들의 예상 오차에 따라 탐색 지역을 다르게 하여, 추정된 움직임 벡터 장의 특성에 맞게 조절되는 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법에 관한 것이다.

Description

움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
제1도는 일반적인 4×4 블록 매칭을 나타낸 예시도이고,
제2도는 풀 탐색 방법을 설명하기 위한 예시도이고,
제3도는 풀 탐색 방법에서의 일반적인 SAD의 특성을 나타낸 그래프이고,
제4도는 3단계 탐색 방법을 설명하기 위한 예시도이고,
제5도는 3단계 탐색 방법에서의 나타날 수 있는 SAD의 문제점을 나타낸 그래프이고,
제6도는 이 발명의 실시예에 따른 다중 해상도 순환 탐색 장치를 적용한 블록도이고,
제7도는 이 발명의 실시예에 따른 움직임 추정을 위한 다중 해상도 순환 탐색 방법을 적용한 동작 순서도이고,
제8도는 제7도의 움직임 추정방법을 나타낸 동작 순서도이고,
제9도는 제8도의 움직임 모델로부터 최적의 움직임 벡터를 예측하는 것을 나타낸 동작 순서도이고,
제10도는 3차원 다중 해상도 순환 탐색 방법을 나타낸 예시도이다.
이 발명은 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법에 관한 것으로서, 더 상세히 말하자면, 3차원 공간 모델을 이용하여 움직임 추정을 하는 데에 있어서, 3차원 모델의 계수를 단순하게 하여 실현함으로써, 각 기본 모델의 선택을 쉽게 선택하고, 기본 모델들의 예상 오차에 따라 탐색 지역을 다르게 하여, 추정된 움직임 벡터 장의 특성에 맞게 조절되는 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법에 관한 것이다.
최근에, 산간벽지에 있는 환자들의 엑스선(X-ray) 영상을 수 백킬로미터 떨어진 대학 종합병원의 컴퓨터(computer)의 모니터(monitor)로 전송되어 진료하는 의료 서비스(service)가 시범 운용되었으며, 강원도 산간의 국민학교 학생이 대도시 학교 학생들과 똑같은 시간에 똑같은 선생님으로부터 수업받는 영상교육 서비스도 시범 운용되어 관심을 끌고 있다.
상기와 같은 서비스는 영상통신이란 새로운 통신 기술이 등장하면서 가능하게 되었는데, 이러한 영상통신은 크게 아날로그(analog) 방식과 디지털(digital) 방식으로 나눌 수 있으며, 아날로그 방식의 경우 영상회의 등에서 활용되고 있으나, 송.수신된 영상이 선명하지 않다는 단점을 갖고 있다.
반면, 디지털 영상의 경우, 선명한 정보를 제공할 뿐만 아니라 다양한 형태로 영상 데이터(data)를 가공 처리하여 방대한 데이터를 고속으로 전송, 재택 근무나 영상통신을 이용한 구매, 고해상도 원격의료 및 원격교육 영상회의 시스템(system)등에 활용이 기대되고 있다.
그런데, 디지털 영상통신은 영상신호가 음성신호와는 달리 방대한 데이터를 처리해야 하기 때문에 필수불가결 하게 압축 및 복원이라는 또 다른 기술을 요한다.
예를 들어, 1천×1천 화소의 컬러(color) 영상을 처리하기 위해서는 약 3백만 바이트(byte)의 메모리가 필요하고, 이를 동화상으로 처리하려먼 1초당 30프레임(frame)을 갖고 있어야 하기 때문에 1초간 동화상을 위해 9천만 바이트가 필요하게 된다.
따라서, 디지털 영상통신은 통신기술 못지 않게 데이터의 압축 및 복원이 가장 어려운 문제로 대두되고 있다.
이와 관련하여, 최근 영상압축 및 복원에 관한 세계 표준 규격 등이 제정되고 있는데, 현재 논의되고 있는 영상압축 표준은 정지화상을 처리하는 제이펙(JPEG, Joint Photograph Experts Group, 접합 사진 전문가 그룹)의 규격과, 영상회의 시스템을 위한 씨씨아이티티(CCITT, International Telegraph and Telegraph and Telephone Consultative Committee, 국제 전신전화 자문위원회)의 `H261`규격과, 디지털 미디어(media)의 동화상 처리를 위한 엠팩(MPEG, Motion Picture Experts Group, 동화상 전문가 그룹, 이하 'MPEG'로 표기함)의 규격 등이 있다.
그런데, 상기에서 언급한 동화상 처리를 위하여, 움직임을 추정하게 되는데, 움직임 추정 방법에는 매칭 방법(Matching Method)과 변화도 방법(Gradient Method) 등 여러 가지가 있는데, 상기 매칭 방법 중의 하나인 블록 매칭 방법(Block Matching Method)이 화면의 특성에 따라 여건에 의해 변화되지 않고 견실하기 때문에 MPEG의 규격 등 국제 규격에서 움직임 추정 방법으로 사용되고 있다.
이하, 첨부된 도면을 참고로 하여 일반적인 블록 매칭 방법을 설명하기로 한다.
제1도는 일반적인 4×4 블록 매칭을 나타낸 예시도이다.
제1도에 도시되어 있듯이, 화면의 구성이 동화상 전화기에 대한 국제 규격인 줄이 244줄이고, 각 줄 당 352개의 화소로 이루어져 있다면, 각 화소가 해당하는 밝기를 갖고 있을 때, 그 값을 '0'부터 '255까지의 숫자로 표현하는데, 상기 각 화소의 밝기의 변화를 가지고 그 움직임을 추정하게 된다.
그런데, 상기에서 움직임을 찾는 데에 있어서 단일 화소의 움직임을 가지고 움직임을 찾는 것이 아니고, 제1도의 ㉮부분과 같이 4×4개의 화소를 묶은 블록을 기준으로 하여, 그 블록이 하나의 움직임만을 갖는다고 가정하고, 그 블록의 대표적인 화소의 움직임을 그 블록의 움직임으로 할당하여 그 블록의 밝기의 변화에 따라 움직임을 찾는 것이다.
그런데, 상기 블록의 움직임이 이차원이므로 아래의 식 (1)과 같이 움직임 벡터(motion vector)로 표시한다.
상기 블록 매칭 방법에는 풀 탐색(full search) 방법, 엠-단계 탐색(M-Step search) 방법, 하이어라키컬 탐색(Hierarchical search) 방법, 그리고 프리딕티브 탐색(Predictive search) 방법 등이 있으며, 그 중에서 풀 탐색 방법이 가장 일반적으로 알려져 있다.
이하, 첨부된 도면을 참고로 하여, 풀 탐색 방법을 설명하기로 한다.
제2도는 풀 탐색 방법을 설명하기 위한 예시도이고, 제3도는 풀 탐색 방법에서의 일반적인 SAD의 특성을 나타낸 그래프이다.
제2도에서 보면, 어떤 시간에서의 물체의 위치가 ㉮에 해당하고, 그 직전에 그 물체의 위치가 ㉯에 해당할 때에, 물체의 임의의 블록(A1)의 움직임을 추정하기 위해 그 블록의 밝기신호를 이용하여, 각각의 경우에 대해서 아래의 식 (2)에 제시된 식에 따라 에스에이디(SAD, Sum of Absolute Difference, 이하 'SAD'로 표기함)가 가장 작은 값을 갖는 곳을 찾아 그곳의 위치를 움직임으로 추정하게 된다.
여기서, It(x,y,m)은 현재 시점(t)에서의 블록의 휘도(밝기)를 나타내며, I(t-1)(x-vx(k), y-vy(k), m)은 이전 시점(t-1)에서의 블록의 휘도를 나타낸다. 즉, 현재 시점의 블록의 좌표를 (x, y)라 하고, 이전 시점으로부터 현재 시점으로의 x축 및 y축 방향의 움직임 벡터를 각각 vx(k), vy(k)라 하면, 이전 시점의 블록의 좌표는 각각 (x-vx(k), y(x-vy(k))로 나타낼 수 있으며, 이에 따라 상기와 같은 식을 나타낼 수 있다.
예를 들어, 상기에서 움직임 벡터를 찾기 위한 탐색 크기를 '±1'화소 크기로 할 경우, 아래에 나타난 것과 같이 '9'개의 SAD를 구하고, 그 구해진 값 중에서 가장 작은 값을 나타내는 위치로 움직임이 일어났다고 추정하게 된다.
v(x, y) : (-1, 1), (0, 1), (1, 1),
(-1, 0), (0, 0), (1, 0),
(-1, -1), (0, -1), (1, -1)
그런데, 상기와 같이 움직임이 작은 경우도 있겠지만, 움직임이 더 큰 경우에는 움직임을 추정하지 못하는 경우가 있으므로, 그럴 경우에도 움직임을 추정할 수 있으려면 탐색 범위를 '±16화소'의 크기로 확장하여야 하고, 그에 따라 계산 량이 증가하게 된다.
따라서, 상기 풀 탐색 방법은 동화상 압축에서 매우 효과적인 것으로 알려져 있으나, 계산 량이 과다하게 많고 실지 움직임(true motion)을 찾는 데에 어려움이 있어 다른 탐색 방법들이 제시되고 있다.
그 예로 엠-단계 탐색 방법과, 하이어라키컬 탐색 방법과, 프리딕티브 탐색 방법 등이 있다.
이하, 첨부된 도면을 참고로 하여 3단계 탐색 방법과, 하이어라키컬 탐색 방법과 프리딕티브 탐색 방법을 설명하기로 한다.
제4도는 3단계 탐색 방법을 설명하기 위한 예시도이고.
제5도는 3단계 탐색 방법에서의 나타날 수 있는 SAD의 문제점을 나타낸 그래프이다.
상기 엠-단계 탐색 방법은, 처음 '2(M-1)'단위(pel)의 정확도로 탐색하여 움직임을 찾고, 다음에는 그 찾은 움직임의 주변을 '2(M-1)'단위(pel)의 정확도로 다시 탐색하며, 상기와 같은 동작을 반복함으로써 움직임을 추정한다.
예를 들어 단계의 크기를 3단계로 하였을 경우, 먼저 블록의 크기를 제4도의(a)와 같이 8화소 단위로 구성하여 움직임을 추정하고, 그 다음에 제4도의(b)와 같이 블록의 크기를 4화소 단위로 구성하여 움직임을 추정한다.
그리고, 그 다음에는 블록의 크기를 2화소 단위로 구성하여 움직임을 추정하게 된다.
즉, 움직임을 추정하는 단계를 나누어, 포괄적으로 움직임을 추정하고, 점차적으로 미세하게 움직임을 추정해 나가게 된다.
그런데, 상기와 같은 3-단계 탐색 방법의 경우, 제5도에서 보듯이, 한 단계에서 움직임을 잘못 정하면, 결과적으로 움직임 탐색이 지역 최소지점으로 수렴하게 되는 단점이 있다.
그리고, 상기 하이어라키컬 탐색 방법은, 352×244의 풀 해상도 이미지(full resolution image)를 줄인 88×61의 코스 해상도 이미지(coarser resolution image)에서 움직임을 찾고, 그 찾은 움직임의 주변을 조금 확대한 176×122의 파이너 해상도 이미지(finer resolution image)에서 다시 찾는다.
즉, 가장 작은 파이너 이미지에서 4화소 크기로 움직임을 탐색하면 풀 해상도 이미지에서의 16화소 크기의 탐색 효과를 낼 수 있고, 그 다음에는 파이너 해상도 이미지에서 2화소 크기의 움직임 탐색과 풀 해상도 이미지에서 2화소 크기의 움직임 탐색만으로 움직임을 추정할 수 있게 되며, 계산량을 최소로 할 수 있게 된다.
그런데, 상기와 같은 하이어라키컬 탐색 방법의 경우, 코스 해상도에서 움직임을 잘못 찾으면, 결과적으로 파이너 해상도에서 움직임 탐색이 지역 최소지점으로 수렴하게 되는 단점이 있다.
프리딕티브 탐색 방법은, 찾고자 하는 기준 블록에서의 움직임을 주변 블록들의 움직임들로부터 예상하여 그 예상값의 주변을 탐색한다.
그런데, 상기 프리딕티브 탐색 방법은, 예상값이 정확하지 않으면 지역 최소지점으로 수렴하게 되는 단점이 있다.
상기에서, 예상 모델(model)로는 움직임 벡터 장 모델(motion vector field model)이 이용되고 있으며, 2차원 공간 모델과, 3차원 공간 모델 등이 이용되고 있다.
상기의 3차원 공간 모델은, 코스 해상도에서의 움직임 벡터 장에 관한 정보와 주변 블록에서의 움직임에 관한 정보를 효과적으로 결합하여 현 기준 블록에서의 움직임을 효과적으로 예상하며, 이는 움직임 불연속을 효과적으로 다루기 위하여 다수 기본 모델들로 이루어져 있다.
그런데, 상기의 3차원 공간 모델은 본 발명자의 학위 논문(jaemin Kim, 3-D Kalman filter for Video and motion estimation, Ph.D. thesis, Rensselater Polytechnic Institute, 1994)에서 처음 제시되었으나, 그 모델계수(model parameter set)가 매우 복잡하며, 이 3차원 모델에 의한 칼만 필터(Kalman Filter)를 움직임 추정에 이용하였으나, 그 알고리즘(algorithm)이 매우 복잡하고 계산량이 과다하게 많아 실현(implementation)이 어려운 문제점이 있다.
따라서 이 발명의 목적은 상기와 같은 종래의 문제점을 해결하기 위한 것으로서, 3차원 공간 모델을 이용하여 움직임 추정을 하는 데에 있어서, 3차원 모델의 계수를 단순하게 하여 실현함으로써, 각 기본 모델의 선택을 쉽게 선택하고, 기본 모델들의 예상 오차에 따라 탐색 지역을 다르게 하여, 추정된 움직임 벡터 장의 특성에 맞게 조절되는 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법을 제공하는 데에 있다.
상기의 목적을 달성하기 위한 이 발명의 구성은, 외부로부터 비디오 신호를 입력받아 공급하고, 완전 추정된 움직임 신호를 출력하는 비디오 신호 입출력수단과; 상기 비디오 신호 입출력수단으로부터 입력되는 신호를 저장하는 탐색 기억장치와; 상기 비디오 신호 입출력수단으로부터 입력되는 신호를 이용하여 다등급의 해상도 프레임을 생성하고 그에 따라 움직임으로 추정하는 제어신호를 출력하는 제어수단과; 상기 제어수단의 출력신호에 따라 상기 탐색 기억장치에 저장되어 있는 데이터에서 블록 매칭을 행하는 블록 매칭 수단과; 상기 제어수단의 출력신호에 따라 상기 탐색 기억장치에 저장되어 있는 데이터의 값을 보간하여 출력하는 보간수단으로 이루어져 있다.
상기의 목적을 달성하기 위한 이 발명의 또 다른 구성은, 외부에서 입력되는 비디오 신호를 판독하는 단계와; 상기 단계에서 판독한 비디오 신호를 이용하여 제1차 해상도 프레임을 생성하는 단계와; 상기 단계에서 판독한 비디오 신호를 이용하여 제2차 해상도 프레임을 생성하는 단계와; 상기 단계에서 판독한 비디오 신호를 이용하여 제3차 해상도 프레임을 생성하는 단계와; 상기에서 생성한 제3차 해상도에서의 움직임을 추정하는 단계와; 상기에서 생성한 2차 해상도에서의 움직임을 추정하는 단계와; 상기에서 생성한 제1차 해상도에서의 움직임을 추정하는 단계와; 완전한 해상도에서의 움직임을 추정하여 출력하는 단계로 이루어져 있다.
이하, 첨부된 도면을 참고로 하여 이 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 설명한다.
제6도는 이 발명의 실시예에 따른 다중 해상도 순환 탐색 장치를 적용한 블럭도이고, 제7도는 이 발명의 실시예에 따른 움직임 추정을 위한 다중 해상도 순환 탐색 방법을 적용한 동작 순서도이고, 제8도는 제7도의 움직임 추정 방법을 나타낸 동작 순서도이고, 제9도는 제8도의 움직임 모델로부터 최적의 움직임 벡터를 예측하는 것을 나타낸 동작 순서도이고, 제10도는 3차원 다중 해상도 순환 탐색 방법을 나타낸 예시도이다.
제6도에 도시되어 있듯이, 움직임 추정을 위한 다중 해상도 순환 탐색 장치의 구성은, 외부로부터 비디오(video) 신호를 입력받아 공급하고, 완전 추정된 움직임 신호를 출력하는 비디오 신호 입출력(10)부와; 상기 비디오 신호 입출력부(10)로부터 입력되는 신호를 저장하는 탐색 메모리(search memory, 20)와; 상기 비디오 신호 입출력부(10)로부터 입력되는 신호를 이용하여 다등급의 해상도 프레임을 생성하고 그에 따라 움직임으로 추정하는 제어신호를 출력하는 제어부(30)와; 상기 제어부(30)의 출력신호에 따라 상기 탐색 메모리(20)에 저장되어 있는 데이터에서 블록 매칭을 행하는 블록 매칭 회로(50)와; 상기 제어부(30)의 출력신호에 따라 상기 탐색 메모리(20)에 저장되어 있는 데이타의 값을 보간하여 출력하는 보간회로(40)로 이루어져 있다.
상기와 같이 이루어져 있는 이 발명의 동작은 다음과 같다.
제7도에서 보면, 제어부(30)는 비디오 신호 입출력부(10)를 통해 외부로부터 입력되는 352X244 화소 크기의 비디오 신호를 판독하고(S100), 그 비디오 신호를 축소시킨 176X122 화소 크기이 제1차 해상도 프레임을 생성하여 탐색 메모리(20)에 저장한다(S200).
그리고, 그보다 더작은 88X61화소 크기의 제2차 해상도 프레임을 생성하고(S300), 또 더 작은 44X31.5 화소크기의 제3차 해상도 프레임을 생성하여 탐색 메모리(20)에 저장한다.
그리고, 제어부(30)는 상기에서 생성한 3차 해상도 프레임을 이용하여 일정시간 후의 움직임을 추정하여 그 값을 탐색 메모리(20)에 저장한다(S500).
그리고, 상기 단계(S500)에서 추정된 움직임을 기준으로 상기 제2차 해상도 프레임 생성 단계(S300)에서 생성한 해상도 프레임에서 움직임을 추정하여 탐색 메모리(20)에 저장한다(S600).
또,상기 단계(S600)에서 추정된 움직임을 기준으로 상기 제1차 해상도 프레임 생성 단계(S200)에서 생성한 해상도 프레임에서 움직임을 추정하여 탐색 메모리(20)에 저장한다(S700).
마지막으로, 상기 단계(S700)에서 추정된 움직임을 기준으로 처음에 외부로부터 입력받은 원래의 비디오 신호에 따른 완전 해상도 프레임에서 움직임을 추정하여 탐색 메모리(20)에 저장한다(S800).
그 다음에 상기 제어부(30)는 움직임 추정결과를 비디오 신호 입출력부(10)를통해 출력한다.
그런데, 제8도를 참고로 하여 상기에서 제3차 해상도에서의 움직임 추정을 하는 단계(S500)를 구체적으로 나타내면 다음과 같다.
직전 블록들의 움직임 벡터()를 판독하고(S510), 현재 기준 블록의 화상 데이터를 판독하여(S520) 움직임 모델로부터 최적의 50를 예측한다.
그리고, 상기에서 예측된를 중심으로 한 탐색 영역의 화상 데이터를 판독 한다(S540).
또, 예측된를 중심으로의 값을 변화시켜(S550), 그 값으로부터 SAD를 계산한다(S560).
상기 제어부(30)는 상기 단계(S560)에서 계산된 SAD 값을 벡터의 형태로 저장하고(S570), 그 값을 최소 SAD 값과 비교하여(S580), 상기에서 게산된 SAD값이 최소 SAD 값보다 작을 경우에는 그 때의 SAD 값을 최소 SAD 값으로 설정하고 그 때의 움직임 값을 최소 움직임 값으로 설정한다(S590).
그리고, 탐색 영역 내의 모든 움직임 벡터를 비교하였는지의 여부를 판단하여, 모든 움직임 벡터를 비교하지 않았을 경우에는 다시 예측된 움직임 벡터를 중심으로 한 탐색 영역의 화상 데이터를 판독하는 단계(S540)로 돌아가고, 그렇지 않을 경우에는 해당 해상도 프레임에서 움직임을 추정하는 동작을 끝낸다.
상기와 같은 방법으로 각 등급별로 움직임을 추정한다.
그런데, 상기에서 움직임 모델로부터 최적 움직임 벡터를 예측하는 단계를 제9도를 참고로 하여 설명하면 다음과 같다.
움직임 모델을 이용하여 움직임 벡터를 예측하고(S531), 예측된 움직임 벡터를 이용하여 전 영상 프레임에서 현재 영상 프레임의 기본 블록을 예상할 경우 기본 블록과 예상 블록의 SAD를 계산한다(S532).
그리고, 상기 SAD 값을 최소 SAD값과 비교하여(S553), 최소 SAD의 값보다 작을 경우에는 그 때의 움직임 벡터 값을 최소 움직임 벡터 값으로 설정하고, 그 때의 SAD 값을 최소 SAD 값으로 설정한다(S534).
그 다음, 지정된 모든 움직임 모델을 이용하였는지를 판단하여(S535), 모든 움직임 모델을 이용하지 않았을 경우에는 움직임 모델을 이용하여 움직임 벡터를 예측하는 단계(S531)로 돌아가고, 그렇지 않은 경우 그 동작을 끝낸다.
아래의 표1은 '플라워가든(flower garden)'과 '모빌(mobile)'의 표준 화상을 가지고 각 탐색 방법을 비교한 것인데, 표1에서 보면 본 발명에서 제안한 방법이 효과적으로 동작함을 알 수 있다.
또, 아래의 표2는 각 탐색 방법별로 30프레임에서 엠에스이(MSE)의 평균값을 구한 것인데, 풀 탐색 방법이 가장 효과적이나, 본 발명에서 제안한 방법도 거의 같은 효과를 나타냄을 알 수 있다.
그리고, 아래의 표3은 각 탐색 방법별로 계산에 소요되는 시간을 구한 것인데, 하이어라키컬 탐색 방법이 가장 효과적이나, 본 발명에서 제안한 방법도 거의 같은 효과를 나타냄을 알 수 있다.
따라서, 상기와 같이 동작하는 이 발명의 효과는, 3차원 공간 모델을 이용하여 움직임 추정을 하는 데에 있어서, 3차원 모델의 계수를 단순하게 하여 실현함으로써, 각 기본 모델의 선택을 쉽게 선택하고, 기본 모델들의 예상 오차에 따라 탐색 지역을 다르게 하여, 추정된 움직임 벡터 장의 특성에 맞게 조절되는 움직임 추정를 함으로써, 비디오-폰(video-phone), 화상회의 등의 동화상 압축에 효과적으로 사용될 수 있는 다중해상도 순환 탐색 장치 및 그 방법을 제공하도록 한 것이다.

Claims (4)

  1. 외부로부터 비디오 신호를 입력받아 공급하고, 완전 추정된 움직임 신호를 출력하는 비디오 신호 입출력수단(10)과; 상기 비디오 신호 입출력수단(10)으로부터 입력되는 신호를 저장하는 탐색 기억수단(20)과; 상기 비디오 신호 입출력수단(10)으로부터 입력되는 신호를 이용하여 다등급의 해상도 프레임을 생성하고 그에 따라 움직임으로 추정하는 제어신호를 출력하는 제어수단(30)과; 상기 제어수단(30)의 출력신호에 따라 상기 탐색 기억수단(20)에 저장되어 있는 데이터에서 블록 매칭을 행하는 블록 매칭 수단(40)과; 상기 제어수단(30)의 출력신호에 따라 상기 탐색 기억수단(20)에 저장되어 있는 데이터의 값을 보간하여 출력하는 보간수단(50)으로 이루어져 있는 것을 특징으로 하는 움직임 추정을 위한 다중 해상도 순환 탐색 장치.
  2. 외부에서 입력되는 비디오 신호를 판독하는 단계와; 상기 단계에서 판독한 비디오 신호를 이용하여 제1차 해상도 프레임을 생성하는 단계와; 상기 단계에서 판독한 비디오 신호를 이용하여 제2차 해상도 프레임을 생성하는 단계와; 상기 단계에서 판독한 비디오 신호를 이용하여 제3차 해상도 프레임을 생성하는 단계와; 상기에서 생성한 제3차 해상도에서의 움직임을 추정하는 단계와; 상기에서 생성한 제2차 해상도에서의 움직임을 추정하는 단계와; 상기에서 생성한 제1차 해상도에서의 움직임을 추정하는 단계와; 완전한 해상도에서의 움직임을 추정하여 출력하는 단계로 이루어져 있는 것을 특징으로 하는 움직임 추정을 위한 다중 해상도 순환 탐색 방법.
  3. 제2항에 있어서, 상기 각 해상도에서의 움직임을 추정하는 단계는, 직전 블록의 움직임 벡터와 현재 기준 블록의 화상 데이터를 판독하는 단계와; 움직임 모델로부터 최적의 움직임 벡터를 예측하는 단계와; 예측된 움직임 벡터를 중심으로 한 탐색 영역의 화상 데이터를 판독하고 예측된 움직임 벡터를 중심으로 움직임 벡터를 변화시키는 단계와; 상기 단계에서 변화된 값에 따라 SAD의 값을 계산하고 그 값을 벡터 값으로 저장하여 최소 SAD 값과 비교하는 단계와; 상기 단계에서 현재 SAD 값이 최소 SAD값보다 더 작을 경우 그때의 움직임 벡터를 최소 움직임 벡터로 설정하고, 그때의 SAD 값을 최소 SAD 값으로 설정하는 단계와; 탐색 영역 내의 모든 움직임 벡터와 비교하였는지를 판단하여, 모든 움직임 벡터와 비교되지 않았을 경우 다시 예측된 움직임 벡터를 중심으로 한 탐색 영역의 화상 데이터를 판독하고 예측된 움직임 벡터를 중심으로 움직임 벡터를 변화시키는 단계로 돌아가고, 모든 움직임 벡터와 비교되었을 경우 귀환하는 단계로 이루어져 있는 것을 특징으로 하는 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법.
  4. 제3항에 있어서, 상기 움직임 모델로부터 최적의 움직임 벡터를 예측하는 단계는, 움직임 모델을 이용하여 움직임 벡터를 예측하는 단계와; 예측된 움직임 벡터를 이용하여 전 영상 프레임에서 현재 영상 프레임의 기본 블록을 예상할 경우 기본 블록과 예상 블록의 SAD를 계산하는 단계와; 계산된 SAD의 값과 최소 SAD 값을 비교하여, 계산된 SAD의 값이 최소 SAD 값보다 작을 경우 그 때의 SAD 값을 최소 SAD값으로 설정하는 단계와; 지정된 모든 움직임 모델을 이용하였는지의 여부를 판단하여, 지정된 모든 움직임 모델을 이용하지 않았을 경우 움직임 모델을 이용하여 움직임 벡터를 예측하는 단계로 돌아가고, 지정된 모든 움직임 모델을 이용하였을 경우 귀환하는 단계로 이루어져 있는 것을 특징으로 하는 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법.
KR1019950011469A 1995-05-10 1995-05-10 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법 KR0182058B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019950011469A KR0182058B1 (ko) 1995-05-10 1995-05-10 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
JP11463596A JPH08317411A (ja) 1995-05-10 1996-05-09 動きを推定する為の多重解像度循環探索装置及びその方法
DE1996118984 DE19618984B4 (de) 1995-05-10 1996-05-10 Verfahren zur Bewegungsbewertung in Bilddaten sowie Vorrichtung zur Durchführung dieses Verfahrens
US08/644,183 US5793429A (en) 1995-05-10 1996-05-10 Methods of estimating motion in image data and apparatus for performing same
TW85105566A TW317065B (ko) 1995-05-10 1996-05-10

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950011469A KR0182058B1 (ko) 1995-05-10 1995-05-10 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR960043898A KR960043898A (ko) 1996-12-23
KR0182058B1 true KR0182058B1 (ko) 1999-05-01

Family

ID=19414123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950011469A KR0182058B1 (ko) 1995-05-10 1995-05-10 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법

Country Status (5)

Country Link
US (1) US5793429A (ko)
JP (1) JPH08317411A (ko)
KR (1) KR0182058B1 (ko)
DE (1) DE19618984B4 (ko)
TW (1) TW317065B (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19703251A1 (de) * 1997-01-29 1998-11-05 Kuhn Peter Dipl Ing Eine flexible VLSI Architektur für Blockmatching mit variabler Blockgröße, für Teilblockkombinationen, beliebig berandete Objekte und Luminanzkorrektur
US6011870A (en) * 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6259737B1 (en) * 1998-06-05 2001-07-10 Innomedia Pte Ltd Method and apparatus for fast motion estimation in video coding
US6892351B2 (en) * 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
US6342904B1 (en) 1998-12-17 2002-01-29 Newstakes, Inc. Creating a slide presentation from full motion video
JP2000278688A (ja) * 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置
KR20010045766A (ko) * 1999-11-08 2001-06-05 오길록 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치
US6937966B1 (en) * 2000-06-09 2005-08-30 International Business Machines Corporation System and method for on-line adaptive prediction using dynamic management of multiple sub-models
KR100408294B1 (ko) * 2001-09-05 2003-12-01 삼성전자주식회사 저전송율 동영상 부호화에 적합한 움직임 추정 방법
US20040179599A1 (en) * 2003-03-13 2004-09-16 Motorola, Inc. Programmable video motion accelerator method and apparatus
EP1480170A1 (en) * 2003-05-20 2004-11-24 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for processing images
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
WO2006001485A1 (ja) * 2004-06-29 2006-01-05 Sony Corporation 動き予測補償方法及び動き予測補償装置
TWI254571B (en) * 2004-12-07 2006-05-01 Sunplus Technology Co Ltd Method for fast multiple reference frame motion estimation
CN100568983C (zh) * 2007-10-29 2009-12-09 威盛电子股份有限公司 影像信号像素点色彩值调整方法
JP5259726B2 (ja) * 2007-11-30 2013-08-07 ドルビー ラボラトリーズ ライセンシング コーポレイション モーション推定の時間的平滑化
US8941720B2 (en) * 2011-02-02 2015-01-27 National Tsing Hua University Method of enhancing 3D image information density
TWI489195B (zh) * 2014-02-10 2015-06-21 Etron Technology Inc 增加影像擷取系統偵測範圍的方法及其相關的影像擷取系統
CN108900847B (zh) * 2018-06-11 2020-06-30 阿依瓦（北京）技术有限公司 一种基于块匹配的大范围预测方法
JP7201906B2 (ja) * 2019-01-15 2023-01-11 日本電信電話株式会社 参照領域決定装置及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
US5410358A (en) * 1991-07-23 1995-04-25 British Telecommunications Public Limited Company Method and device for frame interpolation of a moving image
KR950014862B1 (ko) * 1992-02-08 1995-12-16 삼성전자주식회사 움직임추정방법 및 그 장치
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
KR0152013B1 (ko) * 1992-05-08 1998-10-15 강진구 가변장부호화를 고려한 움직임추정장치
US5276513A (en) * 1992-06-10 1994-01-04 Rca Thomson Licensing Corporation Implementation architecture for performing hierarchical motion analysis of video images in real time
KR0166716B1 (ko) * 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
US5365281A (en) * 1992-06-26 1994-11-15 Samsung Electronics, Co., Ltd. Motion signal detecting circuit
KR950010913B1 (ko) * 1992-07-23 1995-09-25 삼성전자주식회사 가변장부호화 및 복호화시스템
KR0166727B1 (ko) * 1992-11-27 1999-03-20 김광호 영상움직임관련정보를 양자화제어에 이용하는 부호화방법 및 장치
US5448310A (en) * 1993-04-27 1995-09-05 Array Microsystems, Inc. Motion estimation coprocessor
KR0166724B1 (ko) * 1993-05-08 1999-03-20 김광호 반화소정확도를 갖는 동벡터추정방법 및 그 장치
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法

Also Published As

Publication number Publication date
DE19618984B4 (de) 2007-05-31
DE19618984A1 (de) 1996-11-14
TW317065B (ko) 1997-10-01
KR960043898A (ko) 1996-12-23
JPH08317411A (ja) 1996-11-29
US5793429A (en) 1998-08-11

Similar Documents

Publication Publication Date Title
KR0182058B1 (ko) 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
KR100492127B1 (ko) 적응형 움직임 추정장치 및 추정 방법
Ko et al. Digital image stabilizing algorithms based on bit-plane matching
JP3621152B2 (ja) 特徴点の特定装置及びその方法
EP0765087B1 (en) Video coding device
KR100381348B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
US20140269921A1 (en) Method and Apparatus for Determining Motion Between Video Images
US20060078162A1 (en) System and method for stabilized single moving camera object tracking
EP1878218A4 (en) MOTION STABILIZATION
KR20070069615A (ko) 움직임 추정장치 및 움직임 추정방법
JP2004357215A (ja) フレーム補間方法及び装置並びに画像表示システム
JP6202879B2 (ja) ローリングシャッタ歪み補正と映像安定化処理方法
Yeni et al. Sast digital image stabilization using one bit transform based sub-image motion estimation
EP0481421B1 (en) Moving vector extractor
Kim et al. Adaptive motion estimation based on spatio-temporal correlation
KR20050097936A (ko) 효과적인 예측 이미지 파라미터 추정
KR20040049214A (ko) 고속 모션벡터 추정장치 및 방법
JP4548942B2 (ja) 分類適応型空間−時間フォーマット変換方法及び装置
KR100590145B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 이를 제공하는 매체
Rajagopalan et al. Motion field modeling for video sequences
KR101204377B1 (ko) 움직임 보상된 화상을 생성하기 위한 방법 및 장치
Satyawan et al. Automatic self-improvement scheme in optical flow-based motion estimation for sequential fisheye images
Amanatiadis et al. An integrated architecture for adaptive image stabilization in zooming operation
JPH08242454A (ja) グローバル動きパラメタ検出方法
JPH09130803A (ja) 背景画像復元方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121130

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee