KR100396558B1 - 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 - Google Patents

적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 Download PDF

Info

Publication number
KR100396558B1
KR100396558B1 KR10-2001-0066014A KR20010066014A KR100396558B1 KR 100396558 B1 KR100396558 B1 KR 100396558B1 KR 20010066014 A KR20010066014 A KR 20010066014A KR 100396558 B1 KR100396558 B1 KR 100396558B1
Authority
KR
South Korea
Prior art keywords
motion
frame
interpolated
motion vector
field
Prior art date
Application number
KR10-2001-0066014A
Other languages
English (en)
Other versions
KR20030033851A (ko
Inventor
이성희
양승준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2001-0066014A priority Critical patent/KR100396558B1/ko
Priority to JP2002289037A priority patent/JP4519396B2/ja
Priority to NL1021613A priority patent/NL1021613C2/nl
Priority to CNB021458413A priority patent/CN1270526C/zh
Priority to US10/277,093 priority patent/US7075988B2/en
Publication of KR20030033851A publication Critical patent/KR20030033851A/ko
Application granted granted Critical
Publication of KR100396558B1 publication Critical patent/KR100396558B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

블록별로 움직임 정보에 따라 각각 다른 움직임 보상 방식을 적용하는 프레임 레이트 변환 장치 및 그 방법이 개시되어 있다. 본 발명은 프레임및/또는 필드간의 움직임 벡터를 이용하여 보간될 프레임 및/또는 필드에 대한 움직임 벡터와 그 정확도를 추정하는 과정, 추정된 움직임 벡터를 분석하여 움직임 정보를 결정함과 함께 주변 블록 움직임 벡터와의 상관도를 계산하는 과정, 추정된 움직임 벡터를 이용하여 보간될 프레임및/또는 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 과정, 인접한 프레임에서 보간될 화소와 인접한 화소들을 이용하여 보간될 화소를 생성하는 과정, 추정된 움직임 벡터의 정확도와 추정된 움직임 정보 및 상관도에 따라 다르게 보간된 화소를 보간값으로 출력하는 과정을 포함한다.

Description

적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및 그 방법{Apparatus and method for converting frame and/or field rate using adaptive motion compensation}
본 발명은 서로 다른 프레임 레이트를 가진 영상 신호의 포맷 변환 장치 및 그 방법에 관한 것으로서, 특히 블록별로 움직임 정보에 따라 각각 다른 움직임 보상 방식을 적용하는 프레임 및 /또는 필드 레이트 변환 장치 및 그 방법에 관한 것이다.
일반적으로 다양한 TV 표준을 따르는 프로그램들을 서로 교환하기 위해서는 이들간의 포맷 변환이 필요하다. 초기에는 프레임 반복, 간단한 시공간 필터등을 이용하여 포맷 변환을 구현하였으나 이들은 시각적으로 거슬리는 움직임 지터(motion jitter)나 영상의 모서리에서의 블러링(blurring) 현상을 초래한다. 특히 HDTV와 같이 화면 해상도가 큰 경우 이러한 현상들이 더욱 두드러지게 나타난다. 이러한 현상을 제거하기 위해 최근에는 움직임 보상(motion compensation)을 이용하는 프레임 변환 방식들이 많이 연구되고 있다.
도 1은 종래의 움직임 보상형 프레임 변환 방법을 보이는 개념도이다.
도 1을 참조하면, 보간될 프레임(n-1/2)은 3-tap 미디언 필터링을 이용하여 수학 식1과 같이 정의된다.
여기서 인접한 두 프레임(n-1, n)에서 움직임 궤적을 고려하여 얻어진 데이터는 mcl과 mcr이다. 또한 움직임을 고려하지 않고 두 프레임의 선형 보간 데이터는 av 이고 수학 식2와 같이 정의된다.
여기서 α는 두 프레임 사이에서 보간될 프레임이 존재할 시간적 위치에 따라 결정되며,는 움직임 벡터이다.
수학 식2에서 만약 움직임 벡터가 정확하게 추정되었다면 움직임 보상 데이터는 mcl과 mcr의 값을 갖게되며, 그 값이 보간될 화소값으로 결정된다. 이때 움직임 벡터가 부정확하다면 움직임 보상 데이터는 서로 달라서 움직임을 고려하지 않는 av데이터가 보간될 화소값으로 결정될 가능성이 높다. 그러나 종래의 움직임 보상형보간 기법은 블록 단위로 이루어지기 때문에 추정된 움직임 벡터가 부정확하다면 블록킹 아티펙트가 발생하는 문제점이 있다.
발명이 이루고자하는 기술적 과제는 블록별로 분류된 움직임 정보에 따라 서로 다른 보상 방식을 적용하고, 또한 현재 블록의 움직임 벡터와 주변 블록의 움직임 벡터의 상관성을 이용하여 움직임 보상에 의한 보간값과 리니어 보간값과의 소프트 스위칭을 수행함으로서 블록 아티팩트를 줄일 수 있는 프레임 및/또는 필드 변환 방법을 제공하는 데 있다.
발명이 이루고자하는 다른 기술적 과제는 상기 프레임 및/또는 변환 방법을 적용한 프레임 및/또는 필드 변환 장치를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위하여, 본 발명에 의한 입력되는 영상 신호의 레이트를 변환하는 프레임 및/또는 필드 레이트 변환 방법은
(a) 프레임및/또는 필드간의 움직임 벡터를 이용하여 보간될 프레임 및/또는 필드에 대한 움직임 벡터와 그 정확도를 추정하는 과정;
(b) 상기 (a) 과정에서 추정된 움직임 벡터를 분석하여 움직임 정보를 결정함과 함께 주변 블록 움직임 벡터와의 상관도를 계산하는 과정;
(c) 상기 (a) 과정에서 추정된 움직임 벡터를 이용하여 보간될 프레임및/또는 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 과정;
(d) 인접한 프레임에서 보간될 화소와 인접한 화소들을 이용하여 보간될 화소를 생성하는 과정;
(e)상기(a)과정에서 추정된 움직임 벡터의 정확도와 상기 (b)과정에서 추정된 움직임 정보 및 상관도에 따라 상기 (c)과정 및 상기 (d)과정에서 생성된 화소를 보간값으로 출력하는 과정을 특징으로 한다.
상기의 다른 기술적 과제를 해결하기 위하여, 본 발명에 의한 영상 신호를 레이트를 변환하는 프레임 및/또는 필드 레이트 변환 장치는,
프레임 및/또는 필드간의 움직임 벡터를 이용하여 보간될 프레임 및/또는 필드 필드에 대한 움직임 벡터를 추정하는 움직임 추정수단;
상기 움직임 추정수단에서 추정된 움직임 벡터를 분석하여 움직임 정보를 결정하고 주변 블록 움직임 벡터와의 상관도를 계산하는 움직임분석수단;
상기 움직임 추정수단에서 추정된 움직임 벡터를 이용하여 보간될 프레임및/또는 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 움직임 보상 보간수단;
보간될 프레임 및/또는 필드에서 인접한 프레임 및/또는 필드에서 보간될 화소와 인접한 화소들로 보간될 화소를 생성하는 시공간보간수단;
상기 움직임 분석 수단에서 추정된 움직임 정보와 상관도에 따라 상기 움직임 보상 보간수단 및 상기 시공간보간수단에서 생성된 화소를 보간될 화소값으로 출력하는 적응움직임보상수단을 포함하는 것을 특징으로 한다.
도 1은 종래의 움직임 보상을 이용한 프레임 레이트 변환 방법을 보이는 개념도이다.
도 2는 본 발명에 따른 적응 움직임 보상형 프레임 레이트 변환 장치를 도시한 블록도이다.
도 3은 도 2의 움직임 추정부에서 추정된 움직임 벡터를 이용하여 움직임 보상하는 과정을 보여주는 개념도이다.
도 4는 도 3의 움직임 분석부의 상세도이다.
도 5는 도 4의 전역 움직임 추정부의 상세도이다.
도 6은 적응 움직임 보상부의 상세도이다.
도 7은 도 6의 로칼 움직임 보상부에서 현재 블록과 주변 블록의 움직임 벡터를 이용한 움직임보상을 보이는 개념도이다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 2는 본 발명에 따른 적응 움직임 보상형 프레임 레이트 변환 장치를 도시한 블록도이다.
도 2의 적응 움직임 보상형 프레임 레이트 변환 장치는 움직임 추정부(210), 움직임 분석부(230), 움직임 보상 보간부(220), 리니어 보간부(240), 적응 움직임 보상부(250)로 구성된다.
먼저, 움직임 추정부(210)는 프레임/필드간의 움직임 벡터를 이용하여 보간될 프레임/필드에 대한 움직임 벡터와 그 정확도를 추정한다. 즉, 블록 기반의 움직임 추정은 연속적으로 입력되는 두 프레임/필드 사이에서 수행된다. 현재 프레임/필드에서 블록의 크기를 일정하게 나누고 각 블록을 이전 프레임/필드의 일정한 탐색영역 내에서 오차를 계산하고, 오차가 가장 적은 블록의 위치를 현재 블록의 움직임 벡터로 추정한다. 보간될 프레임(interpolated frame)/필드((interpolated field)이 연속적으로 입력되는 두 프레임/필드의 중간 위치에서 존재해야 하고, 보간될 프레임/필드를 기준으로 추정된 움직임 벡터가라면 도 3과 같이 움직임 보상을 수행한다. 그리고 움직임 벡터의 정확도는 블록의 모든 화소의 차이를 누적한 값으로 계산된다.
움직임 분석부(230)는 움직임 추정부(210)에서 추정된 움직임 벡터를 분석하여 움직임 타입을 결정함과 함께 현재 블록 움직임 벡터와 주변 블록 움직임 벡터와의 상관값을 계산한다. 이때 이 상관값은 소프트 스위칭값(k)으로 이용된다. 소프트 스위칭은 움직임 보상에 의한 평균값과 시간적 평균값을 이용하여 움직임 벡터의 신뢰도에 따라 가중치를 조절한다.
움직임 보상 보간부(220)는 움직임 추정부(210)에서 추정된 움직임 벡터를 이용하여 보간될 프레임에서 움직임 보상을 수행하여 보간될 화소를 생성한다. 일실시예로 움직임 보상 보간부(220)는 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 움직임 벡터를 이용하여 인접한 프레임 및/또는 필드의 화소를 움직임 보상하거나, 또는 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 인접한 블록의 움직임 벡터를 이용하여 인접한 프레임 및/또는 필드의 화소를 움직임 보상한다.
리니어 보간부(240)는 인접한 프레임/필드에서 보간될 화소와 인접한 화소들을 이용하여 보간될 화소를 생성한다. 이때 보간될 프레임/필드의 화소는 인접한 프레임/필드와 동일한 위치에 존재하는 화소로 보간한다.
적응움직임 보상부(250)는 움직임 추정부(210)에서 추정된 움직임 벡터의 정확도와 움직임 분석부(230)에서 추정된 움직임 정보 및 상관값에 따라 움직임 보상 보간부(220) 및 리니어 보간부(240)에서 생성된 화소를 보간값으로 출력한다.
도 4는 움직임 분석부의 상세도이다.
도 4를 참조하면, 전역 움직임 추정(global motion estimation)부(420)와 움직임 타입 결정부(430), 그리고 주변 움직임 벡터와의 상관관계를 참조하여 현재 블록의 움직임 벡터의 신뢰도를 계산하는 신뢰도 계산부(410)로 구성된다.
전역 움직임 추정부(420)는 입력되는 움직임 벡터를 이용하여 전역 움직임을 추정하는 데 도 5를 참조하여 더 상세하게 설명한다.
먼저, 움직임 벡터를 입력하여 각 블록의 움직임 벡터의 히스토그램을 구한다(510과정). 이어서, 히스토그램에서 도미넌트(dominant motion)을 결정하여(520과정) 이를 전역움직임 벡터로 결정한다(530과정).
여기서 수평/수직 방향의 히스토그램을 hx,hy라 하면, 전역 움직임의 존재 여부는 수학 식3, 수학 식4와 같이 정의할 수있다.
여기서 Ix, Iy는 다음과 같이 정의된다.
[-sr,sr]은 탐색범위를 의미하고,는 임계치(threshold)이다. 여기서는 다음과 같다.
움직임 타입 결정부(430)는 수학 식4와 같이 전역움직임 추정부(420)에서 추정된 전역 움직임 벡터와의 상관도를 계산하여 움직임 타입을 결정한다.
여기서는 임계치(threshold) 이다.
신뢰도계산부(410)는 현재 블록 움직임 벡터와 주변 블록의 움직임 벡터의 상관도를 계산한다. 이 상관도는 움직임 보상을 위한 화소들과 움직임을 고려하지 않은 화소들간의 소프트 스위치(soft switch)값으로 이용된다. 즉, 소프트 스위치값은 수학 식5와 같이 정의된다.
도 6은 적응 움직임 보상부의 상세도이다.
먼저, 움직임 타입 정보가 전역 움직임이면 선택부(620)는 수학 식6과 같이움직임 보상 보간부(220)에서 생성된 화소값을 출력한다.
여기서 V는 현재 블록의 움직임 벡터이고, fi, fn-1과 fn은 각각 보간될 프레임, 연속적으로 입력되는 이전 프레임과 현재 프레임을 의미한다.
움직임 타입 정보가 제로 움직임이면 선택부(620)는 수학 식7과 같이 리니어 보간부(240)에서 생성된 화소값을 출력한다.
만약 움직임 타입 정보가 로칼 움직임이면 선택부(620)는 로칼 움직임 보상부(610)에서 생성된 화소값을 출력한다. 이때 로칼 움직임 보상부(610)는 수학 식8과 같이 보간될 값을 결정한다.
여기서 움직임 벡터(Vi)는 도 7과 같이 현재 블록의 움직임 벡터(V0)와 주변 블록의 움직임 벡터(V1-V8)를 의미한다. 그리고 주변 블록의 움직임 벡터를 이용하여 이전 프레임과 현재 프레임에서 움직임 보상에 이용될 화소 셋을 구성하고, 각각의 화소 셋에서 수학 식9와 같이 미디언 값을 취한다.
이 값들은 현재 블록의 움직임 벡터가 부정확한 경우 움직임 벡터의 스무드니스(smoothness)효과를 얻을 수 있을 수 있다. 이렇게 얻어진 움직임 벡터는 로칼 움직임의 소프트 스위칭(soft switching)을 위한 움직임 보상용 화소로 이용된다.
여기서 도 4의 신뢰도 계산부(410)에서 구한 소프트 스위치를 위한 상관값(k) 는 Pmc와 Pavg사이의 값을 결정하게 된다. 따라서 선택부(620)에서 선택된 최종 보간 화소는 수학 식11로 정의된다.
또한 선택부(620)는 움직임 추정부(210)에서 추정된 벡터 정확도 파라메터와 움직임 타입에 따라 보간될 화소값을 결정한다. 만약 움직임 타입이 전역 움직임으로 판정되면 움직임 보상에 의한 보간값이 출력되고, 움직임 타입이 로칼 움직임인 경우 도 7과 같이 다중 움직임 궤적(multiple motion trajectories)를 이용하여 블록 아티펙트를 줄이는 소프트 스위칭 기법이 적용된다. 여기서 움직임 타입에 따라추정된 벡터 정확도의 임계값(threshold)이 결정되며, 이 추정된 벡터 정확도와 주어진 임계값을 비교하여 움직임 타입이 바뀔 수 있다. 다시말해 움직임 타입이 전역 움직임으로 판정되었다 하더라도 추정된 벡터 정확도가 임계값보다 큰 경우 전역 움직임은 로칼 움직임 타입으로 바뀌게 된다.
상술한 바와 같이 본 발명에 의하면, 블록별로 움직임 정보에 따라 각각 다른 움직임 보상 방식을 적용함으로써 보다 우수한 화질을 얻을 수 있으며, 또한 추정된 움직임 벡터가 블록 아티펙트를 발생시킬 우려가 있는 곳에서는 주변 블록의 움직임 벡터와의 상관성을 이용하여 소프트 스위칭(soft switching)을 수행함으로써 블록 아티펙트를 줄일 수 있다. 그리고 움직임 보상에 이용되는 보간 화소들은 주변 블록의 움직임 벡터에 의한 후보 벡터를 이용함으로써 부정확한 움직임 벡터에 대한 스무드니스(smoothness) 효과를 동시에 얻을 수있다.

Claims (20)

  1. 입력되는 영상 신호의 레이트를 변환하는 프레임 및/또는 필드 레이트 변환 방법에 있어서,
    (a) 프레임및/또는 필드간의 움직임 벡터를 이용하여 보간될 프레임 및/또는 필드에 대한 움직임 벡터와 그 정확도를 추정하는 과정;
    (b) 상기 (a) 과정에서 추정된 움직임 벡터를 분석하여 움직임 정보를 결정함과 함께 주변 블록 움직임 벡터와의 상관도를 계산하는 과정;
    (c) 상기 (a) 과정에서 추정된 움직임 벡터를 이용하여 보간될 프레임및/또는 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 과정;
    (d) 인접한 프레임에서 보간될 화소와 인접한 화소들을 이용하여 보간될 화소를 생성하는 과정;
    (e) 상기(a)과정에서 추정된 움직임 벡터의 정확도와 상기 (b)과정에서 추정된 움직임 정보 및 상관도에 따라 상기 (c)과정 및 상기 (d)과정에서 생성된 화소를 보간값으로 출력하는 과정을 포함하는 프레임 및/또는 필드 레이트 변환 방법.
  2. 제1항에 있어서, 상기(a) 과정의 움직임 벡터의 정확도는 블럭의 모든 화소의 차이를 누적한 값을 이용하여 계산되는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  3. 제1항에 있어서, 상기 (b) 과정의 움직임 정보의 결정은
    (a-1) 상기 과정에서 추정된 움직임 벡터의 분포를 참조하여 현재 장면에서 전역 움직임(global motion) 벡터를 추정하는 과정;
    (a-2) 보간될 프레임 및/또는 필드 의 화소가 포함된 블럭의 움직임 벡터를 상기 (a-1) 과정에서 생성된 전역 움직임의 벡터값과 비교하여 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 움직임 정보를 결정하는 과정;
    (a-3) 상기 과정에서 추정된 현재 블록의 움직임 벡터와 인접한 움직임 벡터의 차이를 이용하여 상관값을 계산하는 과정을 포함하는 것을 특징으로 하는 프레및/또는 필드 레이트 변환 방법.
  4. 제3항에 있어서, 상기 움직임 벡터의 분포는 히스토그램을 이용하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  5. 제3항에 있어서, 상기 전역 움직임 벡터는 움직임 벡터의 수평/수직 방향으로 각각 히스토그램의 도미넌트값으로 추정하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  6. 제3항에 있어서, 상기 전역 움직임 벡터는 움직임 벡터의 히스토그램 값을 임계값(threshold)과 비교하여 추정되는 것을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  7. 제3항에 있어서, 상기 움직임 정보 결정 과정은
    (a-1) 상기 블럭의 움직임 벡터를 전역 움직임 벡터와 비교하여 두 벡터의 차이가 소정의 임계값 보다 작을 경우 상기 블록의 움직임 정보를 전역(global) 움직임으로 설정하는 과정;
    (a-2) 소정의 임계값 보다 클 경우 상기 블록의 움직임 정보를 국부(local) 움직임으로 설정하는 과정;
    (a-3) 상기 블럭의 움직임 벡터의 크기가 작을 경우 상기 블록의 움직임 정보를 제로 움직임으로 설정하고, 상기 블록의 움직임 벡터가 제로 벡터일 경우 상기 블록의 움직임 정보를 제로 움직임으로 설정하는 과정을 포함하는 프레임 및/또는 필드 레이트 변환 방법.
  8. 제3항에 있어서, 상기 (a-3) 과정에서 현재 블록의 움직임 벡터와 인접한 블록의 움직임 벡터의 차이값을 움직임 보상에서 소프트 스위칭값으로 이용하는 것임을 특징으로 하는 프레임 레이트 및/또는 필드 변환 방법.
  9. 제1항에 있어서, 상기 (c) 과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 움직임 벡터를 이용하여 인접한 프레임 및/또는 필드의 화소를 움직임 보상하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  10. 제1항에 있어서, 상기 (c) 과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 인접한 블록의 움직임 벡터를 이용하여 인접한 프레임 및/또는 필드의 화소를 움직임 보상하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  11. 제1항에 있어서, 상기 (d) 과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소를 인접한 프레임/필드의 동일한 위치에 존재하는 화소로 보간하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  12. 제1항에 있어서, 상기 (c) 과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소가 인접한 프레임 및/또는 필드의 인접한 화소를 이용하여 보간하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  13. 제1항에 있어서, 상기 (e)과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 움직임 타입이 전역 움직임이면 상기 (c) 과정에서 구해진 화소를 보간될 화소로 선택하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  14. 제1항에 있어서, 상기 (e)과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소가 포함된 블럭의 움직임 타입이 국부(local) 움직임이면 상기 (c)과정에서 생성된 화소와 상기 (d)과정에서 구해진 화소를 현재 블록의 움직임 벡터와 인접한 블록의 움직임 벡터의 차이값을 이용한 소프트 스위칭에 의해 보간하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  15. 제14항에 있어서, 상기 소프트 스위칭에 의한 보간은 현재 블록의 움직임 벡터와 인접한 블록의 움직임 벡터의 차이값에 따라 상기 (c)과정에서 생성된 화소와 상기 (d)과정에서 구해진 화소에 가중치를 달리하여 생성되는 임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  16. 제1항에 있어서, 상기 (e)과정의 화소 선택은
    상기 보간될 프레임 및/또는 필드의 화소가 포함된 블럭의 움직임 타입이 제로 움직임이면 상기 (d)과정에서 구해진 화소를 보간될 화소로 선택하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  17. 제1항에 있어서, 상기 (e)과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 움직임 벡터와 인접한 블록의 움직임 벡터를 근거로 이전 프레임 및/또는 필드의 화소들의 미디언 값과 이후 프레임 및/또는 필드의 화소들의 미디언 값을 이용하여 보간하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  18. 제1항에 있어서, 상기 (c) 과정의 화소 생성은
    상기 보간될 프레임 및/또는 필드의 화소가 포함된 블록의 움직임 벡터와 인접한 블록의 움직임 벡터를 이용하여 이전 프레임 및/또는 필드의 화소들의 평균값과 이후 프레임 및/또는 필드의 화소들의 평균 값을 이용하여 보간될 화소로 생성하는 것임을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
  19. 영상 신호를 레이트를 변환하는 프레임 및/또는 필드 레이트 변환 장치에 있어서,
    프레임 및/또는 필드간의 움직임 벡터를 이용하여 보간될 프레임 및/또는 필드 필드에 대한 움직임 벡터를 추정하는 움직임 추정수단;
    상기 움직임 추정수단에서 추정된 움직임 벡터를 분석하여 움직임 정보를 결정하고 주변 블록 움직임 벡터와의 상관도를 계산하는 움직임분석수단;
    상기 움직임 추정수단에서 추정된 움직임 벡터를 이용하여 보간될 프레임 및/또는 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 움직임 보상 보간수단;
    보간될 프레임 및/또는 필드에서 인접한 프레임 및/또는 필드에서 보간될 화소와 인접한 화소들로 보간될 화소를 생성하는 시공간보간수단;
    상기 움직임 분석 수단에서 추정된 움직임 정보와 상관도에 따라 상기 움직임 보상 보간수단 및 상기 시공간보간수단에서 생성된 화소를 보간될 화소값으로 출력하는 적응움직임보상수단을 포함하는 프레임 및/또는 필드 레이트 변환 방법.
  20. 제21항에 있어서, 상기 움직임분석수단은
    추정된 움직임 벡터의 분포를 참조하여 전역 움직 벡터를 추정하는 전역움직임 추정부;
    상기 전역움직임 추정부에서 추정된 전역 움직임 벡터와 추정된 움직임 벡터를 비교하여 블록의 움직임 정보를 결정하는 움직임 타입 결정부;
    현재 블록의 움직임 벡터와 인접한 블록의 움직임 벡터의 차이값을 계산하여 움직임보상평균값과 시간적 평균값의 가중치를 조절하는 신뢰도 계산부를 포함하는 것을 특징으로 하는 프레임 및/또는 필드 레이트 변환 방법.
KR10-2001-0066014A 2001-10-25 2001-10-25 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 KR100396558B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2001-0066014A KR100396558B1 (ko) 2001-10-25 2001-10-25 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
JP2002289037A JP4519396B2 (ja) 2001-10-25 2002-10-01 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
NL1021613A NL1021613C2 (nl) 2001-10-25 2002-10-09 Inrichting en werkwijze voor het omvormen van een raster en/of veldsnelheid met gebruikmaking van adaptieve bewegingscompensatie.
CNB021458413A CN1270526C (zh) 2001-10-25 2002-10-15 使用自适应运动补偿转换帧/半帧速率的装置和方法
US10/277,093 US7075988B2 (en) 2001-10-25 2002-10-22 Apparatus and method of converting frame and/or field rate using adaptive motion compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0066014A KR100396558B1 (ko) 2001-10-25 2001-10-25 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법

Publications (2)

Publication Number Publication Date
KR20030033851A KR20030033851A (ko) 2003-05-01
KR100396558B1 true KR100396558B1 (ko) 2003-09-02

Family

ID=19715388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0066014A KR100396558B1 (ko) 2001-10-25 2001-10-25 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법

Country Status (5)

Country Link
US (1) US7075988B2 (ko)
JP (1) JP4519396B2 (ko)
KR (1) KR100396558B1 (ko)
CN (1) CN1270526C (ko)
NL (1) NL1021613C2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11863904B2 (en) 2021-06-14 2024-01-02 Samsung Electronics Co., Ltd. Electronic device for performing video call using frame rate conversion and method for the same

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8517923B2 (en) 2000-04-03 2013-08-27 Intuitive Surgical Operations, Inc. Apparatus and methods for facilitating treatment of tissue via improved delivery of energy based and non-energy based modalities
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
KR100541953B1 (ko) 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
US20060218619A1 (en) * 2003-08-06 2006-09-28 Koninklijke Philips Electronic N.V. Block artifacts detection
KR100846780B1 (ko) * 2003-11-10 2008-07-16 삼성전자주식회사 움직임 벡터 추정 방법 및 장치
CN1301015C (zh) * 2003-12-15 2007-02-14 财团法人资讯工业策进会 适应性降低画面速率视讯转换编码***
US7346226B2 (en) * 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100584597B1 (ko) * 2004-05-10 2006-05-30 삼성전자주식회사 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치
US7684628B2 (en) * 2004-08-12 2010-03-23 Industrial Technology Research Institute System and method for non-iterative global motion estimation
US7463753B2 (en) * 2004-09-15 2008-12-09 Raytheon Company FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker
KR101036787B1 (ko) * 2005-01-14 2011-05-25 가부시키가이샤 모르포 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치
JP4398925B2 (ja) * 2005-03-31 2010-01-13 株式会社東芝 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
EP1732329A1 (en) * 2005-06-06 2006-12-13 STMicroelectronics S.r.l. Method and apparatus for coding moving images
JP4722936B2 (ja) * 2005-09-30 2011-07-13 シャープ株式会社 画像表示装置及び方法
KR100843083B1 (ko) * 2005-12-14 2008-07-02 삼성전자주식회사 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
EP1841205A1 (en) * 2006-03-29 2007-10-03 Sony Deutschland Gmbh Motion detection in an interlaced field sequence
EP1855474A1 (en) * 2006-05-12 2007-11-14 Sony Deutschland Gmbh Method for generating an interpolated image between two images of an input image sequence
JP2007324830A (ja) * 2006-05-31 2007-12-13 Toshiba Corp フレームレート変換装置及びフレームレート変換方法
JP4961850B2 (ja) * 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
EP1876823A1 (en) * 2006-07-07 2008-01-09 Matsushita Electric Industrial Co., Ltd. Video processing device and method for processing videos
KR100748625B1 (ko) * 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법
JP4799330B2 (ja) * 2006-09-08 2011-10-26 株式会社東芝 フレーム補間回路、フレーム補間方法、表示装置
JP4322904B2 (ja) 2006-09-19 2009-09-02 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
KR100806858B1 (ko) * 2006-09-26 2008-02-22 삼성전자주식회사 고화질 영상표시장치 및 그 프레임레이트변환방법
KR100790178B1 (ko) * 2006-10-20 2008-01-02 삼성전자주식회사 동영상의 프레임 레이트 변환 방법
KR100810391B1 (ko) * 2006-10-31 2008-03-04 삼성전자주식회사 움직임 보간을 이용한 프레임 레이트 변환 방법
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR100803611B1 (ko) * 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100809354B1 (ko) 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR101107255B1 (ko) * 2007-02-16 2012-01-19 삼성전자주식회사 움직임이 보상된 보간 화소를 이용한 영상 보간 방법 및 그장치
JP4513819B2 (ja) * 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
KR101107256B1 (ko) * 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치
WO2008139520A1 (ja) * 2007-04-27 2008-11-20 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
TWI342714B (en) * 2007-05-16 2011-05-21 Himax Tech Ltd Apparatus and method for frame rate up conversion
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
EP2188979A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for motion estimation in video image data
KR101427115B1 (ko) * 2007-11-28 2014-08-08 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR101386891B1 (ko) * 2007-12-13 2014-04-18 삼성전자주식회사 영상 보간 방법 및 장치
US20090207314A1 (en) * 2008-02-14 2009-08-20 Brian Heng Method and system for motion vector estimation using a pivotal pixel search
US9241094B2 (en) 2008-03-18 2016-01-19 Intel Corporation Capturing event information using a digital video camera
US9256789B2 (en) 2008-03-21 2016-02-09 Intel Corporation Estimating motion of an event captured using a digital video camera
US9251423B2 (en) 2008-03-21 2016-02-02 Intel Corporation Estimating motion of an event captured using a digital video camera
JP5106203B2 (ja) * 2008-03-27 2012-12-26 株式会社東芝 補間画像生成装置、方法およびプログラム
US8605787B2 (en) 2008-03-28 2013-12-10 Nec Corporation Image processing system, image processing method, and recording medium storing image processing program
JP4600530B2 (ja) * 2008-06-17 2010-12-15 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
TWI477142B (zh) * 2008-06-20 2015-03-11 Mstar Semiconductor Inc 影像處理電路及相關方法
KR101498124B1 (ko) 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8718142B2 (en) 2009-03-04 2014-05-06 Entropic Communications, Inc. System and method for frame rate conversion that utilizes motion estimation and motion compensated temporal interpolation employing embedded video compression
EP2509307A4 (en) * 2009-12-01 2012-12-26 Panasonic Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
KR101630688B1 (ko) * 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
CN102823247B (zh) * 2010-03-30 2015-04-08 富士通株式会社 图像处理装置和图像处理方法
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
KR101633377B1 (ko) * 2010-06-18 2016-07-08 삼성전자주식회사 다중 노출에 의한 프레임 처리 방법 및 장치
EP2410746A1 (en) * 2010-07-20 2012-01-25 Siemens Aktiengesellschaft Video coding with reference frames of high resolution
US8792549B2 (en) 2011-02-28 2014-07-29 Sony Corporation Decoder-derived geometric transformations for motion compensated inter prediction
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US20140152848A1 (en) * 2012-12-04 2014-06-05 Nvidia Corporation Technique for configuring a digital camera
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
US10382718B2 (en) * 2017-12-27 2019-08-13 Anapass Inc. Frame rate detection method and frame rate conversion method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025161A (ko) * 1995-10-31 1997-05-30 배순훈 영상 부호화기(A video encoder)
JPH10112845A (ja) * 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の飛び越し順次走査変換方法および回路
KR19990049348A (ko) * 1997-12-12 1999-07-05 구자홍 움직임 벡터를 이용한 프레임 율(frame rate) 변환장치와 방법.
KR20000061568A (ko) * 1999-03-27 2000-10-25 구자홍 비디오 신호의 프레임 율 변환 방법
KR20010111740A (ko) * 2000-06-13 2001-12-20 윤종용 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
KR20030015492A (ko) * 2001-08-16 2003-02-25 김승환 동영상 부호화 시스템의 동영상 움직임 추정 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987005769A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Tv picture motion measurement
DE4007851A1 (de) * 1989-08-24 1991-02-28 Thomson Brandt Gmbh Verfahren zur bewegungskompensation in einem bewegtbildcoder oder -decoder
JP2762791B2 (ja) 1991-09-05 1998-06-04 松下電器産業株式会社 走査線補間装置
GB2268658B (en) 1992-07-06 1995-12-13 Sony Broadcast & Communication Video signal processing
GB2277002B (en) 1993-04-08 1997-04-09 Sony Uk Ltd Motion compensated video signal processing
FR2742901B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede de correction d'estimation de mouvement dans des images a structures periodiques
JPH1023374A (ja) 1996-07-09 1998-01-23 Oki Electric Ind Co Ltd 画像信号の方式変換装置およびフィールド数変換方法
KR100582856B1 (ko) * 1997-09-23 2006-05-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정 및 움직임 보상된 보간법
US6252975B1 (en) * 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US6580812B1 (en) * 1998-12-21 2003-06-17 Xerox Corporation Methods and systems for automatically adding motion lines representing motion to a still image
JP2001024988A (ja) 1999-07-09 2001-01-26 Hitachi Ltd 画像信号の動き補償フレーム数変換方式および装置
JP2001054075A (ja) 1999-08-06 2001-02-23 Hitachi Ltd 画像信号の動き補償走査変換回路
US6532264B1 (en) * 2000-03-27 2003-03-11 Teranex, Inc. Processing sequential video images to detect image motion among interlaced video fields or progressive video images
AU2001247574A1 (en) 2000-03-27 2001-10-08 Teranex, Inc. Temporal interpolation of interlaced or progressive video images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025161A (ko) * 1995-10-31 1997-05-30 배순훈 영상 부호화기(A video encoder)
JPH10112845A (ja) * 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の飛び越し順次走査変換方法および回路
KR19990049348A (ko) * 1997-12-12 1999-07-05 구자홍 움직임 벡터를 이용한 프레임 율(frame rate) 변환장치와 방법.
KR20000061568A (ko) * 1999-03-27 2000-10-25 구자홍 비디오 신호의 프레임 율 변환 방법
KR20010111740A (ko) * 2000-06-13 2001-12-20 윤종용 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
KR20030015492A (ko) * 2001-08-16 2003-02-25 김승환 동영상 부호화 시스템의 동영상 움직임 추정 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11863904B2 (en) 2021-06-14 2024-01-02 Samsung Electronics Co., Ltd. Electronic device for performing video call using frame rate conversion and method for the same

Also Published As

Publication number Publication date
NL1021613A1 (nl) 2003-04-28
KR20030033851A (ko) 2003-05-01
JP2003163894A (ja) 2003-06-06
CN1414787A (zh) 2003-04-30
NL1021613C2 (nl) 2004-09-09
CN1270526C (zh) 2006-08-16
US7075988B2 (en) 2006-07-11
US20030086498A1 (en) 2003-05-08
JP4519396B2 (ja) 2010-08-04

Similar Documents

Publication Publication Date Title
KR100396558B1 (ko) 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100393066B1 (ko) 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
US6005639A (en) Vector assignment for video image motion compensation
KR100708091B1 (ko) 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
KR100412501B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
KR100441509B1 (ko) 주사포맷변환장치 및 방법
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
KR20040108046A (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
EP2564588B1 (en) Method and device for motion compensated video interpoltation
KR20070020994A (ko) 영상신호 변환장치 및 그 방법
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
US8761262B2 (en) Motion vector refining apparatus
KR20070043703A (ko) 비월 비디오 이미지에서의 움직임 추정
Park et al. Covariance-based adaptive deinterlacing method using edge map
JP2002314952A (ja) 動きベクトル・フィールドの信頼性を検出する方法および装置
KR20050015189A (ko) 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체
KR100728914B1 (ko) 영상의 속성을 이용한 디인터레이싱 장치 및 그 방법
Heinrich et al. Robust motion estimation design methodology
Ernst et al. Advanced motion estimation for standards conversion and slow motion
EP1981269A2 (en) DE-Interlacing video

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110728

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee