KR20130023644A - 영상 프레임의 보간 방법 및 장치 - Google Patents

영상 프레임의 보간 방법 및 장치 Download PDF

Info

Publication number
KR20130023644A
KR20130023644A KR1020110086565A KR20110086565A KR20130023644A KR 20130023644 A KR20130023644 A KR 20130023644A KR 1020110086565 A KR1020110086565 A KR 1020110086565A KR 20110086565 A KR20110086565 A KR 20110086565A KR 20130023644 A KR20130023644 A KR 20130023644A
Authority
KR
South Korea
Prior art keywords
image frame
region
data unit
frame
area
Prior art date
Application number
KR1020110086565A
Other languages
English (en)
Other versions
KR101756842B1 (ko
Inventor
조준호
박현욱
임형준
안태경
김재현
박세혁
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020110086565A priority Critical patent/KR101756842B1/ko
Priority to US13/598,108 priority patent/US20130051471A1/en
Publication of KR20130023644A publication Critical patent/KR20130023644A/ko
Application granted granted Critical
Publication of KR101756842B1 publication Critical patent/KR101756842B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 프레임 보간 방법 및 장치가 개시된다. 본 발명에 따른 영상 프레임 보간 방법 및 장치는 제 1 영상 프레임과 제 2 영상 프레임 사이의 보간된 제 3 영상 프레임의 소정 데이터 단위마다 보간에 이용된 제 1 영상 프레임과 제 2 영상 프레임의 대응 영역들 사이의 유사도에 따라서 객체와 배경을 판단하고, 원 영상 프레임에 존재하는 객체 영역을 이용하여 제 3 영상 프레임의 객체 영역을 보간한다.

Description

영상 프레임의 보간 방법 및 장치{Method and apparatus for image frame interpolation}
본 발명은 영상 프레임의 보간 방법 및 장치에 관한 것으로, 보다 상세히는원본 동영상의 프레임들 사이를 보간하여 새로운 프레임을 생성함으로써 프레임율을 변환하는 방법 및 장치에 관한 것이다.
최근 디스플레이 장치의 발전으로 인해 다양한 크기의 영상 포맷과 방대한 양의 고해상도의 비디오에 대한 수요가 증가하고 있다. 그러나 제한된 대역폭에서 고해상도의 데이터를 전송하기 위해서는 비트 대역폭을 고려하여, 허용된 대역폭 내의 범위로 비트율을 줄여서 전송하여야 하기 때문에 고해상도 비디오의 주관적 화질이 떨어질 수 있다. 이와 같이 비트율이 감소함으로 인해 발생할 수 있는 화질의 저하를 막기 위해서 최근 원본 비디오의 프레임율을 변환하는 방법이 실용화되고 있다. 예를 들어, 원본 동영상의 프레임율이 60Hz일 때, 원본 동영상의 프레임들 사이를 보간하여 보간 프레임을 생성함으로써, 프레임율을 120Hz 또는 240Hz로 변환할 수 있다. 프레임율 변환에 따라 잔상이 적은 동영상을 생성하여 재생할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는 프레임율을 변환하는 방법 및 장치를 제공하며, 상기 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다. 특히, 본 발명이 해결하고자 하는 기술적 과제는 작은 객체에 대해서 잘못된 움직임 예측 및 보상으로 인해 보간된 영상 프레임에서 흔히 발생하는 결함(artifact)을 제거하기 위한 보간된 영상 프레임의 후처리 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 영상 프레임의 보간 방법은 제 1 영상 프레임과 제 2 영상 프레임에 기초해 움직임 예측을 수행하여 움직임 벡터를 생성하는 단계; 상기 제 1 영상 프레임, 상기 제 2 영상 프레임 및 상기 움직임 벡터에 기초한 움직임 보상을 수행하여 상기 제 1 영상 프레임과 제 2 영상 프레임 사이의 제 3 영상 프레임을 보간하는 단계; 상기 보간된 제 3 영상 프레임의 소정 데이터 단위마다, 상기 데이터 단위의 보간에 이용되는 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 사이의 유사도에 따라서, 상기 제 1 영상 프레임의 대응 영역 및 상기 제 2 영상 프레임의 대응 영역 중 적어도 하나의 대응 영역을 선택하고 선택된 대응 영역을 이용하여 상기 데이터 단위를 대체하는 단계; 상기 선택된 대응 영역에 기초하여 상기 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 판단하는 단계; 및 상기 판단된 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 이용하여 상기 제 3 영상 프레임의 객체 영역을 보간하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 프레임의 보간 장치는 제 1 영상 프레임과 제 2 영상 프레임에 기초해 움직임 예측을 수행하여 움직임 벡터를 생성하는 움직임 예측부; 상기 제 1 영상 프레임, 상기 제 2 영상 프레임 및 상기 움직임 벡터에 기초한 움직임 보상을 수행하여 상기 제 1 영상 프레임과 제 2 영상 프레임 사이의 제 3 영상 프레임을 보간하는 프레임 보간부; 상기 보간된 제 3 영상 프레임의 소정 데이터 단위마다, 상기 데이터 단위의 보간에 이용되는 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 사이의 유사도에 따라서, 상기 제 1 영상 프레임의 대응 영역 및 상기 제 2 영상 프레임의 대응 영역 중 적어도 하나의 대응 영역을 선택하고 선택된 대응 영역을 이용하여 상기 데이터 단위를 대체하는 움직임 방향 예측부; 상기 선택된 대응 영역에 기초하여 상기 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 판단하는 객체 영역 판단부; 및 상기 판단된 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 이용하여 상기 제 3 영상 프레임의 객체 영역을 보간하는 객체 보간부를 포함한다.
본 발명의 실시예에 따르면, 종래 영상 프레임의 보간 방식에서 정확하게 보간할 수 없었던 빠르게 움직이는 작은 객체에 대한 위치 정보를 알아내고 작은 물체에 대해서도 정확한 보간이 가능하다. 또한, 본 발명의 실시예에 따르면, 작은 객체에 대한 정보를 이용하여 원본 영상 프레임들 중 객체 영역과 배경 영역을 분리하고, 보간된 영상 프레임에 대한 후처리를 수행함으로써 보간된 영상 프레임에서 작은 객체가 사라지거나 작은 객체가 중복되어 디스플레이되는 결함을 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임 보간 장치의 구성을 나타낸 블록도이다.
도 2는 도 1의 프레임 보간부(120)에서 수행되는 원본 영상 프레임율을 업-컨버젼(up-conversion)하는 방법을 설명하기 위한 참조도이다.
도 3은 도 1의 프레임 보간부(120)에서 생성된 제 3 영상 프레임에서 발생할 수 있는 결함을 설명하기 위한 참조도이다.
도 4는 도 1의 움직임 방향 예측부(131)에서 수행되는 보간 프레임의 대체 영상 결정 과정을 설명하기 위한 참조도이다.
도 5는 도 1의 움직임 방향 예측부(131)에서 수행되는 보간 프레임의 대체 영상 결정 과정을 설명하기 위한 다른 참조도이다.
도 6은 도 1의 객체 보간부(133)에서 수행되는 객체 보간 과정을 설명하기 위한 참조도이다.
도 7은 본 발명의 일 실시예에 따른 영상 프레임 보간 방법을 나타낸 플로우 차트이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임 보간 장치의 구성을 나타낸 블록도이다.
도 1을 참조하면, 영상 프레임 보간 장치(100)는 움직임 예측부(110), 프레임 보간부(120) 및 후처리부(130)를 포함한다.
움직임 예측부(110)은 입력된 원 영상 프레임들 사이의 보간된 영상 프레임을 생성하기 위하여 시간적으로 선후하는 제 1 영상 프레임과 제 2 영상 프레임 사이의 움직임 예측을 수행하여 움직임 벡터를 생성한다.
프레임 보간부(120)은 움직임 예측부(110)에서 생성된 움직임 벡터에 기초하여, 제 1 영상 프레임과 제 2 영상 프레임 사이의 제 3 영상 프레임을 보간한다. 여기서, 프레임 보간부(120)가 제 3 영상 프레임을 생성하는 방법에는 제한이 없으며 제 1 영상 프레임과 제 2 영상 프레임 사이의 움직임 벡터에 기초하여 제 3 영상 프레임을 보간하는 모든 방법이 본 발명에 적용될 수 있다. 제 1 영상 프레임과 제 2 영상 프레임을 이용하여 제 3 영상 프레임을 생성하는 방법은 도 2를 참조하여 상세히 후술한다.
후처리부(130)는 움직임 방향 예측부(131), 객체 영역 판단부(132) 및 객체 보간부(133)를 포함한다. 후처리부(130)는 프레임 보간부(120)에서 보간된 제 3 영상 프레임의 후처리(post-processing)를 수행하여 보간된 제 3 영상 프레임에 존재하는 결함을 제거한다. 구체적으로, 움직임 방향 예측부(131)는 프레임 보간부(120)에서 보간된 제 3 영상 프레임의 보간에 이용된 제 1 영상 프레임의 대응 영역과 제 2 영상 프레임의 대응 영역 사이의 유사도에 따라서, 제 1 영상 프레임의 대응 영역과 제 2 영상 프레임의 대응 영역 중 2개의 대응 영역을 모두 이용하거나 어느 하나의 대응 영역만을 이용하여 제 3 영상 프레임의 영상을 대체한다.
객체 영역 판단부(132)는 제 1 영상 프레임의 대응 영역과 제 2 영상 프레임의 대응 영역 중 움직임 방향 예측부(132)에서 제 3 영상 프레임의 영상을 대체하는데 이용된 대응 영역의 정보에 기초하여 제 1 영상 프레임과 제 2 영상 프레임에 존재하는 객체 영역을 판단한다. 판단된 제 1 영상 프레임의 객체 영역과 제 2 영상 프레임의 객체 영역은 객체 맵(object map)으로 표현될 수 있다.
객체 보간부(133)는 판단된 제 1 영상 프레임의 객체 영역과 제 2 영상 프레임의 객체 영역을 이용하여 제 3 영상 프레임의 객체 영역을 보간한다. 이하, 본 발명의 실시예에 따른 영상 프레임 보간 장치(100)의 구체적인 동작에 대하여 도 2 내지 도 6을 참조하여 구체적으로 설명한다.
도 2는 도 1의 프레임 보간부(120)에서 수행되는 원본 영상 프레임율을 업-컨버젼(up-conversion)하는 방법을 설명하기 위한 참조도이다.
도 1 및 도 2를 참조하면, 시간 t-1의 제 1 영상 프레임(210) 및 시간 t+1의 제 2 영상 프레임(220) 사이를 보간하여 제 3 영상 프레임(230)을 생성하기 위해서 움직임 벡터(240)가 예측된다. 움직임 예측부(110)는 제 2 영상 프레임(220)의 블록(222)과 유사한 블록(212)을 제 1 영상 프레임(210)에서 검색하고, 검색 결과에 기초해 움직임 벡터(240)를 예측한다. 도 2에서는 움직임 예측부(110)에서 순방향(forward) 움직임 벡터(240)를 생성하는 것을 도시하였으나, 이에 한정되지 않고 움직임 예측부(110)는 제 1 영상 프레임(210)을 기준으로 제 2 영상 프레임(220)에서 움직임 예측을 수행하여 역방향(backward) 움직임 벡터를 생성할 수도 있다.
프레임 보간부(120)는 움직임 예측부(110)에서 생성된 움직임 벡터(240)에 기초하여 제 1 영상 프레임(210)과 제 2 영상 프레임(220) 사이의 제 3 영상 프레임을 생성한다. 프레임 보간부(120)는 움직임 벡터에 기초하여 영상 프레임들 사이의 프레임을 보간하는 다양한 방식을 적용할 수 있으며, 일 예로 움직임 보상 프레임 보간(Motion-compensated frame interpolation, 이하 "MCFI"라 한다) 방식을 적용하여 제 3 영상 프레임(230)을 생성할 수 있다. 프레임 보간부(120)는 제 2 영상 프레임(220)에 대해서 예측된 움직임 벡터(240)을 이용하여 다음의 수학식 1과 같이 제 3 영상 프레임(230)을 보간할 수 있다.
Figure pat00001
수학식 1에서, 움직임 예측부(110)에서 생성된 제 2 영상 프레임(220)의 (i,j) 위치에서의 움직임 벡터의 x축 방향 성분을
Figure pat00002
, y축 방향 성분을
Figure pat00003
이며,
Figure pat00004
는 제 1 영상 프레임(210)의 (x,y) 위치에서의 픽셀값,
Figure pat00005
는 제 2 영상 프레임(220)의 (x,y) 위치에서의 픽셀값,
Figure pat00006
는 보간된 제 3 영상 프레임(230)의 (x,y) 위치에서의 픽셀값을 나타낸다. 수학식 1을 참조하면, 프레임 보간부(120)는 움직임 예측부(110)에서 생성된 움직임 벡터에 기초하여 제 1 영상 프레임(210)과 제 2 영상 프레임(220)의 대응 영역 사이의 평균값을 계산함으로써 제 3 영상 프레임(230)을 보간한다.
또한, 프레임 보간부(120)는 제 3 영상 프레임(230)의 각 픽셀에 대해서 추정된 움직임 벡터에 기초하여 다음의 수학식 2와 같이 제 3 영상 프레임(230)을 보간할 수 있다.
Figure pat00007
수학식 2에서,
Figure pat00008
및
Figure pat00009
는 각각 제 3 영상 프레임(230)의 (i,j)위치에서 추정된 x축 방향 및 y축 방향의 움직임 벡터를 나타내는 것을 제외하고 나머지 파라메터들의 정의는 수학식 1과 같다. 보간된 제 3 영상 프레임(230)에서의 움직임 벡터는 제 1 영상 프레임(210)과 제 2 영상 프레임 사이의 순방향 및 역방향 움직임 벡터를 이용하여 특별한 제한없이 다양한 방식을 적용하여 추정될 수 있다.
프레임 보간부(120)에서 생성된 제 3 영상 프레임(230)에서는 원본 영상 프레임인 제 1 영상 프레임(210)과 제 2 영상 프레임(220)에 작은 객체가 존재하거나 빠른 움직임이 있는 경우 영상이 균일하지 못하고 영상이 중복되는 고스트 현상(ghost artifact)이나 보간된 제 3 영상 프레임에서 원래 존재하던 객체가 사라지는 현상이 발생할 수 있다.
도 3은 도 1의 프레임 보간부(120)에서 생성된 제 3 영상 프레임에서 발생할 수 있는 결함을 설명하기 위한 참조도이다.
도 3을 참조하면, 전술한 바와 같이 프레임 보간부(120)는 제 1 영상 프레임(310)과 제 2 영상 프레임(320) 사이의 움직임 예측을 통해 움직임 벡터를 생성하고 움직임 벡터가 가리키는 대응 영역을 이용하여 제 3 영상 프레임(330)을 보간한다. 예를 들어, 도 3에 도시된 바와 같이, 움직임 예측부(110)의 움직임 예측 결과 제 2 영상 프레임(320)의 제 1 블록(325)에 대한 움직임 예측 결과 제 1 영상 프레임(310)의 제 1 대응 영역(317)을 가리키는 움직임 벡터 MV1 및 제 2 영상 프레임(320)의 제 2 블록(327)에 대한 움직임 예측 결과 제 1 영상 프레임(310)의 제 2 대응 영역(315)을 가리키는 움직임 벡터 MV2가 결정된 경우를 가정해본다. 또한, 제 1 영상 프레임(310)과 제 2 영상 프레임(320)에는 움직임 예측에 이용된 블록 크기보다 작은 객체(316, 317)가 존재한다고 가정한다. 움직임 예측부(110)는 블록 단위로 제 1 영상 프레임(310)과 제 2 영상 프레임(320) 사이의 SAD(sum of absolute difference) 등에 기초하여 움직임 벡터를 예측하기 때문에, 블록 단위보다 작은 객체가 존재하는 경우 움직임 벡터가 잘못 예측될 수 있다. 전술한 예에서, 제 1 블록(325)는 제 2 대응 영역(315)를 가리키도록 움직임 벡터가 예측되어야 하지만, 제 1 블록(325)은 제 1 대응 영역(317)과 매칭되도록 움직임 벡터가 잘못 예측될 수 있다. 이와 같이 잘못 예측된 움직임 벡터 MV1를 이용하여 제 1 블록(325)와 제 1 대응 영역(317)의 평균값을 이용하여 보간된 제 3 영상 프레임(330)의 제 1 보간 영역(331)에는 제 1 블록(325)에 존재하던 객체(326)로 인해 고스트 객체(332)가 나타날 수 있다. 유사하게, 잘못 예측된 움직임 벡터 MV2를 이용하여 제 2 블록(327)과 제 2 대응 영역(315)의 평균값을 이용하여 보간된 제 3 영상 프레임(330)의 제 2 보간 영역(333)에는 제 2 대응 영역(315)에 존재하던 객체(316)로 인해 고스트 객체(334)가 나타날 수 있다
따라서, 본 발명의 실시예에 따른 후처리부(130)에서는 다양한 방식으로 보간된 영상 프레임에 존재할 수 있는 결함을 제거하기 위한 후처리를 수행한다.
도 4는 도 1의 움직임 방향 예측부(131)에서 수행되는 보간 프레임의 대체 영상 결정 과정을 설명하기 위한 참조도이다.
도 4를 참조하면, 움직임 방향 예측부(131)은 프레임 보간부(120)에서 보간된 제 3 영상 프레임(430)의 소정 크기의 데이터 단위마다, 보간에 이용된 제 1 영상 프레임(410)의 대응 영역과 제 2 영상 프레임(420)의 대응 영역 중 2개를 모두 이용하거나 어느 하나의 대응 영역만을 이용하여 데이터 단위의 영상을 대체한다. 여기서, 데이터 단위는 움직임 예측부(110)에서 움직임 예측시 수행된 소정 크기의 블록보다 작은 크기의 데이터로써, 예를 들어 움직임 예측이 16x16의 매크로 블록 단위로 수행된 경우 데이터 단위는 매크로 블록보다 작은 크기인 것이 바람직하다. 왜나하면, 움직임 방향 예측부(131)는 작은 객체의 잘못된 움직임 예측 방향을 수정하여 제 1 영상 프레임(410)이나 제 2 영상 프레임(420) 중 어느 하나만을 이용하여 단방향으로 움직임 보상되어야 하는 영역을 식별하기 위한 것이므로, 움직임 방향 예측부(131)는 움직임 예측에 이용된 블록 크기보다 작은 데이터 단위로 영상 데이터를 처리하는 것이 바람직하다. 하드웨어 자원이 뒷받침되는 경우, 움직임 방향 예측부(131)는 데이터 단위를 픽셀 단위로 동작될 수 있다.
다시 도 4를 참조하면, 움직임 방향 예측부(131)는 제 3 영상 프레임(430)의 데이터 단위 Xt(431)의 보간시에 이용된 제 1 영상 프레임(410)의 대응 영역 Xp(411)과 제 2 영상 프레임(420)의 대응 영역 Xc(421) 사이의 유사도에 기초하여 데이터 단위 Xt(431)를 대체한다. 구체적으로, 제 1 영상 프레임(410)의 대응 영역 Xp(411)과 제 2 영상 프레임(420)의 대응 영역 Xc(421) 사이의 절대값 차이인
Figure pat00010
가 소정 임계값 미만인 경우, 즉 제 1 영상 프레임(410)의 대응 영역 Xp(411)과 제 2 영상 프레임(420)의 대응 영역 Xc(421)가 유사하다고 판단된 경우에는 대응 영역 Xp(411)와 대응 영역 Xc(421) 사이의 평균값인 (Xp+Xc)/2 을 이용하여 데이터 단위 Xt(431)를 대체한다. 프레임 보간부(120)에서 최초 생성된 제 3 영상 프레임(430)이 제 1 영상 프레임(410)의 대응 영역 Xp(411)과 제 2 영상 프레임(420)의 대응 영역 Xc(421)의 평균값에 기초하여 생성된 경우 이러한 대체 과정은 생략될 수 있다.
만약, 제 1 영상 프레임(410)의 대응 영역 Xp(411)과 제 2 영상 프레임(420)의 대응 영역 Xc(421) 사이의 절대값 차이인
Figure pat00011
가 소정 임계값보다 큰 경우, 움직임 방향 예측부(131)는 데이터 단위 Xt(431)과 유사한 하나의 대응 영역을 선택하여 데이터 단위 Xt(431)를 대체한다. 구체적으로, 움직임 방향 예측부(131)는 데이터 단위 Xt(431)의 이전에 처리된 주변 픽셀들의 평균값과 유사한 대응 영역을 선택하여 데이터 단위 Xt(431)를 대체한다. 데이터 단위 Xt(431)의 이전에 처리된 주변 픽셀들의 평균값을 X'라고 하면,
Figure pat00012
인 경우, 즉 제 1 영상 프레임(410)의 대응 영역 Xp(411)이 데이터 단위 Xt(431)의 주변 픽셀들의 평균값과 더 유사한 경우에는 데이터 단위 Xt(431)와 대응 영역 Xp(411)가 유사한 것으로 판단하여, 데이터 단위 Xt(431)을 제 1 영상 프레임(410)의 대응 영역 Xp(411)로 대체한다. 반대의 경우, 움직임 방향 예측부(131)은 데이터 단위 Xt(431)을 제 2 영상 프레임(420)의 대응 영역 Xc(412)로 대체한다.
도 5는 도 1의 움직임 방향 예측부(131)에서 수행되는 보간 프레임의 대체 영상 결정 과정을 설명하기 위한 다른 참조도이다. 도 5에서 제 1 영상 프레임(510)과 제 2 영상 프레임(530)에 빠른 움직임을 갖는 작은 객체(511, 531)이 존재하며, 제 3 영상 프레임(520)은 도시된 화살표 방향과 같이 제 1 영상 프레임(510)과 제 2 영상 프레임(530)의 대응 영역을 이용하여 보간되었다고 가정한다. 도 3에서 전술한 바와 같이, 작은 객체에 대한 잘못된 움직임 예측에 의해 보간된 경우 제 3 영상 프레임(520)에는 원래 존재하여야 하는 객체 영역(522)이 존재하지 않게 되거나, 존재하지 않아야 되는 객체(521,523)이 나타나는 고스트 현상이 발생할 수 있다. 따라서, 전술한 바와 같이 움직임 방향 예측부(131)는 제 3 영상 프레임(520)의 데이터 단위마다, 데이터 단위의 보간에 이용된 제 1 영상 프레임(510)의 대응 영역과 제 2 영상 프레임(530)의 대응 영역의 유사도에 기초하여 대응 영역들 중 적어도 하나의 대응 영역을 선택하고, 선택된 대응 영역에 기초하여 데이터 단위를 대체한다. 예를 들어, 움직임 방향 예측부(131)는 데이터 단위(521)의 보간에 이용된 대응 영역들(512, 531)의 유사도를 측정한다. 도시된 바와 같이 제 1 영상 프레임(510)의 대응 영역(512)와 제 2 영상 프레임(530)의 대응 영역(531)은 각각 배경과 객체로써 유사도가 작다고 가정하면, 움직임 방향 예측부(131)는 데이터 단위(521)의 주변 픽셀들과 유사한 제 1 영상 프레임(510)의 대응 영역(512)을 이용하여 데이터 단위(521)을 대체한다. 즉 대체된 제 3 영상 프레임(550)에서 기존 데이터 단위(521)은 제 1 영상 프레임(510)의 대응 영역(512)으로 대체된다.
유사하게, 움직임 방향 예측부(131)는 데이터 단위(522)의 보간에 이용된 대응 영역들(513, 533)의 유사도를 측정한다. 도시된 바와 같이 제 1 영상 프레임(510)의 대응 영역(513)와 제 2 영상 프레임(530)의 대응 영역(533)은 모두 배경으로써 유사도가 크다고 가정하면, 움직임 방향 예측부(131)는 제 1 영상 프레임(510)의 대응 영역(513)과 제 2 영상 프레임(530)의 대응 영역(533)의 평균값을 이용하여 데이터 단위(522)를 대체한다. 즉 대체된 제 3 영상 프레임(550)에서 기존 데이터 단위(522)은 제 1 영상 프레임(510)의 대응 영역(513)과 제 2 영상 프레임(530)의 대응 영역(533)의 평균값으로 대체된다. 전술한 바와 같이, 프레임 보간부(120)에서 제 1 영상 프레임과 제 2 영상 프레임의 평균값을 이용한 경우 이러한 과정은 생략될 수 있다.
또한, 움직임 방향 예측부(131)는 데이터 단위(523)의 보간에 이용된 대응 영역들(511, 532)의 유사도를 측정한다. 도시된 바와 같이 제 1 영상 프레임(510)의 대응 영역(511)와 제 2 영상 프레임(530)의 대응 영역(532)은 각각 객체와 배경으로써 유사도가 작다고 가정하면, 움직임 방향 예측부(131)는 데이터 단위(521)의 주변 픽셀들과 유사한 제 2 영상 프레임(510)의 대응 영역(532)을 이용하여 데이터 단위(523)을 대체한다. 즉 대체된 제 3 영상 프레임(550)에서 기존 데이터 단위(523)은 제 1 영상 프레임(510)의 대응 영역(532)으로 대체된다.
도 5에 도시된 바와 같이, 움직임 방향 예측부(131)에서 처리된 결과 제 3 영상 프레임(550)에서는 적어도 최초 보간된 제 3 영상 프레임(520)에 존재하던 고스트 영상을 제거할 수 있다. 객체 영역 판단부(132) 및 객체 보간부(133)는 대체된 제 3 영상 프레임에 객체 영역을 다시 보간하는 처리를 수행한다.
구체적으로, 객체 영역 판단부(132)는 움직임 방향 예측부(131)에서 제 3 영상 프레임의 데이터 단위의 대체시 선택된 제 1 영상 프레임과 제 2 영상 프레임의 대응 영역 정보에 기초하여 제 1 영상 프레임과 제 2 영상 프레임에 존재하는 객체 영역을 판단한다. 다시, 도 5를 참조하면, 움직임 방향 예측부(131)는 데이터 단위(521)의 처리시 제 1 영상 프레임(510)의 대응 영역(512)이 선택되었으므로, 객체 영역 판단부(132)는 선택되지 않은 제 2 영상 프레임(530)의 대응 영역(531)을 객체 영역으로 판단한다. 유사하게 객체 영역 판단부(132)는 움직임 방향 예측부(131)에서 데이터 단위(523)의 처리시에 선택되지 않은 제 1 영상 프레임(510)의 대응 영역(511)을 객체 영역으로 판단한다. 객체 영역 판단부(132)는 제 1 영상 프레임(510)과 제 2 영상 프레임(530)의 각 픽셀마다 기본값으로 0을 설정한 다음, 전술한 바와 같이 객체 영역으로 판단된 픽셀들만을 1로 설정함으로써 객체 맵(object map)을 생성할 수 있다.
객체 보간부(133)는 객체 영역 판단부(132)에서 판단된 제 1 영상 프레임의 객체 영역과 제 2 영상 프레임의 객체 영역을 이용하여 제 3 영상 프레임의 객체 영역을 보간한다.
도 6은 도 1의 객체 보간부(133)에서 수행되는 객체 보간 과정을 설명하기 위한 참조도이다.
도 6을 참조하면, 객체 영역 판단부(132)에서 제 1 영상 프레임(610)의 객체 영역(611)과 제 2 영상 프레임(620)의 객체 영역(621)이 결정되면, 객체 보간부(133)는 제 1 영상 프레임(610)의 객체 영역(611)과 제 2 영상 프레임(620)의 객체 영역(621)의 위치 차이에 기초하여 제 3 영상 프레임(630)에서 객체의 위치를 결정하고, 제 1 영상 프레임(610)의 객체 영역(611)과 제 2 영상 프레임(620)의 객체 영역(621)의 평균값을 이용하여 객체를 제 3 영상 프레임(630)의 객체 영역(631)을 보간한다. 즉, 객체 보간부(133)는 제 1 영상 프레임(610)의 객체 영역(611)과 제 2 영상 프레임(620)의 객체 영역(621)의 위치 차이 및 시간적 거리를 고려하여 제 3 영상 프레임(630)에서 객체 영역이 존재하여야 할 보간 위치를 결정하고, 제 1 영상 프레임(610)의 객체 영역(611)과 제 2 영상 프레임(620)의 객체 영역(621)의 평균값을 이용하여 결정된 보간 위치에 객체를 보간한다. 보간 위치의 결정 과정은 움직임 벡터의 스케일링에 따른 보간 과정과 유사하므로 구체적은 설명은 생략한다.
도 7은 본 발명의 일 실시예에 따른 영상 프레임 보간 방법을 나타낸 플로우 차트이다.
도 7을 참조하면, 단계 710에서 움직임 예측부(110)는 제 1 영상 프레임과 제 2 영상 프레임에 기초해 움직임 예측을 수행하여 움직임 벡터를 생성한다.
단계 720에서 프레임 보간부(120)는 제 1 영상 프레임, 제 2 영상 프레임 및 상기 움직임 벡터에 기초한 움직임 보상을 수행하여 제 1 영상 프레임과 제 2 영상 프레임 사이의 제 3 영상 프레임을 보간한다. 전술한 바와 같이, 본 발명의 실시예는 다양한 방식으로 생성된 제 3 영상 프레임의 후처리를 위한 것을 제 3 영상 프레임의 생성 방식은 제한되지 않는다.
단계 730에서, 움직임 방향 예측부(131)는 보간된 제 3 영상 프레임의 소정 데이터 단위마다, 데이터 단위의 보간에 이용되는 제 1 영상 프레임의 대응 영역과 제 2 영상 프레임의 대응 영역 사이의 유사도에 따라서, 제 1 영상 프레임의 대응 영역 및 제 2 영상 프레임의 대응 영역 중 적어도 하나의 대응 영역을 선택하고 선택된 대응 영역을 이용하여 데이터 단위를 대체한다. 전술한 바와 같이, 움직임 방향 예측부(131)는 제 3 영상 프레임의 보간에 이용된 대응 영역들 사이의 유사도에 기초하여 어느 하나의 대응 영역으로 데이터 단위를 대체함으로써 보간된 제 3 영상 프레임에 존재하는 고스트 영상을 제거한다.
단계 740에서 객체 영역 판단부(132)는 움직임 방향 예측부(131)에서 선택된 대응 영역에 기초하여 1 영상 프레임의 객체 영역과 제 2 영상 프레임의 객체 영역을 판단한다. 전술한 바와 같이, 객체 영역 판단부(132)는 제 1 영상 프레임의 대응 영역과 제 2 영상 프레임의 대응 영역 중, 차이값이 소정 임계값 이상인 경우 선택되지 않은 대응 영역을 해당 영상 프레임의 객체 영역으로 판단할 수 있다.
단계 750에서, 객체 보간부(133)는 판단된 제 1 영상 프레임의 객체 영역과 제 2 영상 프레임의 객체 영역을 이용하여 제 3 영상 프레임의 객체 영역을 보간한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (15)

  1. 영상 프레임의 보간 방법에 있어서,
    제 1 영상 프레임과 제 2 영상 프레임에 기초해 움직임 예측을 수행하여 움직임 벡터를 생성하는 단계;
    상기 제 1 영상 프레임, 상기 제 2 영상 프레임 및 상기 움직임 벡터에 기초한 움직임 보상을 수행하여 상기 제 1 영상 프레임과 제 2 영상 프레임 사이의 제 3 영상 프레임을 보간하는 단계;
    상기 보간된 제 3 영상 프레임의 소정 데이터 단위마다, 상기 데이터 단위의 보간에 이용되는 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 사이의 유사도에 따라서, 상기 제 1 영상 프레임의 대응 영역 및 상기 제 2 영상 프레임의 대응 영역 중 적어도 하나의 대응 영역을 선택하고 선택된 대응 영역을 이용하여 상기 데이터 단위를 대체하는 단계;
    상기 선택된 대응 영역에 기초하여 상기 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 판단하는 단계; 및
    상기 판단된 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 이용하여 상기 제 3 영상 프레임의 객체 영역을 보간하는 단계를 포함하는 것을 특징으로 하는 영상 프레임의 보간 방법.
  2. 제 1항에 있어서,
    상기 제 3 영상 프레임을 보간하는 단계는
    상기 움직임 벡터에 기초한 상기 제 1 영상 프레임과 상기 제 2 영상 프레임의 대응 영역의 평균값을 이용하는 것을 특징으로 하는 영상 프레임의 보간 방법.
  3. 제 1항에 있어서,
    상기 데이터 단위를 대체하는 단계는
    상기 데이터 단위의 보간에 이용되는 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 사이의 차이값을 계산하는 단계;
    상기 차이값이 소정 임계값 미만인 경우 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역의 평균값을 이용하여 상기 데이터 단위를 대체하는 단계;
    상기 차이값이 소정 임계값 이상인 경우, 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 중 상기 데이터 단위의 주변 픽셀들의 평균값과 유사한 대응 영역을 선택하는 단계; 및
    상기 선택된 대응 영역을 이용하여 상기 데이터 단위를 대체하는 단계를 더 포함하는 것을 특징으로 하는 영상 프레임의 보간 방법.
  4. 제 3항에 있어서,
    상기 객체 영역을 판단하는 단계는
    상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 중, 상기 차이값이 소정 임계값 이상인 경우 선택되지 않은 대응 영역을 해당 영상 프레임의 객체 영역으로 판단하는 것을 특징으로 하는 영상 프레임의 보간 방법.
  5. 제 4항에 있어서,
    상기 판단된 객체 영역을 나타내는 객체 영역 맵을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 프레임의 보간 방법.
  6. 제 1항에 있어서,
    상기 제 3 영상 프레임의 객체 영역을 보간하는 단계는
    상기 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역의 평균값을 이용하여 수행되는 것을 특징으로 하는 영상 프레임의 보간 방법.
  7. 제 1항에 있어서,
    상기 데이터 단위는 상기 움직임 예측에 이용되는 소정 크기의 블록보다 작은 크기인 것을 특징으로 하는 영상 프레임의 보간 방법.
  8. 영상 프레임의 보간 장치에 있어서,
    제 1 영상 프레임과 제 2 영상 프레임에 기초해 움직임 예측을 수행하여 움직임 벡터를 생성하는 움직임 예측부;
    상기 제 1 영상 프레임, 상기 제 2 영상 프레임 및 상기 움직임 벡터에 기초한 움직임 보상을 수행하여 상기 제 1 영상 프레임과 제 2 영상 프레임 사이의 제 3 영상 프레임을 보간하는 프레임 보간부;
    상기 보간된 제 3 영상 프레임의 소정 데이터 단위마다, 상기 데이터 단위의 보간에 이용되는 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 사이의 유사도에 따라서, 상기 제 1 영상 프레임의 대응 영역 및 상기 제 2 영상 프레임의 대응 영역 중 적어도 하나의 대응 영역을 선택하고 선택된 대응 영역을 이용하여 상기 데이터 단위를 대체하는 움직임 방향 예측부;
    상기 선택된 대응 영역에 기초하여 상기 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 판단하는 객체 영역 판단부; 및
    상기 판단된 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역을 이용하여 상기 제 3 영상 프레임의 객체 영역을 보간하는 객체 보간부를 포함하는 것을 특징으로 하는 영상 프레임의 보간 장치.
  9. 제 8항에 있어서,
    상기 프레임 보간부는
    상기 움직임 벡터에 기초한 상기 제 1 영상 프레임과 상기 제 2 영상 프레임의 대응 영역의 평균값을 이용하는 것을 특징으로 하는 영상 프레임의 보간 장치.
  10. 제 8항에 있어서,
    상기 움직임 방향 예측부는
    상기 데이터 단위의 보간에 이용되는 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 사이의 차이값을 계산하고, 상기 차이값이 소정 임계값 미만인 경우 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역의 평균값을 이용하여 상기 데이터 단위를 대체하며, 상기 차이값이 소정 임계값 이상인 경우 상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 중 상기 데이터 단위의 주변 픽셀들의 평균값과 유사한 대응 영역을 선택하고 선택된 대응 영역을 이용하여 상기 데이터 단위를 대체하는 것을 특징으로 하는 영상 프레임의 보간 장치.
  11. 제 10항에 있어서,
    상기 객체 영역 판단부는
    상기 제 1 영상 프레임의 대응 영역과 상기 제 2 영상 프레임의 대응 영역 중, 상기 차이값이 소정 임계값 이상인 경우 선택되지 않은 대응 영역을 해당 영상 프레임의 객체 영역으로 판단하는 것을 특징으로 하는 영상 프레임의 보간 장치.
  12. 제 10항에 있어서,
    상기 객체 영역 판단부는
    상기 판단된 객체 영역을 나타내는 객체 영역 맵을 생성하는 것을 특징으로 하는 영상 프레임의 보간 장치.
  13. 제 8항에 있어서,
    상기 객체 보간부는
    상기 제 1 영상 프레임의 객체 영역과 상기 제 2 영상 프레임의 객체 영역의 평균값을 이용하여 상기 제 3 프레임의 객체 영역을 생성하는 것을 특징으로 하는 영상 프레임의 보간 장치.
  14. 제 8항에 있어서,
    상기 데이터 단위는 상기 움직임 예측에 이용되는 소정 크기의 블록보다 작은 크기인 것을 특징으로 하는 영상 프레임의 보간 장치.
  15. 제 1항 내지 제 7항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020110086565A 2011-08-29 2011-08-29 영상 프레임의 보간 방법 및 장치 KR101756842B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110086565A KR101756842B1 (ko) 2011-08-29 2011-08-29 영상 프레임의 보간 방법 및 장치
US13/598,108 US20130051471A1 (en) 2011-08-29 2012-08-29 Image frame interpolation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110086565A KR101756842B1 (ko) 2011-08-29 2011-08-29 영상 프레임의 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130023644A true KR20130023644A (ko) 2013-03-08
KR101756842B1 KR101756842B1 (ko) 2017-07-12

Family

ID=47743712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110086565A KR101756842B1 (ko) 2011-08-29 2011-08-29 영상 프레임의 보간 방법 및 장치

Country Status (2)

Country Link
US (1) US20130051471A1 (ko)
KR (1) KR101756842B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190001444A (ko) * 2017-06-27 2019-01-04 한양대학교 산학협력단 보간 프레임을 생성하기 위한 움직임 예측 방법 및 장치
KR20200057477A (ko) * 2018-11-16 2020-05-26 삼성전자주식회사 영상 처리 장치 및 그 동작방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101805622B1 (ko) * 2011-06-08 2017-12-08 삼성전자주식회사 프레임율 제어 방법 및 장치
US20130083151A1 (en) 2011-09-30 2013-04-04 Lg Electronics Inc. Electronic device and method for controlling electronic device
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US9589316B1 (en) * 2016-01-22 2017-03-07 Intel Corporation Bi-directional morphing of two-dimensional screen-space projections
KR20210066619A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220026426A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 비디오 품질 향상 방법 및 장치
CN112954454B (zh) * 2021-02-08 2023-09-05 北京奇艺世纪科技有限公司 一种视频帧生成方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
KR100995398B1 (ko) * 2004-01-20 2010-11-19 삼성전자주식회사 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
EP1747678B1 (en) * 2004-05-04 2015-01-07 Qualcomm, Incorporated Method and apparatus for motion compensated frame rate up conversion
JP2009077309A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 動き予測装置および動き予測方法
US8773595B2 (en) * 2008-12-24 2014-07-08 Entropic Communications, Inc. Image processing
US8537283B2 (en) * 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
US8842909B2 (en) * 2011-06-30 2014-09-23 Qualcomm Incorporated Efficient blending methods for AR applications

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190001444A (ko) * 2017-06-27 2019-01-04 한양대학교 산학협력단 보간 프레임을 생성하기 위한 움직임 예측 방법 및 장치
KR20200057477A (ko) * 2018-11-16 2020-05-26 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US12008769B2 (en) 2018-11-16 2024-06-11 Samsung Electronics Co., Ltd. Image processing apparatus and operating method thereof

Also Published As

Publication number Publication date
US20130051471A1 (en) 2013-02-28
KR101756842B1 (ko) 2017-07-12

Similar Documents

Publication Publication Date Title
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
KR100870278B1 (ko) 보간 프레임 작성 장치
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及***
JP2003163894A (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
KR20040108053A (ko) 움직임 벡터 생성 장치 및 방법
KR100692600B1 (ko) 움직임 추정 장치 및 방법
KR20070020994A (ko) 영상신호 변환장치 및 그 방법
JP2005012799A (ja) ブロックに基いた動き補償装置および方法
KR102126511B1 (ko) 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
KR100855976B1 (ko) 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
JP2010147538A (ja) 画像処理装置および方法、並びにプログラム
KR100942887B1 (ko) 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체
JP2012034327A (ja) フレーム補間装置及び方法、並びにプログラム及び記録媒体
US20120288001A1 (en) Motion vector refining apparatus
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
KR100969420B1 (ko) 프레임 레이트 변환 방법
CN107124617B (zh) 运动估计运动补偿中随机矢量的生成方法及***
JP5701018B2 (ja) 画像復号装置
JP2011199349A (ja) 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
KR101215128B1 (ko) 프레임 보간 방법
KR100850710B1 (ko) 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP2006186504A (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant