KR20160001570A - Image frame interpolation apparatus, Display apparatus and control method thereof - Google Patents

Image frame interpolation apparatus, Display apparatus and control method thereof Download PDF

Info

Publication number
KR20160001570A
KR20160001570A KR1020140137629A KR20140137629A KR20160001570A KR 20160001570 A KR20160001570 A KR 20160001570A KR 1020140137629 A KR1020140137629 A KR 1020140137629A KR 20140137629 A KR20140137629 A KR 20140137629A KR 20160001570 A KR20160001570 A KR 20160001570A
Authority
KR
South Korea
Prior art keywords
motion
image frame
scaling
size
frame
Prior art date
Application number
KR1020140137629A
Other languages
Korean (ko)
Other versions
KR102121395B1 (en
Inventor
안태경
임형준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/742,238 priority Critical patent/US10382782B2/en
Publication of KR20160001570A publication Critical patent/KR20160001570A/en
Application granted granted Critical
Publication of KR102121395B1 publication Critical patent/KR102121395B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

According to the present invention, an image frame interpolation apparatus is disclosed. The image frame interpolation apparatus comprises: a motion estimation unit which estimates motion based on a first image frame and a second image frame; a motion scaling unit which scales the estimated motion; and a motion compensation unit which compensates for the scaled motion by using an internal memory to generate an interpolation frame. The motion scaling unit scales the estimated motion based on a size of the estimated motion and a size of the internal memory installed in the motion compensation unit.

Description

영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법 { Image frame interpolation apparatus, Display apparatus and control method thereof } [0001] The present invention relates to an image frame interpolation apparatus, a display apparatus, and a control method thereof,

본 발명은 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 ME/MC 기반 FRC기술을 이용하여 영상 프레임 보간을 수행하는 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법에 관한 것이다.The present invention relates to an image frame interpolation apparatus, a display apparatus, and a control method thereof, and more particularly, to an image frame interpolation apparatus, a display apparatus, and a control method thereof for performing image frame interpolation using an ME / will be.

LCD와 같은 Hold-type 디스플레이에서 발생하는 Motion Blur 및 24Hz로 이루어진 Film 영상에서 발생하는 Motion Judder와 같이 낮은 Frame Rate로 인하여 발생하는 문제를 해결하기 위하여 FRC 기술이 널리 사용되고 있다. 원본 동영상의 프레임율이 24Hz 또는 60Hz일 때, FRC 기술로 원본 동영상의 프레임들 사이를 보간하여 보간 프레임을 생성함으로써, 프레임율을 120Hz 또는 240Hz로 변환할 수 있다. FRC technology is widely used to solve problems caused by a low frame rate such as a motion blur generated in a hold-type display such as an LCD and a motion judder generated in a 24-Hz film image. When the frame rate of the original video is 24 Hz or 60 Hz, the frame rate can be converted to 120 Hz or 240 Hz by interpolating between frames of the original video with FRC technology to generate an interpolated frame.

하지만, 최근에는 DTV의 해상도가 FHD→4K→8K로 증가함에 따라 이를 지원하기 위한 FRC Chip의 크기가 급격히 증가하는 문제가 대두되고 있다. FRC 크기의 증가로 인한 소비 전력과 발열 문제로 Chip 구현 자체가 힘들어지고 있어 FRC 크기 저감 방안이 주요 이슈 중의 하나이다.Recently, however, as the resolution of DTV increases from FHD → 4K → 8K, the size of FRC chip to support this problem is increasing rapidly. As the FRC size increases, the chip implementation itself becomes difficult due to the power consumption and the heat generation problem, and FRC size reduction scheme is one of the main issues.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, ME/MC 기반 FRC 적용 시 검출된 모션을 스케일링하여 FRC Chip의 크기를 감소시킬 수 있는 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법을 제공함에 있다.It is an object of the present invention to provide an image frame interpolator, a display device, and a control method thereof capable of reducing the size of FRC chips by scaling motion detected when an ME / MC based FRC is applied .

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치는, 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부, 상기 추정된 모션을 스케일링하는 모션 스케일링부 및, 기설정된 크기 이하의 내부 메모리를 이용하여, 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부를 포함하며, 상기 모션 스케링일부는, 상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링한다.According to an aspect of the present invention, there is provided an apparatus for interpolating an image frame according to an embodiment of the present invention includes a motion estimator for estimating motion based on a first image frame and a second image frame, And a motion compensator configured to compensate for the scaled motion and generate an interpolation frame using a scaling unit and an internal memory of a predetermined size or smaller, wherein the motion- And scales the estimated motion based on the size of the internal memory.

또한, 상기 모션 추정부는, 상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며, 상기 모션 스케링일부는, 상기 적어도 하나의 모션 벡터의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링할 수 있다. The motion estimation unit may generate at least one motion vector based on at least one first image data for the first image frame and at least one second image data for the second image frame, The scaling portion may scale the at least one motion vector based on the size of the at least one motion vector and the size of the internal memory.

또한, 상기 모션 스케링일부는, 상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 내부 메모리에 저장된 영역(Search Range)를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다. The motion-scaling part may determine a scaling value such that a size of a motion vector having the largest motion value among the at least one motion vector does not deviate from a search range stored in the internal memory, And downscale the at least one motion vector.

또한, 상기 모션 스케일링부는, 상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다. In addition, the motion scaling unit may scale all the plurality of motion vectors corresponding to the first image frame and the second image frame according to the determined scaling value.

또한, 상기 모션 스케일링부는, 아래의 수식에 기초하여 모션 벡터를 스케일링할 수 있다.The motion scaling unit may scale the motion vector based on the following equation.

Figure pat00001
Figure pat00001

여기서, MVme(x, y)는 모션 추정부에서 검출된 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 모션 보상부로 출력되는 스케일링된 모션을 의미한다.Here, MVme (x, y) denotes a motion vector detected by the motion estimator, and MC SR denotes a search range of the memory, and MV mc (x, y) denotes a scaled motion output to the motion compensator.

여기서, 상기 제1 영상 프레임은 이전 영상 프레임이고, 상기 제2 영상 프레임은 현재 영상 프레임이 될 수 있다. Here, the first image frame may be a previous image frame, and the second image frame may be a current image frame.

또한, 상기 모션 보상부에 구비된 내부 메모리는, 상기 모션 추정부에 구비된 내부 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다. The internal memory included in the motion compensation unit may have a size smaller than a size of the internal memory provided in the motion estimation unit by a predetermined size.

또한, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 방송 신호를 수신하는 방송 수신부, 상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 프레임 레이트 변환부 및, 상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 디스플레이부를 포함하며, 상기 프레임 레이트 변환부는, 상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부, 상기 추정된 모션을 스케일링하는 모션 스케일링부 및, 기설정된 크기 이하의 내부 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부를 포함하며, 상기 모션 스케링일부는, 상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링할 수 있다. According to another aspect of the present invention, there is provided a display apparatus including a broadcast receiver for receiving a broadcast signal, a frame rate converter for converting a frame rate of a video signal included in the received broadcast signal, Wherein the frame rate converter includes a motion estimator for estimating motion based on the first image frame and the second image frame included in the video signal, a motion estimating unit for estimating motion based on the estimated motion, And a motion compensator configured to compensate for the scaled motion using an internal memory of a predetermined size or smaller to generate an interpolation frame, wherein the motion scaling part estimates a size of the estimated motion, The estimated motion can be scaled based on the size of the memory .

여기서, 상기 모션 보상부에 구비된 내부 메모리는, 상기 모션 추정부에 구비된 내부 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다. Here, the internal memory included in the motion compensator may have a size smaller than a size of the internal memory included in the motion estimator by a predetermined size.

한편, 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 제어 방법은, 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 단계, 상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링 단계 및, 기설정된 크기 이하의 상기 메모리를 이용하여, 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 단계를 포함한다. Meanwhile, a method of controlling an image frame interpolator according to an exemplary embodiment of the present invention includes: estimating motion based on a first image frame and a second image frame; Scaling the estimated motion based on the magnitude of the motion, and compensating for the scaled motion using the memory below a predetermined size to generate an interpolated frame.

또한, 상기 모션을 추정하는 단계는, 상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며, 상기 추정된 모션을 스케일링하는 단계는, 상기 적어도 하나의 모션 벡터의 크기 및 상기 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링할 수 있다. In addition, the step of estimating motion may include generating at least one motion vector based on at least one first image data for the first image frame and at least one second image data for the second image frame , Scaling the estimated motion may scale the at least one motion vector based on the size of the at least one motion vector and the size of the memory.

또한, 상기 추정된 모션을 스케일링하는 단계는, 상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 내부 메모리에 저장된 영역(Search Range)를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다.In addition, the step of scaling the estimated motion may include determining a scaling value such that a magnitude of a motion vector having the largest motion value among the at least one motion vector does not deviate from an area (Search Range) stored in the internal memory, And downscale the at least one motion vector based on the determined scaling value.

또한, 상기 추정된 모션을 스케일링하는 단계는, 상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다. In addition, the step of scaling the estimated motion may scales both the first image frame and the plurality of motion vectors corresponding to the entire second image frame according to the determined scaling value.

또한, 상기 추정된 모션을 스케일링하는 단계는, 아래의 수식에 기초하여 모션 벡터를 스케일링할 수 있다. The step of scaling the estimated motion may also scale the motion vector based on the following equation.

Figure pat00002
Figure pat00002

여기서, MVme(x, y)는 검출 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 스케일링된 모션을 의미한다.Here, MVme (x, y) denotes a detection motion vector, MC SR denotes a search range of the memory, and MV mc (x, y) denotes the scaled motion.

여기서, 상기 제1 영상 프레임은 이전 영상 프레임이고, 상기 제2 영상 프레임은 현재 영상 프레임이 될 수 있다. Here, the first image frame may be a previous image frame, and the second image frame may be a current image frame.

여기서, 상기 모션 보상에 이용되는 메모리는, 모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다.Here, the memory used for motion compensation may have a size smaller than a size of a memory used for motion estimation by a predetermined size.

또한, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 방송 신호를 수신하는 단계, 상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 단계 및, 상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 단계를 포함하며, 상기 프레임 레이트를 변환하는 단계는, 상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하고, 상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하며, 기설정된 크기 이하의 상기 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성한다.According to another aspect of the present invention, there is provided a method of controlling a display apparatus, the method comprising: receiving a broadcast signal; converting a frame rate of a video signal included in the received broadcast signal; Wherein the step of transforming the frame rate comprises: estimating motion based on a first image frame and a second image frame included in the video signal; and estimating motion based on the magnitude of the estimated motion and motion compensation Scaled the estimated motion based on the size of the memory used for the scaled motion, and compensates for the scaled motion using the memory of a predetermined size or less to generate an interpolation frame.

여기서, 상기 모션 보상에 이용되는 메모리는, 모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다.Here, the memory used for motion compensation may have a size smaller than a size of a memory used for motion estimation by a predetermined size.

이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, 화질 저하를 최소화하면서 MC Search Range Memory를 대폭 저감할 수 있으므로, 8K UHD와 같은 차세대 초고해상도 영상에도 대응 가능한 FRC Chip을 제공할 수 있게 된다. As described above, according to various embodiments of the present invention, it is possible to provide a FRC chip capable of coping with next-generation ultra-high-resolution images such as 8K UHD since the MC Search Range Memory can be greatly reduced while minimizing image deterioration.

도 1은 본 발명의 이해를 돕기 위한 프레임 레이트 변환 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 구성을 설명하기 위한 도면이다.
도 3a 및 도 3b는 도 2에 도시된 영상 프레임 보간 장치가 적용될 수 있는 디스플레이 장치의 구성을 설명하기 위한 도면들이다.
도 4는 본 발명의 일 실시 예에 따라 보간 영상 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따라 모션 스케일링을 수행하는 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 기술적 효과를 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 제어 방법을 설명하기 위한 흐름도이다.
FIG. 1 is a diagram for explaining a frame rate conversion operation for facilitating understanding of the present invention.
FIG. 2 is a diagram for explaining a configuration of an image frame interpolator according to an embodiment of the present invention. Referring to FIG.
FIGS. 3A and 3B are views for explaining a configuration of a display device to which the image interpolating apparatus shown in FIG. 2 can be applied.
4 is a diagram for explaining a method of generating an interpolated image frame according to an embodiment of the present invention.
5 is a diagram for explaining a method of performing motion scaling according to an embodiment of the present invention.
6A and 6B are diagrams for explaining technical effects according to an embodiment of the present invention.
7 is a flowchart illustrating a method of controlling an image frame interpolator according to an exemplary embodiment of the present invention.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. Various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 이해를 돕기 위한 프레임 레이트 변환 동작을 설명하기 위한 도면이다. FIG. 1 is a diagram for explaining a frame rate conversion operation for facilitating understanding of the present invention.

프레임 레이트 변환(FRC : Frame Rate Conversion)은 디스플레이를 통해 출력될 비디오의 프레임 레이트를 변환하는 기능을 말한다. FRC를 이용하여 비디오의 프레임 레이트를 증가시키면, 비디오에 나타나는 움직임이 보다 매끄럽고 자연스러워지게 된다. 따라서, FRC 기술을 이용하여 120Hz의 영상을 구현하면, 동영상의 화질은 매우 우수해진다.Frame Rate Conversion (FRC) is a function that converts the frame rate of video to be output through the display. By using FRC to increase the frame rate of video, the motion that appears in the video becomes smoother and more natural. Therefore, if an image of 120 Hz is implemented using the FRC technique, the image quality of the moving image becomes excellent.

예를 들어, 도시된 바와 같이 원본 동영상의 프레임율이 60Hz일 때, 원본 동영상의 프레임들 사이를 보간하여 보간 프레임을 생성함으로써, 프레임율을 120Hz 또는 240Hz로 변환할 수 있다. 특히, ME/MC(Motion EstimationㆍMotion Compensation) FRC의 경우, 프레임 레이트를 일정 수준으로 증가시키고(예를 들어, 60Hz에서 120Hz로 증가시키고), 프레임 레이트 증가를 위해 삽입되는 프레임에 모션 예측 및 보정 정도를 조절함으로써, 프레임 레이트의 레벨을 조절하게 된다. 예를 들어, 비디오의 프레임 레이트를 60Hz에서 120Hz로 증가시키고자 한다면, 매 프레임 마다 하나의 프레임을 추가하여 프레임 개수가 초당 60개인 입력 비디오를 초당 프레임 개수가 120개인 비디오로 변환하여 출력할 수 있게 된다. For example, as shown in the figure, when the frame rate of the original moving image is 60 Hz, the frame rate can be converted to 120 Hz or 240 Hz by interpolating the frames of the original moving image to generate an interpolation frame. Particularly, in the case of ME / MC (Motion Estimation ㆍ Motion Compensation) FRC, the frame rate is increased to a certain level (for example, increased from 60 Hz to 120 Hz) The level of the frame rate is adjusted. For example, if you want to increase the video frame rate from 60 Hz to 120 Hz, you can add one frame per frame to convert the input video with 60 frames per second into a video with 120 frames per second do.

이하에서는, 본 발명의 일 실시 예에 따라 ME/MC FRC 방식을 수행하는 방법에 대해 자세히 설명하도록 한다. Hereinafter, a method of performing the ME / MC FRC scheme according to an embodiment of the present invention will be described in detail.

도 2는 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 구성을 설명하기 위한 도면이다. FIG. 2 is a diagram for explaining a configuration of an image frame interpolator according to an embodiment of the present invention. Referring to FIG.

도 2에 따르면 영상 프레임 보간 장치(100)는 모션 추정부(110), 모션 스케일링부(120) 및 모션 보상부(130)를 포함한다. 2, the image frame interpolator 100 includes a motion estimation unit 110, a motion scaling unit 120, and a motion compensation unit 130. [

모션 추정부(110)는 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정한다. 여기서, 제1 영상 프레임은 이전 영상 프레임이고, 제2 영상 프레임은 현재 영상 프레임이 될 수 있다. The motion estimation unit 110 estimates motion based on the first image frame and the second image frame. Here, the first image frame may be a previous image frame, and the second image frame may be a current image frame.

구체적으로, 모션 추정부(110)는 제1 영상 프레임의 축소 영상 및 제2 영상 프레임의 축소 영상에 기초하여 적어도 하나의 모션 벡터를 생성할 수 있다. 즉, 모션 추정부(110)는 영상의 해상도 증가로 인해 과도하게 커지는 FRC chip 크기를 줄이기 위하여 축소된 영상에서 모션을 검출할 수 있다. 예를 들어, 영상을 1/4로 축소하여 모션을 검출할 경우 모션 추정부(110)에 구비된 내부 메모리의 크기도 1/4로 저감할 수 있게 되며 화질 저하도 크지 않게 된다. Specifically, the motion estimation unit 110 may generate at least one motion vector based on the reduced image of the first image frame and the reduced image of the second image frame. That is, the motion estimator 110 can detect motion in the reduced image to reduce the excessively large FRC chip size due to an increase in the resolution of the image. For example, when the motion is detected by reducing the image to 1/4, the size of the internal memory included in the motion estimation unit 110 can be reduced to 1/4, and the image quality is not degraded.

또는 경우에 따라 모션 추정부(110)는 제1 영상 프레임에 대한 영상 데이터의 일부 및 제2 영상 프레임에 대한 영상 데이터의 일부 만을 이용하여 보간 프레임을 생성할 수 있다. 이에 따라 모션 추정부(110)에 구비된 내부 메모리의 크기도 저감할 수 있고, 보간 프레임을 생성하기 위해 필요한 연산량을 줄일 수 있어 빠른 속도로 보간 프레임을 생성할 수 있다.Alternatively, the motion estimation unit 110 may generate an interpolation frame using only a part of the image data for the first image frame and a part of the image data for the second image frame. Accordingly, the size of the internal memory provided in the motion estimation unit 110 can be reduced, and the amount of calculation required to generate the interpolation frame can be reduced, so that the interpolation frame can be generated at a high speed.

모션 스케일링부(120)는 모션 추정부(110)에서 추정된 모션을 스케일링한다. The motion scaling unit 120 scales the motion estimated by the motion estimation unit 110.

구체적으로, 모션 스케링일부(120)는, 모션 추정부(110)에서 생성된 적어도 하나의 모션 벡터의 크기 및 후술하는 모션 보상부(130)의 내부 메모리 크기에 기초하여 적어도 하나의 모션 벡터를 스케일링할 수 있다. Specifically, the motion-scaling part 120 scales at least one motion vector based on the size of the at least one motion vector generated in the motion estimation unit 110 and the internal memory size of the motion compensation unit 130 can do.

특히, 모션 스케일링부(120)는 모션 추정부(110)에서 생성된 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 모션 보상부(130)의 내부 메모리의 search range를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다. 이 경우, 모션 스케일링부(120)는 결정된 스케일링 값에 따라 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다. In particular, the motion scaling unit 120 may be configured such that the magnitude of the motion vector having the largest motion value among at least one motion vector generated by the motion estimation unit 110 does not deviate from the search range of the internal memory of the motion compensation unit 130 , And downscale the at least one motion vector based on the determined scaling value. In this case, the motion scaling unit 120 may scale both the first image frame and the plurality of motion vectors corresponding to the entire second image frame according to the determined scaling value.

모션 스케일링부(120)는 아래의 수학식 1에 기초하여 모션 벡터를 스케일링할 수 있다. The motion scaling unit 120 may scale the motion vector based on the following equation (1).

Figure pat00003
Figure pat00003

여기서, 여기서, MVme(x, y)는 모션 추정부(110)에서 검출한 Motion Vector를 나타내고 MCSR은 모션 보상부(130)의 Search Range를 나타내며, MVmc(x, y)는 모션 보상부(130)로 출력되는 스케일링된 모션을 의미한다.Here, MVme (x, y) represents a motion vector detected by the motion estimator 110, MC SR represents a search range of the motion compensator 130, MV mc (x, y) And outputs the scaled motion.

모션 보상부(130)는 내부 메모리를 이용하여, 모션 스케일링부(120)에서 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성한다. 여기서, 내부 메모리는, 모션 추정부(110)에 구비된 내부 메모리의 크기보다 기설정된 크기 이하 작은 값을 가질 수 있다. 예를 들어, 기존에 모션 보상부(130)에 구비된 내부 메모리가 2000만 G/C의 크기를 가진 경우, 본 발명의 일 실시 예에 따라 모션 보상부(130)에 구비된 내부 메모리는1000만 G/C의 크기를 가질 수 있다. 이에 따라 메모리의 Search Range는 기존에 비하여 감소될 수 있으나, 스케일링된 모션에 기초하여 보상을 수행하므로 전혀 문제가 없게 된다. The motion compensating unit 130 compensates for the scaled motion in the motion scaling unit 120 using an internal memory to generate an interpolation frame. Here, the internal memory may have a value smaller than a preset size smaller than the size of the internal memory provided in the motion estimation unit 110. [ For example, if the internal memory provided in the motion compensation unit 130 has a size of 20,000,000 G / C, the internal memory included in the motion compensation unit 130 according to an embodiment of the present invention is 1000 Only G / C can have the size. Accordingly, the search range of the memory can be reduced compared to the conventional method, but the compensation is performed based on the scaled motion, so there is no problem at all.

도 3a 및 도 3b는 도 2에 도시된 영상 프레임 보간 장치가 적용될 수 있는 디스플레이 장치의 구성을 설명하기 위한 도면들이다. FIGS. 3A and 3B are views for explaining a configuration of a display device to which the image interpolating apparatus shown in FIG. 2 can be applied.

도 3a는 본 발명의 일 실시 예에 따른 디스플레이 장치가 디지털 TV로 구현된 경우를 상정한 것으로, 도 3a에 따르면 디스플레이 장치(200)는 방송 수신부(210), 방송신호 분리부(220), 오디오 처리부(230), 오디오 출력부(240), 비디오 처리부(250), 디스플레이부(260), 저장부(270) 및 제어부(280)를 포함한다. 3A, the display device 200 includes a broadcast receiver 210, a broadcast signal separator 220, an audio signal processor 220, An audio output unit 240, a video processing unit 250, a display unit 260, a storage unit 270, and a control unit 280. [

방송 수신부(210)는 공중(Air) 또는 케이블을 통해 무선 또는 유선으로 수신되는 방송들 중 어느 하나를 선국하여 복조한다.The broadcast receiver 210 selects and demodulates any one of broadcasts received wirelessly or wire via an air or cable.

방송 분리부(220)는 방송 수신부(210)에서 수신된 방송신호를 오디오 신호, 비디오 신호 및 부가 데이터로 분리하여 출력한다. 방송신호로부터 분리된 오디오 신호와 비디오 신호는 오디오 처리부(230)와 비디오 처리부(250)로 각각 인가된다. 부가 데이터는 제어부(290)로 인가되는데, 부가 데이터는 PSIP(Program and SystemInformation Protocol) 정보일 수 있다.The broadcast separator 220 separates the broadcast signal received from the broadcast receiver 210 into an audio signal, a video signal, and additional data. The audio signal and the video signal separated from the broadcast signal are applied to the audio processing unit 230 and the video processing unit 250, respectively. The additional data is supplied to the controller 290, and the additional data may be PSIP (Program and System Information Protocol) information.

오디오 처리부(230)는 방송 분리부(220)에서 출력되는 오디오 신호를 디코딩한다. 그리고, 오디오 처리부(230)는 디코딩된 오디오 신호를 TV에 마련된 스피커를 통해 출력가능한 포맷의 오디오 신호로 변환한다.The audio processing unit 230 decodes the audio signal output from the broadcast separation unit 220. The audio processing unit 230 converts the decoded audio signal into an audio signal in a format that can be outputted through a speaker provided in the TV.

오디오 출력부(240)는 오디오 처리부(230)에서 출력되는 오디오 신호를 스피커를 통해 출력한다.The audio output unit 240 outputs the audio signal output from the audio processing unit 230 through a speaker.

비디오 처리부(250)는 방송신호 분리부(220)에서 출력되는 비디오 신호에 대해 비디오 디코딩, 비디오 스케일링 등의 영상 신호처리를 수행한다. 비디오 처리부(250)에 대해서는 도 3b를 참고하여 상세히 설명하도록 한다. The video processing unit 250 performs video signal processing such as video decoding and video scaling on the video signal output from the broadcast signal separating unit 220. The video processing unit 250 will be described in detail with reference to FIG. 3B.

도 3b는 본 발명의 일 실시예에 따른, 비디오 처리부의 상세 블럭도이다. 3B is a detailed block diagram of a video processing unit according to an embodiment of the present invention.

도 3b에 도시된 바와 같이, 비디오 처리부(250)는 비디오 디코딩부(251), 스케일링부(252) 및 프레임 레이트 변환(FRC : Frame Rate Conversion)부(253)를 포함한다.3B, the video processing unit 250 includes a video decoding unit 251, a scaling unit 252, and a frame rate conversion (FRC) unit 253.

비디오 디코딩부(251)는 방송신호 분리부(220)에서 출력되는 비디오 신호를 디코딩한다. 이에 따라, 비디오 디코딩부(251)에서는 압축해제된 비디오 신호가 출력된다.The video decoder 251 decodes the video signal output from the broadcast signal separator 220. Accordingly, the video decoder 251 outputs the decompressed video signal.

스케일링부(252)는 비디오 디코딩부(251)에서 출력되는 디코딩된 비디오 신호에 대한 비디오의 크기를 디스플레이부(260)에 적합한 크기로 스케일링한다.The scaling unit 252 scales the video size of the decoded video signal output from the video decoding unit 251 to a size suitable for the display unit 260.

프레임 레이트 변환부(253)는 스케일링부(252)에서 스케일링된 비디오에 대해 프레임 레이트 변환을 수행한다. 예를 들어, 스케일링부(252)로부터 전달되는 비디오의 프레임 레이트가 60Hz인 경우, 프레임 레이트 변환부(253)는 비디오의 프레임 레이트를 120Hz로 변환시킬 수 있다. 상술한 도 2에 도시된 영상 프레임 보간 장치는 이러한 프레임 레이트 변환부(253)로서 구현될 수 있다.The frame rate conversion unit 253 performs frame rate conversion on the scaled video in the scaling unit 252. [ For example, when the frame rate of the video transmitted from the scaling unit 252 is 60 Hz, the frame rate conversion unit 253 can convert the frame rate of the video to 120 Hz. The image interpolation apparatus shown in FIG. 2 may be implemented as such a frame rate conversion unit 253.

디스플레이부(260)는 비디오 처리부(250)에서 출력되는 비디오를 디스플레이한다. 즉, 디스플레이부(260)는 동작 예측 및 보정 기술에 따라 프레임 레이트가 변환된 비디오를 출력하게 되며, 이에 따라 출력되는 영상은 움직임이 더욱 부드러운 영상으로 표현될 수 있게 된다.The display unit 260 displays the video output from the video processing unit 250. That is, the display unit 260 outputs the video with the frame rate converted according to the motion prediction and correction technique, and the output image can be expressed by a smoother motion image.

제어부(270)는 상술한 구성요소들의 전반적인 동작을 제어한다. The control unit 270 controls the overall operation of the above-described components.

도 4는 본 발명의 일 실시 예에 따라 보간 영상 프레임을 생성하는 방법을 설명하기 위한 도면이다. 4 is a diagram for explaining a method of generating an interpolated image frame according to an embodiment of the present invention.

도 4에 도시된 바에 따르면, 시간 t의 제 1 영상 프레임(410) 및 시간 t+d 의 제 2 영상 프레임(420) 사이를 보간하여 보간 영상 프레임(430)을 생성하기 위해서 모션 벡터(440)가 예측된다. 4, a motion vector 440 is generated to generate an interpolated image frame 430 by interpolating between the first image frame 410 at time t and the second image frame 420 at time t + d, Is predicted.

구체적으로, 제 2 영상 프레임(420)의 블록(421)과 유사한 블록(411)을 제 1 영상 프레임(410)에서 검색하고, 검색 결과에 기초하여 움직임 벡터(440)를 예측한다. 도 4에서는 순방향(forward) 모션 벡터(440)를 생성되는 것으로 도시되었으나, 이에 한정되지 않고 제 1 영상 프레임(410)을 기준으로 제 2 영상 프레임(420)에서 움직임 예측을 수행하여 역방향(backward) 움직임 벡터를 생성할 수도 있다. 이어서, 생성된 모션 벡터(440)에 기초하여 제 1 영상 프레임(410)과 제 2 영상 프레임(420) 사이의 보간 영상 프레임을 생성할 수 있다. Specifically, a block 411 similar to the block 421 of the second image frame 420 is searched in the first image frame 410, and the motion vector 440 is predicted based on the search result. Although forward motion vector 440 is shown in FIG. 4, it is not limited to this, but motion estimation may be performed in the second image frame 420 based on the first image frame 410, A motion vector may be generated. Then, an interpolated image frame between the first image frame 410 and the second image frame 420 can be generated based on the generated motion vector 440.

도 5는 본 발명의 일 실시 예에 따라 모션 스케일링을 수행하는 방법을 설명하기 위한 도면이다. 5 is a diagram for explaining a method of performing motion scaling according to an embodiment of the present invention.

도 5에 도시된 바에 따르면, ME 블럭(110')에서는 상술한 바와 같이 입력된 영상의 축소 영상으로부터 모션을 검출한다. 이어서, Motion Scaling 블럭(120')은 검출된 모션들 중 가장 큰 모션을 판단한 후, 판단된 가장 큰 모션에 대하여 ME 블럭(110')의 Search Range 대비 MC 블럭(130')의 Search Range에 대한 스케일링 비율을 산출한다. 이 후, Motion Scaling 블럭(120')은 산출된 스케일링 비율에 맞춰 영상 프레임에 대응되는 전체 Motion을 다운 스케일링한 후 MC 블럭(130')으로 전달하게 된다. 이 경우, 스케일링된 모션은 상술한 수학식 1에 의해 획득될 수 있다.As shown in FIG. 5, the ME block 110 'detects motion from the reduced image of the input image as described above. Next, the motion scaling block 120 'determines the largest motion among the detected motions, and then, for the determined largest motion, the search range of the search range of the MC block 130' to the search range of the ME block 110 ' The scaling ratio is calculated. Thereafter, the motion scaling block 120 'downscales the entire motion corresponding to the image frame in accordance with the calculated scaling ratio, and then transmits the downscaled motion to the MC block 130'. In this case, the scaled motion can be obtained by the above-described equation (1).

예를 들어, 도시된 바와 같이 ME 블럭(110')에서 검출된 모션들(MVme) 중 가장 큰 모션(max MVme)이 200 pixel이고, MC 블럭(130')의 Search Range(MCSR)이 120 pixel인 경우, 스케일링 비율 120/200=0.6을 산출하고, 산출된 스케일링 비율에 따라 전체 모션을 다운 스케일링하여 MC 블럭(130')으로 전달하게 된다. For example, ME block 110 ', as illustrated in the detected motion in the (MV me) the largest of the motion (max MV me) is 200 pixel, MC block (130 of the "Search Range (MC SR) of a) Is 120 pixels, the scaling ratio 120/200 = 0.6 is calculated, and the entire motion is down-scaled according to the calculated scaling ratio, and is transmitted to the MC block 130 '.

즉, ME 블럭(110')에서 검출한 모션이 하나라도 MC 블럭(130')의 Search Range를 벗어나는 경우 해당 비율만큼 전체 Motion을 축소함으로써 적인 크기의 MC Search Range Memory 만으로도 MC를 수행하여 Interpolation 프레임을 생성할 수 있게 된다.That is, when any one of the motions detected by the ME block 110 'is out of the search range of the MC block 130', the entire motion is reduced by a corresponding ratio. By doing so, .

도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 기술적 효과를 설명하기 위한 도면들이다. 6A and 6B are diagrams for explaining technical effects according to an embodiment of the present invention.

도 6a는 종래 기술에 따른 이중상 발생 현상을 나타내는 도면이고, 도 6b는 본 발명의 일 실시 예에 따른 이중상 발생 현상을 나타내는 도면이다. FIG. 6A is a diagram illustrating a double phase generation phenomenon according to the related art, and FIG. 6B is a diagram illustrating a double phase occurrence phenomenon according to an embodiment of the present invention.

도 6a에 도시된 바와 같이 기존 방식에 따라 MC 블럭의 Search Range Memory 크기 만을 감소시킨 경우에는 모션의 크기 만큼 이중상이 발생하고, 심한 Motion Judder가 발생하게 된다. 반면, 도 6b에 도시된 바와 같이 MC 블럭의 Search Range Memory 크기를 감소시킴과 동시에 모션을 스케일링한 경우 Scaling 비율만큼만 이중상이 나타나고 그만큼 Motion Judder 또한 약하게 발생하게 된다. As shown in FIG. 6A, when only the search range memory size of the MC block is reduced according to the existing method, a double phase occurs as much as the motion size and a severe motion judder is generated. On the other hand, as shown in FIG. 6B, when the size of the search range memory of the MC block is reduced and the motion is scaled, only the scaling ratio of the dual phase appears and the motion judder is also weakly generated.

예를 들어, 컨텐츠의 모션이 MC Search Range를 벗어나는 200 이고 Scaling 비율이 0.6이라면 기존 방식에서는 이중상이 200 pixel 만큼 나타나게 되고 본 발명의 일 실시 예에 따른 방식에서는 80 pixel 만큼의 이중상이 나타나게 된다. 따라서, 본 발명의 일 실시 예에 따르면, Motion Judder는 기존 방식의 40% 수준으로 감소하게 된다.For example, if the motion of the content is 200 out of the MC Search Range and the scaling ratio is 0.6, the dual image is displayed by 200 pixels in the conventional method and the double image is displayed by 80 pixels in the method according to the embodiment of the present invention. Therefore, according to the embodiment of the present invention, the motion judder is reduced to about 40% of the conventional method.

도 7은 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 제어 방법을 설명하기 위한 흐름도이다. 7 is a flowchart illustrating a method of controlling an image frame interpolator according to an exemplary embodiment of the present invention.

도 7에 도시된 영상 프레임 보간 장치의 제어 방법에 따르면, 우선 모션 추정 블럭에서 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정한다(S710). 여기서, 제1 영상 프레임은 이전 영상 프레임이고, 제2 영상 프레임은 현재 영상 프레임이 될 수 있다. According to the control method of the image frame interpolating apparatus shown in FIG. 7, motion is first estimated based on the first image frame and the second image frame in the motion estimation block (S710). Here, the first image frame may be a previous image frame, and the second image frame may be a current image frame.

이어서, 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 추정된 모션을 스케일링한다(S720).Subsequently, the estimated motion is scaled based on the magnitude of the estimated motion and the size of the memory used for motion compensation (S720).

이 후, 기설정된 크기 이하의 메모리를 이용하여, 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성한다(S730). 이 경우, 모션 보상에 이용되는 메모리의 크기는, 모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 이하 작은 크기를 가질 수 있다. Thereafter, an interpolation frame is generated by performing compensation for the scaled motion using a memory of a predetermined size or smaller (S730). In this case, the size of the memory used for motion compensation may be smaller than the size of the memory used for motion estimation by a predetermined size or less.

또한, 모션을 추정하는 S710 단계에서는, 제1 영상 프레임의 축소 영상 및 제2 영상 프레임의 축소 영상에 기초하여 적어도 하나의 모션 벡터를 생성하며, 추정된 모션을 스케일링하는 S720 단계에서는, 적어도 하나의 모션 벡터의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 적어도 하나의 모션 벡터를 스케일링할 수 있다. In step S710 of estimating motion, at least one motion vector is generated based on the reduced image of the first image frame and the reduced image of the second image frame, and in step S720 of scaling the estimated motion, at least one The at least one motion vector may be scaled based on the size of the motion vector and the size of the memory used for motion compensation.

또한, 추정된 모션을 스케일링하는 S720 단계에서는, 생성된 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 모션 보상에 이용되는 메모리의 search range를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다.In addition, in step S720 of scaling the estimated motion, a scaling value is determined such that the size of the motion vector having the largest motion value among the generated at least one motion vector does not deviate from the search range of the memory used for motion compensation, And downscale at least one motion vector based on the determined scaling value.

또한, 추정된 모션을 스케일링하는 S720 단계에서는, 결정된 스케일링 값에 따라 제1 영상 프레임 및 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다. Also, in step S720 of scaling the estimated motion, it is possible to scale both the first image frame and the plurality of motion vectors corresponding to the entire second image frame according to the determined scaling value.

또한, 추정된 모션을 스케일링하는 S720 단계에서는, 상술한 수학식 1에 기초하여 모션 벡터를 스케일링할 수 있다. In addition, in step S720 of scaling the estimated motion, the motion vector may be scaled based on the above-described equation (1).

이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, FRC 기술을 적용하기 위한 FRC chip의 크기를 감소시키면서 이로 인한 화질 저하를 방지할 수 있게 된다. As described above, according to the various embodiments of the present invention, it is possible to reduce the size of the FRC chip for applying the FRC technology, and thereby prevent degradation in image quality.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 디스플레이 장치나 사용자 단말 장치에 대한 소프트웨어 업그레이드만으로도 구현될 수 있다. Meanwhile, the methods according to various embodiments of the present invention described above can be implemented by software upgrading only for an existing display device or a user terminal device.

또한, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다. In addition, a non-transitory computer readable medium may be provided in which a program for sequentially executing the control method according to the present invention is stored.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus. In particular, the various applications or programs described above may be stored on non-volatile readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM,

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

110: 모션 추정부 120: 모션 스케일링부
130: 모션 보상부
110: Motion estimation unit 120: Motion scaling unit
130: Motion compensation unit

Claims (18)

제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부;
상기 추정된 모션을 스케일링하는 모션 스케일링부; 및
기설정된 크기 이하의 내부 메모리를 이용하여, 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부;를 포함하며,
상기 모션 스케링일부는,
상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치.
A motion estimator for estimating motion based on the first image frame and the second image frame;
A motion scaling unit for scaling the estimated motion; And
And an motion compensation unit for performing compensation for the scaled motion using an internal memory of a preset size or smaller to generate an interpolation frame,
The motion-
And scales the estimated motion based on the size of the estimated motion and the size of the internal memory.
제1항에 있어서,
상기 모션 추정부는,
상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며,
상기 모션 스케링일부는,
상기 적어도 하나의 모션 벡터의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치.
The method according to claim 1,
Wherein the motion estimator comprises:
Generating at least one motion vector based on at least one first image data for the first image frame and at least one second image data for the second image frame,
The motion-
And scales the at least one motion vector based on the size of the at least one motion vector and the size of the internal memory.
제2항에 있어서,
상기 모션 스케링일부는,
상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 내부 메모리에 저장된 영역(Search Range)를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치.
3. The method of claim 2,
The motion-
Determining a scaling value such that a size of a motion vector having the largest motion value among the at least one motion vector does not deviate from an area (Search Range) stored in the internal memory, and based on the determined scaling value, Scaled by the interpolation unit.
제3항에 있어서,
상기 모션 스케일링부는,
상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치.
The method of claim 3,
The motion-
And scales both the first image frame and the plurality of motion vectors corresponding to the entire second image frame according to the determined scaling value.
제2항에 있어서,
상기 모션 스케일링부는,
아래의 수식에 기초하여 모션 벡터를 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치;
Figure pat00004

여기서, 여기서, MVme(x, y)는 상기 모션 추정부에서 검출된 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 모션 보상부로 출력되는 스케일링된 모션을 의미한다.
3. The method of claim 2,
The motion-
An image frame interpolating unit for scaling a motion vector based on the following equation;
Figure pat00004

Here, MVme (x, y) denotes a motion vector detected by the motion estimator, MC SR denotes a search range of the memory, and MV mc (x, y) denotes a scaled motion output to the motion compensator .
제1항에 있어서,
상기 제1 영상 프레임은 이전 영상 프레임이고,
상기 제2 영상 프레임은 현재 영상 프레임인 것을 특징으로 하는 영상 프레임 보간 장치.
The method according to claim 1,
Wherein the first image frame is a previous image frame,
Wherein the second image frame is a current image frame.
제1항에 있어서,
상기 모션 보상부에 구비된 내부 메모리는,
상기 모션 추정부에 구비된 내부 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 갖는 것을 특징으로 하는 영상 프레임 보간 장치.
The method according to claim 1,
Wherein the internal memory provided in the motion compensation unit comprises:
Wherein the motion estimator has a size smaller than a size of an internal memory included in the motion estimator by a predetermined size.
방송 신호를 수신하는 방송 수신부;
상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 프레임 레이트 변환부; 및
상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 디스플레이부;를 포함하며,
상기 프레임 레이트 변환부는,
상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부, 상기 추정된 모션을 스케일링하는 모션 스케일링부 및, 기설정된 크기 이하의 내부 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부를 포함하며,
상기 모션 스케링일부는,
상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하는 것을 특징으로 하는 디스플레이 장치.
A broadcast receiver for receiving a broadcast signal;
A frame rate conversion unit for converting a frame rate of a video signal included in the received broadcast signal; And
And a display unit for displaying the video signal with the frame rate converted,
Wherein the frame rate conversion unit comprises:
A motion estimator for estimating motion based on a first image frame and a second image frame included in the video signal, a motion scaling unit for scaling the estimated motion, and a scaling unit for scaling And a motion compensation unit for performing compensation for the motion, thereby generating an interpolation frame,
The motion-
And scales the estimated motion based on the magnitude of the estimated motion and the magnitude of the internal memory.
제8항에 있어서,
상기 모션 보상부에 구비된 내부 메모리는,
상기 모션 추정부에 구비된 내부 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 갖는 것을 특징으로 하는 디스플레이 장치.
9. The method of claim 8,
Wherein the internal memory provided in the motion compensation unit comprises:
Wherein the motion estimator has a size smaller than a size of the internal memory provided in the motion estimator by a predetermined size.
영상 프레임 보간 장치의 제어 방법에 있어서,
제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 단계;
상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하는 단계; 및
기설정된 크기 이하의 상기 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 단계;를 포함하는 제어 방법.
A method of controlling a video frame interpolator,
Estimating motion based on the first image frame and the second image frame;
Scaling the estimated motion based on a magnitude of the estimated motion and a magnitude of a memory used for motion compensation; And
And compensating for the scaled motion using the memory of a predetermined size or less to generate an interpolation frame.
제10항에 있어서,
상기 모션을 추정하는 단계는,
상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며,
상기 추정된 모션을 스케일링하는 단계는,
상기 적어도 하나의 모션 벡터의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링하는 것을 특징으로 하는 제어 방법.
11. The method of claim 10,
Wherein the step of estimating the motion comprises:
Generating at least one motion vector based on at least one first image data for the first image frame and at least one second image data for the second image frame,
Wherein the step of scaling the estimated motion comprises:
Scaling the at least one motion vector based on the size of the at least one motion vector and the size of the internal memory.
제11항에 있어서,
상기 추정된 모션을 스케일링하는 단계는,
상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 메모리의 search range를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링하는 것을 특징으로 하는 제어 방법.
12. The method of claim 11,
Wherein the step of scaling the estimated motion comprises:
Determining a scaling value such that the magnitude of the motion vector having the largest motion value of the at least one motion vector does not deviate from the search range of the memory and downscaling the at least one motion vector based on the determined scaling value Wherein the control method comprises:
제12항에 있어서,
상기 추정된 모션을 스케일링하는 단계는,
상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링하는 것을 특징으로 하는 제어 방법.
13. The method of claim 12,
Wherein the step of scaling the estimated motion comprises:
And scaling all of the plurality of motion vectors corresponding to the first and second image frames according to the determined scaling value.
제11항에 있어서,
상기 추정된 모션을 스케일링하는 단계는,
아래의 수식에 기초하여 모션 벡터를 스케일링하는 것을 특징으로 하는 제어 방법;
Figure pat00005

여기서, MVme(x, y)는 검출 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 스케일링된 모션을 의미한다.
12. The method of claim 11,
Wherein the step of scaling the estimated motion comprises:
A control method scaling a motion vector based on the following formula:
Figure pat00005

Here, MVme (x, y) denotes a detection motion vector, MC SR denotes a search range of the memory, and MV mc (x, y) denotes the scaled motion.
제10항에 있어서,
상기 제1 영상 프레임은 이전 영상 프레임이고,
상기 제2 영상 프레임은 현재 영상 프레임인 것을 특징으로 하는 제어 방법.
11. The method of claim 10,
Wherein the first image frame is a previous image frame,
Wherein the second image frame is a current image frame.
제10항에 있어서,
상기 모션 보상에 이용되는 메모리는,
상기 모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 갖는 것을 특징으로 하는 제어 방법.
11. The method of claim 10,
Wherein the memory used for the motion compensation comprises:
Wherein the memory has a size smaller than a size of a memory used for the motion estimation by a predetermined size.
디스플레이 장치의 제어 방법에 있어서,
방송 신호를 수신하는 단계;
상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 단계; 및
상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 단계;를 포함하며,
상기 프레임 레이트를 변환하는 단계는,
상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하고, 상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하며, 기설정된 크기 이하의 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는, 제어 방법.
A method of controlling a display device,
Receiving a broadcast signal;
Converting a frame rate of a video signal included in the received broadcast signal; And
And displaying the converted video signal at the frame rate,
Wherein the step of converting the frame rate comprises:
Estimating motion based on a first image frame and a second image frame included in the video signal, scaling the estimated motion based on the magnitude of the estimated motion and the size of a memory used for motion compensation, And compensating for the scaled motion using a memory of a set size or smaller to generate an interpolation frame.
제17항에 있어서,
상기 모션 보상에 이용되는 메모리는,
모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 갖는 것을 특징으로 하는 제어 방법.
18. The method of claim 17,
Wherein the memory used for the motion compensation comprises:
And a size smaller than a size of a memory used for motion estimation by a predetermined size.
KR1020140137629A 2014-06-27 2014-10-13 Image frame interpolation apparatus, Display apparatus and control method thereof KR102121395B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/742,238 US10382782B2 (en) 2014-06-27 2015-06-17 Image frame interpolation apparatus, display apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462018086P 2014-06-27 2014-06-27
US62/018,086 2014-06-27

Publications (2)

Publication Number Publication Date
KR20160001570A true KR20160001570A (en) 2016-01-06
KR102121395B1 KR102121395B1 (en) 2020-06-10

Family

ID=55165422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140137629A KR102121395B1 (en) 2014-06-27 2014-10-13 Image frame interpolation apparatus, Display apparatus and control method thereof

Country Status (1)

Country Link
KR (1) KR102121395B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200079871A (en) * 2018-12-26 2020-07-06 엘지디스플레이 주식회사 Image processing method and display device using the same
KR20210023158A (en) 2019-08-22 2021-03-04 (주)넥서스일렉트로닉스 Method and apparatus for providing ultrahigh definition picture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070046931A (en) * 2004-08-18 2007-05-03 퀄컴 인코포레이티드 Encoder-assisted adaptive video frame interpolation
US20090207915A1 (en) * 2008-02-15 2009-08-20 Freescale Semiconductor, Inc. Scalable motion search ranges in multiple resolution motion estimation for video compression
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070046931A (en) * 2004-08-18 2007-05-03 퀄컴 인코포레이티드 Encoder-assisted adaptive video frame interpolation
US20090207915A1 (en) * 2008-02-15 2009-08-20 Freescale Semiconductor, Inc. Scalable motion search ranges in multiple resolution motion estimation for video compression
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200079871A (en) * 2018-12-26 2020-07-06 엘지디스플레이 주식회사 Image processing method and display device using the same
KR20210023158A (en) 2019-08-22 2021-03-04 (주)넥서스일렉트로닉스 Method and apparatus for providing ultrahigh definition picture

Also Published As

Publication number Publication date
KR102121395B1 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
JP5315162B2 (en) Video processing apparatus and video processing method
JP5116498B2 (en) Video processing apparatus and control method thereof
EP2161687B1 (en) Video signal processing device, video signal processing method, and video signal processing program
US20070040935A1 (en) Apparatus for converting image signal and a method thereof
US8922712B1 (en) Method and apparatus for buffering anchor frames in motion compensation systems
US20100026737A1 (en) Video Display Device
US10382782B2 (en) Image frame interpolation apparatus, display apparatus and control method thereof
US20090208137A1 (en) Image processing apparatus and image processing method
US20120274845A1 (en) Image processing device and method, and program
US9275468B2 (en) Fallback detection in motion estimation
KR102121395B1 (en) Image frame interpolation apparatus, Display apparatus and control method thereof
JP2009077309A (en) Motion prediction apparatus and method
US20090324102A1 (en) Image processing apparatus and method and program
JP5015089B2 (en) Frame rate conversion device, frame rate conversion method, television receiver, frame rate conversion program, and recording medium recording the program
JP5318811B2 (en) 2D / 3D video processing device and video display device
US8045817B2 (en) Method for improving image quality, and image signal processing apparatus and AV device using the same
JP4930409B2 (en) Image coding apparatus, image coding method, and image coding program
US8699577B2 (en) Method and apparatus for interpolating image
US8817191B2 (en) Image processing apparatus and image processing method
US20090046208A1 (en) Image processing method and apparatus for generating intermediate frame image
KR102192488B1 (en) Apparatus and method for frame rate conversion
JP2007288483A (en) Image converting apparatus
JP2008283231A (en) Image conversion device
JP2011082899A (en) Image processing apparatus and control method thereof
JP2010057010A (en) Image display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant