KR101168991B1 - Method and apparatus to display slow video by motion compensation and image interpolation - Google Patents
Method and apparatus to display slow video by motion compensation and image interpolation Download PDFInfo
- Publication number
- KR101168991B1 KR101168991B1 KR1020070067143A KR20070067143A KR101168991B1 KR 101168991 B1 KR101168991 B1 KR 101168991B1 KR 1020070067143 A KR1020070067143 A KR 1020070067143A KR 20070067143 A KR20070067143 A KR 20070067143A KR 101168991 B1 KR101168991 B1 KR 101168991B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- original
- slow
- video
- frames
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
본 발명의 움직임 보상 및 영상 보간을 통한 슬로우 비디오 재생 방법 및 장치에 관한 것으로써, 입력된 비디오 데이터의 슬로우 비디오 재생 속도를 결정하고, 슬로우 비디오 재생 속도에 기초하여 재생되어야 할 프레임 개수 및 비디오 데이터의 원 프레임을 이용하여 생성할 프레임의 개수를 결정하고, 원 프레임을 이용하여 새로운 프레임을 생성하여, 비디오 데이터의 원 재생 속도 및 슬로우 비디오 재생 속도에 기초하여, 생성된 프레임 및 원 프레임을 배열하여 출력함으로써, 비디오 데이터의 슬로우 비디오 재생 모드에서도 프레임이 끊김없이 부드럽게 화면에 표시되게 한다.The present invention relates to a slow video playback method and apparatus through motion compensation and image interpolation, wherein the slow video playback speed of input video data is determined, and the number of frames and video data to be played based on the slow video playback speed is determined. Determine the number of frames to be generated using the original frame, generate a new frame using the original frame, and arrange and output the generated frames and the original frames based on the original playback speed and the slow video playback speed of the video data. This allows the frame to be displayed smoothly on the screen even in the slow video playback mode of the video data.
슬로우 재생, 슬로우 비디오, 움직임 보상, 영상 보간 Slow playback, slow video, motion compensation, video interpolation
Description
도 1는 기존의 슬로우 비디오 재생이 가능한 비디오 재생 장치의 블록도를 도시한다.Figure 1 shows a block diagram of a conventional video playback apparatus capable of slow video playback.
도 2은 기존의 슬로우 비디오 재생 방법을 도시한다.2 illustrates a conventional slow video playback method.
도 3은 본 발명의 일 실시예에 따른 슬로우 비디오 재생 장치의 블록도를 도시한다.3 is a block diagram of a slow video playback apparatus according to an embodiment of the present invention.
도 4a는 본 발명의 일 실시예에 따른 1/N 배속의 슬로우 비디오 재생 방법을 도시한다.4A illustrates a slow video playback method at 1 / N double speed according to an embodiment of the present invention.
도 4b는 본 발명의 일 실시예에 따른 1/2 배속의 슬로우 비디오 재생 방법을 도시한다.4B illustrates a 1 / 2x slow video playback method according to an embodiment of the present invention.
도 4c는 본 발명의 일 실시예에 따른 1/4 배속의 슬로우 비디오 재생 방법을 도시한다.4C illustrates a slow video playback method of 1 / 4x according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예를 이용한 슬로우 재생이 가능한 비디오 재생 장치의 블록도를 도시한다.5 is a block diagram of a video playback apparatus capable of slow playback using an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 슬로우 비디오 재생 방법의 흐름도를 도 시한다.6 shows a flowchart of a slow video playback method according to an embodiment of the present invention.
본 발명은 슬로우 비디오 재생 방법 및 장치에 관한 것으로, 더 상세하게는 원 비디오 데이터의 움직임 정보 또는 픽셀 정보를 이용한 움직임 보상 방법 또는 영상 보간 방법을 통해 비디오 데이터의 슬로우 재생을 구현하는 방법 및 장치에 관한 것이다.The present invention relates to a slow video playback method and apparatus, and more particularly, to a method and apparatus for implementing slow playback of video data through a motion compensation method or an image interpolation method using motion information or pixel information of the original video data. will be.
비디오 데이터의 품질이 점점 높아지고 디스플레이 장치가 대형화됨에 따라, 고품질 디스플레이 장치의 보급이 증가하고 있다. 고품질 디스플레이 장치의 보급이 증가함에 따라, 대형 디스플레이 화면에 대한 수요가 늘어나는 추세이다. 대형 화면 및 고화질을 구현하기 위해서는, 기존에는 문제되지 않던 프레임 속도에 대한 사용자의 요구가 증가하고 있다. As the quality of video data increases and the size of display devices increases, the spread of high-quality display devices increases. As the spread of high quality display devices increases, the demand for large display screens increases. In order to realize a large screen and high definition, user demand for a frame rate, which has not been a problem in the past, is increasing.
예를 들어, 최근에는 120Hz의 프레임 속도를 지원하는 티비가 등장하고, 120Hz의 속도로 비디오 데이터를 재생하면 대형 화면 및 고화질의 디스플레이 장치에서도 부드러운 동작을 보여줄 수 있다. 즉, 비디오 데이터가 대형 화면 및 고화질의 고품질 디스플레이 장치에서 부드럽게 재생될 수 있기 위해서는, 고속의 프레임 속도가 필요하다는 의미이기도 하다.For example, TVs supporting a frame rate of 120 Hz have recently emerged, and playing video data at a rate of 120 Hz enables smooth operation even on a large screen and a high-definition display device. In other words, in order for video data to be smoothly reproduced on a large screen and a high quality display device, a high frame rate is required.
비디오 데이터를 일반적인 재생 속도로 재생하는 기본 재생 뿐만 아니라, 기본 속도보다 빠른 배속 재생 및 느린 슬로우 재생 모드가 가능한 비디오 재생 장치 가 널리 쓰이고 있다. 또한 빨리감기, 되감기, 중도부터 실행, 랜덤 억세스 실행 등을 위한 트릭 모드에서 비디오 데이터를 재생할 때 비디오 데이터의 품질 향상 방법이 필요하다. In addition to basic playback that plays back video data at a normal playback speed, video playback devices capable of faster double speed playback and slower slow playback modes are widely used. In addition, there is a need for a method of improving the quality of video data when playing the video data in a trick mode for fast forwarding, rewinding, midway execution, and random access execution.
기존의 슬로우 비디오 재생 방법은, PTS(Presentation Time Stamp)/STC(System Time Clock) 동기화를 제거한 상태에서 비디오 데이터를 천천히 흘려주어, 비디오 데이터를 천천히 디코딩함으로써 구현된다. 또한, 비디오 디코더가 슬로우 모드를 지원하는 경우, 비디오 디코더를 슬로우 모드로 설정하면 비디오 디코더가 데이터를 천천히 출력하여 슬로우 모드로 재생한다.The conventional slow video reproduction method is implemented by slowly flowing video data in a state where PTS (Presentation Time Stamp) / STC (System Time Clock) synchronization is removed and slowly decoding the video data. In addition, if the video decoder supports the slow mode, when the video decoder is set to the slow mode, the video decoder outputs the data slowly and plays in the slow mode.
도 1는 기존의 슬로우 비디오 재생이 가능한 비디오 재생 장치의 블록도를 도시한다.Figure 1 shows a block diagram of a conventional video playback apparatus capable of slow video playback.
기존의 슬로우 비디오 재생이 가능한 비디오 재생 장치(100)은 비디오 버퍼(102), 복호화기(104) 및 비디오 DAC(106)으로 구성된다.The conventional
비디오 재생 장치(100)는 비디오 버퍼(102)에 저장된 부호화된 비디오 데이터를 복호화기(104)에서 복호화하여, 비디오 DAC(104)에서 화면에 디스플레이하기 위해 출력한다. 이때 비디오 DAC(104)는 프레임 속도에 따라 비디오 데이터를 소정의 속도로 디스플레이하게 된다. 비디오 DAC(104)는 렌더링(rendering)을 통해 비디오 데이터를 출력할 수도 있다.The
도 2은 기존의 슬로우 비디오 재생 방법을 도시한다.2 illustrates a conventional slow video playback method.
시퀀스 202는 30Hz로 입력된 비디오 데이터를 나타낸다. 따라서 시퀀스 202의 각각의 프레임은 1/30 초의 간격으로 디스플레이된다.
시퀀스 204는 시퀀스 202가 1/N배속으로 슬로우 비디오 재생 모드에서 재생되는 경우를 나타낸다. 따라서 시퀀스 204의 프레임은 N×(1/30)초 간격으로 디스플레이된다.The
기존의 슬로우 비디오 재생 방법으로 비디오 데이터를 재생하면, 한 프레임당 비디오 데이터의 재생 시간이 증가하게 되므로, 시청자가 동일한 영상을 시청하는 시간이 증가하게 된다. 보통 정상 재생 모드에서는 한 프레임당 비디오 데이터의 재생 시간이 1/30초나 1/60초이지만, 슬로우 비디오 재생 모드에서는 한 프레임당 비디오 데이터의 재생 시간이 슬로우 배속에 따라 증가한다. 따라서, 프레임 속도가 감소하고 비디오 데이터의 재생시 발생하는 움직임이 부자연스러워진다.When the video data is reproduced by the conventional slow video reproduction method, the reproduction time of the video data per frame is increased, so that the time for the viewer to watch the same image is increased. In normal playback mode, the playback time of video data per frame is 1/30 seconds or 1/60 second, but in slow video playback mode, the playback time of video data per frame increases with slow double speed. Thus, the frame rate is reduced and the movements occurring upon reproduction of video data become unnatural.
특히 고품질의 대형 디스플레이 장치에서, 프레임 속도가 30Hz나 60Hz인 비디오 데이터를 슬로우 비디오 재생 모드로 재생시킨다면 움직임이 끊기는 부자연스러운 동작이 더욱 확연히 관찰된다. 특히 스크롤링되는 자막을 보면 글씨가 끊기면서 움직이는 것을 볼 수 있다.Particularly in high-quality large display devices, when video data with a frame rate of 30 Hz or 60 Hz is played back in a slow video playback mode, unnatural motions in which motion is interrupted are more clearly observed. In particular, if you look at subtitles that are scrolling, you can see the text moving in a break.
따라서 본 발명이 이루고자 하는 기술적 과제는, 슬로우 비디오 재생 모드에서도 프레임의 연결성이 손상되지 않고 부드럽게 화면이 전환됨으로 인해 슬로우 비디오 재생 성능이 향상된 슬로우 비디오 재생 방법 및 장치를 제안하는 데 있다.Accordingly, an object of the present invention is to propose a slow video playback method and apparatus having improved slow video playback performance because the screen is smoothly switched without compromising frame connectivity even in the slow video playback mode.
또한, 본 발명이 이루고자 하는 기술적 과제는, 원 비디오 데이터를 이용한 움직임 보상 및 영상 영상 보간을 통해 새로운 프레임을 생성하여, 원 비디오 데이터의 프레임 속도를 유지하는 데 있다.In addition, the technical problem to be achieved by the present invention is to generate a new frame through motion compensation and video image interpolation using the original video data, to maintain the frame rate of the original video data.
따라서 상기 기술적 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 슬로우 비디오 재생 방법은 입력된 비디오 데이터의 슬로우 비디오 재생 속도를 결정하는 단계, 슬로우 비디오 재생 속도에 기초하여 재생되어야 할 프레임 개수 및 비디오 데이터의 원 프레임을 이용하여 생성할 프레임의 개수를 결정하고, 원 프레임을 이용하여 새로운 프레임을 생성하는 단계 및 비디오 데이터의 원 재생 속도 및 슬로우 비디오 재생 속도에 기초하여, 생성된 프레임 및 원 프레임을 배열하여 출력하는 단계를 포함한다.Therefore, in order to achieve the above technical problem, the slow video playback method according to an embodiment of the present invention comprises the steps of determining the slow video playback speed of the input video data, the number of frames and video to be played based on the slow video playback speed Determining the number of frames to be generated using the original frame of the data, generating a new frame using the original frame and based on the original playback speed and slow video playback speed of the video data, Arranging and outputting.
일 실시예의 프레임 생성 단계는 원 프레임의 움직임 정보를 통해 주변 프레임 중 적어도 하나의 프레임을 이용한 움직임 보상 방법을 수행하여 새로운 프레임을 생성한다.In the frame generation step of the present embodiment, a new frame is generated by performing a motion compensation method using at least one frame among neighboring frames through the motion information of the original frame.
다른 실시예의 프레임 생성 단계는 원 프레임의 주변 프레임 중 적어도 하나의 프레임의 픽셀 정보를 이용한 영상 보간 방법을 수행하여 새로운 프레임을 생성한다.In the frame generation step of another embodiment, a new frame is generated by performing an image interpolation method using pixel information of at least one frame among the surrounding frames of the original frame.
상기 기술적 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 슬로우 비디오 재성 장치는 입력된 비디오 데이터의 슬로우 비디오 재생 속도를 결정하는 재생 속도 결정부, 비디오 데이터의 원 프레임을 이용하여 새로운 프레임을 생성하는 프레임 생성부 및 비디오 데이터의 원 재생 속도 및 슬로우 비디오 재생 속도에 기초하여, 생성된 프레임 및 원 프레임을 배열하여 출력하는 프레임 재생부를 포함한다.In order to achieve the above technical problem, a slow video reproducing apparatus according to an embodiment of the present invention generates a new frame using a playback speed determiner for determining a slow video playback speed of input video data, and an original frame of video data. And a frame reproducing unit for arranging and outputting the generated frames and the original frames based on the frame generating unit and the original video playback speed and the slow video playback speed of the video data.
본 발명의 바람직한 실시예의 프레임 생성부는 상기 프레임 생성부는 원 프레임의 움직임 정보 및 원 프레임의 주변 프레임 중 적어도 하나의 프레임의 픽셀 정보를 이용하는 움직임 보상 방법 및 상기 원 프레임 및 주변 프레임 중 적어도 하나의 프레임의 픽셀 정보를 이용하는 영상 보간 방법 중 적어도 하나의 방법을 수행하여 새로운 프레임을 생성한다.The frame generation unit of the preferred embodiment of the present invention, the frame generation unit of the motion compensation method using the motion information of the original frame and the pixel information of at least one frame of the peripheral frame of the original frame and at least one frame of the original frame and the peripheral frame A new frame is generated by performing at least one method of an image interpolation method using pixel information.
이하 본 발명의 일 실시예에 따른 슬로우 비디오 재상 방법 및 장치를 도 3 내지 도 6을 참조하여 상세히 설명한다.Hereinafter, a slow video reproduction method and apparatus according to an embodiment of the present invention will be described in detail with reference to FIGS. 3 to 6.
도 3은 본 발명의 일 실시예에 따른 슬로우 비디오 재생 장치의 블록도를 도시한다.3 is a block diagram of a slow video playback apparatus according to an embodiment of the present invention.
슬로우 비디오 재생 장치(300)는 재생 속도 결정부(302), 프레임 생성부(304) 및 프레임 재생부(306)을 포함한다.The slow
재생 속도 결정부(302)는 입력된 비디오 데이터의 슬로우 비디오 재생 속도를 결정하여 프레임 생성부(304)에 출력한다. 본 발명의 일 실시예는, 복호화되어 입력받은 비디오 데이터의 슬로우 재생 기능을 구현한다. 이때 슬로우 비디오 재생을 위한 프레임 속도는 이미 결정되어 있을 수도 있으며, 사용자에 의해 설정될 수도 있다. The
프레임 생성부(304)는 재생 속도 결정부(302)에서 입력된 재생 속도에 기초하여 재생되어야 할 프레임 개수를 결정하고, 비디오 데이터의 원 프레임을 이용하여 새로운 프레임을 생성하여 프레임 재생부(306)에 출력한다. The
슬로우 비디오 재생 모드에서 각각의 프레임 당 재생 시간이 정상 재생 모드의 재생 시간과 동일하도록 하기 위해서는 슬로우 재생을 위해 감소한 재생 속도에 따라 프레임 개수가 증가하여야 한다. 또한, 본 발명의 다른 실시예는 입력된 비디오 데이터의 프레임 속도와 동일하지는 않지만, 비슷한 프레임 속도로 재생할 수 있도록 출력 프레임 속도에 따라 프레임 개수를 증가시킨다.In order to ensure that the playback time per frame in the slow video playback mode is the same as the playback time in the normal playback mode, the number of frames must increase according to the reduced playback speed for slow playback. In addition, another embodiment of the present invention is not the same as the frame rate of the input video data, but increases the number of frames according to the output frame rate to be reproduced at a similar frame rate.
따라서, 본 발명의 일 실시예는 슬로우 비디오 재생 모드로 비디오 데이터의 프레임을 재생할 때, 정상 재생 모드일 때의 프레임 개수에 비해 부족한 프레임을 새롭게 생성한다. 새로운 프레임으로 생성되어야 하는 프레임의 수량은 입력받은 재생 속도에 기초하여 결정된다. 새로운 프레임이 생성되는 방법에 대해서는 후술한다.Accordingly, an embodiment of the present invention newly generates a frame that is insufficient compared to the number of frames in the normal playback mode when playing back a frame of video data in the slow video playback mode. The number of frames to be generated as a new frame is determined based on the input playback speed. A method of generating a new frame will be described later.
프레임 재생부(306)는 프레임 생성부(304)에서 생성된 프레임 및 원 프레임을 비디오 데이터의 원 재생 속도 및 슬로우 비디오 재생 속도에 따라서 배열하여 출력한다. 프레임 생성부(304)에서 슬로우 비디오 재생 속도에 따라 새로운 프레임을 생성하였으므로, 프레임 재생부(306)는 원 프레임 및 생성된 프레임을 원 프레임 속도를 유지하면서 출력할 수 있다.The
이하 도 4a, 도 4b 및 도 4c를 참조하여, 본 발명의 일 실시예에 따른 슬로우 비디오 재생 방법을 상세히 설명한다. 이는 슬로우 비디오 재생 장치(300)의 프레임 생성부(304)의 역할과 관련된다.Hereinafter, a slow video playback method according to an embodiment of the present invention will be described in detail with reference to FIGS. 4A, 4B, and 4C. This is related to the role of the
도 4a는 본 발명의 일 실시예에 따른 1/N 배속의 슬로우 비디오 재생 방법을 도시한다.4A illustrates a slow video playback method at 1 / N double speed according to an embodiment of the present invention.
시퀀스 202는 30Hz의 비디오 데이터를 나타낸다. 따라서 한 프레임의 재생 시간은 1/30초이다.
시퀀스 402는 본 발명의 일 실시예에 따라 시퀀스 202를 슬로우 비디오 재생 모드에서 1/N배속으로 재생하는 경우를 나타낸다. 본 발명의 일 실시예는 보다 정상 재생 모드와 가까울 정도로 부드러운 움직임을 디스플레이하는 슬로우 비디오 재생 방법을 구현하기 위해, 한 프레임 당 재생 시간이 원 비디오 데이터의 1/30초이 되도록 한다. 따라서, 시퀀스 402의 한 프레임 당 재생 시간이 1/30초가 되도록 하기 위해서는, 프레임 수를 슬로우 비디오 재생 속도에 따라 증가시켜야 한다. The
본 발명의 일 실시예는 증가될 프레임 수에 비해 부족한 프레임을 원 비디오 데이터를 이용하여 생성한다. 원 프레임을 이용하여 새로운 프레임을 생성하는 방법은 원 프레임의 주변 프레임의 움직임 정보 및 픽셀 정보를 이용한다. One embodiment of the present invention uses the original video data to generate a frame that is insufficient compared to the number of frames to be increased. The method for generating a new frame using the original frame uses motion information and pixel information of the surrounding frame of the original frame.
본 발명의 일 실시예는 원 프레임의 움직임 정보를 이용하여, 적어도 하나의 주변 프레임으로부터 새로운 프레임을 유추하는 움직임 보상 방법을 통해 새로운 프레임을 생성한다.According to an embodiment of the present invention, a new frame is generated through a motion compensation method inferring a new frame from at least one neighboring frame using motion information of the original frame.
본 발명의 일 실시예에 따른 움직임 보상 방법은 원 프레임의 주변 프레임 내에서 원 프레임의 움직임 정보가 지정하는 위치의 픽셀 정보를 채용하여 새로운 프레임을 생성한다. 또한 원 프레임의 움직임 정보의 특성에 따라, 하나의 주변 프레임이 사용될 수 있으며, 복수 개의 주변 프레임의 픽셀 정보가 이용될 수도 있다.The motion compensation method according to an exemplary embodiment of the present invention generates a new frame by employing pixel information of a position designated by motion information of the original frame in a peripheral frame of the original frame. In addition, one peripheral frame may be used according to a characteristic of motion information of the original frame, and pixel information of a plurality of peripheral frames may be used.
본 발명의 다른 실시예는 원 프레임의 적어도 하나의 주변 프레임의 픽셀 정도를 이용한 영상 보간 방법을 통해 새로운 프레임을 생성한다.Another embodiment of the present invention generates a new frame through an image interpolation method using a pixel degree of at least one peripheral frame of the original frame.
본 발명의 일 실시예에 따른 영상 보간 방법은 원 프레임을 이용하여 새로운 프레임을 생성하므로 다른 시간의 프레임을 이용하는 시간적 보간 방법에 의한다. 시간적 보간 방법에 의해, 주변 프레임으로부터의 시간적 거리를 고려하여, 주변 프레임의 적어도 하나의 픽셀 정보에 각각의 시간적 가중치를 곱하여 모두 합한 가중합을 새로운 프레임의 픽셀 정보로 채용함으로써 새로운 프레임을 생성한다.The image interpolation method according to an embodiment of the present invention is based on a temporal interpolation method using frames of different time since new frames are generated using original frames. By a temporal interpolation method, in consideration of the temporal distance from the surrounding frame, a new frame is generated by adopting a weighted sum of all of the at least one pixel information of the neighboring frame by multiplying each temporal weight and adopting the summed sum as the pixel information of the new frame.
영상 보간 방법을 구현하기 위한 원 프레임의 주변 프레임은 하나일 수 있으며, 또한 복수 개일 수도 있다.One or more peripheral frames of the original frame for implementing the image interpolation method may be provided.
또한 프레임 생성부(304)는 재생 속도 결정부(302)에서 결정된 재생 속도에 따라 재생되어야 할 프레임 개수를 결정하고, 원 프레임을 이용하여 생성할 프레임의 개수를 결정한다.In addition, the
예를 들어, 원 프레임이 1개가 입력되었는데, 1/2배속으로 재생하는 경우 프레임 2개가 디스플레이되어야 한다. 따라서, 프레임 1개가 새로이 생성되어야 하며, 새로운 프레임 1개는 원 프레임 1개를 이용하여 생성한다. 마찬가지로, 원 프레임 2개가 입력되었는데 1/4배속의 슬로우 비디오 재생 모드로 재생된다면, 프레임 8개가 필요하며, 원 프레임 2개를 이용하여 프레임 6개를 추가로 생성하여야 한다.For example, if one original frame is input and two half times are played, two frames should be displayed. Therefore, one frame must be newly generated, and one new frame is generated using one original frame. Similarly, if two original frames are input and played in the slow video playback mode at 1 / 4x speed, eight frames are required, and six additional frames must be generated using the two original frames.
즉, 원 프레임이 a개 입력되고 1/N배속의 슬로우 비디오 재생 모드로 재생되어야 한다면, 원 프레임 a개를 이용하여 a×(N-1)개의 프레임을 생성하여야 한다.That is, if one frame is input and is to be reproduced in the slow video playback mode at 1 / N times, ax (N-1) frames should be generated using the one frame.
도 4b는 본 발명의 일 실시예에 따른 1/2 배속의 슬로우 비디오 재생 방법을 도시한다.4B illustrates a 1 / 2x slow video playback method according to an embodiment of the present invention.
시퀀스 202는 30Hz의 비디오 데이터로, 한 프레임의 재생 시간은 1/30초이다.
시퀀스 404는 본 발명의 일 실시예에 따라 시퀀스 202를 슬로우 비디오 재생 모드에서 1/2배속으로 재생하는 경우를 나타낸다. The
본 발명의 일 실시예에 따라, 비디오 데이터가 계속 30Hz의 프레임 속도를 유지하기 위해서는 하나의 프레임이 1/30초의 속도로 재생되어야 하므로, 두 개의 원 프레임 사이에 원 프레임의 정보를 이용하여 생성된 새로운 프레임을 재생하여야 한다. 따라서 원 데이터는 2×(1/30)초마다 재생되지만, 원 데이터의 움직임 정보 또는 픽셀 정보를 이용하여 생성된 프레임으로 인해 1/30초마다 프레임이 재생되므로, 프레임 전환에 의한 화면 전환이 보다 부드러워진다.According to an embodiment of the present invention, since one frame must be reproduced at a rate of 1/30 seconds in order to keep the video data at a frame rate of 30 Hz, a frame is generated by using information of the original frame between two original frames. You must play a new frame. Therefore, the original data is reproduced every 2 × (1/30) seconds, but the frame is reproduced every 1/30 second due to the frame generated by using the motion information or pixel information of the original data. Softens
도 4c는 본 발명의 일 실시예에 따른 1/4 배속의 슬로우 비디오 재생 방법을 도시한다. 시퀀스 202는 전술한 도 2, 도 4a 및 도 4b의 시퀀스 202와 동일하다.4C illustrates a slow video playback method of 1 / 4x according to an embodiment of the present invention. The
시퀀스 406는 본 발명의 일 실시예에 따라 시퀀스 202를 슬로우 비디오 재생 모드에서 1/4배속으로 재생하는 경우를 나타낸다. 본 발명의 일 실시예에 따라, 비디오 데이터가 계속 30Hz의 프레임 속도를 유지하기 위해서는, 두 개의 원 프레임 사이마다 원 프레임의 정보를 이용하여 생성된 새로운 프레임을 재생하여야 한다. 따라서 원 데이터는 4×(1/30)초마다 재생되지만, 원 데이터의 정보를 이용하여 생성된 프레임이 비디오 데이터의 연속성을 유지하지면서 1/30초마다 프레임이 재생 된다.The
도 5는 본 발명의 일 실시예를 이용한 슬로우 재생이 가능한 비디오 재생 장치의 블록도를 도시한다.5 is a block diagram of a video playback apparatus capable of slow playback using an embodiment of the present invention.
본 발명의 일 실시예에 따른 슬로우 비디오 재생 장치(300)을 구비하는 비디오 재생 장치(500)는 비디오 버퍼(502), 복호화기(504), 슬로우 비디오 재생 장치(300) 및 비디오 DAC(506)을 포함한다.The
비디오 버퍼(502)는 부호화되어 전송된 비디오 데이터를 저장하고 복호화기(504)로 출력한다.The
복호화기(504)는 부호화된 비디오 데이터를 복호화하여 슬로우 비디오 재생 장치(300)로 출력한다.The
슬로우 비디오 재생 장치(300)는 본 발명의 일 실시예에 따라서, 복호화기(104)를 통해 복호화된 비디오 데이터를 이용하여 소정의 재생 속도에 따라 새로운 프레임을 생성하여, 재생 순서에 맞추어 배열하여 출력한다.Slow
비디오 DAC(506)는 슬로우 비디오 재생 장치(300)에서 출력한 프레임을 원 프레임의 재생 시간과 동일하게 재생하며, 원 비디오 데이터의 프레임 속도를 유지한다.The
따라서 본 발명의 일 실시예에 따른 슬로우 비디오 재생 장치(300)를 구비하는 비디오 재생 장치(500)는 복호화된 비디오 데이터를 이용하여 새로운 프레임을 생성함으로써 슬로우 비디오 재생을 보다 부드럽게 구현할 수 있다.Accordingly, the
도 6은 본 발명의 일 실시예에 따른 슬로우 비디오 재생 방법의 흐름도를 도시한다.6 is a flowchart of a slow video playback method according to an embodiment of the present invention.
단계 602에서, 입력된 비디오 데이터의 슬로우 비디오 재생 속도가 결정된다. 슬로우 비디오 재생 속도는 미리 결정되거나, 사용자가 설정할 수 있다.In
단계 604에서, 슬로우 비디오 재생 속도에 기초하여 재생되어야 할 프레임 개수 및 비디오 데이터의 원 프레임을 이용하여 생성할 프레임의 개수가 결정되고, 원 프레임을 이용하여 새로운 프레임이 생성된다. 새로운 프레임은 원 프레임의 움직임 정보 또는 픽셀 정보 또는 주변 프레임의 픽셀 정보를 이용하여, 움직임 보상 또는 영상 보간 방법을 통해 생성된다.In
단계 606에서, 비디오 데이터의 원 재생 속도 및 슬로우 비디오 재생 속도에 기초하여, 생성된 프레임 및 원 프레임이 배열되어 출력된다. 원 프레임은 슬로우 비디오 재생 속도에 따라 출력되지만, 생성된 프레임이 추가됨에 따라 원 비디오 데이터의 재생 속도에 비슷하거나 동일한 속도로 비디오 데이터의 재생이 가능해진다.In
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인 터넷을 통한 전송)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium may include a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.) and a carrier wave (eg, Internet Storage medium).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
본 발명의 슬로우 비디오 재생 방법 및 장치에 의해, 슬로우 비디오 재생 모드에서도 비디오 프레임의 전환으로 인한 화면 전환이 부드러워지는 효과가 있다.According to the slow video playback method and apparatus of the present invention, there is an effect of smoothing the screen transition due to the switching of the video frame even in the slow video playback mode.
또한, 원 비디오 데이터를 이용한 움직임 보상 및 영상 영상 보간을 통해 새로운 프레임을 생성함으로 인해, 원 비디오 데이터의 프레임 속도를 유지하여 프레임 당 재생 시간이 원 비디오 프레임의 정상적으로 재생할 때의 재생 시간으로 근사해지므로 끊김없이 부드러운 비디오의 재생이 가능한 효과를 갖는다.In addition, by generating a new frame through motion compensation and video image interpolation using the original video data, the playback time per frame is approximated to the playback time when the original video frame is normally reproduced by maintaining the frame rate of the original video data. Smooth video playback has the effect possible.
따라서 비디오 재생 장치에 있어서 슬로우 비디오 재생 성능을 향상시키는 효과를 낳는다.Therefore, the video playback apparatus has an effect of improving the slow video playback performance.
본 발명은 비디오의 트릭 플레이가 필요한 광기기 플레이어, 스토리지를 갖는 미디어 플레이 등의 산업상 분야에서 이용될 수 있다.The present invention can be used in industrial fields such as a photonic player that requires trick play of video, media play with storage, and the like.
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070067143A KR101168991B1 (en) | 2007-07-04 | 2007-07-04 | Method and apparatus to display slow video by motion compensation and image interpolation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070067143A KR101168991B1 (en) | 2007-07-04 | 2007-07-04 | Method and apparatus to display slow video by motion compensation and image interpolation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090002847A KR20090002847A (en) | 2009-01-09 |
KR101168991B1 true KR101168991B1 (en) | 2012-07-27 |
Family
ID=40485770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070067143A KR101168991B1 (en) | 2007-07-04 | 2007-07-04 | Method and apparatus to display slow video by motion compensation and image interpolation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101168991B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018034371A1 (en) * | 2016-08-19 | 2018-02-22 | 스노우 주식회사 | Device, method, and computer program for processing motion image |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107682742B (en) * | 2017-10-10 | 2021-03-23 | 成都德尚视云科技有限公司 | Transcoding-free video concentration playing method |
KR101981955B1 (en) * | 2017-11-29 | 2019-05-24 | (주)유윈인포시스 | Apparatus and methdo for making contents |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005347841A (en) | 2004-05-31 | 2005-12-15 | Casio Comput Co Ltd | Image reproducing device and image reproducing method |
KR100598234B1 (en) | 2005-01-07 | 2006-07-07 | 엘지전자 주식회사 | Method of reproducing audio frame slow or fast |
-
2007
- 2007-07-04 KR KR1020070067143A patent/KR101168991B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005347841A (en) | 2004-05-31 | 2005-12-15 | Casio Comput Co Ltd | Image reproducing device and image reproducing method |
KR100598234B1 (en) | 2005-01-07 | 2006-07-07 | 엘지전자 주식회사 | Method of reproducing audio frame slow or fast |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018034371A1 (en) * | 2016-08-19 | 2018-02-22 | 스노우 주식회사 | Device, method, and computer program for processing motion image |
US11024338B2 (en) | 2016-08-19 | 2021-06-01 | Snow Corporation | Device, method, and non-transitory computer readable medium for processing motion image |
Also Published As
Publication number | Publication date |
---|---|
KR20090002847A (en) | 2009-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007295519A (en) | System for simultaneous playback of multiple video angles from multimedia content onto display device and method thereof | |
KR100604831B1 (en) | Audio and video player synchronizing ancillary word and image to audio and method thereof | |
KR20070026249A (en) | System, nethod, computer program for data reproducing | |
KR101168991B1 (en) | Method and apparatus to display slow video by motion compensation and image interpolation | |
JP2005176369A (en) | Trick play method of digital storage medium and digital storage medium drive suitable for the same | |
KR20090130214A (en) | Changing a playback speed for video presentation recorded in a modified film format | |
JP2006109113A (en) | Image reproducing apparatus and image reproduction method | |
WO2012169096A1 (en) | Image display device and image processing device | |
JP4810328B2 (en) | Video playback device | |
KR100425305B1 (en) | Optical disk player for reproducing high quality still picture and method for reproducing still picture | |
JP2012100162A (en) | Image decoding apparatus and decoding program | |
JP5511242B2 (en) | Video playback apparatus and video playback method | |
JP2011151429A (en) | Video reproducing apparatus and video reproducing method | |
JP2009111531A (en) | High-speed playback device | |
JP5188209B2 (en) | Display control apparatus, method, and program | |
JP2009088665A (en) | Video reproducing device and video reproducing method | |
JP2006339857A (en) | Decoding device | |
JP2006319645A (en) | Picture reproducer, method, program, and storage medium | |
JP2007328878A (en) | Reproduction device, reproduction method, and program | |
KR101353877B1 (en) | Apparatus and method for displaying moving picture | |
JP2009016896A (en) | Motion picture reproducing device and luminance control method | |
JP2009027219A (en) | Semiconductor device for reproduction and optical disk reproducer | |
JP5641953B2 (en) | Electronic device, video data generation method, and program | |
KR960019214A (en) | Reverse Slow Play Method of Video Compact Disc | |
JP3840894B2 (en) | Image information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |