KR20160107145A - Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding - Google Patents
Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding Download PDFInfo
- Publication number
- KR20160107145A KR20160107145A KR1020160113401A KR20160113401A KR20160107145A KR 20160107145 A KR20160107145 A KR 20160107145A KR 1020160113401 A KR1020160113401 A KR 1020160113401A KR 20160113401 A KR20160113401 A KR 20160113401A KR 20160107145 A KR20160107145 A KR 20160107145A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- frame rate
- segment
- video coding
- motion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템에 관한 것으로, 더욱 상세하게는 휴대용 미디어 플레이어에서의 에너지 절약을 위한 임계값 기반의 프레임 율 수정 방법 및 시스템에 관한 것이다. The present invention relates to a power management method and system that utilizes time scalability of hierarchical video coding, and more particularly, to a threshold-based frame rate modification method and system for energy saving in a portable media player.
스마트폰을 포함한 동영상 재생 기기의 광범위한 사용으로 시간에 구애 받지 않고 흔히 동영상을 볼 수 있게 되었다. 하지만, 동영상 어플리케이션은 CPU의 높은 전력 소모를 수반하는 수많은 연산을 요구한다. CPU 전력 소모를 줄이는 효과적인 방법은 CPU의 작업량에 따라 프로세서의 전압과 주파수를 동적으로 변경하는 동적 전압 조절(DVFS) 기법을 사용하는 것이다. 또한, 동영상 코덱은 압축 기법을 사용하고 프레임들은 재생시간에 디코딩이 이루어진다. 프레임 스킵 기법은 이러한 디코딩 연산에 사용되는 CPU 전력 소모를 완화시켜 주지만 사용자가 인지하는 체감 품질은 감소하게 된다. 따라서 체감 품질과 에너지 소비 사이의 트레이드오프를 해결하는 것이 중요하다. The widespread use of video playback devices, including smartphones, makes it possible to watch videos on a regular basis, regardless of time. However, video applications require numerous operations involving high power consumption of the CPU. An effective way to reduce CPU power consumption is to use dynamic voltage regulation (DVFS) techniques that dynamically change the processor's voltage and frequency depending on the CPU's workload. Also, the video codec uses a compression scheme and the frames are decoded at the playback time. The frame skipping technique alleviates the CPU power consumption used in such a decoding operation, but the perceived quality perceived by the user is reduced. Therefore, it is important to solve the tradeoff between the quality of the experience and energy consumption.
ITU-T에 의해 소개된 TI(Temporal Information)라고 불리는 비디오 품질 변수는 연속된 화면의 움직임의 정도를 표현하고, 프레임 스킵의 비율을 결정하는데 사용될 수 있다. 프레임 스킵에 의한 품질 저하는 움직임의 변화가 많은 화면에서 더 쉽게 인식되는 반면, 정적인 화면에서는 간과될 수 있다. 하지만, 여기에는 실제로 이 기법을 사용함에 있어 두 가지 사안에 대해 고려해야 한다. 첫째로, TI 값은 디코딩 된 연속된 두 프레임들이 디코딩된 후에만 얻어질 수 있다. 둘째로, 이 계산은 모든 픽셀단위의 비교를 요구하기 때문에, 결과적으로 많은 연산을 야기한다.A video quality parameter, called TI (Temporal Information) introduced by ITU-T, can be used to express the degree of motion of successive pictures and to determine the rate of frame skipping. Quality degradation due to frame skipping is more easily perceived on a screen with many changes of motion, but can be overlooked on a static screen. However, there are actually two issues to consider when using this technique. First, the TI value can only be obtained after two decoded successive frames are decoded. Second, this computation requires all pixel-by-pixel comparisons, resulting in many operations.
한국등록특허 10-0631768호는 이러한 비디오 코딩에서 프레임간 예측방법 및 비디오 인코더와, 비디오 디코딩 방법 및 비디오 디코더에 관한 기술을 기재하고 있다. Korean Patent No. 10-0631768 describes an inter-frame prediction method and a video encoder, a video decoding method, and a video decoder in such video coding.
본 발명은 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 기법 및 시스템에 관한 것으로, CPU에 소비되는 전력을 감소시킬 수 있는 계층적 비디오 코딩의 시간 확장성을 활용한 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템에 관한 것이다.The present invention relates to a power management technique and system that utilizes time scalability of hierarchical video coding, and more particularly, to a power management technique and system using time scalability of hierarchical video coding, And more particularly, to a power management method and system using scalability.
본 발명이 이루고자 하는 기술적 과제는 적은 비용의 연산을 가지고 움직임의 변화 정도를 예측하기 위해, 프레임의 샘플 픽셀의 밝기 값을 비교함으로써 TI 값을 추정하고, 사용자에 의해 인식되는 품질의 저하를 완화하도록 정적인 장면에서는 높은 프레임 스킵 비율을 적용하고, 동적인 화면에서는 작은 프레임 스킵 비율을 적용하는 프레임 율을 조정하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템을 제공하는데 있다. SUMMARY OF THE INVENTION The present invention provides a method and apparatus for estimating a TI value by comparing a brightness value of a sample pixel of a frame in order to estimate a degree of change of motion with a low cost operation, A power management method and system using time scalability of hierarchical video coding that applies a high frame skipping ratio in a static scene and adjusts a frame rate to apply a small frame skipping rate in a dynamic scene.
일 측면에 따르면, 본 발명에서 제안하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법에 있어서, 영상의 프레임들을 복수의 세그먼트로 분할하는 단계; 상기 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 단계; 및 계산된 상기 TI 값을 이용하여 재생되는 상기 영상의 프레임 율을 변경하는 단계를 포함한다. According to an aspect of the present invention, there is provided a power management method using temporal scalability of hierarchical video coding proposed by the present invention, comprising: dividing frames of an image into a plurality of segments; Calculating Temporal Information (TI) values for determining the degree of motion through comparison between consecutive frames in the plurality of segments; And changing a frame rate of the image to be reproduced using the calculated TI value.
다른 측면에 따르면, 상기 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 상기 TI 값을 계산하는 단계는 재생되는 상기 영상의 프레임 율에 따라 상기 픽셀을 표본 추출하여 선택된 상기 픽셀만 비교 연산을 수행하여 상기 TI 값을 계산하는 단계를 포함할 수 있다. According to another aspect, calculating the TI value for determining the degree of motion through inter-pixel comparison between consecutive frames in the plurality of segments may include sampling the pixel according to a frame rate of the image to be reproduced And performing a comparison operation on only the selected pixels to calculate the TI value.
또 다른 측면에 따르면, 상기 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 상기 픽셀만 비교 연산을 수행하여 상기 TI 값을 계산하는 단계는 상기 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 상기 TI 값을 계산할 수 있다. According to another aspect of the present invention, the step of extracting a pixel according to a frame rate of the image and performing a comparison operation on only the selected pixels to calculate the TI value may include calculating a pixel sampling ratio The TI value can be calculated.
또 다른 측면에 따르면, 상기 TI 값을 이용하여 재생되는 상기 영상의 프레임 율을 변경하는 단계는 임계값을 설정하는 단계; 상기 TI 값을 움직임의 정도를 표현하는 값으로 변환하는 단계; 및 상기 움직임의 정도를 표현하는 값과 상기 임계값을 비교하여 상기 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 상기 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 상기 영상의 프레임 율을 변경하는 단계를 포함할 수 있다. According to another aspect, the step of changing the frame rate of the image reproduced using the TI value includes: setting a threshold value; Converting the TI value into a value representing a degree of motion; And selecting a low frame skipping rate when the threshold value is lower than a threshold value and selecting a high frame skipping rate when the threshold value is higher than the threshold, And changing the rate.
또 다른 측면에 따르면, 본 발명에서 제안하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템에 있어서, 영상의 프레임들을 복수의 세그먼트로 분할하는 분할부; 상기 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 TI 값 계산부; 및 계산된 상기 TI 값을 이용하여 재생되는 상기 영상의 프레임 율을 변경하는 프레임 율 변경부를 포함하고, 상기 프레임 율 변경부는 임계값을 설정하고, 상기 TI 값을 움직임의 정도를 표현하는 값으로 변환하며, 상기 움직임의 정도를 표현하는 값과 상기 임계값을 비교하여 상기 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 상기 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 상기 영상의 프레임 율을 변경할 수 있다. According to another aspect of the present invention, there is provided a power management system using time scalability of hierarchical video coding proposed by the present invention, the power management system comprising: a division unit dividing frames of an image into a plurality of segments; A TI value calculation unit for calculating TI (Temporal Information) values for understanding the degree of motion through comparison between consecutive frames in the plurality of segments; And a frame rate changing unit for changing a frame rate of the image reproduced using the calculated TI value, wherein the frame rate changing unit sets a threshold value and converts the TI value into a value representing the degree of motion And comparing the threshold value with a value representing the degree of motion to select a lower frame skipping rate when the threshold value is lower than a threshold value and selecting a higher frame skipping rate when the threshold is higher than the threshold value, You can change the frame rate.
본 발명의 실시예들에 따르면 사용자가 인지하지 못하거나 수용 가능한 범위 내에서 영상의 품질을 관리하고, 디코딩 시간 예측에 의해 최적의 CPU 주파수가 선택됨으로써, 높은 품질 및 온디맨드 거버너로 재생되던 휴대용 미디어 기기에서의 높은 소비 전력을 효과적으로 감소시킬 수 있는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템을 제공할 수 있다. According to embodiments of the present invention, the quality of an image can be managed within a range that the user can not recognize or can accept, and an optimal CPU frequency is selected by predicting a decoding time, thereby realizing a high quality and portable medium It is possible to provide a power management method and system utilizing time scalability of hierarchical video coding that can effectively reduce high power consumption in a device.
도 1은 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 애니메이션의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 스포츠의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 티비 쇼의 재생에 따른 CPU 전력 비교 그래프를 나타낸다. 1 is a block diagram illustrating a power management system that utilizes temporal scalability of hierarchical video coding according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a power management method utilizing time scalability of hierarchical video coding according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 3 shows a CPU power comparison graph according to an animation reproduction according to an embodiment of the present invention.
FIG. 4 shows a CPU power comparison graph according to the reproduction of sports according to an embodiment of the present invention.
5 is a graph illustrating a CPU power comparison according to playback of a TV show according to an embodiment of the present invention.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명은 계층적 비디오 코딩 기반의 휴대용 미디어 플레이어에서 CPU 소비전력을 감소시키기 위한 기법에 관한 것이다. 구체적으로 동영상 프레임 율과 전력소비간의 트레이드오프 관계에 따라, H.264/SVC의 시간 확장성을 통해 동영상이 여러 프레임 율을 가질 수 있도록 인코딩 할 수 있다. 이때, 동영상이 재생될 때, 연속된 프레임의 움직임의 정도가 정적인 경우에 낮은 프레임 율로 재생되도록 하여 CPU의 전력 소비를 낮출 수 있다. 그리고, 연속된 프레임들의 움직임 정도를 파악하기 위해 발생하는 수많은 픽셀 단위 연산을 감소시키도록 프레임 율에 따라 픽셀 표본 추출을 통해 비교 연산을 줄여 CPU의 전력 소비를 낮출 수 있다. The present invention relates to a technique for reducing CPU power consumption in a portable media player based on hierarchical video coding. Specifically, according to the tradeoff relationship between the video frame rate and the power consumption, the video can be encoded to have various frame rates through the time scalability of H.264 / SVC. At this time, when the motion picture is reproduced, when the degree of motion of the continuous frame is static, it is reproduced at a low frame rate, so that the power consumption of the CPU can be lowered. In addition, the power consumption of the CPU can be lowered by reducing the comparison operation through pixel sampling according to the frame rate so as to reduce the number of pixel-based operations that occur in order to grasp the degree of motion of successive frames.
즉, 본 발명은 위와 같이 휴대용 미디어 플레이어에서 소비되는 CPU 전력을 효과적으로 감소시킬 수 있도록 하는 선택적 프레임 율 적용 및 픽셀 표본 추출 정책에 관한 것이다.That is, the present invention relates to a selective frame rate application and a pixel sampling policy that effectively reduce the CPU power consumed in the portable media player.
아래에서는, H.264/SVC의 시간 확장성을 활용하여 적은 양의 연산과 움직임의 변화를 고려한 새로운 CPU 전력을 효과적으로 감소시킬 수 있는 방법을 제안하고자 한다. In the following, we propose a method to effectively reduce the new CPU power considering the small amount of computation and motion change by utilizing the time scalability of H.264 / SVC.
첫째, 화면의 움직임 정도를 예측하기 위한 연산의 수를 감소시킨다. 더 구체적으로, 연속된 화면의 움직임 정도를 파악하기 위한 TI(Temporal Information) 값의 도출을 위해 모든 픽셀 간의 밝기를 비교하게 되는데, 이때 발생하는 수많은 연산의 양을 정확성을 고려하여 감소시키는 픽셀 표본 추출 기법을 이용할 수 있다. First, it reduces the number of operations for predicting the degree of motion of the screen. More specifically, in order to derive a temporal information (TI) value for determining the degree of motion of a continuous screen, the brightness of all the pixels is compared. In the pixel sampling process for reducing the amount of computation, Technique.
둘째, 임계값을 설정하고 프레임들의 움직임 정도에 따라서 프레임 율을 조절한다. 더 구체적으로, 세그먼트 단위의 프레임들이 동적인 화면들로 구성되어 있을 때, 프레임 율을 낮추면 체감 품질은 더 심하게 감소될 수 있다. 따라서 세그먼트의 움직임 정도와 임계값 수위 선을 비교해 체감 품질의 감소를 줄일 수 있는 프레임 율 조절 기법을 이용할 수 있다.Second, the threshold value is set and the frame rate is adjusted according to the degree of motion of the frames. More specifically, when frame-by-segment frames are made up of dynamic screens, lowering the frame rate can further reduce the perceived quality. Therefore, it is possible to use a frame rate adjustment technique which can reduce the decrease in the perceived quality by comparing the degree of motion of the segment with the threshold level line.
일 예로, 상기의 방법을 이용하여 두 가지 기종의 스마트폰에서 구현하여 실제 측정에 적용하였을 경우에 온디맨드 거버너에 비해 최대 약 47%의 에너지 감소를 확인할 수 있다.For example, if the above method is implemented in two types of smartphones and applied to actual measurement, energy savings of up to about 47% can be confirmed compared with the on-demand governor.
사용자가 비디오의 해상도, 품질 등의 서비스를 선호도에 따라 선택할 수 있도록 영상을 동적으로 인코딩 할 수 있는 계층적 비디오 코딩(Scalable Video Coding, SVC)이 있다. 이러한 여러 계층적 비디오 코딩(SVC) 코덱 가운데 뛰어난 효율성과 세 가지 확장성을 제공하는 H.264/SVC 코덱이 있다. H.264/SVC 코덱은 다양한 해상도를 제공하는 공간적 확장성, 여러 프레임 율을 제공하는 시간적 확장성, 및 비디오의 계층들이 다양한 품질 레벨을 지닐 수 있도록 하는 품질 확장성이 있다. 이 중 시간 확장성을 활용하여 비디오가 재생될 때 사용자의 품질 저하 인지를 줄이며 프레임 율을 조절해 소비된 전력을 줄일 수 있다. There is Scalable Video Coding (SVC) in which a user can dynamically encode an image so that a user can select services such as resolution and quality of video according to their preferences. Among these multiple hierarchical video coding (SVC) codecs are H.264 / SVC codecs, which provide excellent efficiency and three scalability. H.264 / SVC codecs have spatial scalability to provide various resolutions, temporal scalability to provide multiple frame rates, and quality scalability to allow layers of video to have different quality levels. Among these, time scalability can be used to reduce the user's perceived quality degradation when the video is played back and reduce the power consumption by adjusting the frame rate.
프레임 스킵을 수행하는 동안 프레임 율을 동적으로 조절하기 위해서 부분적 비디오 스트림이 낮은 프레임 율로 비디오를 제공할 수 있는 계층적 비디오 코딩 기법의 시간적 확장성을 이용할 수 있다. In order to dynamically adjust the frame rate during frame skipping, the temporal scalability of the hierarchical video coding scheme, in which a partial video stream can provide video at a low frame rate, can be utilized.
일 예로, 동영상은 3.2초의 길이에 해당하는 세그먼트로 나누어진다. 는 시간적 레벨이 j일 때, 세그먼트 내의 프레임의 번호가 된다. 와 는 각각 시간적 레벨의 번호와 세그먼트의 번호를 나타낸다.For example, a moving picture is divided into segments corresponding to 3.2 seconds in length. Is the number of the frame in the segment when the temporal level is j. Wow Represent the number of the temporal level and the number of the segment, respectively.
디코딩 제한시간을 만족하는 가장 작은 주파수 값을 선택하는 프레임 레벨의 동적 전압 및 주파수 조절(DVFS) 기법을 사용할 수 있다. 각 주파수에서 다음 프레임의 예측 디코딩 시간에 기초하여, 미디어 플레이어는 선택된 시간적 레벨의 디코딩 데드라인을 충족시키는 최저 주파수를 선택할 수 있다.A frame-level dynamic voltage and frequency control (DVFS) technique may be used to select the smallest frequency value that meets the decoding time limit. Based on the predicted decoding time of the next frame at each frequency, the media player can select the lowest frequency that meets the decoding deadline of the selected temporal level.
도 1은 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating a power management system that utilizes temporal scalability of hierarchical video coding according to an embodiment of the present invention.
도 1을 참조하면, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템(100)은 분할부(110), TI 값 계산부(120), 및 프레임 율 변경부(130)를 포함할 수 있다. Referring to FIG. 1, the
분할부(110)는 영상의 프레임들을 복수의 세그먼트로 분할할 수 있다. The
TI 값 계산부(120)는 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산할 수 있다. 다시 말하면, TI 값 계산부(120)는 재생되는 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 픽셀만 비교 연산을 수행하여 TI 값을 계산할 수 있다. 이때, 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 TI 값을 계산할 수 있다.The TI
프레임 율 변경부(130)는 계산된 TI 값을 이용하여 재생되는 영상의 프레임 율을 변경할 수 있다. 또한, 프레임 율 변경부(130)는 임계값을 설정하고, TI 값을 움직임의 정도를 표현하는 값으로 변환하며, 움직임의 정도를 표현하는 값과 임계값을 비교하여 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 영상의 프레임 율을 변경할 수 있다. 즉, 움직임의 정도를 표현하는 값과 임계값을 비교하여, 움직임의 정도를 표현하는 값이 임계값보다 높을 경우의 프레임 스킵 율이 임계값보다 낮을 경우의 프레임 스킵 율보다 높게 선택하여. 재생되는 영상의 프레임 율을 변경할 수 있다. The frame
도 2는 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법을 나타내는 흐름도이다. FIG. 2 is a flowchart illustrating a power management method utilizing time scalability of hierarchical video coding according to an exemplary embodiment of the present invention. Referring to FIG.
도 2를 참조하면, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법은 도 1에서 설명한 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템을 이용하여 구체적으로 설명할 수 있다. 여기서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 분할부, TI 값 계산부, 및 프레임 율 변경부를 포함할 수 있다.Referring to FIG. 2, a power management method that utilizes time scalability of hierarchical video coding can be specifically described using a power management system that utilizes the time scalability of hierarchical video coding described in FIG. Here, the power management system utilizing the time scalability of the hierarchical video coding may include a division unit, a TI value calculation unit, and a frame rate changing unit.
단계(210)에서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 영상의 프레임들을 복수의 세그먼트로 분할할 수 있다. In
단계(220)에서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산할 수 있다. In
여기서, 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI 값을 계산하는 단계는 재생되는 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 픽셀만 비교 연산을 수행하여 TI 값을 계산하는 단계를 포함할 수 있다. 이는, 수많은 연산을 수행하게 되면 CPU의 전력 소모를 유발시키기 때문에 특정 표본을 추출하여 선택된 픽셀만 비교 연산을 수행하도록 함으로써, 전력 소모를 최소화할 수 있다.Here, the step of calculating the TI value for understanding the degree of motion through comparison of pixels between consecutive frames in a plurality of segments is performed by performing a comparison operation on only selected pixels by sampling pixels according to the frame rate of the reproduced image And calculating a TI value. This causes power consumption of the CPU when a large number of calculations are performed, so that power consumption can be minimized by extracting a specific sample and comparing only selected pixels.
또한, 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 픽셀만 비교 연산을 수행하여 TI 값을 계산하는 단계는 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 TI 값을 계산할 수 있다. Also, in the step of calculating a TI value by performing a comparison operation on only selected pixels by sampling a pixel according to a frame rate of an image, a TI value can be calculated by selecting different pixel sample extraction ratios according to each frame rate of the image .
단계(230)에서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 계산된 TI 값을 이용하여 재생되는 영상의 프레임 율을 변경할 수 있다. In
여기서, TI 값을 이용하여 재생되는 영상의 프레임 율을 변경하는 단계를 더 구체적으로 설명하기로 한다. Here, the step of changing the frame rate of an image to be reproduced using the TI value will be described in more detail.
이러한, TI 값을 이용하여 재생되는 영상의 프레임 율을 변경하는 단계는 먼저 미리 지정된 수위 점인 임계값을 설정할 수 있다. 이어, TI 값을 새로운 지표인 움직임의 정도를 표현하는 값으로 변환할 수 있다. 이후, 움직임의 정도를 표현하는 값과 임계값을 비교하여 임계값보다 낮을 경우에는 낮은 프레임 스킵 율을 선택하고, 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 영상의 프레임 율을 변경할 수 있다. 즉, 상기의 계산을 통해 현재의 세그먼트가 동적인 프레임들을 포함하는지, 정적인 화면을 포함하는지를 파악해 다음 세그먼트의 움직임의 정도를 예측하여 시간적 레벨을 변화시킴으로써 사용자가 느끼는 체감 품질의 저하를 최소로 할 수 있다. 즉, 움직임의 정도를 표현하는 값과 임계값을 비교하여, 움직임의 정도를 표현하는 값이 임계값보다 높을 경우의 프레임 스킵 율이 임계값보다 낮을 경우의 프레임 스킵 율보다 높게 선택하여. 재생되는 영상의 프레임 율을 변경할 수 있다. The step of changing the frame rate of an image reproduced using the TI value may first set a threshold value which is a predetermined water level point. Then, the TI value can be converted into a value representing the degree of motion, which is a new indicator. Thereafter, when a value representing the degree of motion is compared with a threshold value, a lower frame skip rate is selected when the threshold value is lower than a threshold value, and a higher frame skip rate is selected when the threshold value is higher than a threshold value. . That is, through the above calculations, it is determined whether the current segment includes dynamic frames or a static screen, and the temporal level is predicted by estimating the degree of motion of the next segment, thereby minimizing the deterioration of the user's perceived quality . That is, the threshold value is compared with a value expressing the degree of motion, and the frame skipping rate is selected to be higher than the frame skipping rate when the frame skipping rate when the value representing the degree of motion is higher than the threshold value is lower than the threshold value. The frame rate of the reproduced image can be changed.
다시 말하면, 휴대용 미디어 기기에서 비디오 재생 시에 CPU에 의해 소비되는 전력을 줄이기 위해 H.264/SVC의 시간 확장성이 적용된 비디오를 세그먼트 단위로 나누고, 각 세그먼트별로 연속된 프레임들 간의 픽셀 간 비교를 통해 TI(Temporal Information) 값을 도출할 수 있다. In other words, in order to reduce the power consumed by the CPU at the time of video reproduction in the portable media device, the video to which the time scalability of H.264 / SVC is applied is divided into segments, and the comparison between consecutive frames is performed The TI (Temporal Information) value can be derived.
이 값은 움직임의 정도를 표현하는 값으로 변환되어 특정 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 그렇지 않을 경우 높은 프레임 스킵 율을 선택할 수 있다. This value is converted to a value representing the degree of motion, and if it is lower than a certain threshold value, a lower frame skipping rate is selected. Otherwise, a higher frame skipping rate can be selected.
또한, 연속된 두 프레임들의 픽셀 간에 이루어지는 수많은 연산의 양을 줄이기 위해 프레임 율에 따라 다른 픽셀 표본을 추출할 수 있다. 이를 통해, 휴대용 미디어 기기에서의 소비되는 전력을 최소화할 수 있다.In addition, other pixel samples may be extracted according to the frame rate in order to reduce the amount of numerous operations between the pixels of two consecutive frames. This minimizes the power consumption in the portable media device.
아래에서는, 픽셀 표본 추출 방법에 대해 구체적으로 설명하기로 한다. Hereinafter, a pixel sampling method will be described in detail.
TI(Temporal Information) 값을 도출하고 세그먼트의 움직임 정도에 따라 다른 프레임 율을 선택하는 알고리즘에 관한 컴퓨터의 부담을 줄이기 위해 픽셀 표본 추출 기법을 이용할 수 있다. 의 도출은 전력 소모적 측면에서 불리한 영향을 미치는 연산 집중적인 연속된 두 프레임 사이의 픽셀단위 비교를 할 수도 있다.A pixel sampling technique can be used to derive TI (Temporal Information) values and to reduce the computer's burden on algorithms for selecting different frame rates according to segment motion. Can be done pixel by pixel between two consecutive frames of computation intensive that have a disadvantageous power consumption.
이러한 부담을 줄이기 위해서, 연속된 두 프레임들 사이에서 오직 선택된 픽셀만을 비교하는 방법을 이용할 수 있다. 여기서, 모든 픽셀은 레스터 주사 순서에 따라 분류된다고 가정할 수 있고, 시간적 레벨 j에서의 각 프레임 안의 모든 픽셀 중 하나의 픽셀이 선택되고, 는 시간적 레벨 j에서의 비교를 위해 사용되는 픽셀의 행과 열 쌍의 결과 집합을 나타낼 수 있다.To reduce this burden, a method of comparing only selected pixels between successive two frames can be used. Here, it is assumed that all the pixels are classified according to the laster scanning order, and all the pixels in each frame at the temporal level j One of the pixels is selected, May represent a result set of row and column pairs of pixels used for comparison at temporal level j.
또한, 는 시간적 레벨 j에서의 세그먼트 m의 밝기 영역에서 연속된 두 프레임 사이의 표본 픽셀 값 차이의 평균 표준편차를 나타낼 수 있다. 이러한, 는 하기 식과 같이 표현할 수 있다. Also, May represent the mean standard deviation of the difference of the sampled pixel values between two consecutive frames in the brightness region of segment m at temporal level j. Such, Can be expressed by the following equation.
여기서, 은 프레임 I의 밝기영역에서 k열과 l행 의 픽셀 값이고, 는 위의 모든 픽셀들을 통해 표준 편차를 나타낼 수 있다. here, In column < RTI ID = 0.0 > I < / RTI & Lt; / RTI > Can represent the standard deviation over all the pixels above.
값은 새로운 지표인 로 변환될 수 있으며, 이는 ㏈로 표현될 수 있다. 는 하기 식과 같이 표현할 수 있다. . The value is a new indicator , Which can be expressed in dB. Can be expressed by the following equation. .
여기서, 값은 대개 움직임 변화의 정도를 나타낸다. 따라서, 동적인 화면을 가지는 세그먼트는 낮은 값의 결과로 높은 값을 가지고, 이와 비교하여 정적인 화면을 가지는 세그먼트에서는 높은 값의 결과로 낮은 값을 가질 수 있다.here, The value usually represents the degree of motion variation. Thus, a segment with a dynamic picture is low High as a result of value Value, and in contrast, a segment having a static screen has a high Low as a result of the value Value. ≪ / RTI >
또한, 이는 낮은 프레임 율이 연속된 두 프레임 사이의 밝기 값의 차이를 더 크게 만들기 때문에 는 시간적 레벨 j에서 증가하는 것을 예상할 수 있다.In addition, since the low frame rate makes the difference in the brightness value between two consecutive frames larger Lt; RTI ID = 0.0 > j. ≪ / RTI >
만약, 세그먼트가 동적인 화면들로 구성되어 있다면, 프레임 율을 낮추는 것은 정적인 화면들로 구성되어 있을 때와 비교하여 체감 품질을 더 심하게 감소시킬 수 있다. 이 같은 점으로부터, 최저와 최고 수위 점을 명시하여 값이 유지되고, 동적인 화면들은 높은 프레임 율을 적용하지만 정적인 화면은 낮은 프레임 율을 적용할 수 있다.If the segment is made up of dynamic screens, lowering the frame rate can further reduce the quality of the visual perception compared to when it consists of static screens. From this point, we can specify the minimum and maximum water level points Values are retained, and dynamic screens use a high frame rate, whereas static screens use a low frame rate.
은 임계값을 나타내는 것으로, 이 가장 높은 시간적 레벨로 초기화된 일 때, 세그먼트 m에 대해 선택된 시간적 레벨을 나타낼 수 있다. 그러나, 다음 세그먼트 m+1의 을 예측하는 것은 불가능하므로 다음과 같은 세 단계를 세그먼트 m의 시간적 레벨을 선택하기 위해 반복할 수 있다. Represents a threshold value, Is initialized to the highest temporal level , It can represent the temporal level selected for segment m. However, in the next segment m + 1 It is possible to repeat the following three steps to select the temporal level of segment m .
1) 각 세그먼트 m 의 말에 수학식 1 및 수학식 2를 사용하여 의 값이 계산될 수 있다.1) Using equations (1) and (2) at the end of each segment m Can be calculated.
2) 현재 값이 최저 수준점보다 아래에 있는 경우, 시간적 레벨 의 다음 세그먼트는 정적인 화면들로 기대되어지기 때문에 시간적 레벨 은 한 단계 감소될 수 있다.2) Current If the value is below the lowest level point, the temporal level Since the next segment of the screen is expected to be static screens, Can be reduced by one step.
3) 현재 값이 최고 수준점보다 위에 있는 경우, 시간적 레벨 의 다음 세그먼트는 동적인 화면들로 기대되어지기 때문에 시간적 레벨 은 한 단계 증가할 수 있다.3) Current If the value is above the highest point, the temporal level Since the next segment of the picture is expected with dynamic pictures, Can be increased by one step.
도 3은 본 발명의 일 실시예에 따른 애니메이션의 재생에 따른 CPU 전력 비교 그래프를 나타낸다. FIG. 3 shows a CPU power comparison graph according to an animation reproduction according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 스포츠의 재생에 따른 CPU 전력 비교 그래프를 나타낸다. FIG. 4 shows a CPU power comparison graph according to the reproduction of sports according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 티비 쇼의 재생에 따른 CPU 전력 비교 그래프를 나타낸다. 5 is a graph illustrating a CPU power comparison according to playback of a TV show according to an embodiment of the present invention.
도 3 내지 도 5를 참조하면, 애니메이션, 스포츠, 및 티비 쇼의 세 가지 비디오를 높은 프레임 율 및 온디맨드 거버너로 재생하였을 때와 임계값( )에 따른 품질 선택 및 최적의 CPU를 사용하여 재생하였을 때의 소비된 에너지를 비교하여 그래프로 나타낼 수 있다. 이때, 에너지 절약을 평가하기 위해 서로 다른 CPU 주파수 대역을 가진 두 가지 기종의 스마트폰에서 구현한 기법을 이용한 전력소모를 측정할 수 있다.Referring to Figures 3 to 5, when three videos of animation, sports, and TV show are played back with a high frame rate and on-demand governor, ) And the energy consumed when playing back using an optimal CPU can be compared and plotted as a graph. At this time, power consumption can be measured by using the technique implemented in two types of smartphones having different CPU frequency bands in order to evaluate energy saving.
아래에서는, 위에서 제시한 본 발명에 따라 다른 CPU를 가진 두 가지 스마트폰에서 구현된 예를 나타낼 수 있다. Below, an example implemented in two smartphones with different CPUs according to the invention presented above can be shown.
먼저, 하나의 스마트폰은 245MHz에서 998MHz 사이의 12개의 주파수를 가지고, 다른 하나는 200MHz에서 1400MHz 사이의 13개의 주파수를 가진다. 프레임 율의 실시간 적용을 허용하기 위해, H.264/SVC 디코더를 스마트폰에 포팅할 수 있다. First, one smartphone has 12 frequencies between 245MHz and 998MHz, and the other has 13 frequencies between 200MHz and 1400MHz. To allow real-time application of frame rate, H.264 / SVC decoders can be ported to smartphones.
또한, 측정을 위해, 서로 다른 세 가지 H.264/SVC 동영상들(애니메이션, 스포츠, TV 쇼)이 사용 되었고, 이들 각각 4가지 프레임 율을 지원한다(3.75, 7.5, 15, 30fps). 각 시간적 레벨마다, 픽셀 표본 추출 비율이 다르게 선택될 수 있다. 리눅스의 Userspace 거버너는 DVFS를 지원하는데 사용되며, 스마트폰의 전력 소모는 직류 전류 입력을 받는 외부 디지털 멀티미터에 의해 측정될 수 있다.In addition, for measurement, three different H.264 / SVC videos (animation, sports, TV show) were used, each supporting four frame rates (3.75, 7.5, 15, 30 fps). For each temporal level, pixel sampling rates may be selected differently . Linux's Userspace governor is used to support DVFS, and the power consumption of a smartphone can be measured by an external digital multimeter that receives a DC current input.
도 5에 도시된 바와 같이, 프레임 율 조정 기법은 온디맨드 거버너보다 24%에서 47% 사이의 에너지를 덜 사용해 에너지 절약에 효과적인 것을 확인할 수 있다.As shown in Fig. 5, it can be seen that the frame rate adjustment technique is effective for energy saving by using less energy between 24% and 47% than the on-demand governor.
표 1은 본 발명의 일 실시예에 따른 각 픽셀에서의 비교를 나타내기 위한 표이다. Table 1 is a table showing the comparison in each pixel according to an embodiment of the present invention.
표 1을 참조하면, 모든 픽셀을 비교했을 때의 값의 평균 비율의 차이를 보여줌으로써, 픽셀 표본 추출 방식이 정확하다는 것을 확인할 수 있다. Referring to Table 1, when comparing all the pixels By showing the difference of the average ratio of the values, it can be confirmed that the pixel sampling method is accurate.
이와 같이, 연속된 두 프레임들 사이의 밝기 영역의 최근 표본 추출된 픽셀들의 비교로 얻어진 TI 값의 인계 값에 기인한 프레임 율 조정의 새로운 기법을 고안하고 구현할 수 있다. 나아가, 남은 배터리를 효과적으로 사용하여 체감품질의 저하효과를 최소로 만들도록 SVC의 기능이 없는 동영상 플레이어를 지원하는 것도 가능하다. Thus, a new technique for adjusting the frame rate due to the overshoot of the TI value obtained by comparing recently sampled pixels of the brightness region between two consecutive frames can be devised and implemented. Furthermore, it is also possible to support a video player that does not have the SVC capability to use the remaining battery effectively to minimize the deterioration of the quality of the experience.
따라서, 본 발명의 실시예들에 따르면 사용자가 인지하지 못하거나 수용 가능한 범위 내에서 영상의 품질을 관리하고, 디코딩 시간 예측에 의해 최적의 CPU 주파수가 선택됨으로써, 높은 품질 및 온디맨드 거버너로 재생되던 휴대용 미디어 기기에서의 높은 소비 전력을 효과적으로 감소시킬 수 있다. Therefore, according to embodiments of the present invention, the quality of an image can be managed within an acceptable or unacceptable range by a user, and an optimal CPU frequency can be selected by predicting a decoding time, The high power consumption in the portable media device can be effectively reduced.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor, microcomputer, field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing apparatus may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (5)
상기 시간 확장성이 적용된 영상을 복수의 세그먼트로 분할하는 단계;
상기 복수의 세그먼트 별로 연속된 프레임들 간의 픽셀 간 비교를 통해 세그먼트의 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 단계;
상기 TI 값을 세그먼트의 움직임의 정도를 표현하는 Q값으로 변환하는 단계; 및
상기 세그먼트의 움직임의 정도를 표현하는 Q값과 미리 정의된 최저 수위점 및 최고 수위점에 기초하여 예측되는 다음 세그먼트가 정적 화면인지 동적 화면인지 여부에 따라, 다음 세그먼트의 Q값이 상기 최저 수위점과 최고 수위점 내에서 유지되도록 재생되는 상기 영상의 프레임 율을 변경하는 단계
를 포함하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법.A power management method using time scalability of hierarchical video coding,
Dividing the image to which the time scalability is applied into a plurality of segments;
Calculating a TI (Temporal Information) value for grasping the degree of motion of the segment through comparison between consecutive frames for each of the plurality of segments;
Converting the TI value into a Q value representing a degree of motion of the segment; And
The Q value of the next segment is determined based on whether the next segment predicted based on the Q value expressing the degree of motion of the segment and the predefined minimum water level and the maximum water level is a static screen or a dynamic screen, And changing the frame rate of the image to be reproduced so as to remain within the maximum water level
A power management method utilizing temporal scalability of hierarchical video coding.
상기 영상의 프레임 율을 변경하는 단계는,
상기 세그먼트의 움직임의 정도를 표현하는 Q값이 최저 수위점보다 낮아 상기 다음 세그먼트가 동적 화면으로 예측되어 상기 세그먼트의 프레임율보다 상기 다음 세그먼트의 프레임율이 높아지도록 변경하고, 상기 Q 값이 최고 수위점보다 높아 상기 다음 세그먼트가 정적 화면으로 예측되어 상기 세그먼트의 프레임율보다 상기 다음 세그먼트의 프레임율이 낮아지도록 변경함으로써, 상기 다음 세그먼트의 Q값을 상기 최저 수위점과 상기 최고 수위점 내에서 유지시키는 것
을 특징으로 하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법.The method according to claim 1,
Wherein changing the frame rate of the image comprises:
The Q value representing the degree of motion of the segment is lower than the lowest water level point so that the next segment is predicted as a dynamic image so that the frame rate of the next segment is higher than the frame rate of the segment, Point so that the next segment is predicted to a static screen and the frame rate of the next segment is lower than the frame rate of the segment so that the Q value of the next segment is maintained within the lowest and highest water level that
Wherein the power management method utilizes temporal scalability of hierarchical video coding.
상기 TI 값을 계산하는 단계는,
재생되는 상기 영상의 프레임 율에 따라 상기 픽셀을 표본 추출하고, 추출된 픽셀을 대상으로 비교 연산을 수행하여 상기 TI 값을 계산하는 것
을 특징으로 하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력관리 방법.The method according to claim 1,
The step of calculating the TI value comprises:
Sampling the pixel according to a frame rate of the image to be reproduced, and performing a comparison operation on the extracted pixels to calculate the TI value
Wherein the power management method utilizes temporal scalability of hierarchical video coding.
상기 TI 값을 계산하는 단계는
상기 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 상기 TI 값을 계산하는 것
을 특징으로 하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법.The method of claim 3,
The step of calculating the TI value
And calculating the TI value by selecting different pixel sample extraction ratios according to each frame rate of the image
Wherein the power management method utilizes temporal scalability of hierarchical video coding.
상기 시간 확장성이 적용된 영상을 복수의 세그먼트로 분할하는 분할부;
상기 복수의 세그먼트 별로 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 TI 값 계산부; 및
계산된 상기 TI 값을 세그먼트의 움직임 정도를 표현하는 Q값으로 변환하고, 상기 세그먼트의 움직임의 정도를 표현하는 Q값과 미리 정의된 최저 수위점 및 최고 수위점에 기초하여 예측되는 다음 세그먼트가 정적 화면인지 동적 화면인지 여부에 따라, 다음 세그먼트의 Q값이 상기 최저 수위점과 최고 수위점 내에서 유지되도록 재생되는 상기 영상의 프레임 율을 변경하는 프레임 율 변경부
를 포함하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템.A power management system utilizing time scalability of hierarchical video coding,
A dividing unit dividing the image to which the time extensibility is applied into a plurality of segments;
A TI value calculation unit for calculating a TI (Temporal Information) value for understanding the degree of motion through comparison between consecutive frames for each of the plurality of segments; And
And converting the calculated TI value into a Q value representing a degree of motion of the segment, and calculating a Q value representing a degree of motion of the segment, a next segment predicted based on a predefined minimum water level and a maximum water level, A frame rate changing unit for changing a frame rate of the image reproduced such that a Q value of a next segment is maintained within the minimum water level and a maximum water level,
A power management system utilizing temporal scalability of hierarchical video coding.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160113401A KR101685331B1 (en) | 2016-09-02 | 2016-09-02 | Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160113401A KR101685331B1 (en) | 2016-09-02 | 2016-09-02 | Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150017916A Division KR20160096754A (en) | 2015-02-05 | 2015-02-05 | Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160107145A true KR20160107145A (en) | 2016-09-13 |
KR101685331B1 KR101685331B1 (en) | 2016-12-12 |
Family
ID=56946619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160113401A KR101685331B1 (en) | 2016-09-02 | 2016-09-02 | Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101685331B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060071293A (en) * | 2004-12-21 | 2006-06-26 | 한국전자통신연구원 | Apparatus for mpeg playback using dynamic working frequency and voltage scaling with decoding time prediction and method thereof |
KR101106720B1 (en) * | 2011-06-02 | 2012-01-18 | 인하대학교 산학협력단 | Method for controlling cpu voltage dynamically while playing h.264/svc video file |
KR20130079884A (en) * | 2012-01-03 | 2013-07-11 | 인하대학교 산학협력단 | Method for prefetching multimedia data and multimedia player using the same |
KR101411411B1 (en) * | 2013-02-26 | 2014-06-25 | 인하대학교 산학협력단 | Media player and method for supervising energy of media player |
-
2016
- 2016-09-02 KR KR1020160113401A patent/KR101685331B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060071293A (en) * | 2004-12-21 | 2006-06-26 | 한국전자통신연구원 | Apparatus for mpeg playback using dynamic working frequency and voltage scaling with decoding time prediction and method thereof |
KR101106720B1 (en) * | 2011-06-02 | 2012-01-18 | 인하대학교 산학협력단 | Method for controlling cpu voltage dynamically while playing h.264/svc video file |
KR20130079884A (en) * | 2012-01-03 | 2013-07-11 | 인하대학교 산학협력단 | Method for prefetching multimedia data and multimedia player using the same |
KR101411411B1 (en) * | 2013-02-26 | 2014-06-25 | 인하대학교 산학협력단 | Media player and method for supervising energy of media player |
Also Published As
Publication number | Publication date |
---|---|
KR101685331B1 (en) | 2016-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5643300B2 (en) | Motion-based dynamic resolution multi-bitrate video coding | |
US10674158B2 (en) | Method and system of video coding optimization | |
TWI511544B (en) | Techniques for adaptive video streaming | |
KR101643790B1 (en) | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming | |
KR101097636B1 (en) | Optimal power usage in encoding data streams | |
CN104885455B (en) | A kind of computer implemented method and device for Video coding | |
CN103686172B (en) | Low latency Video coding variable bit rate bit rate control method | |
CN106961603B (en) | Intracoded frame code rate allocation method and device | |
US8428145B2 (en) | System and method for providing fast trick modes | |
US8934550B2 (en) | Data processing apparatus, data processing method, and program for processing image data of a moving image | |
KR101621358B1 (en) | Hevc encoding device and method for deciding intra prediction mode for the same | |
CN103826121A (en) | Scene switching detection based code rate control method in low-delay video coding | |
JP2007060164A (en) | Apparatus and method for detecting motion vector | |
EP2410752B1 (en) | Image coding apparatus, image coding control method and image coding program | |
US9984504B2 (en) | System and method for improving video encoding using content information | |
US11012698B2 (en) | Image encoding apparatus and method for controlling the same | |
WO2017166487A1 (en) | Real-time bitrate modulating method, device, and service terminal | |
KR20090046812A (en) | Video encoding | |
KR101685331B1 (en) | Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding | |
US20140153639A1 (en) | Video encoding system with adaptive hierarchical b-frames and method for use therewith | |
JP2010206751A (en) | Moving image compression coding device | |
US20100027621A1 (en) | Apparatus, method and computer program product for moving image generation | |
KR20160096754A (en) | Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding | |
JP3660514B2 (en) | Variable rate video encoding method and video editing system | |
JP2008098980A (en) | Moving image encoding apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191001 Year of fee payment: 4 |