KR101637741B1

KR101637741B1 - Method and System for Exploiting Quality Scalability in Scalable Video Coding for Effective Power Management in Video Playback

Info

Publication number: KR101637741B1
Application number: KR1020140163785A
Authority: KR
Inventors: 송민석; 정현미
Original assignee: 인하대학교 산학협력단
Priority date: 2014-11-21
Filing date: 2014-11-21
Publication date: 2016-07-08
Also published as: KR20160061561A

Abstract

계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템이 개시된다. 영상의 프레임들을 복수의 세그먼트로 분할하는 단계; 상기 복수의 세그먼트를 각각 품질 계층 레벨을 결정하여 인코딩 하는 단계; 디코딩 시간을 만족하는 최저 주파수를 각각의 상기 프레임 별로 선택하고, 비디오 디코더를 통해 각각의 상기 프레임을 디코딩 하여 상기 영상을 재생하는 단계를 포함할 수 있다. A power management method and system utilizing quality scalability of hierarchical video coding are disclosed. Dividing frames of an image into a plurality of segments; Determining and encoding the quality hierarchy level of each of the plurality of segments; Selecting a lowest frequency that satisfies a decoding time for each of the frames, and decoding the respective frames through a video decoder to reproduce the image.

Description

계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템{Method and System for Exploiting Quality Scalability in Scalable Video Coding for Effective Power Management in Video Playback}TECHNICAL FIELD [0001] The present invention relates to a power management method and system using quality scalability of hierarchical video coding,

본 발명은 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템에 관한 것이다. 더욱 상세하게는 CPU에 소비되는 전력을 감소시킬 수 있는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템에 관한 것이다. The present invention relates to a power management method and system utilizing quality scalability of hierarchical video coding. And more particularly, to a power management method and system utilizing quality scalability of hierarchical video coding capable of reducing power consumed by a CPU.

사용자들은 최근 스마트폰, 태블릿 등과 같은 휴대용 멀티미디어 기기들의 보급으로 비디오 서비스를 편리하게 제공받을 수 있게 되었다. 이와 같이 멀티미디어 기기들이 발전함에 따라 사용자가 원할 때 장소나 시간에 구애받지 않고 영상의 재생이 가능해졌다. 이러한, 비디오 서비스는 반드시 재생을 위한 디코딩 과정을 거치게 되므로 결과적으로 많은 연산량을 요구한다. 그리고, 이는 CPU에 높은 소비 전력을 동반한다. Users have recently been able to receive video services conveniently through the spread of portable multimedia devices such as smart phones and tablets. As the multimedia devices evolve, it is possible to reproduce images regardless of the place or time when the user desires. Such a video service necessarily undergoes a decoding process for reproduction, resulting in a large amount of calculation. This is accompanied by high power consumption of the CPU.

이를 해결하기 위한 대표적인 방법은 CPU의 작업량에 따라서 전압과 주파수를 변경하는 동적 전압 및 주파수 조절 기법(DVFS)이 있다. 기존에 연구되었던 DVFS 기법들은 비디오의 디코딩 데드라인을 초과하지 않으면서 전력을 감소시키는데 초점을 맞췄으며, 이를 위해 디코딩 시간을 정확하게 예측하는 것은 매우 중요하다. 디코딩 시간 예측의 정확도가 낮으면 몇몇 문제들이 발생할 수 있다. 잘못된 디코딩 시간 예측으로 최적의 CPU가 선택되지 못하는 경우가 발생하게 되어 프레임들이 정해진 재생율보다 빠르게 디코딩을 마치게 되면 CPU의 유휴상태가 길어져 불필요한 전력 소비를 가져올 수 있다. A typical method to solve this problem is a dynamic voltage and frequency control technique (DVFS) that changes the voltage and frequency according to the CPU load. Previously studied DVFS techniques focused on reducing the power without exceeding the decoding deadline of the video, and it is very important to accurately predict the decoding time. If the accuracy of decoding time prediction is low, some problems may arise. An optimal CPU may not be selected due to a wrong decoding time prediction. If the decoding of the frames is completed faster than the predetermined reproducing rate, the idle state of the CPU becomes longer and unnecessary power consumption may be caused.

따라서, 사용자가 비디오의 해상도, 품질 등의 서비스를 선호도에 따라 선택할 수 있도록 영상을 동적으로 인코딩 할 수 있는 계층적 비디오 코딩(Scalable Video Coding; SVC)이 있다. 그리고, 여러 SVC 코덱 가운데 뛰어난 효율성과 세 가지 확장성을 제공하는 H.264/SVC 코덱이 있다. 이러한, H.264/SVC 코덱은 다양한 해상도를 제공하는 공간적 확장성, 여러 프레임 율을 제공하는 시간적 확장성, 비디오의 계층들이 다양한 품질 레벨을 지닐 수 있게 제공해주는 품질 확장성이 있다. 이 중 품질 확장성을 활용하여 비디오가 재생될 때 높은 품질을 유지하기 위해 소비된 전력을 줄일 수 있다. Accordingly, there is a scalable video coding (SVC) that allows a user to dynamically encode an image so that a user can select services such as resolution and quality of video according to their preferences. And among the various SVC codecs, there is H.264 / SVC codec which provides excellent efficiency and three extensibility. These H.264 / SVC codecs have spatial scalability to provide various resolutions, temporal scalability to provide various frame rates, and quality scalability to provide video layers with various quality levels. Among them, quality scalability can be used to reduce the power consumed to maintain high quality when video is played back.

한국등록특허 10-1106720호는 이러한 Ｈ．２６４／ＳＶＣ 동영상 재생 시 씨피유 전압을 동적으로 조절하는 방법에 관한 것으로, 동영상을 재생하는 경우 CPU(central processing unit)의 전압을 동적으로 조절하는 방법에 관한 기술을 기재하고 있다. Korean Patent No. 10-1106720 is directed to a method for dynamically adjusting the CPU voltage during the reproduction of the H.264 / SVC movie, and more particularly to a method for dynamically adjusting the voltage of a central processing unit (CPU) Technology.

그러나, 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 디코딩 시간을 예측하는 방법은 제시되지 않았다. However, a power management method and a method of predicting decoding time using quality scalability of hierarchical video coding have not been proposed.

본 발명이 이루고자 하는 기술적 과제는 휴대용 재생 기기의 CPU 전력 관리 기법을 이용하여 사용자가 인지하지 못하거나 수용 가능한 범위 내에서 영상의 품질을 관리함으로써, CPU 전력 소비를 줄일 수 있는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템을 제공하는데 있다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide an apparatus and method for managing a quality of a hierarchical video coding capable of reducing CPU power consumption by using a CPU power management technique of a portable playback device, And to provide a power management method and system utilizing the scalability.

본 발명의 실시예들에 따르면 새로운 디코딩 시간 예측 기법을 제시하여 최적의 CPU 주파수가 선택되게 함으로써, 높은 품질 및 온디맨드 거버너로 재생되던 휴대용 미디어 기기에서의 높은 소비 전력을 효과적으로 감소시킬 수 있는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템을 제공하는데 있다. According to embodiments of the present invention, a new decoding time predicting technique is presented to select an optimal CPU frequency, thereby providing a hierarchical < RTI ID = 0.0 > And a power management method and system utilizing quality scalability of video coding.

일 측면에 따르면, 본 발명에서 제안하는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법에 있어서, 영상의 프레임들을 복수의 세그먼트로 분할하는 단계; 상기 복수의 세그먼트를 각각 품질 계층 레벨을 결정하여 인코딩 하는 단계; 디코딩 시간을 만족하는 최저 주파수를 각각의 상기 프레임 별로 선택하고, 비디오 디코더를 통해 각각의 상기 프레임을 디코딩 하여 상기 영상을 재생하는 단계를 포함한다. According to an aspect of the present invention, there is provided a power management method using quality scalability of hierarchical video coding proposed by the present invention, the method comprising: dividing frames of an image into a plurality of segments; Determining and encoding the quality hierarchy level of each of the plurality of segments; Selecting a lowest frequency satisfying a decoding time for each of the frames, and decoding the frame through a video decoder to reproduce the image.

다른 측면에 따르면, 상기 복수의 세그먼트를 각각 품질 계층 레벨을 결정하여 인코딩 하는 단계는 상기 복수의 세그먼트 각각을 품질 측정 도구인 VQM(Video Quality Metric)을 통해 VQM 값을 계산하고 상기 품질 계층 레벨을 결정하여 인코딩 할 수 있다. According to another aspect, the step of determining and encoding the quality hierarchy level of each of the plurality of segments comprises: calculating a VQM value through a video quality metric (VQM) as a quality measurement tool for each of the plurality of segments; .

또 다른 측면에 따르면, 상기 복수의 세그먼트를 각각 품질 계층 레벨을 결정하여 인코딩 하는 단계는 각각의 상기 세그먼트 별로 상기 VQM 값의 임계값을 설정하고, 상기 임계값을 넘지 않는 최소 품질 계층 레벨을 선택하여 인코딩 할 수 있다. According to another aspect of the present invention, the step of determining and encoding the quality hierarchy level of each of the plurality of segments comprises: setting a threshold value of the VQM value for each segment; selecting a minimum quality layer level not exceeding the threshold value Can be encoded.

또 다른 측면에 따르면, 상기 프레임을 디코딩 하여 상기 영상을 재생하는 단계는 이동평균 예측기와 선형 상관관계 예측기를 이용하여 디코딩 시간을 예측하고, 미리 정해진 시간 내에 디코딩 하여 상기 영상을 재생할 수 있다. According to another aspect of the present invention, in the step of decoding the frame and reproducing the image, a decoding time may be predicted using a moving average predictor and a linear correlation predictor, and the decoding may be performed within a predetermined time to reproduce the image.

또 다른 측면에 따르면, 본 발명에서 제안하는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 시스템에 있어서, 영상의 프레임들을 복수의 세그먼트로 분할하는 분할부; 상기 복수의 세그먼트 각각을 품질 측정 도구인 VQM(Video Quality Metric)을 통해 VQM 값을 계산하고 상기 품질 계층 레벨을 결정하여 인코딩 하는 품질 계층 레벨 결정부; 및 디코딩 시간을 만족하는 최저 주파수를 각각의 상기 프레임 별로 선택하고, 비디오 디코더를 통해 각각의 상기 프레임을 디코딩 하여 상기 영상을 재생하는 영상 재생부를 포함한다. According to another aspect of the present invention, there is provided a power management system using quality scalability of hierarchical video coding proposed by the present invention, the power management system comprising: a division unit dividing frames of an image into a plurality of segments; A quality layer level determination unit for calculating a VQM value through a VQM (Video Quality Metric) as a quality measurement tool for each of the plurality of segments, and determining and encoding the quality layer level; And an image reproducer for selecting a lowest frequency satisfying a decoding time for each of the frames and decoding the frames through a video decoder to reproduce the image.

본 발명의 실시예들에 따르면 휴대용 재생 기기의 CPU 전력 관리 기법을 이용하여 사용자가 인지하지 못하거나 수용 가능한 범위 내에서 영상의 품질을 관리함으로써, CPU 전력 소비를 줄일 수 있는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템을 제공할 수 있다. According to embodiments of the present invention, quality of hierarchical video coding that can reduce CPU power consumption by managing the quality of an image within a range that the user can not recognize or can accept using the CPU power management technique of the portable playback device It is possible to provide a power management method and system utilizing the scalability.

본 발명의 실시예들에 따르면 새로운 디코딩 시간 예측 기법을 제시하여 최적의 CPU 주파수가 선택되게 함으로써, 높은 품질 및 온디맨드 거버너로 재생되던 휴대용 미디어 기기에서의 높은 소비 전력을 효과적으로 감소시킬 수 있는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템을 제공할 수 있다.According to embodiments of the present invention, a new decoding time predicting technique is presented to select an optimal CPU frequency, thereby providing a hierarchical < RTI ID = 0.0 > A power management method and system utilizing quality scalability of video coding can be provided.

도 1은 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 두 가지 타입의 동영상의 재생에 따른 소비 에너지를 나타내는 그래프이다.
도 4는 본 발명의 일 실시예에 따른 사용자 평가 결과를 나타낸 그래프이다. 1 is a block diagram illustrating a power management system utilizing quality scalability of hierarchical video coding according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a power management method utilizing quality scalability of hierarchical video coding according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 3 is a graph illustrating the energy consumption of two types of moving images according to an exemplary embodiment of the present invention.
4 is a graph illustrating a result of user evaluation according to an embodiment of the present invention.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 스케일러블 비디오 코딩 기반의 멀티미디어 재생기에서 CPU에 소비되는 전력을 관리하기 위한 기법에 관한 것이다. 구체적으로, 비디오의 품질과 전력 소비간의 트레이드오프 관계를 이해하고, H.264/SVC의 품질 확장성을 통해 비디오가 여러 계층의 품질을 가질 수 있도록 인코딩할 수 있다. 이 비디오가 재생될 때 사용자가 인지하지 못하는 선에서 많은 프레임들이 가능한 낮은 품질로 재생되도록 하여 CPU의 전력 소비를 낮추는 것이다. 그리고 CPU의 소비 전력에 영향을 미치는 CPU 주파수 레벨을 조절하여 프레임 별 최적의 주파수가 선택되도록 할 수 있다. The present invention relates to a technique for managing power consumed by a CPU in a multimedia player based on scalable video coding. Specifically, understanding the trade-off relationship between video quality and power consumption, and the quality scalability of H.264 / SVC, the video can be encoded to have multiple layers of quality. When this video is played back, many frames in the line that the user does not recognize are reproduced as low in quality as possible, thereby lowering the power consumption of the CPU. The CPU frequency level, which affects the power consumption of the CPU, can be adjusted to select the optimum frequency for each frame.

이를 위해, 본 발명은 비디오의 품질 변화와 무관하게 프레임들의 디코딩 시간을 정확하게 예측할 수 있는 기법에 관한 것으로, 미디어 재생기에서 소비되는 CPU 전력을 효과적으로 감소시킬 수 있도록 선택적 품질 및 CPU 주파수 선택 정책에 관한 것이다.
To this end, the present invention relates to a technique for accurately predicting the decoding time of frames irrespective of the quality change of video, and relates to selective quality and CPU frequency selection policies so as to effectively reduce the CPU power consumed in the media player .

미디어 플레이어에서의 비디오 디코딩 과정은 많은 연산을 필요로 한다. 이는 CPU로부터 높은 소비전력을 동반하게 되므로 디코딩 연산을 줄이는 것은 CPU에 소비되는 전력을 감소시킬 수 있다. 하지만 사용자 관점에서 비디오 품질의 저하를 느낄 수 있다. The video decoding process in the media player requires many operations. This is accompanied by high power consumption from the CPU, so reducing the decoding operation can reduce the power consumed by the CPU. However, from the user's point of view, the video quality may be degraded.

본 발명에서는 H.264/SVC의 품질 확장성을 활용하여 새로운 CPU 전력 기법을 다음과 같이 제안할 수 있다. 첫째, 비디오 품질의 차이를 알기 위해 객관적 품질 측정 도구인 VQM(Video Quality Metric)을 사용할 수 있다. 얻어진 품질 차이 값을 바탕으로 계층적 비디오 코딩의 서로 다른 양자화 인자(QP, quality parameter)를 고려하여 비디오 재생 시 세그먼트별 서로 다른 품질이 선택되도록 하는 새로운 비디오 품질 모델을 제안할 수 있다. In the present invention, a new CPU power scheme can be proposed as follows by utilizing the quality scalability of H.264 / SVC. First, we can use Video Quality Metric (VQM), an objective quality measurement tool, to determine the difference in video quality. Based on the obtained quality difference value, it is possible to propose a new video quality model in which different quality is selected for each segment in video reproduction considering different quantization factors (QP) of hierarchical video coding.

둘째, 각 프레임들은 정해진 시간 내에 디코딩되어야 한다. 이러한 디코딩 시간을 만족하는 최저 주파수를 각 프레임 별로 선택하기 위해서는 프레임의 디코딩 시간을 예측하여야 한다. 이전 디코딩 시간과 프레임 크기를 고려하여 선택적으로 융합한 방식의 새로운 디코딩 시간 예측 기법에 기반한 새로운 동적 전압 기법을 제안할 수 있다. Second, each frame must be decoded within a fixed time. In order to select the lowest frequency satisfying the decoding time for each frame, the decoding time of the frame should be predicted. It is possible to propose a new dynamic voltage technique based on a new decoding time predicting scheme which is selectively fused in consideration of the previous decoding time and the frame size.

제안한 기법을 최신 스마트폰에서 구현하였고, 사용자 평가를 진행하여 체감 품질에 대한 정보를 얻었다. 제안한 기법을 실제 측정에 적용하였을 때 리눅스 동적 전압 및 주파수 조절(DVFS, Dynamic Voltage and Frequency Scaling) 거버너에 비해 약 34%의 에너지 감소를 보였고, 사용자 평가를 통해 실험 영상의 품질 하락을 인지하지 못하거나 용인될 수 있을 정도의 품질 저하였음을 확인할 수 있다.
We implemented the proposed method in the latest smartphone and obtained the information about the sensory quality by conducting the user evaluation. When the proposed method is applied to actual measurement, it shows about 34% energy reduction compared to Linux Dynamic Voltage and Frequency Scaling (DVFS) governor, It can be confirmed that the quality is low enough to be tolerated.

다시 말하면, 본 발명은 휴대용 미디어 기기에서 비디오 재생 시에 소비되는 전력을 줄이기 위해 H.264/SVC의 품질 확장성이 적용된 비디오를 세그먼트 단위로 나누고, 각 세그먼트별 가지고 있는 계층들은 객관적 품질 측정 툴인 VQM을 이용하여 품질의 차이의 값을 얻을 수 있다. 이 값은 특정 임계값보다 낮을 경우 낮은 품질이 선택되고, 그렇지 않을 경우 높은 품질을 선택할 수 있다. In other words, in order to reduce power consumed in video playback in a portable media device, the video to which the quality scalability of H.264 / SVC is applied is divided into segments, and the layers included in each segment are divided into VQM The difference value of the quality can be obtained. If this value is lower than a certain threshold value, a lower quality is selected, otherwise a higher quality can be selected.

또한, 프레임마다 주어진 디코딩 데드라인을 최대한 사용할 수 있게 최적의 CPU 주파수가 선택되도록 할 수 있다. 이를 위해, 디코딩 시간을 예측하는 것이 필요하므로 품질이 변화하는 비디오의 디코딩 시간을 예측하기 위해 이전 디코딩 시간과 프레임 크기를 선택적으로 융합한 디코딩 시간 예측 기법에 기반한 새로운 동적 전압 기법을 적용하여 휴대용 미디어 기기에서의 소비되는 전력을 최소화할 수 있다. In addition, it is possible to select the optimum CPU frequency so as to maximize the use of the decoding deadline given for each frame. For this purpose, it is necessary to predict the decoding time. Therefore, in order to predict the decoding time of the video in which the quality changes, a new dynamic voltage technique based on a decoding time prediction technique in which the previous decoding time and the frame size are selectively fused is applied, It is possible to minimize the power consumed by the power source.

스케일러블 비디오 코딩의 품질 확장성은 양자화 변수(Quality Parameter; QP) 값을 이용하여 한 비디오에서 여러 계층의 품질 레벨을 생성할 수 있다. QP 값의 경우 최대 품질 1에서 50 사이의 값들을 선택할 수 있으며, QP 값이 클수록 비트율은 낮아지게 되어 비디오의 품질은 떨어지고, 디코딩 과정에 소요되는 시간은 줄어든다. 따라서, QP 값이 클수록 디코딩 데드라인을 만족시키기 위해서 낮은 주파수가 선택될 수 있지만 품질이 저하된다. 이에 비해 QP값이 작을수록 높은 주파수를 선택하여야 하나, 비디오의 품질은 향상된다. Quality scalability of scalable video coding can generate quality levels of several layers in one video using quantization parameter (QP) values. For QP values, the maximum quality values from 1 to 50 can be selected. The larger the QP value, the lower the bit rate, the lower the quality of the video, and the less time it takes for the decoding process. Therefore, the larger the QP value, the lower the frequency can be selected to satisfy the decoding deadline, but the quality degrades. On the other hand, the smaller the QP value is, the higher the frequency should be selected, but the quality of the video is improved.

이러한 품질 확장성을 활용하여 한 비디오 내에

개의 품질 계층 레벨을 가질 수 있도록 인코딩 할 수 있다. 인코딩 된 영상을 가지고 여러 품질이 선택되어 재생될 때 사용자가 품질 변화를 인지하지 못하도록 프레임들을

개의 세그먼트로 분리할 수 있다. 세그먼트 별 품질 계층의 품질 차이를 VQM이라고 하는 객관적 품질 측정 툴을 이용하여 구할 수 있다. 출력되는 VQM의 값이 가장 높은 품질과 가까울수록 0에 가까운 값이 출력되며, 이 값들은 0부터 1사이의 범위 내에 출력될 수 있다. Taking advantage of this quality scalability,

Lt; RTI ID = 0.0 > quality level. &Lt; / RTI > When multiple quality is selected and played back with the encoded image,

Lt; / RTI > segments. The difference in quality of the quality layer by segment can be obtained by using an objective quality measurement tool called VQM. The closer the output VQM value is to the highest quality, the closer the value is to 0, and the values can be output within the range of 0 to 1.

비디오 디코더는 영상의 재생률에 따라 각 프레임을 디코딩 하게 된다. 예를 들어, 25fps(frame per second)의 재생률을 갖는 영상의 경우 매 40ms 마다 하나의 프레임을 디코딩해야 영상의 끊김이나 지연을 막을 수 있다. The video decoder decodes each frame according to the image reproduction rate. For example, in the case of an image having a reproduction rate of 25 fps (frame per second), it is necessary to decode one frame every 40 ms to prevent the image from being interrupted or delayed.

본 발명에서는 영상이

개의 프레임들을 가지고 있고, 비디오 디코더는

fps의 재생률로 영상을 디코딩 한다고 가정하기로 한다. 그리고,

는 한 프레임의 디코딩 주기이고, 이는

과 같다.In the present invention,

Frames, and the video decoder has

it is assumed that the image is decoded at the refresh rate of fps. And,

Is the decoding period of one frame,

Respectively.

CPU는

개의 주파수 레벨을 지원하고, 주파수 레벨

에서의 동작 주파수는

이다

. 따라서,

일 때,

이고,

은 가장 높은 레벨의 CPU 주파수를 의미할 수 있다. 이러한 CPU 주파수는 비디오의 프레임들은 정해진 디코딩 주기 내에서 디코딩하는 시간을 최대한 활용할 수 있는 최적의 레벨이 선택되어야 불필요한 에너지 소비를 줄일 수 있다. 최적의 주파수 레벨을 선택하기 위해서 정확한 디코딩 시간 예측이 필요하다. The CPU

&Lt; / RTI > frequency levels,

The operating frequency at

to be

. therefore,

when,

ego,

May mean the highest level of CPU frequency. Such a CPU frequency can reduce unnecessary energy consumption when an optimum level is selected to maximize the time for decoding the frames of video within a predetermined decoding period. Precise decoding time prediction is required to select the optimum frequency level.

본 발명에서는 이전 디코딩 시간과 프레임 크기를 선택적으로 융합한 디코딩 시간 예측 기법을 제안할 수 있다. 이렇게 제안된 기법들을 최신 스마트폰에 포팅하여 실험 비디오들에 대한 전력 측정이 수행되었고, 사용자 평가를 통해 실제 사용자들이 느끼는 품질에 대해 조사함으로써 본 발명의 효용성에 대해 검증할 수 있다.
In the present invention, a decoding time prediction technique in which a previous decoding time and a frame size are selectively fused can be proposed. We can verify the effectiveness of the present invention by measuring the power of experimental videos by porting the proposed techniques to the latest smartphone and by examining the quality of real users through user evaluation.

도 1은 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating a power management system utilizing quality scalability of hierarchical video coding according to an embodiment of the present invention.

도 1을 참조하면, 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 시스템(100)은 분할부(110), 품질 계층 레벨 결정부(120), 그리고 영상 재생부(130)를 포함할 수 있다. Referring to FIG. 1, a power management system 100 utilizing quality scalability of hierarchical video coding may include a partitioning unit 110, a quality hierarchy level determining unit 120, and an image reproducing unit 130 have.

분할부(110)는 영상의 프레임들을 복수의 세그먼트로 분할할 수 있다. The division unit 110 may divide the frames of the image into a plurality of segments.

품질 계층 레벨 결정부(120)는 상기 복수의 세그먼트 각각을 품질 측정 도구인 VQM(Video Quality Metric)을 통해 VQM 값을 계산하고 상기 품질 계층 레벨을 결정하여 인코딩 할 수 있다. The quality hierarchy level determination unit 120 may calculate the VQM value through the VQM (Video Quality Metric), which is a quality measurement tool, and determine the quality hierarchy level and encode each of the plurality of segments.

영상 재생부(130)는 디코딩 시간을 만족하는 최저 주파수를 각각의 상기 프레임 별로 선택하고, 비디오 디코더를 통해 각각의 상기 프레임을 디코딩 하여 상기 영상을 재생할 수 있다. The image reproducing unit 130 may select the lowest frequency that satisfies the decoding time for each of the frames, and may decode each of the frames through the video decoder to reproduce the image.

이에 대한 구체적인 설명은 아래에서 계속하기로 한다.
A detailed description thereof will be described below.

도 2는 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법을 나타내는 흐름도이다. FIG. 2 is a flowchart illustrating a power management method utilizing quality scalability of hierarchical video coding according to an exemplary embodiment of the present invention. Referring to FIG.

단계(210)에서, 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 시스템의 분할부는 영상의 프레임들을 복수의 세그먼트로 분할할 수 있다. In step 210, the partitioning unit of the power management system utilizing the quality scalability of hierarchical video coding may divide the frames of the image into a plurality of segments.

단계(220)에서, 품질 계층 레벨 결정부는 상기 복수의 세그먼트 각각의 품질 계층 레벨을 결정하여 인코딩 할 수 있다. In step 220, the quality hierarchy level determination unit may determine and encode the quality hierarchy level of each of the plurality of segments.

여기서, 품질 계층 레벨 결정부는 상기 복수의 세그먼트 각각을 품질 측정 도구인 VQM(Video Quality Metric)을 통해 VQM 값을 계산하고 상기 품질 계층 레벨을 결정하여 인코딩 할 수 있다. Here, the quality layer level determination unit may calculate the VQM value through the VQM (Video Quality Metric), which is a quality measurement tool, for each of the plurality of segments, and may determine and encode the quality layer level.

또한, 품질 계층 레벨 결정부는 각각의 상기 세그먼트 별로 상기 VQM 값의 임계값을 설정하고, 상기 임계값을 넘지 않는 최소 품질 계층 레벨을 선택하여 인코딩 할 수 있다. The quality hierarchy level determining unit may set a threshold value of the VQM value for each segment, and may select and encode a minimum quality hierarchy level that does not exceed the threshold value.

단계(130)에서, 영상 재생부는 디코딩 시간을 만족하는 최저 주파수를 각각의 상기 프레임 별로 선택하고, 비디오 디코더를 통해 각각의 상기 프레임을 디코딩 하여 상기 영상을 재생할 수 있다. In step 130, the image reproducing unit may select the lowest frequency that satisfies the decoding time for each of the frames, and may decode each of the frames through the video decoder to reproduce the image.

여기서, 상기 프레임을 디코딩 하여 상기 영상을 재생하기 위해 이동평균 예측기와 선형 상관관계 예측기를 이용하여 디코딩 시간을 예측하고, 미리 정해진 시간 내에 디코딩 하여 상기 영상을 재생할 수 있다.
Here, in order to reproduce the image by decoding the frame, a decoding time may be predicted using a moving average predictor and a linear correlation predictor, and the image may be decoded within a predetermined time.

위에서 언급한 바와 같이, 본 발명에서는 VQM 값의 임계값

을 설정하여, 전력과 비디오 품질의 균형을 위해서, 임계값을 넘지 않는 최소 품질 레벨을 선택할 수 있다. As mentioned above, in the present invention, the threshold value of the VQM value

So as to balance the power and the video quality, the minimum quality level not exceeding the threshold value can be selected.

총

개의 품질 레벨을 갖는 비디오를 인코딩 하였다고 가정하기로 한다. 품질 레벨 m,

에서

번째 세그먼트의 VQM 값을

라 하면, 영상이 재생될 때 세그먼트

에서 선택되는 품질 레벨을

은 다음 식과 같이 계산될 수 있다. gun

It is assumed that video having a number of quality levels is encoded. Quality level m,

in

VQM value of the < RTI ID = 0.0 >

, When a video is reproduced,

The quality level selected in

Can be calculated as follows.

[수학식 1][Equation 1]

품질 레벨을 상기와 같은 방법에 의해서 구하고, 본 발명에서 제안하는 디코딩 시간 예측은 다음과 같이 나타낼 수 있다. 프레임 크기와 디코딩 시간의 상관관계를 활용한 선형 상관관계 예측기와, 과거 프레임들의 디코딩 시간의 평균에 기반한 이동평균 예측기를 혼합해서 새로운 디코딩 시간 예측기법을 제안할 수 있다. The quality level can be obtained by the above-described method, and the decoding time prediction proposed by the present invention can be expressed as follows. It is possible to propose a new decoding time predicting method by mixing a linear correlation estimator that utilizes correlation between frame size and decoding time and a moving average predictor based on an average of decoding times of past frames.

먼저,

를 프레임

디코딩 직전, 프레임

의 프레임 타입(I,P 또는 B)의 최근

개의 디코딩 시간들을 기록한 배열이라고 가정할 수 있다. 프레임

의 크기를

라 하고,

을 프레임

에서 측정된 실제 디코딩 시간을 최저주파수 레벨 1로 정규화한 시간이라고 할 수 있다. 선형 상관관계 예측기는 다음 프레임

의 최저 주파수 레벨 1에서 디코딩된 시간

을 다음 식과 같이 계산할 수 있다. first,

Frame

Immediately before decoding,

Of the frame type (I, P or B)

Lt; / RTI > decoding times. frame

The size of

However,

Frame

Is the time obtained by normalizing the actual decoding time measured at the lowest frequency level 1. The linear correlation predictor calculates

The time decoded at the lowest frequency level 1

Can be calculated as follows.

[수학식 2]&Quot; (2) "

여기서,

와

는 다음 식과 같이 구할 수 있다. here,

Wow

Can be obtained by the following equation.

[수학식 3]&Quot; (3) "

[수학식 4]&Quot; (4) "

이때,

는 최근

개의 프레임들의 크기에 대한 평균값을 나타내며,

는 실제 디코딩된 시간의 평균값으로 다음 식과 같이 계산하여 나타낼 수 있다. At this time,

Recently

Lt; RTI ID = 0.0 > frames, < / RTI >

Can be expressed as an average value of the actually decoded time as shown in the following equation.

[수학식 5]&Quot; (5) "

[수학식 6]&Quot; (6) "

이때, 이동평균 예측기는 다음 프레임

의 최저 주파수 레벨 1에서 디코딩된 시간

를 다음 식과 같이 계산하여 나타낼 수 있다.At this time, the moving-

The time decoded at the lowest frequency level 1

Can be expressed by the following equation.

[수학식 7]&Quot; (7) "

본 발명에서는 선형 상관관계 예측기와 이동평균 예측기를 혼합해서 사용하며, 각 프레임 타입별 과거 디코딩된 시간의 오차율에 근거하여, 각 방법에 가중치를 두어서 다음의 디코딩 시간을 예측할 수 있다. In the present invention, a linear correlation predictor and a moving average predictor are used in combination. Based on the error rate of the past decoded time for each frame type, the decoding time can be predicted by weighting each method.

프레임

디코딩 직전, 프레임

의 프레임 타입(I,P 또는 B)의 최근 디코딩 시간과 실제 디코딩 시간의 차이 값을 최저 주파수를 정규화한 값의 선형 상관관계 예측기에서 구해진 오차를

라고 하고, 이동평균 예측기의 오차를

라고 가정하기로 한다. 제안한 방법에서는 최저 주파수 레벨 1에서의 프레임

의 디코딩 시간

을 다음 식과 같이 예측할 수 있다.frame

Immediately before decoding,

Of the frame type (I, P, or B) of the frame type (I, P, or B) and the actual decoding time of the frame type

, And the error of the moving average predictor

. In the proposed method,

Decoding time of

Can be predicted as follows.

[수학식 8]&Quot; (8) "

그리고,

와

은 다음 식과 같이 계산하여 나타낼 수 있다. And,

Wow

Can be calculated by the following equation.

[수학식 9]&Quot; (9) "

[수학식 10]&Quot; (10) "

각 프레임을 디코딩하기 전, 디코딩 시간의 데드라인을 만족하는 최적의 CPU 주파수 레벨을 선택하면 불필요한 에너지 소비를 줄일 수 있다. 최적의 CPU 주파수 레벨을 선택하기 위해 본 발명에서 제안한 디코딩 시간 예측 기법을 이용하여 다음 식에 의해 주파수 레벨을 구할 수 있다. Unnecessary energy consumption can be reduced by selecting an optimal CPU frequency level that satisfies the deadline of decoding time before decoding each frame. In order to select an optimum CPU frequency level, the frequency level can be obtained by the following equation using the decoding time prediction technique proposed in the present invention.

주어진 재생기는

개의 주파수를 갖는다고 가정하기로 한다. 주파수 레벨이

일 때의 실제 주파수를

라 하면, 최저 주파수의 레벨이 1일 때의 실제 주파수를

이 될 수 있다. 주파수와 실행 시간은 반비례 관계를 가지므로, 주파수 레벨

에서 프레임

의 디코딩 시간

는 다음 식과 같이 계산될 수 있다. A given player

Assuming that it has a frequency of. Frequency level

The actual frequency at

, The actual frequency when the level of the lowest frequency is 1

. Since the frequency and the execution time have an inverse relationship, the frequency level

From frame

Decoding time of

Can be calculated as follows.

[수학식 11]&Quot; (11) "

그리고, 디코딩 주기를

라고 할 때, 모든 프레임은

내에 디코딩이 완료되어야 한다. CPU 소모 전력을 줄이기 위해서 가능한 최저 주파수를 선택하여야 하므로 다음 프레임

재생 시 선택되는 주파수 레벨

는 다음 식 같이 계산하여 나타낼 수 있다. Then,

, All the frames

Lt; / RTI > Since it is necessary to select the lowest possible frequency to reduce the CPU power consumption,

Frequency level selected during playback

Can be calculated by the following equation.

[수학식 12]&Quot; (12) "

상기와 같이 제안한 기법들을 Open SVC deocoder가 탑재된 Mplayer에 구현하였으며, 이를 스마트폰에 포팅하여 ITU-R BT500에서 권고하는 주관적 품질 평가 방법 중 DSCQS(Double Stimulus Continuous Quality Scale) 방식을 선택하여 사용자 평가를 진행할 수 있다. The proposed techniques are implemented in Mplayer equipped with Open SVC deocoder and ported to smartphone to select DSIMQS (Double Stimulus Continuous Quality Scale) method, which is recommended by ITU-R BT500. You can proceed.

일례로, 15명의 지원자를 대상으로 제안한 기법이 적용된 동영상과 품질 및 온디맨드 거버너를 이용한 원본 동영상과의 체감 품질에 대한 평가를 실시하였다. For example, we evaluated the quality of the video and the quality of the original video with the quality and on-demand governor applied to the 15 applicants.

원본 영상과 처리 과정을 거친 영상을 무작위로 A, B영상으로 정하고, 2회 반복하여 재생할 수 있다. 지원자들은 영상이 2회 반복 될 때부터 평가를 할 수 있다. 점수의 범위를 excellent, good, fair, poor, bad의 다섯 구간으로 나누어 지원자가 체감하는 구간에 표시를 할 수 있다. 그 결과, A와 B영상의 차이 값을 수집하였다.The original image and the processed image are randomly defined as A and B images, and can be reproduced twice. Applicants can evaluate from two iterations of the image. The score range can be divided into five sections: excellent, good, fair, poor, and bad. As a result, the difference between A and B images was collected.

본 발명에서 제안하는 CPU 전력 감소 기법의 효율을 검증하기 위한 전력 측정, 디코딩 정확도 비교와 사용자 평가를 실시하였다. 실험에 사용된 플랫폼은 안드로이드 4.1.2 버전의 삼성 갤럭시 S3 스마트폰 모델이다. 이 기기는 최저 주파수 200MHz, 최고 주파수 1400MHz를 포함한 8개의 주파수를 지원할 수 있다. 두 가지 다른 타입의 H.264/SVC 동영상을 3분간 재생하여 실험에 이용하였다. In order to verify the efficiency of the CPU power reduction scheme proposed in the present invention, power measurement and decoding accuracy comparison and user evaluation were performed. The platform used in the experiment is Samsung Galaxy S3 smartphone model of Android 4.1.2 version. The device can support eight frequencies, including the lowest frequency of 200 MHz and the highest frequency of 1400 MHz. Two different types of H.264 / SVC video were reproduced for 3 minutes and used in the experiment.

표 1은 본 발명의 일 실시예에 따른 두 가지 타입의 동영상 정보를 나타내는 표이다. Table 1 is a table showing two types of moving picture information according to an embodiment of the present invention.

동영상은 24fps로 인코딩 되었으므로

이다. 한 세그먼트를 이루는 프레임 수는 96으로 설정하였고, 이는 영상에서 4초에 해당하는데 이는 사용자들이 이정도 시간간격으로 변화하는 품질은 무시하는 경향이 있다는 기존연구를 참조하였다.Since the video is encoded at 24 fps

to be. The number of frames constituting one segment is set to 96, which corresponds to 4 seconds in the image, which refers to a previous study in which users tend to ignore the quality changing at such intervals.

표 2는 본 발명의 일 실시예에 따른 예측 모델별 실제 디코딩 시간과의 차이에 대한 절대 값의 평균을 나타내는 표이다.Table 2 is a table showing the average of the absolute values of the difference between the actual decoding time for each prediction model according to an embodiment of the present invention.

표 2를 참조하면, 본 발명에서 제안하는 디코딩 시간 예측 기법의 정확성을 검증하기 위해 제안하는 방법과 선형 상관관계 예측기와 이동 평균 예측기의 정확도를 비교할 수 있다. 그 결과, 표 2는 예측 모델별 실제 디코딩 시간과의 차이에 대한 절대 값의 평균을 나타낸다. Referring to Table 2, it is possible to compare the accuracy of the proposed method, the linear correlation predictor and the moving average predictor in order to verify the accuracy of the decoding time prediction technique proposed in the present invention. As a result, Table 2 shows the average of the absolute value of the difference from the actual decoding time per prediction model.

실험 결과, 모든 실험 동영상에서 제안한 방식의 예측 기법이 다른 예측 모델에 비해 높은 정확도를 보였다. 이처럼 검증된 디코딩 시간 예측 기법을 통해 최적의 CPU 주파수를 선택하고, 이 기법들이 CPU에 미치는 전력 감소 효과를 검증하기 위해 Monsoon Solutions Inc. 사의 디지털 멀티미터(digital multimeter)인 Power Monitor FTA22H-05를 사용하여 전력을 측정하였다. CPU, 메모리 등과 같은 시스템을 구성하는 다양한 디바이스들의 주파수들은 서로 영향을 끼치므로, 본 실험에서는 한 개의 디바이스에서 소모된 전력이 아닌 스마트폰 전체에서 소모된 전력을 측정하였다.Experimental results show that the proposed method has higher accuracy than the other prediction models in all experimental videos. In order to select the optimal CPU frequency through the proved decoding time prediction technique and verify the power reduction effect of these techniques on the CPU, Monsoon Solutions Inc. Power meter FTA22H-05, a digital multimeter, was used to measure power. Since the frequencies of the various devices constituting the system such as CPU, memory, etc. have an influence on each other, in this experiment, the power consumed in the entire smartphone was measured rather than the power consumed in one device.

측정을 위해 스마트폰의 밝기를 중간 값으로 고정하였으며, 많은 스마트폰에서 사용되는 온디맨드 거버너와 제안한 기법을 비교하였다.
We set the brightness of the smartphone to a medium value for measurement and compared the proposed technique with the on - demand governor used in many smartphones.

도 3은 본 발명의 일 실시예에 따른 두 가지 타입의 동영상의 재생에 따른 소비 에너지를 나타내는 그래프이다. FIG. 3 is a graph illustrating the energy consumption of two types of moving images according to an exemplary embodiment of the present invention.

도 3을 참조하면, 동영상 재생을 반복하여 측정한 평균값을 바탕으로

값에 따른 각 소비전력을 비교한 결과이다. Referring to FIG. 3, on the basis of the average value measured repeatedly

Which is the result of comparing the power consumption according to the value.

더 구체적으로, 애니메이션과 스포츠의 두 가지 비디오를 높은 품질 및 온디맨드 거버너로 재생하였을 때와 임계값(

)에 따른 품질 선택 및 최적의 CPU를 사용하여 재생하였을 때의 소비된 에너지를 비교한 결과를 나타낸 것이다.More specifically, when two videos of animation and sports are reproduced with a high quality and on-demand governor,

) And a comparison of the energy consumed when playing back using an optimal CPU.

전반적으로 제안한 기법이 온디맨드 거버너를 사용했을 때 보다 약 21%에서 34% 더 절감된 것을 알 수 있다. 온디맨드 거버너와 비교하여 애니메이션의 경우, 약 최소 21%에서 최대 31%의 소비 전력 감소 효과를 보였고, 스포츠의 경우, 최소 약 22%에서 최대 34%의 소비 전력 감소 효과를 나타냈다. Overall, it can be seen that the proposed method is reduced by about 21% to 34% compared to using the on-demand governor. Compared to the on-demand governor, animation reduced power consumption by at least 21% and up to 31%, and sports reduced power consumption by at least about 22% and up to 34%.

표 3은 본 발명의 일 실시예에 따른

값에 따른 품질 인덱스별 선택된 세그먼트의 수를 나타내는 표이다. &Lt; tb >< TABLE &

Is a table showing the number of segments selected per quality index according to the value.

이는,

값이 증가할수록 영상의 많은 세그먼트들이 낮은 품질로 재생되므로, 재생 기기에서의 소비 전력이 감소되었다.

값에 따른 품질 인덱스별 선택된 세그먼트의 수는 표 3에 도시된 것과 같이 나타낼 수 있다. this is,

As the value increases, many segments of the image are reproduced with low quality, so the power consumption in the playback device is reduced.

The number of segments selected per quality index according to the value can be shown as shown in Table 3.

위에서 제안한 기법들의 효과를 검증하였고, 사용자들을 대상으로 원본 영상과 제안한 기법들이 처리된 영상을 번갈아 재생시켰을 때, 느껴지는 품질 차이에 대해 조사하였다.
We verified the effectiveness of the proposed techniques and investigated the difference in quality when users played back the original image and the processed images alternately.

도 4는 본 발명의 일 실시예에 따른 사용자 평가 결과를 나타낸 그래프이다. 4 is a graph illustrating a result of user evaluation according to an embodiment of the present invention.

도 4를 참조하면, 애니메이션과 스포츠 두 가지 비디오를 제안한 기법이 적용된 비디오와 원본 비디오를 비교한 사용자 평가에서 사용자 체감 품질 차이를 나타낸 그래프를 확인할 수 있다. Referring to FIG. 4, a graph showing the difference in the user's perceived quality can be confirmed in the user evaluation comparing the original video with the video in which the proposed technique of the animation and the sports video is applied.

사용자 평가를 진행한 결과,

값이 0.25일 때 지원자의 20%가 원본 동영상과 실험 동영상에 같은 점수를 부여하여 차이가 없다고 평가하였다. 그리고, 지원자의 80%는 20이하 품질 차이가 난다고 평가하였다. As a result of user evaluation,

When the value was 0.25, 20% of the applicants gave the same score to the original video and the experiment video, and evaluated that there was no difference. And 80% of the applicants evaluated that the quality difference is below 20.

또한,

값이 0.27일 때 지원자의 20%가 원본 동영상과 실험 동영상의 품질 차이가 전혀 나지 않는다고 평가하였고, 지원자의 90%가 20이하의 품질 차이 점수를 나타내었다. 마지막으로,

값이 0.33일 때 실험자의 50%가 10이하의 품질의 차이가 난다고 평가하였다.
Also,

When the value was 0.27, 20% of the applicants judged that there was no difference in quality between the original video and the experimental video, and 90% of the applicants showed a quality difference score of 20 or less. Finally,

When the value was 0.33, 50% of the experimenter evaluated that the quality difference was 10 or less.

따라서, 본 발명에서 휴대용 재생 기기의 CPU 전력 소비를 줄이기 위해 제안하는 새로운 CPU 전력 관리 기법에 따르면, 사용자가 인지하지 못하거나 수용 가능한 범위 내에서 영상의 품질을 관리하고, 새로운 디코딩 시간 예측 기법을 제시하여 최적의 CPU 주파수가 선택되게 함으로써 높은 품질 및 온디맨드 거버너로 재생되던 휴대용 미디어 기기에서의 높은 소비 전력을 효과적으로 감소시킬 수 있다.
Therefore, according to the present invention, a new CPU power management technique proposed to reduce the CPU power consumption of the portable playback device can manage the quality of the video within a range that the user can not recognize or accept, and present a new decoding time prediction technique The optimal CPU frequency can be selected to effectively reduce the high power consumption in portable media devices that have been reproduced with high quality and on-demand governors.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor, microcomputer, field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing apparatus may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법에 있어서,
영상의 프레임들을 복수의 세그먼트로 분할하는 단계;
상기 복수의 세그먼트를 각각 품질 계층 레벨을 결정하여 인코딩 하는 단계; 및
디코딩 시간 내의 최저 주파수를 상기 프레임 별로 선택하고, 비디오 디코더를 통해 각각의 상기 프레임을 디코딩 하여 상기 영상을 재생하는 단계
를 포함하고,
상기 프레임을 디코딩하여 상기 영상을 재생하는 단계는,
상기 프레임의 직전의 프레임에 대한 실제 디코딩 시간과 이동평균 예측기를 이용하여 상기 직전의 프레임을 대상으로 예측된 디코딩 시간의 차이값을 상기 이동평균 예측기의 오차로서 계산하고,
상기 직전의 프레임에 대한 실제 디코딩 시간과 선형 상관관계 예측기를 이용하여 상기 직전의 프레임을 대상으로 예측된 디코딩 시간의 차이값을 상기 선형 상관관계 예측기의 오차로서 계산하고,
상기 이동평균 예측기의 오차와 상기 선형 상관관계 예측기의 오차의 합과 상기 이동평균 예측기의 오차에 기초하여 가중치를 계산하고, 계산된 가중치를 상기 이동평균 예측기를 이용하여 상기 프레임을 대상으로 예측된 디코딩 시간과 상기 선형 상관관계 예측기를 이용하여 상기 프레임을 대상으로 예측된 디코딩 시간에 각각 적용함으로써, 상기 이동평균 예측기와 상기 선형 상관관계 예측기를 혼합 이용하여 상기 프레임에 대한 디코딩 시간을 예측하는 것
을 특징으로 하는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법.A power management method using quality scalability of hierarchical video coding,
Dividing frames of an image into a plurality of segments;
Determining and encoding the quality hierarchy level of each of the plurality of segments; And
Selecting a lowest frequency within a decoding time for each frame, decoding the respective frames through a video decoder and reproducing the image
Lt; / RTI >
Wherein the step of decoding the frame to reproduce the image comprises:
Calculating a difference between a real decoding time for a frame immediately preceding the frame and a decoding time predicted using the moving average predictor on the immediately preceding frame as an error of the moving average predictor,
Calculating a difference between the actual decoding time for the immediately preceding frame and a decoding time predicted using the linear correlation predictor on the immediately preceding frame as an error of the linear correlation predictor,
Calculating a weight based on an error of the moving average predictor and an error of the linear correlation predictor and an error of the moving average predictor and outputting the calculated weight to a predicted decoding And estimating a decoding time for the frame by using the moving average predictor and the linear correlation estimator in a mixed manner by applying the time and the linear correlation predictor to the predicted decoding time of the frame,
The quality scalability of the hierarchical video coding.

제1항에 있어서,
상기 복수의 세그먼트를 각각 품질 계층 레벨을 결정하여 인코딩 하는 단계는
각 상기 복수의 세그먼트를 품질 측정 도구인 VQM(Video Quality Metric)을 통해 VQM 값을 계산하고 상기 품질 계층 레벨을 결정하여 인코딩 하는 것
을 특징으로 하는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법.The method according to claim 1,
The step of determining and encoding the quality hierarchy level of each of the plurality of segments
Calculating a VQM value through a VQM (Video Quality Metric) as a quality measurement tool for each of the plurality of segments, and determining and encoding the quality layer level
The quality scalability of the hierarchical video coding.

제2항에 있어서,
상기 복수의 세그먼트를 각각 품질 계층 레벨을 결정하여 인코딩 하는 단계는
각 상기 세그먼트 별로 상기 VQM 값의 임계값을 설정하고, 상기 임계값을 넘지 않는 최소의 상기 품질 계층 레벨을 선택하여 인코딩 하는 것
을 특징으로 하는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법.3. The method of claim 2,
The step of determining and encoding the quality hierarchy level of each of the plurality of segments
Setting a threshold value of the VQM value for each segment and selecting and encoding the minimum quality layer level that does not exceed the threshold value
The quality scalability of the hierarchical video coding.

제1항에 있어서,
상기 프레임을 디코딩 하여 상기 영상을 재생하는 단계는
과거 프레임들의 디코딩 시간의 평균에 기반한 이동평균 예측기와 프레임 크기와 디코딩 시간의 상관관계를 나타내는 선형 상관관계 예측기를 이용하여 디코딩 시간을 예측하고, 미리 정해진 시간 내에 디코딩 하여 상기 영상을 재생하는 것
을 특징으로 하는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법.The method according to claim 1,
The step of decoding the frame to reproduce the image
Estimating a decoding time using a moving average predictor based on an average of decoding times of past frames, a linear correlation predictor showing a correlation between a frame size and decoding time, decoding the decoded time within a predetermined time,
The quality scalability of the hierarchical video coding.

계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 시스템에 있어서,
영상의 프레임들을 복수의 세그먼트로 분할하는 분할부;
상기 복수의 세그먼트 각각을 품질 측정 도구인 VQM(Video Quality Metric)을 통해 VQM 값을 계산하고, 상기 복수의 세그먼트 각각 품질 계층 레벨을 결정하여 인코딩 하는 품질 계층 레벨 결정부; 및
디코딩 시간을 만족하는 최저 주파수를 각각의 상기 프레임 별로 선택하고, 비디오 디코더를 통해 각각의 상기 프레임을 디코딩 하여 상기 영상을 재생하는 영상 재생부
를 포함하고,
상기 프레임의 직전의 프레임에 대한 실제 디코딩 시간과 이동평균 예측기를 이용하여 상기 직전의 프레임을 대상으로 예측된 디코딩 시간의 차이값은 상기 이동평균 예측기의 오차로서 계산되고,
상기 직전의 프레임에 대한 실제 디코딩 시간과 선형 상관관계 예측기를 이용하여 상기 직전의 프레임을 대상으로 예측된 디코딩 시간의 차이값은 상기 선형 상관관계 예측기의 오차로서 계산되고,
상기 이동평균 예측기의 오차와 상기 선형 상관관계 예측기의 오차의 합과 상기 이동평균 예측기의 오차에 기초하여 가중치가 계산되고,
상기 영상 재생부는,
계산된 상기 가중치를, 상기 이동평균 예측기를 이용하여 상기 프레임을 대상으로 예측된 디코딩 시간과 상기 선형 상관관계 예측기를 이용하여 상기 프레임을 대상으로 예측된 디코딩 시간에 각각 적용함으로써, 상기 이동평균 예측기와 상기 선형 상관관계 예측기를 혼합 이용하여 상기 프레임에 대한 디코딩 시간을 예측하는 것
을 특징으로 하는 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 시스템.In a power management system utilizing quality scalability of hierarchical video coding,
A dividing unit dividing frames of an image into a plurality of segments;
A quality layer level determination unit for calculating a VQM value through a video quality metric (VQM) as a quality measurement tool for each of the plurality of segments, and determining and encoding a quality hierarchy level of each of the plurality of segments; And
A minimum frequency that satisfies a decoding time is selected for each of the frames, a video decoder for decoding each of the frames through a video decoder,
Lt; / RTI >
The difference between the actual decoding time for the frame immediately before the frame and the decoding time predicted using the moving average predictor on the immediately preceding frame is calculated as an error of the moving average predictor,
The difference between the actual decoding time for the immediately preceding frame and the decoding time predicted for the immediately preceding frame using the linear correlation predictor is calculated as an error of the linear correlation predictor,
A weight is calculated based on the sum of the error of the moving average predictor and the error of the linear correlation predictor and the error of the moving average predictor,
Wherein the image reproducing unit comprises:
And applying the calculated weight to the decoding time predicted for the frame using the moving average predictor and the decoding time predicted for the frame using the linear correlation predictor, And predicting a decoding time for the frame by mixing the linear correlation predictor
A power management system utilizing quality scalability of hierarchical video coding.