CN102209242B - 基于功耗模型的最优化可伸缩视频传输和解码*** - Google Patents
基于功耗模型的最优化可伸缩视频传输和解码*** Download PDFInfo
- Publication number
- CN102209242B CN102209242B CN201110137912XA CN201110137912A CN102209242B CN 102209242 B CN102209242 B CN 102209242B CN 201110137912X A CN201110137912X A CN 201110137912XA CN 201110137912 A CN201110137912 A CN 201110137912A CN 102209242 B CN102209242 B CN 102209242B
- Authority
- CN
- China
- Prior art keywords
- video
- power
- decoding
- power consumption
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 230000001413 cellular effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 238000000034 method Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明属于视频压缩编码与无线传输技术领域，提供了一种适用于智能手机等移动设备的可伸缩视频编解码与无线传输方法。其特征是根据移动设备当前可用功率和接收网络带宽，结合本发明提出的可伸缩视频解码功率模型，视觉感知模型和视频码率模型，得出最优化视频参数，例如视频帧率，信号幅度。最优视频参数由无线终端反馈至服务器，或者网络接入点来提取对应的可伸缩视频码流。该提取的码流通过无线网络传输至移动设备进行解码和播放。本发明可以根据无线终端的当前功率和接入带宽实时调节视频传输，并保证最优的视频质量。
Description
技术领域
本发明属于视频压缩编码与无线传输技术领域，设计了适用于智能手机等移动设备的可伸缩视频编解码与无线传输方法。本发明根据网络带宽和移动终端可用功率实时优化可伸缩码流参数来保证最佳的视频质量。
背景技术
在可伸缩视频编码的解码模块中，是分解为七个基本的解码模块进行的，即熵解码，边信息准备，反量化和逆变换，参考信息更新，帧内预测，运动补偿和去块。首先比特流被送入到熵解码模块，以获得边信息和量化后的变换系数等；然后解码器使用解析过的信息来初始化必要的解码数据结构，即边信息准备。块类型，参考图，预测模式，运动矢量，将被计算并填入到相应的数据结构中作进一步的使用。反量化和逆变换模块接着把量化转移系数转换成块残差系数。在目标层，解码残差可以被归结为预测样本，用帧内预测或者运动补偿来重构信号。最后，去块滤波器被用来消除由基于块的混合变换编码结构引入的块效应。
由于可以通过把即时复杂度要求映射为处理器功耗来得到功耗模型，因此获得复杂度模型是很有必要的。为了准确的获得帧解码复杂度，可以把视频解码器分解成7个解码模块，每一个解码模块都有一个特殊的复杂度单元(CU)来解决这一解码模块所要求的基本操作。一个固定CU所要求的平均循环数或者为常数，或者可以由一个简单的线性预测器容易的获得。
由于有限的电池能量供应是流行移动视频应用中的一个关键问题。相比其它服务如音频播放，短信等，视频解码通常要求更多的能量，这是由于其复杂的计算操作和缓冲区内戏剧性的数据传输。对于采用先进视频编码标准，如 H.264/AVC及其可伸缩扩展的高清晰度(HD)视频解码来说，电池能量的短缺是一个更为严重的问题。一般来说，在视频解码中有两个主要的能量消耗源。一个是内存传输，另一个是CPU周期工作。
因此获得可伸缩视频解码的功耗是关键和必须的，功耗可以表示为所需视频解码复杂度的函数(就每秒循环数来说)，即P＝Φ(C)；这里P和C分别表示视频解码的功耗和计算复杂度，Φ()抽象了功耗和复杂度的关系。而对于ARM处理器下可伸缩视频解码的功耗模型为 这里C为解码复杂度，k1，k2为参数。
论文名：H.264/AVC baseline profile decoder complexity analysis，期刊：IEEETrans.Circuits and Systems for Video Technology，年份：2003年，第13期，704页至716页，论述了在视频解码中的两个主要的消耗源，即内存传输和CPU周期工作，但是没有考虑其它部分的功耗。
论文名：Power-rate-distortion analysis for wireless video communication under energy constraints，期刊：IEEE Trans.Circuit and Sys.for Video Technology，年份：2005年，第15期，645页至659页，说明了解码功耗可以用解码复杂度的函数来表示，但只是在一个固定的平台上实现，而且这种关系是确定的，无法自适应解码环境变化。
论文名：A dynamic voltage scaled microprocessor system，期刊：IEEE Journal of Solid-State Circuits，年份：2000年，第35期，1571页至1580页，提出了为了节省能量而广泛使用的动态电压/频率调整方案。
论文名：Performance analysis of SVC，期刊：IEEE Trans.Circuit and Sys.for Video Technology，年份：2007年，第17期，1194页至1203页，论述了由于SVC的单环解码设计，SVC的解码复杂度与H.264/AVC解码解码复杂度相差不大，并 分析了解码性能，没有采用剩余能量模型。
发明内容
本发明为功率受限的无线移动终端提供最优化视频传输和解码***，保证终端视频的最佳质量，包括实时带宽侦听，实时终端功率检测，实时功率率失真优化，以及实时视频服务器和终端通信。
本发明的技术方案：
该***包括视频服务器，移动终端天线，网络带宽检测电路，终端功率检测电路，功率率失真优化电路，视频服务器与终端对等通信，以及可伸缩视频解码电路。
视频服务器存储大量的可伸缩视频，包括不同的视频内容，帧率，幅度值等等。
移动终端天线提供和视频服务器的通信链接，可以使用WiFi，或者3G/4G蜂窝网络。
网络检测电路和终端天线连接，实时侦听有效网络带宽并提供给终端功率检测电路。该电路可以整合入天线模块，扩展当前软件驱动来控制侦听频率。终端功率检测电路可以使用电池传感器来检测终端电池容量，继而得出可用功率。类似与网络检测电路，可以通过扩展软件驱动来控制功率检测的精度和频率。
从端功率检测电路出来的信号通过功率率失真优化电路计算并计算最优化视频参数，即前述的实时功率和网络带宽将会被功率率失真模块使用来计算最优化视频参数。最优化参数反馈至视频服务器进行码流提取。在功率率失真优化电路中，结合了我们下面提出的可伸缩视频解码功率模型，根据带宽和可用功率，来计算最优化视频参数，例如视频帧率，幅值等。
可伸缩视频解码的功耗是关键和必须的，功耗可以表示为所需视频解码复杂度的函数(就每秒循环数来说)，即P＝Φ(C)；这里P和C分别表示视频解码的功耗和计算复杂度，Φ()抽象了功耗和复杂度的关系。而对于ARM处理器下可伸缩视频解码的功耗模型为 
这里C为解码复杂度，k1，k2为参数。
该功率率失真模块可以使用独立硬件电路，譬如FPGA，或者终端控制器譬如ARM 9，或者终端信号处理器，譬如ARM Cortex，DSP，来实现。
可伸缩视频解码器用来进行可伸缩视频解码，可以使用专用硬件解码器，或者基于嵌入时平台的软件解码器，用来进行视频解码和播放。
本发明的有益效果是通过实时带宽侦听，实时功率检测，实时功率率失真优化以及视频服务器和终端通信，实现可伸缩性视频的最优传输和解码。本发明能够提供提供最佳视频质量，有效控制无线终端功率消耗，提供视频传输实时优化，支持不同无线终端以及不同无线网络接入。
附图说明
附图1是本发明的结构示意图。
具体实施方式
下面结合具体实施例和附图详细阐述本发明，但本发明并不局限于具体实施例。
实施例：
1.使用dell optiplex 360作为视频服务器，无线路由CISCO WRVS 4400作为网络代理，提供无线接入(802.11a/b/g/n)。
2.使用智能手机平台TI OMAP3 EVM作为移动终端。
3.实现扩展天线驱动支持带宽检测，每1秒检测一次获取实时网络带 宽(比特每秒bps)。
4.使用电池感应器检测终端可用功率，每10秒检测一次获取当前电池容量(毫安时mAh)。
5.实现功率率失真模块，基于终端控制器的底层协议C/ASM，实时计算最优化参数，计算时间0.5毫秒。
6.实现基于ARM平台的实时可伸缩视频解码模块，实时解码可伸缩视频码流，达到30帧每秒。
7.结合前述的可伸缩视频解码功率模型，视觉感知模型以及码率模型，输入网络带宽100千比特每秒(kbps)，可用平均功率500毫瓦(mW)，计算得出最佳视频帧率为15帧每秒(fps)和信号幅度控制参数2。
8.将最佳视频参数反馈至视频服务器来提取对应可伸缩视频码流。
9.提取码流通过无线网络传输至终端利用视频解码器解码和实时播发。
Claims (1)
1.一种基于功耗模型的最优化可伸缩视频传输和解码***，该***包括视频服务器、移动终端天线、网络带宽检测电路、终端可用功率检测电路、功率率失真优化电路以及视频解码器电路, 其特征在于：
视频服务器存储大量的可伸缩视频；
通过WiFi或者３G/4G蜂窝网络，移动终端天线提供和视频服务器的通信链接；
网络带宽检测电路和移动终端天线连接，实时侦听有效网络带宽并提供给终端功率检测电路；从端功率检测电路出来的信号通过功率率失真优化电路计算并计算最优化视频参数；
最优化参数反馈至视频服务器进行码流提取；
该功率率失真模块使用独立硬件电路；
视频解码器用来进行可伸缩视频解码，使用专用硬件解码器，或者基于嵌入时平台的软件解码器；
可伸缩视频解码的功耗就每秒循环数表示为所需视频解码复杂度的函数，即P=Φ(C);这里P和C分别表示视频解码的功耗和计算复杂度，Φ()抽象了功耗和复杂度的关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110137912XA CN102209242B (zh) | 2011-05-26 | 2011-05-26 | 基于功耗模型的最优化可伸缩视频传输和解码*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110137912XA CN102209242B (zh) | 2011-05-26 | 2011-05-26 | 基于功耗模型的最优化可伸缩视频传输和解码*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102209242A CN102209242A (zh) | 2011-10-05 |
| CN102209242B true CN102209242B (zh) | 2012-11-07 |
Family
ID=44697877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110137912XA Expired - Fee Related CN102209242B (zh) | 2011-05-26 | 2011-05-26 | 基于功耗模型的最优化可伸缩视频传输和解码*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102209242B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3528450B1 (en) | 2012-10-18 | 2021-12-01 | Vid Scale, Inc. | Decoding complexity for mobile multimedia streaming |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1625265A (zh) * | 2003-12-01 | 2005-06-08 | 三星电子株式会社 | 用于可伸缩视频编码和解码的方法和设备 |
| CN1675932A (zh) * | 2002-08-06 | 2005-09-28 | 皇家飞利浦电子股份有限公司 | 用于视频编码的采用后向自适应的速率失真优化数据分割***和方法 |
| CN1778117A (zh) * | 2003-04-18 | 2006-05-24 | 皇家飞利浦电子股份有限公司 | 使用参变速率失真模型对视频编码进行数率失真优化数据划分的***和方法 |
-
2011
- 2011-05-26 CN CN201110137912XA patent/CN102209242B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1675932A (zh) * | 2002-08-06 | 2005-09-28 | 皇家飞利浦电子股份有限公司 | 用于视频编码的采用后向自适应的速率失真优化数据分割***和方法 |
| CN1778117A (zh) * | 2003-04-18 | 2006-05-24 | 皇家飞利浦电子股份有限公司 | 使用参变速率失真模型对视频编码进行数率失真优化数据划分的***和方法 |
| CN1625265A (zh) * | 2003-12-01 | 2005-06-08 | 三星电子株式会社 | 用于可伸缩视频编码和解码的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102209242A (zh) | 2011-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6803443B2 (ja) | 電力認識型ビデオ復号およびストリーミング | |
| JP5290357B2 (ja) | 動的にスケーリングされるファイル符号化 | |
| KR101315562B1 (ko) | 미디어 코딩을 위한 4×4 변환 | |
| KR101315600B1 (ko) | 미디어 코딩을 위한 4×4 변환 | |
| CN101015215A (zh) | 用于在视频编码解码器中实施快速模式决策的方法及设备 | |
| JP5296245B2 (ja) | 受信機におけるビデオ復号 | |
| US20120307890A1 (en) | Techniques for adaptive rounding offset in video encoding | |
| CA2680513A1 (en) | Method and system for motion vector predictions | |
| CN101909211B (zh) | 基于快速模式判决的h.264/avc高效转码器 | |
| CN103533359A (zh) | 一种h.264码率控制方法 | |
| CN101964910B (zh) | 基于码率型转码辅助的视频空间分辨率转换方法 | |
| CN104904212A (zh) | 对传输至设备的音频和/或视频流的编码进行动态调整的方法 | |
| CN104539948A (zh) | 视频处理***和视频处理方法 | |
| CN103442228A (zh) | 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器 | |
| JP2007538415A (ja) | ハンドヘルド装置用のエンコード方法 | |
| CN101277448A (zh) | 用于解码复杂度限制下的视频编码方法 | |
| CN102833536A (zh) | 一种面向无线传感器网络的分布式视频编解码方法 | |
| CN109922340A (zh) | 图像编解码方法、装置、***及存储介质 | |
| CN102209242B (zh) | 基于功耗模型的最优化可伸缩视频传输和解码*** | |
| JP5241743B2 (ja) | デュアルステージイントラプレディクションビデオエンコーディングシステム及び方法 | |
| US20040203708A1 (en) | Method and apparatus for video encoding in wireless devices | |
| CN109891882A (zh) | 一种基于模板匹配的编解码方法及装置 | |
| CN102273207A (zh) | 图像转换装置、方法以及程序 | |
| CN108632613B (zh) | 基于discover框架的分级分布式视频编码方法及*** | |
| Wu et al. | Syndrome-based light-weight video coding for mobile wireless application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121107 Termination date: 20150526 |
|
| EXPY | Termination of patent right or utility model |