CN110944199A - 一种基于时空感知特征的屏幕内容视频码率控制方法 - Google Patents
一种基于时空感知特征的屏幕内容视频码率控制方法 Download PDFInfo
- Publication number
- CN110944199A CN110944199A CN201911191751.5A CN201911191751A CN110944199A CN 110944199 A CN110944199 A CN 110944199A CN 201911191751 A CN201911191751 A CN 201911191751A CN 110944199 A CN110944199 A CN 110944199A
- Authority
- CN
- China
- Prior art keywords
- block
- time domain
- code rate
- screen content
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000035772 mutation Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000004438 eyesight Effects 0.000 abstract description 2
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于时空感知特征的屏幕内容视频码率控制方法，充分考虑人眼视觉对屏幕内容视频的感知特性，利用最新的屏幕图像质量评价方法GFM建立空域感知模型，通过所得到的感知特性进行感知编码。本发明还充分利用了屏幕内容视频的内容特性以及帧间相关性，对不同的时域相邻块进行分析判断，分为三种不同类型的块，并利用这种特性进行合理的码率分配。本发明结合时空感知特性对屏幕内容视频进行合理的码率控制，降低误码率，节省码率开销的同时，提高视频的质量，具有重要的意义和价值。
Description
技术领域
本发明涉及视频编解码技术领域，更具体地说，涉及一种基于时空感知特征的屏幕内容视频码率控制方法。
背景技术
近些年来，随着多媒体和移动互联网技术的快速发展，基于屏幕内容的视频应用越来越加广泛，如3D游戏、视频会议、远程视频教育、移动桌面等。
不同于自然视频，屏幕内容视频既包括自然图像部分，又包括由计算机直接生成的文字和图表部分。因此，屏幕内容视频会有锐利的边缘，大面积的平坦区域，较少的颜色种类等特性。
为了更高效地对屏幕内容视频编码(Screen Content Coding，SCC)进行优化，在HEVC(High Efficiency Video Coding)编码标准基础上制定了基于屏幕内容视频的编码标准HEVC-SCC。主要是在HEVC基础上增加了四项新的编码工具，包括为帧内块复制(IntraBlockCopy，IBC)、调色板模式(Palette Mode，PLT)、自适应颜色变换(Adaptive ColorTransform，ACT)和自适应运动矢量分解(Adaptive Motive Vector Resolution，AMVR)。
为了提高编码时的带宽利用率，在保持视频还原清晰度的情况下，对码率进行控制是视频编码中的一项重要技术。但HEVC视频编码标准中扩展的屏幕内容视频编码标准HEVC-SCC中，并没有考虑到人眼视觉***的感知特性，没有将码率和视觉感知进行结合，造成误码率高，码率开销过大，视频质量有待提高。
因此，为了更好地将码率用于屏幕内容视频的感知特性上，本发明结合时空感知特性对屏幕内容视频进行合理的码率控制，降低误码率，节省码率开销的同时，提高视频的质量，具有重要的意义和价值。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于时空感知特征的屏幕内容视频码率控制方法，结合时空感知特性对屏幕内容视频进行合理的码率控制，更好地将码率用于屏幕内容视频的感知特性上，降低误码率，节省码率开销的同时，提高视频的质量。
本发明的技术方案如下：
一种基于时空感知特征的屏幕内容视频码率控制方法，步骤如下：
1)提取视频的空域感知特征GFM；
2)提取视频的时域感知特征SSIM，判断时域相邻块的变化情况；
3)结合时域空域感知特征进行码率分配。
作为优选，步骤1)具体为：提取编码单元像素值，分别在编码树单元层对原始块和失真块进行颜色空间转换；对于亮度分量，提取其Gabor特征进行相似度测量；对于色度分量，直接进行相似度测量，而后将二者进行加权池化，得到空域感知特征GFM。
作为优选，步骤2)中，判断时域相邻块的变化情况的方法具体为：计算当前块与其时域相邻块的SSIM值，若SSIM值大于预设阈值T1，则判断为时域不变块；若SSIM值小于预设阈值T2，则为时域突变块；若SSIM值在预设阈值T1和预设阈值T2之间，则判断为时域渐变块。
作为优选，步骤3)具体为：将所得到的空域感知特征GFM和时域感知特征SSIM进行加权融合，得到融合感知特征；利用融合感知特征进行码率分配。
作为优选，码率分配的规则为：感知质量低的块以及时域突变块，相较于感知质量高的块以及时域不变块，分配较多的码率；对于时域渐变块，按原始标准进行分配。
作为优选，所述的感知质量为当前块的感知特征GFM值，当通过当前块的GFM值与当前帧的GFM值的比值大于1，则定义当前块为感知质量高的块，否则，则定义当前块为感知质量低的块。
本发明的有益效果如下：
本发明所述的基于时空感知特征的屏幕内容视频码率控制方法，充分考虑人眼视觉对屏幕内容视频的感知特性，利用最新的屏幕图像质量评价方法GFM建立空域感知模型，通过所得到的感知特性进行感知编码。本发明还充分利用了屏幕内容视频的内容特性以及帧间相关性，对不同的时域相邻块进行分析判断，分为三种不同类型的块，并利用这种特性进行合理的码率分配。
本发明结合时空感知特性对屏幕内容视频进行合理的码率控制，降低误码率，节省码率开销的同时，提高视频的质量，具有重要的意义和价值。
附图说明
图1是本发明的流程示意图；
图2是获取感知特征GFM的流程示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明为了解决现有屏幕内容视频编码标准未考虑人眼视觉特性以及在码率控制方面精准度低等问题，提供一种基于时空感知特征的屏幕内容视频码率控制方法，用于降低屏幕内容视频编码的误码率，提高率失真优化性能。
本发明所述的基于时空感知特征的屏幕内容视频码率控制方法，如图1所示，步骤如下：
1)输入视频。
2)提取视频的空域感知特征GFM(A Gabor Feature-Based Quality AssessmentModel)；具体地，如图2所示，提取编码单元像素值，分别在编码树单元层对原始块和失真块进行颜色空间转换(YUV to LMN)；对于亮度分量，提取其Gabor特征进行相似度测量；对于色度分量，直接进行相似度测量，而后将二者进行加权池化，得到空域感知特征GFM。
3)提取视频的时域感知特征SSIM(Structural Similarity Index)，判断时域相邻块的变化情况；其中，判断时域相邻块的变化情况的方法具体为：计算当前块与其时域相邻块的SSIM值，若SSIM值大于预设阈值T1，则判断为时域不变块；若SSIM值小于预设阈值T2，则为时域突变块；若SSIM值在预设阈值T1和预设阈值T2之间，则判断为时域渐变块。
4)结合时域空域感知特征进行码率分配，具体地，将所得到的空域感知特征GFM和时域感知特征SSIM进行加权融合，得到融合感知特征；利用融合感知特征进行码率分配。其中，码率分配的规则为：感知质量低的块以及时域突变块，相较于感知质量高的块以及时域不变块，分配较多的码率；对于时域渐变块，按原始标准进行分配。即，本实施例中，包括三种分配方案：其中，所述的感知质量为当前块的感知特征GFM值，当通过当前块的GFM值与当前帧的GFM值的比值大于1，则定义当前块为感知质量高的块，否则，则定义当前块为感知质量低的块。
方案一，对于感知质量低的块以及时域突变块，分配较多的码率；
方案二，对于感知质量高的块以及时域不变块，分配较少的码率；
方案三，对于时域渐变块，按原始标准(即现有技术的屏幕内容视频编码标准HEVC-SCC)进行分配。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (6)
1.一种基于时空感知特征的屏幕内容视频码率控制方法，其特征在于，步骤如下：
1)提取视频的空域感知特征GFM；
2)提取视频的时域感知特征SSIM，判断时域相邻块的变化情况；
3)结合时域空域感知特征进行码率分配。
2.根据权利要求1所述的基于时空感知特征的屏幕内容视频码率控制方法，其特征在于，步骤1)具体为：提取编码单元像素值，分别在编码树单元层对原始块和失真块进行颜色空间转换；对于亮度分量，提取其Gabor特征进行相似度测量；对于色度分量，直接进行相似度测量，而后将二者进行加权池化，得到空域感知特征GFM。
3.根据权利要求2所述的基于时空感知特征的屏幕内容视频码率控制方法，其特征在于，步骤2)中，判断时域相邻块的变化情况的方法具体为：计算当前块与其时域相邻块的SSIM值，若SSIM值大于预设阈值T1，则判断为时域不变块；若SSIM值小于预设阈值T2，则为时域突变块；若SSIM值在预设阈值T1和预设阈值T2之间，则判断为时域渐变块。
4.根据权利要求3所述的基于时空感知特征的屏幕内容视频码率控制方法，其特征在于，步骤3)具体为：将所得到的空域感知特征GFM和时域感知特征SSIM进行加权融合，得到融合感知特征；利用融合感知特征进行码率分配。
5.根据权利要求4所述的基于时空感知特征的屏幕内容视频码率控制方法，其特征在于，码率分配的规则为：感知质量低的块以及时域突变块，相较于感知质量高的块以及时域不变块，分配较多的码率；对于时域渐变块，按原始标准进行分配。
6.根据权利要求5所述的基于时空感知特征的屏幕内容视频码率控制方法，其特征在于，所述的感知质量为当前块的感知特征GFM值，当通过当前块的GFM值与当前帧的GFM值的比值大于1，则定义当前块为感知质量高的块，否则，则定义当前块为感知质量低的块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911191751.5A CN110944199A (zh) | 2019-11-28 | 2019-11-28 | 一种基于时空感知特征的屏幕内容视频码率控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911191751.5A CN110944199A (zh) | 2019-11-28 | 2019-11-28 | 一种基于时空感知特征的屏幕内容视频码率控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110944199A true CN110944199A (zh) | 2020-03-31 |
Family
ID=69908792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911191751.5A Pending CN110944199A (zh) | 2019-11-28 | 2019-11-28 | 一种基于时空感知特征的屏幕内容视频码率控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110944199A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099226A (zh) * | 2021-04-09 | 2021-07-09 | 杭州电子科技大学 | 面向智慧法院场景的多层次感知视频编码算法优化方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599291A (zh) * | 2015-01-21 | 2015-05-06 | 内蒙古科技大学 | 基于结构相似度和显著性分析的红外运动目标检测方法 |
| CN106303530A (zh) * | 2016-10-20 | 2017-01-04 | 北京工业大学 | 一种融合视觉感知特性的码率控制方法 |
-
2019
- 2019-11-28 CN CN201911191751.5A patent/CN110944199A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599291A (zh) * | 2015-01-21 | 2015-05-06 | 内蒙古科技大学 | 基于结构相似度和显著性分析的红外运动目标检测方法 |
| CN106303530A (zh) * | 2016-10-20 | 2017-01-04 | 北京工业大学 | 一种融合视觉感知特性的码率控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHANGKAI NI等: "A Gabor Feature-Based Quality Assessment Model for the Screen Content Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 丁佳军等: "结合时空梯度感知特征的HEVC-SCC码率控制算法", 《信号处理》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099226A (zh) * | 2021-04-09 | 2021-07-09 | 杭州电子科技大学 | 面向智慧法院场景的多层次感知视频编码算法优化方法 |
| CN113099226B (zh) * | 2021-04-09 | 2023-01-20 | 杭州电子科技大学 | 面向智慧法院场景的多层次感知视频编码算法优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108063944B (zh) | 一种基于视觉显著性的感知码率控制方法 | |
| WO2021068598A1 (zh) | 共享屏幕的编码方法、装置、存储介质及电子设备 | |
| CN108495135B (zh) | 一种屏幕内容视频编码的快速编码方法 | |
| CN110620924B (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
| JP2021511563A (ja) | 点群処理 | |
| WO2023134523A1 (zh) | 内容自适应视频编码方法、装置、设备和存储介质 | |
| CN103002306B (zh) | 一种深度图像编码方法 | |
| CN105120290B (zh) | 一种深度视频快速编码方法 | |
| WO2020098751A1 (zh) | 一种视频数据的编码处理方法和计算机存储介质 | |
| CN106303521B (zh) | 一种基于感知敏感度的hevc率失真优化方法 | |
| CN107820095B (zh) | 一种长期参考图像选择方法及装置 | |
| CN103024381B (zh) | 一种基于恰可察觉失真的宏块模式快速选择方法 | |
| CN101621683A (zh) | 一种基于avs的快速立体视频编码方法 | |
| CN113556544B (zh) | 基于场景自适应的视频编码方法和装置、设备及存储介质 | |
| CN112291564B (zh) | 优化监控视频感知质量的hevc帧内码率控制方法 | |
| CN110740316A (zh) | 数据编码方法及装置 | |
| WO2017053620A1 (en) | Preserving texture/noise consistency in video codecs | |
| WO2020244328A1 (zh) | 图像处理方法及装置 | |
| CN115174898A (zh) | 一种基于视觉感知的率失真优化方法 | |
| CN110944199A (zh) | 一种基于时空感知特征的屏幕内容视频码率控制方法 | |
| CN112218084B (zh) | 面向监控视频的高效视频编码标准帧级码率控制方法 | |
| CN113079373A (zh) | 一种基于hevc-scc的视频编码方法 | |
| WO2023241376A1 (zh) | 一种视频码率分配方法、***、设备及存储介质 | |
| Lauga et al. | Segmentation-based optimized tone mapping for high dynamic range image and video coding | |
| CN105141967B (zh) | 基于恰可觉察失真模型的快速自适应环路滤波方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200331 |
|
| RJ01 | Rejection of invention patent application after publication |