CN116366868B - 一种并发视频包过滤方法、***及储存介质 - Google Patents
一种并发视频包过滤方法、***及储存介质 Download PDFInfo
- Publication number
- CN116366868B CN116366868B CN202310632105.8A CN202310632105A CN116366868B CN 116366868 B CN116366868 B CN 116366868B CN 202310632105 A CN202310632105 A CN 202310632105A CN 116366868 B CN116366868 B CN 116366868B
- Authority
- CN
- China
- Prior art keywords
- data stream
- packet
- packets
- data
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012163 sequencing technique Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000004606 Fillers/Extenders Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种并发视频包过滤方法、***及储存介质，用于在运行解码器前对视频包进行选择性过滤，过滤方法包括如下步骤：S1：获取进入解码器前的数据流，基于时间估计器计算所述数据流在步骤S2中被选中的概率，所述数据流包括元数据包和冗余数据包；S2：将数据流的独立帧、预测帧和步骤S1中时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度；S3：将多个数据流的包置信度与解码成本的比值由高到低排序，在解码器的解码预算下选择待解码数据包；该过滤方法在运行解码器前对视频包进行选择性过滤，可以解决大规模并发视频推理***中视频解码的瓶颈，降低解码开销，提升大规模视频分析***的并发度。
Description
技术领域
本发明涉及视频过滤技术领域，尤其涉及一种并发视频包过滤方法、***及储存介质。
背景技术
人工智能驱动的视频分析的需求一直在迅速增长。例如，智能城市***将计算机视觉模型应用于数万个摄像机的视频，用于应急响应和环境保护。视频分析工作负载的资源效率对于在边缘节点和云集群上进行大规模部署至关重要。最近的先进***受益于包括视频压缩、帧滤波和深度模型加速在内的技术。
一个典型的视频推理***首先从实时网络流(如RTSP)或本地文件***(如MP4)解析和解码视频，然后在RGB帧上运行AI模型。现有方法在优化视频推理流水线的效率方面做了大量的工作，我们将其分为四类：（1）在网络流分析的开始阶段，对视频帧进行过滤。在每个摄像机上，根据连续帧的特征差异选择帧，并只对所选帧进行编码传输给服务器。（2）视频压缩。与为人类视觉感知设计的常见视频编码方法(如H.264和VP9)不同，视频压缩旨在最小化推理模型的感知损失。因此可以有效地提高视频传输效率。（3）“On-server”帧过滤与“On-camera”帧过滤的思想相同，但将过滤器移动到服务器。这一系列方法在对视频进行解码后，根据神经网络分类器决定是否对每一帧进行推理。（4）模型加速。侧重于管道的最终推理阶段。它通过对深度神经网络中的算子进行剪枝和融合，提高了推理模型的计算效率。
但是，在一个大学里的视频分析***中发现了新的瓶颈。这个视频***处理安装在公共区域的1000多个摄像头，为了支持移动建模和应急响应功能，我们部署了最先进的视觉模型，并应用服务器上的帧过滤(InFi)和模型加速(TensorRT)技术，以提高资源效率。在边缘服务器上，这些方法有效地将***吞吐量从27 FPS提高到3500 FPS。在一年的运行期间，发现了一个之前被忽视的瓶颈：并发级别，即可以同时处理的流的数量。实验结果表明，端到端并发受视频解码模块(以数据包作为输入输出RGB帧)的限制。解码模块只能支持35个流，帧过滤模块和推理模块的并发级分别高143个数量级和3015个数量级。原因是推理模块只需要处理通过过滤器的帧中的一个小得多的部分(<2%)，而解码器和帧过滤器需要处理所有帧，因而解码器的解码并发级高，而所能支持的数据流有限，使得整个数据流的解码效率较低。
发明内容
基于背景技术存在的技术问题，本发明提出了一种并发视频包过滤方法、***及储存介质，在运行解码器前对视频包进行选择性过滤，以解决大规模并发视频推理***中视频解码的瓶颈。
本发明提出的一种并发视频包过滤方法，用于在运行解码器前对视频包进行选择性过滤，过滤方法包括如下步骤：
S1：获取进入解码器前的数据流，基于时间估计器计算所述数据流在步骤S2中被选中的概率，所述数据流包括元数据包和冗余数据包；
S2：将数据流的独立帧、预测帧和步骤S1中时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度；
S3：将多个数据流的包置信度与解码成本的比值由高到低排序，在解码器的解码预算下选择待解码数据包；
时间估计器对数据流的计算步骤：
其中，表示在第/>轮选择第/>个数据流的次数，/>表示第/>个数据流在下一个时间被选中的概率，/>表示在第(/>)轮，第/>个数据流的数据包的冗余反馈，/>表示总轮数的对数函数，/>表示总轮数，/>表示轮数，/>表示时间窗口大小，/>表示第/>个数据流，/>表示第(/>)轮选择的数据包的集合。
进一步地，在S2：将数据流的独立帧、预测帧和步骤S1中时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度中，所述上下文预测器包括一维卷积层、全局最大池化层和Dense层，具体包括：
将数据流的独立帧输入到一维卷积中，经过全局最大池化层处理后输出第一特征图；
将数据流的预测帧输入到一维卷积中，经过全局最大池化层处理后输出第二特征图；
将所述第一特征图和所述第二特征图融合得到特征嵌入视图；
将所述特征嵌入视图和所述步骤S1中时间估计器的输出分别输入到Dense层；
通过所述Dense层预测所述特征嵌入视图的冗余标签；
通过时间估计器计算特征嵌入视图的冗余标签以输出数据流的包置信度。
进一步地，时间估计器的时间窗口为，设置独立帧的包大小和预测帧包大小的时间窗口为/>，一维卷积层的输入为/>维包大小的向量。
进一步地，在步骤S3中，具体包括：
计算多个数据流的包置信度与解码成本的比值；
将比值由高到低进行排序，根据比值贪婪地选择数据包；
使用解码器的剩余预算，尽可能多的解码当前最优先数据包所依赖的数据流。
进一步地，在S1：获取进入解码器前的数据流，基于时间估计器计算所述数据流在步骤S2中被选中的概率，所述数据流包括元数据包和冗余数据包中，所述冗余数据包的冗余度量假设是可用的。
一种并发视频包过滤***，用于在运行解码器前对视频包进行选择性过滤，包括获取计算模块、上下文预测器计算模块和排序解码模块；
所述获取计算模块用于获取进入解码器前的数据流，基于时间估计器计算所述数据流在所述上下文预测器计算模块中被选中的概率，所述数据流包括元数据包和冗余数据包；
所述上下文预测器计算模块用于将数据流的独立帧、预测帧和时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度；
所述排序解码模块用于将多个数据流的包置信度与解码成本的比值由高到低排序，在解码器的解码预算下选择待解码数据包；
时间估计器对数据流的计算步骤：
其中，表示在第/>轮选择第/>个数据流的次数，/>表示第/>个数据流在下一个时间被选中的概率，/>表示在第(/>)轮，第/>个数据流的数据包的冗余反馈，/>表示总轮数的对数函数，/>表示总轮数，/>表示轮数，/>表示时间窗口大小，/>表示第/>个数据流，/>表示第(/>)轮选择的数据包的集合。
一种计算机可读储存介质，所述计算机可读储存介质上存储有若干程序，所述若干程序用于被处理器调用并执行如上所述的并发视频包过滤方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明提供的一种并发视频包过滤方法、***及储存介质的优点在于：本发明结构中提供的一种并发视频包过滤方法、***及储存介质，在运行解码器前对视频包进行选择性过滤，，使得解码器处理数据流的部分帧，即只选择部分帧进行解码（一部分帧可以不被解码，不会影响下游任务的精度），从而提升并发度，通过这种方式，可以解决大规模并发视频推理***中视频解码的瓶颈，降低解码开销，提升大规模视频分析***的并发度。
附图说明
图1为本发明的结构示意图；
图2为视频包门控技术的结构示意图；
图3为上下文预测器的结构示意图。
具体实施方式
下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
基于传统中解码器和帧过滤器需要处理所有帧，因而本实施例在视频推理管道的解码器之前增加一个选择器模块，命名为包门控（即，选择必要的视频包的子集来从所有数据流解码）。不像以前的帧过滤方法那样利用RGB图像的低级或习得的特征，试图通过解析视频/图像的数据流来基于包元数据做出选择决策。包门控不仅可以减轻推理模型(如帧过滤方法)的计算开销，而且更重要的是可以减轻视频解码器的计算开销。建立一个有效的框架多流包门控涉及两个关键挑战。
1.非自适应数据包表示。为了确定每个包是否需要解码，我们需要描述视频包的特征。然而，开发能够适应各种推理任务和视频内容的视频包表示具有挑战性，特别是在解码之前，视频包仅有一些元数据可用，例如视频编解码器、图片类型、包大小等。本实施例可以克服非自适应数据包表示，以进行数据流处理。
2.跨流协调效率低下。由于目标是提高并发级别，对单个视频流的包进行门控是不够的。对于并发流，动态视频内容和非统一解码开销(由视频编解码器设置引起)使得数据流无关的资源调度器在很大程度上不是最优的。规范轮询策略的性能随着并发流数的增加而显著下降，本实施例通过设置上下文预测器和组合优化器来客服跨流协调效率低下的问题。
如图2所示，本发明的目的是通过新的视频包门控技术即在运行解码器前对视频包进行选择性过滤，解决大规模并发视频推理***中视频解码的瓶颈，总体为：首先设计一个基于滑动窗口的时间估计器，数据流进入上下文预测器中预测输出数据流的包置信度，然后数据流的包置信度通过组合优化器输出数据流的解码顺序以进入解码器解码，并基于在线反馈和决策历史，通过滑动窗口的时间估计器预测每个数据流的选择概率，并将时间估计器的输出作为多视角上下文预测器的输入，以循环进行数据流解码前的筛选过滤。
具体如图1至3所示，本发明提出的一种并发视频包过滤方法，用于在运行解码器前对视频包进行选择性过滤，过滤方法包括如下步骤：
S1：获取进入解码器前的数据流，基于时间估计器计算所述数据流在步骤S2中被选中的概率，所述数据流包括元数据包和冗余数据包；
设计了基于滑动窗口的时间估计器，利用在线反馈和决策历史预测每个流的选择概率。推理任务的必要性具有时间连续性，例如，异常事件将在视频帧中持续一段时间。在网络出现问题时，实时视频需要提高分辨率。因此，推理模型返回的在线冗余反馈可以用于包门控。
首先假设冗余度量是可用的，这是很自然和普遍的：对于对象计数任务，如果推理结果与最新的推理结果相同，则推理是冗余的，对于检测任务，如果包围盒的IoU高于阈值，则推理是冗余的；对于分类任务，可以将标签的子集设置为冗余，或者检查标签是否更改。一旦收到所选数据包的冗余反馈，就记录每个流。
时间估计器对数据流的计算步骤：
其中，表示在第/>轮选择第/>个数据流的次数，/>表示第/>个数据流在下一个时间被选中的概率，/>表示在第(/>)轮，第/>个数据流的数据包的冗余反馈，/>表示总轮数的对数函数，/>表示总轮数，/>表示轮数，/>表示时间窗口大小，/>表示第/>个数据流，/>表示第(/>)轮选择的数据包的集合。
使用利用-探索权衡形式对在线决策性能进行保证；具体为：公式（1）为exploitation，即“利用”，为时间窗口中的平均奖励，它表明：最近的奖励越大，下一次选择的可能性就越大；公式（2）是exploration，即“探索”，直观地说，如果只对一个数据流进行了少量的尝试，那么应该以高优先级选择它。这种“利用-探索”权衡形式对在线决策具有良好的性能保证。
S2：将数据流的独立帧、预测帧和步骤S1中时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度；
上下文预测器学习来自数据流和时间估计器计算出的反馈期望的信息（即被选中的概率），将独立和相关帧的包大小嵌入到不同的特征视图中然后融合了由时间估计器以返回最终的包置信度。
与传统的分组分类任务不同，本实施例可以基于元数据(如端口号和大小)手工设计有效的规则，元数据和推理冗余标签之间的关系是非线性的和复杂的，为此，可以设计了一种针对视频数据包元数据的上下文预测器。由于编码机制不同，独立帧可以使用自己的数据包进行解码，而预测帧需要引用其他数据包；这两种类型的数据包的大小有不同的含义。对于独立帧，包大小反映了当前帧的丰富性。对于预测帧，包大小反映了相对于参考帧的变化。在这种输入信息的差异性和互补性启发下，本实施例提出了多视角学习的上下文预测器。
图3显示了的上下文预测器结构，上下文预测器包括依次连接的一维卷积层、全局最大池化层和Dense层，上下文预测器有三个输入信息视角，分别是独立帧和预测帧的包大小和时间估计器的输出。对于独立帧和预测帧的包大小的视角，和时间估计器一样，设置了一个时间长度窗口，所以输入是/>维的记录最新数据包大小的向量，使得数据包能结合一部分历史数据，实现最后得到是否冗余的结果更加准确。利用一维卷积层和全局最大池化层作为特征嵌入块，然后将两个特征嵌入视图连接起来，使用Dense层来预测冗余标签。然后再与时间估计器拼接，再经过一个Dense层，得到最终预测结果（即数据流的包置信度）。
具体地，上下文预测器是基于多视角神经网络构建的，S2：将数据流的独立帧、预测帧和步骤S1中时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度；具体包括步骤S21至S26。
S21：将数据流的独立帧输入到一维卷积中，经过全局最大池化层处理后输出第一特征图；
S22：将数据流的预测帧输入到一维卷积中，经过全局最大池化层处理后输出第二特征图；
S23：将所述第一特征图和所述第二特征图融合得到特征嵌入视图；
S24：将所述特征嵌入视图和所述步骤S1中时间估计器的输出分别输入到Dense层；
S25：通过所述Dense层预测所述特征嵌入视图的冗余标签；
S26：通过时间估计器计算特征嵌入视图的冗余标签以输出数据流的包置信度。
通过步骤S21至S26，基于多视角上下文预测器对数据流进行预测处理，以输出数据流的包置信度。
S3：将多个数据流的包置信度与解码成本的比值由高到低排序，在解码器的解码预算下选择待解码数据包；
其中包置信度表示的数据包的置信度，即数据流的包置信度表示的数据流中数据包的置信度。利用多个数据流的包置信度，提出了一个组合优化器。根据上下文预测器计算出的数据流的包置信度，需要在解码预算下选择数据包的子集进行解码。
首先计算多个数据流的包置信度与解码成本的比值，将比值由高到低进行排序以贪婪地选择数据包。然后使用剩余的预算，尽可能多的解码当前优先级高的数据包所依赖的数据流。解码依赖关系是一种有向图的形式，可以被有效地解析。这种特定于任务的组合算法具有O(m log(m))的计算复杂度和线性可伸缩性，其中，m为并发流的数量，log(·)表示对数函数。
根据步骤S1至S3，在运行解码器前对视频包进行选择性过滤，通过这种方式，可以解决大规模并发视频推理***中视频解码的瓶颈，降低解码开销，提升大规模视频分析***的并发度。在公共数据集和真实***上的实验表明，与原始工作负载相比，采用本实施例的方式节省了52.0-79.3%的解码成本，并实现了2.1-4.8倍的并发。
作为一实施例，在一个校园视频推理***中设置有1108个摄像头，其中操场设置7个摄像头，体育馆设置77个摄像头，食堂设置150个摄像头，公寓设置216个摄像头，图书馆设置388个摄像头，活动中心设置40个摄像头，实验楼设置230个摄像头。
以每小时10s的频率，从大学校园的1108个IP摄像头中采集h265格式的视频。视频收集持续了24小时，总共节省了4432个小时（1108×10×24/60）的视频。部署一个用于移动分析的人检测模型（PC）和一个用于异常检测的基于姿势的动作分类模型（AD），PC和AD分别作为独立的数据流，在解码前进行筛选过滤。随着时间估计器的时间窗口长度的增加，上下文预测器和时间估计器的性能都先增大后减小。另一方面，吞吐量随着长度的增加而减小。通过实践将窗口长度的默认选择是5，很好地平衡了准确性和效率。
可以把这两个任务看作是不同的领域，PC和AD均可以采用上述方式进行视频包过滤，因而在实际使用过程中可以采用PC和AD两个推理任务进行多任务评估。如图3所示，直接利用在其他领域上训练的上下文预测器会导致性能下降(过滤率降低16.3% / 6.9%，数据流减少58 / 26)。多任务扩展预测器具有更好的性能，滤波率提高2.1% / 1.7%，并发时间提高6 / 9，这是因为在任务之间被共享学习带来了好处；其中多任务扩展器是上下文预测器的一个扩展。区别：上下文预测器针对单个任务，多任务扩展器可以针对多个任务。即：上下文预测器的输出是针对当前帧对于一个目标任务是否进行过滤的预测；多任务扩展器是的输出是针对当前帧对于多个任务是否要被过滤的多个预测。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种并发视频包过滤方法，其特征在于，用于在运行解码器前对视频包进行选择性过滤，过滤方法包括如下步骤：
S1：获取进入解码器前的数据流，基于时间估计器计算所述数据流在步骤S2中被选中的概率，所述数据流包括元数据包和冗余数据包；
S2：将数据流的独立帧、预测帧和步骤S1中时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度；
S3：将多个数据流的包置信度与解码成本的比值由高到低排序，在解码器的解码预算下选择待解码数据包；
时间估计器对数据流的计算步骤：
其中， 表示在第/>轮选择第/>个数据流的次数，/>表示第/>个数据流在下一个时间被选中的概率，/>表示在第(/>)轮，第/>个数据流的数据包的冗余反馈，/>表示总轮数的对数函数，/>表示总轮数，/>表示轮数，/>表示时间窗口大小，/>表示第/>个数据流，/>表示第(/>)轮选择的数据包的集合。
2.根据权利要求1所述的并发视频包过滤方法，其特征在于，在S2：将数据流的独立帧、预测帧和步骤S1中时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度中，所述上下文预测器包括一维卷积层、全局最大池化层和Dense层，具体包括：
将数据流的独立帧输入到一维卷积中，经过全局最大池化层处理后输出第一特征图；
将数据流的预测帧输入到一维卷积中，经过全局最大池化层处理后输出第二特征图；
将所述第一特征图和所述第二特征图融合得到特征嵌入视图；
将所述特征嵌入视图和所述步骤S1中时间估计器的输出分别输入到Dense层；
通过所述Dense层预测所述特征嵌入视图的冗余标签；
通过时间估计器计算特征嵌入视图的冗余标签以输出数据流的包置信度。
3.根据权利要求2所述的并发视频包过滤方法，其特征在于，时间估计器的时间窗口为，设置独立帧的包大小和预测帧包大小的时间窗口为/>，一维卷积层的输入为/>维包大小的向量。
4.根据权利要求1所述的并发视频包过滤方法，其特征在于，在步骤S3中，具体包括：
计算多个数据流的包置信度与解码成本的比值；
将比值由高到低进行排序，根据比值贪婪地选择数据包；
使用解码器的剩余预算，尽可能多的解码当前最优先数据包所依赖的数据流。
5.根据权利要求1所述的并发视频包过滤方法，其特征在于，在S1：获取进入解码器前的数据流，基于时间估计器计算所述数据流在步骤S2中被选中的概率，所述数据流包括元数据包和冗余数据包中，所述冗余数据包的冗余度量假设是可用的。
6.一种并发视频包过滤***，其特征在于，用于在运行解码器前对视频包进行选择性过滤，包括获取计算模块、上下文预测器计算模块和排序解码模块；
所述获取计算模块用于获取进入解码器前的数据流，基于时间估计器计算所述数据流在所述上下文预测器计算模块中被选中的概率，所述数据流包括元数据包和冗余数据包；
所述上下文预测器计算模块用于将数据流的独立帧、预测帧和时间估计器的输出分别输入到上下文预测器中，以输出数据流的包置信度；
所述排序解码模块用于将多个数据流的包置信度与解码成本的比值由高到低排序，在解码器的解码预算下选择待解码数据包；
时间估计器对数据流的计算步骤：
其中， 表示在第/>轮选择第/>个数据流的次数，/>表示第/>个数据流在下一个时间被选中的概率，/>表示在第(/>)轮，第/>个数据流的数据包的冗余反馈，/>表示总轮数的对数函数，/>表示总轮数，/>表示轮数，/>表示时间窗口大小，/>表示第/>个数据流，/>表示第(/>)轮选择的数据包的集合。
7.一种计算机可读储存介质，其特征在于，所述计算机可读储存介质上存储有若干程序，所述若干程序用于被处理器调用并执行如权利要求1至5任一所述的并发视频包过滤方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310632105.8A CN116366868B (zh) | 2023-05-31 | 2023-05-31 | 一种并发视频包过滤方法、***及储存介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310632105.8A CN116366868B (zh) | 2023-05-31 | 2023-05-31 | 一种并发视频包过滤方法、***及储存介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116366868A CN116366868A (zh) | 2023-06-30 |
| CN116366868B true CN116366868B (zh) | 2023-08-25 |
Family
ID=86938884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310632105.8A Active CN116366868B (zh) | 2023-05-31 | 2023-05-31 | 一种并发视频包过滤方法、***及储存介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116366868B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002033925A (ja) * | 2000-07-18 | 2002-01-31 | Matsushita Graphic Communication Systems Inc | 算術符号化・復号化方法および算術符号化・復号化装置 |
| WO2004012458A2 (en) * | 2002-07-26 | 2004-02-05 | Nanyang Technological University | Efficient video transmission |
| WO2005055606A1 (en) * | 2003-12-01 | 2005-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding and decoding |
| WO2006109990A1 (en) * | 2005-04-13 | 2006-10-19 | Samsung Electronics Co., Ltd. | Context-based adaptive arithmetic coding and decoding methods and apparatuses with improved coding efficiency and video coding and decoding methods and apparatuses using the same |
| JP2013168913A (ja) * | 2012-01-19 | 2013-08-29 | Mitsubishi Electric Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
| CN113727116A (zh) * | 2021-07-21 | 2021-11-30 | 天津津航计算技术研究所 | 基于过滤机制的视频解码方法 |
| CN114503573A (zh) * | 2019-03-20 | 2022-05-13 | 威诺瓦国际有限公司 | 低复杂性增强视频编码 |
| CN115474063A (zh) * | 2022-10-27 | 2022-12-13 | 中诚华隆计算机技术有限公司 | 一种流媒体后端解码方法、装置及存储介质 |
| CN115802045A (zh) * | 2022-11-11 | 2023-03-14 | 天津津航计算技术研究所 | 一种数据包过滤方法及基于数据包过滤方法的解码方法 |
| CN115984747A (zh) * | 2023-01-05 | 2023-04-18 | 大连理工大学 | 一种基于动态滤波器的视频显著性目标检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8582660B2 (en) * | 2006-04-13 | 2013-11-12 | Qualcomm Incorporated | Selective video frame rate upconversion |
| US20130114686A1 (en) * | 2011-11-08 | 2013-05-09 | Sharp Laboratories Of America, Inc. | Video decoder with enhanced cabac motion vector decoding |
| US10171807B2 (en) * | 2015-01-29 | 2019-01-01 | Arris Enterprises Llc | Picture-level QP rate control for HEVC encoding |
| US10931979B2 (en) * | 2018-10-18 | 2021-02-23 | At&T Intellectual Property I, L.P. | Methods, devices, and systems for decoding portions of video content according to a schedule based on user viewpoint |
-
2023
- 2023-05-31 CN CN202310632105.8A patent/CN116366868B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002033925A (ja) * | 2000-07-18 | 2002-01-31 | Matsushita Graphic Communication Systems Inc | 算術符号化・復号化方法および算術符号化・復号化装置 |
| WO2004012458A2 (en) * | 2002-07-26 | 2004-02-05 | Nanyang Technological University | Efficient video transmission |
| WO2005055606A1 (en) * | 2003-12-01 | 2005-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding and decoding |
| WO2006109990A1 (en) * | 2005-04-13 | 2006-10-19 | Samsung Electronics Co., Ltd. | Context-based adaptive arithmetic coding and decoding methods and apparatuses with improved coding efficiency and video coding and decoding methods and apparatuses using the same |
| JP2013168913A (ja) * | 2012-01-19 | 2013-08-29 | Mitsubishi Electric Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
| CN114503573A (zh) * | 2019-03-20 | 2022-05-13 | 威诺瓦国际有限公司 | 低复杂性增强视频编码 |
| CN113727116A (zh) * | 2021-07-21 | 2021-11-30 | 天津津航计算技术研究所 | 基于过滤机制的视频解码方法 |
| CN115474063A (zh) * | 2022-10-27 | 2022-12-13 | 中诚华隆计算机技术有限公司 | 一种流媒体后端解码方法、装置及存储介质 |
| CN115802045A (zh) * | 2022-11-11 | 2023-03-14 | 天津津航计算技术研究所 | 一种数据包过滤方法及基于数据包过滤方法的解码方法 |
| CN115984747A (zh) * | 2023-01-05 | 2023-04-18 | 大连理工大学 | 一种基于动态滤波器的视频显著性目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 自适应视频内容的隐密信道方案;谢宏亮;兰慧;李高天;杨世勇;;网络空间安全(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116366868A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598026B (zh) | 动作识别方法、装置、设备及存储介质 | |
| US11816568B2 (en) | Optimizing execution of a neural network based on operational performance parameters | |
| Chinchali et al. | Neural networks meet physical networks: Distributed inference between edge devices and the cloud | |
| CN115082845A (zh) | 一种基于深度强化学习的监控视频目标检测任务调度方法 | |
| CN113298789A (zh) | 绝缘子缺陷检测方法、***、电子设备及可读存储介质 | |
| WO2017152734A1 (zh) | 一种数据处理方法及相关设备、*** | |
| US20210241108A1 (en) | Generating and executing context-specific neural network models based on target runtime parameters | |
| CN112863180A (zh) | 交通速度预测方法、装置、电子设备及计算机可读介质 | |
| CN103636212A (zh) | 基于帧相似性和视觉质量以及兴趣的帧编码选择 | |
| CN111696136A (zh) | 一种基于编解码结构的目标跟踪方法 | |
| CN116366868B (zh) | 一种并发视频包过滤方法、***及储存介质 | |
| CN112487957A (zh) | 视频行为检测、响应方法及装置、设备、介质 | |
| US20220417540A1 (en) | Encoding Device and Method for Utility-Driven Video Compression | |
| CN116489385A (zh) | 视频编码方法、解码方法、装置、电子设备及存储介质 | |
| US11645786B2 (en) | Compressing digital images utilizing deep perceptual similarity | |
| Khan et al. | VD-Net: An Edge Vision-Based Surveillance System for Violence Detection | |
| CN105847822A (zh) | 一种视频解码方法及装置 | |
| WO2002080563A2 (en) | Scalable expandable system and method for optimizing a random system of algorithms for image quality | |
| US20240185572A1 (en) | Systems and methods for joint optimization training and encoder side downsampling | |
| WO2023122244A1 (en) | Intelligent multi-stream video coding for video surveillance | |
| US20240236342A1 (en) | Systems and methods for scalable video coding for machines | |
| US20230007276A1 (en) | Encoding Device and Method for Video Analysis and Composition | |
| US12028540B2 (en) | Video size reduction by reconstruction | |
| WO2023137003A1 (en) | Systems and methods for privacy protection in video communication systems | |
| WO2023172593A1 (en) | Systems and methods for coding and decoding image data using general adversarial models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |