CN115866417B - 基于边缘计算的视频服务方法及*** - Google Patents

Abstract

本发明公开了基于边缘计算的视频服务方法及***，具体涉及图像通信技术领域，所述***包括网络摄像机模块、任务管理模块、算法选择模块、数据预处理模块、分析处理模块，网络摄像机模块用于采集实时视频，并将采集的视频传输至任务管理模块，区域内网络摄像机同时响应一个网络摄像机中得到的分析结果；所述任务管理模块用于管理收到的视频流，根据视频质量和用户需求分配边缘计算资源和存储资源，算法选择模块用于通过分析视频摘要将待分析视频与数据库中训练视频进行对比，选择适应算法，通过算法模型得到分析结果，并将所述结果反馈至区域内网络摄像机管理单元，根据结果管理网络摄像机的摄像模式。

Description

基于边缘计算的视频服务方法及***

技术领域

本发明涉及图像通信技术领域，更具体地说，本发明涉及基于边缘计算的视频服务方法及***。

背景技术

边缘计算，指的是在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算可以使数据存储、计算、管理等功能进一步向外延伸，拓展了云计算的边界缓解网络的传输压力，同时，由于它更加靠近数据的源头，就可以更加及时地进行数据处理，响应设备的工作需求，降低时延；在边缘计算可以处理的能力范围内，数据可以直接在源头一端直接处理，保障了数据存储的安全性。

在视频、网络直播逐渐成为主流传播方式的当下，边缘计算可以在更加靠近用户的网络边缘，提供标准的计算能力和IT服务，在本地就近部署可以降低业务响应时延，有效提升业务容量，从而实现高清、流畅的直播、观看体验。在视频监控领域中，采用边缘计算处理模式就近提供视频服务，有利于减低监控人员的劳动强度，现有基于边缘计算的视频服务方法及***不够智能，存在以下问题：1、不够智能无法根据视频质量和用户需求合理分配计算资源；2、采用单一的算法，没有根据不同的视频选择适应的算法，使视频服务质量差；3、缺少对网络摄像机的智能管理，区域内的网络摄像机缺少关联，无法根据视频服务结果更新视频采样策略。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供基于边缘计算的视频服务方法，通过任务管理模块建立边缘计算的计算资源分配模型，保证视频服务的最大利用率，通过算法选择模块选择最优算法，提高视频服务质量，通过网络摄像机模块实现对区域内网络摄像机的智能控制，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于边缘计算的视频服务方法，包括下列步骤：

步骤S01、网络摄像机的管理：在区域内安装网络摄像机进行监控，建立网络摄像机拓扑图和监控区域中网络摄像机分布图，网络摄像机采集实时视频数据，并传输至边缘计算服务器中；

步骤S02、任务管理：将步骤S01传输的视频数据视为任务请求，判断边缘云计算能否满足延迟需求，将不能满足延迟需求的任务传输至云计算***中，将能满足延迟需求的任务传输至下一步骤；

步骤S03、算法选择：边缘计算服务器在接收服务请求后，先通过差分采样从视频数据中获得采样集合F´，将待测图片帧按照时间顺序排列；然后将采样集合按照环境变化时间节点划分为n个采样子集F1´、F2´、F3´…Fn´；选择每个采样子集的适用算法，得到采样集合F´对应的算法集合S´；

步骤S04、模型调用与数据预处理：先从数据库中调用需要的算法模型，根据算法模型的种类采用不同的方式处理待检测数据，包括使用特征增强和标识单元处理采样集合F´，得到适用算法的测试数据；

步骤S05、视频服务：利用算法进行视频服务，所述视频服务包括目标识别、异常检测，得到视频服务结果；

步骤S06、结果反馈：设置网络摄像机响应模式，当一个网络摄像机中出现目标、出现异常，区域内其他网络摄像机更新摄像模式，实现对目标的动态监测。

在一个优选地实施方式中，步骤S03中，所述采样集合F´的获取方式为采用帧间差分和背景差分联合采样方式从视频流中提取图片帧，包括下列步骤：

步骤S11、获取待采样的视频帧的初始集合F，初始化帧间差分采样集合F1，初始化背景差分采样集合F2；

步骤S12、获取帧间差分采样阈值H1，背景差分阈值H2，采用二值化的决策公式处理待采样视频帧初始集合F中的视频帧，将超出阈值的记为“1”，将≤阈值的帧记为“0”，将标记为“1”的帧添加到帧间差分采样集合F1或背景差分采样集合F2中；

步骤S13、得到最终的采样集，取帧间差分采样集F1和背景差分采样集F2的并集，得到采样集合F´。

在一个优选地实施方式中，步骤S04中，所述适用算法的测试数据选取方式为比对视频摘要和数据库中的算法训练集，寻找最优处理算法，包括下列步骤：

步骤S21、数据存储：得到所有视频服务可用算法模型集合S与算法模型集合S对应的训练视频集合X，以及采集处理性能表现得分集合B；

步骤S22、数据对比：将采样集合F´中的子集与训练视频集合X进行相似度比较，采用的方式为：将训练视频和待检测视频投影到Grassmann流形上，得到训练视频和待检测视频的在Grassmann流形上面的分布相似度高；

步骤S23、处理算法的选择：根据训练视频和待检测视频间的相似度选择处理算法，若每个子集的检测算法超过一种，选择占用边缘计算资源少，同时满足精确度需求的算法，将每个子集对应的检测算法放入该视频的待使用算法集合S´。

在一个优选地实施方式中，步骤S04中所述数据预处理方式为数据增强、数据标识，所述数据增强方式为翻转、按比例缩放、随机裁剪、移位以及添加高斯噪声，Mixup中的一种或多种。

在一个优选地实施方式中，步骤S05中所述视频服务方法包括方向梯度直方图算法、聚合通道特征算法、可变形部件模型算法中的一种或多种。

为实现上述目的，本发明提供如下技术方案：基于边缘计算的视频服务方法的***，所述***包括网络摄像机模块、任务管理模块、算法选择模块、数据预处理模块、分析处理模块，所述网络摄像机模块用于采集实时视频，并将采集的不同质量视频传输至任务管理模块，在需要监控的区域范围内安装若干网络摄像机，区域内网络摄像机同时响应一个网络摄像机中得到的分析结果；所述任务管理模块用于管理收到的视频流，根据视频质量和用户需求分配边缘计算资源和存储资源；所述算法选择模块用于通过分析视频摘要将待分析视频与数据库中训练视频进行对比，选择适应算法；所述数据预处理模块包括数据增强单元和数据标识单元；所述分析处理模块用于分析视频流，得到分析结果，并将结果反馈至区域内网络摄像机管理单元，根据结果管理网络摄像机的摄像模式。

在一个优选地实施方式中，所述网络摄像机模块包括摄像机控制单元、摄像机拓扑分析单元、视频摘要提取单元，所述摄像机控制单元用于接收结果反馈单元传输的数据，并根据数据采取应对策略控制网络摄像机的视频质量，所述摄像机拓扑分析单元用于得到网络摄像机在区域内的分布情况，所述视频摘要提取单元用于从视频数据中提取图像帧，并将视频数据和图像帧传输至任务管理模块，通过视频摘要提取单元得到采样集合F´。

在一个优选地实施方式中，所述任务管理模块包括迟延时间采集单元、视频质量分析单元、任务分配单元，所述迟延时间采集单元用于采集任务的迟延时间，视频质量分析单元用于判断视频质量，并分析视频质量与精度要求之间的匹配度，所述任务分配单元用于将边缘计算无法处理的任务传输至云计算***，包括下列步骤：

步骤S31、边缘云得到视频服务请求集合后，根据延迟需求和视频质量将服务请求集合按照顺序排列，取第一位的请求任务q, 预测完成任务q需要的边缘计算资源Cq；

步骤S32、比较当前剩余边缘云剩余资源C´和Cq的大小，若满足则将边缘计算的计算资源分配给任务q，若当前剩余边缘云剩余资源小于预测完成任务q需要的边缘计算资源时将任务q传输至云服务器中进行计算；

步骤S33、更新当前剩余边缘云剩余资源和任务集合，重复步骤S31、步骤S32，直到所有任务分配完毕。

在一个优选地实施方式中，所述算法选择模块包括数据存储单元、对比单元和算法模型调用单元，所述数据存储单元用于存储视频服务所需的所有算法模型和对应的训练视频，所述对比单元用于对比待测视频与训练视频的相似度，根据相似度选择算法，所述算法模型调用单元用于从云服务器中将算法调用出来检测待测视频。

在一个优选地实施方式中，所述***将云计算和边缘计算连接，包括云服务器端、边缘计算端和视频采集端，云服务器端用于存储算法模型和训练集，并分析待检测视频摘要与训练集的相似性，在云服务器中进行最优算法的选择；边缘计算服务器针对不同场景，从云服务器中得到对应的算法模型，并将算法模型部署在边缘开发板上进行视频数据的计算和存储。

本发明的技术效果和优点：

本发明具体采用任务管理合理分配计算资源，为不同类型视频选择对应的算法，将得到的结果传输至网络摄像机模块，当一个网络摄像机中出现目标、异常，区域内其他网络摄像机采取反应，降低或提高视频质量。

附图说明

图1为本发明基于边缘计算的视频服务方法流程图。

图2为本发明基于边缘计算的视频服务***结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请使用的“模块”、“***”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。

实施例1

本实施例提供了如图1所示基于边缘计算的视频服务方法，包括下列步骤：

步骤S01、网络摄像机的管理：在区域内安装网络摄像机进行监控，建立网络摄像机拓扑图和监控区域中网络摄像机分布图，网络摄像机采集实时视频数据，并传输至边缘计算服务器中；

步骤S02、任务管理：将步骤S01传输的视频数据视为任务请求，判断边缘云计算能否满足延迟需求，将不能满足延迟需求的任务传输至云计算***中，将能满足延迟需求的任务传输至下一步骤；

步骤S03、算法选择：边缘计算服务器在接收服务请求后，先通过差分采样从视频数据中获得采样集合F´，将待测图片帧按照时间顺序排列；然后将采样集合按照环境变化时间节点划分为n个采样子集F1´、F2´、F3´…Fn´；选择每个采样子集的适用算法，得到采样集合F´对应的算法集合S´；

步骤S04、模型调用与数据预处理：先从数据库中调用需要的算法模型，根据算法模型的种类采用不同的方式处理待检测数据，包括使用特征增强和标识单元处理采样集合F´，得到适用算法的测试数据；

步骤S05、视频服务：利用算法进行视频服务，所述视频服务包括目标识别、异常检测，得到视频服务结果；

步骤S06、结果反馈：设置网络摄像机响应模式，当一个网络摄像机中出现目标或出现异常，区域内其他网络摄像机更新摄像模式，实现对目标的动态监测。

进一步的，步骤S023中，所述采样集合F´的获取方式为采用帧间差分和背景差分联合采样方式从视频流中提取图片帧，包括下列步骤：

步骤S11、获取待采样的视频帧的初始集合F，初始化帧间差分采样集合F1，初始化背景差分采样集合F2；

步骤S12、获取帧间差分采样阈值H1，背景差分阈值H2，采用二值化的决策公式处理待采样视频帧初始集合F中的视频帧，将超出阈值的记为“1”，将≤阈值的帧记为“0”，将标记为“1”的帧添加帧间差分采样集合F1或背景差分采样集合F2中；

步骤S13、得到最终的采样集，取帧间差分采样集F1和背景差分采样集F2的并集，得到采样集合F´。

进一步的，步骤S04中，所述适用算法的测试数据选取方式为比对视频摘要和数据库中的算法训练集，寻找最优处理算法，包括下列步骤：

步骤S21、数据存储：得到所有视频服务可用算法模型集合S与算法模型集合S对应的训练视频集合X，以及采集处理性能表现得分集合B；

步骤S22、数据对比：将采样集合F´中的子集与训练视频集合X进行相似度比较，采用的方式为：将训练视频和待检测视频投影到Grassmann流形上，得到训练视频和待检测视频的在Grassmann流形上面的分布相似度高；

步骤S23、处理算法的选择：根据训练视频和待检测视频间的相似度选择处理算法，若每个子集的检测算法超过一种，选择占用边缘计算资源少，同时满足精确度需求的算法，将每个子集对应的检测算法放入该视频的待使用算法集合S´。

进一步的，步骤S04中所述数据预处理方式为数据增强、数据标识，所述数据增强方式为翻转、按比例缩放、随机裁 剪、移位以及添加高斯噪声，Mixup中的一种或多种。

进一步的，步骤S05中所述视频服务方法包括方向梯度直方图算法、聚合通道特征算法、可变形部件模型算法中的一种或多种。

为实现上述目的，如图2所示本发明提供如下技术方案：基于边缘计算的视频服务***，所述***包括网络摄像机模块、任务管理模块、算法选择模块、数据预处理模块、分析处理模块，所述网络摄像机模块用于采集实时视频，并将采集的不同质量视频传输至任务管理模块，在需要监控的区域范围内安装若干网络摄像机，区域内网络摄像机同时响应一个网络摄像机中得到的分析结果；所述任务管理模块用于管理收到的视频流，根据视频质量和用户需求分配边缘计算资源和存储资源；所述算法选择模块用于通过分析视频摘要将待分析视频与数据库中训练视频进行对比，选择适应算法；所述数据预处理模块包括数据增强单元和数据标识单元；所述分析处理模块用于分析视频流，得到分析结果，并将结果反馈至区域内网络摄像机管理单元，根据结果管理网络摄像机的摄像模式。

进一步的，所述网络摄像机模块包括摄像机控制单元、摄像机拓扑分析单元、视频摘要提取单元，所述摄像机控制单元用于接收结果反馈单元传输的数据，并根据数据采取应对策略控制网络摄像机的视频质量，所述摄像机拓扑分析单元用于得到网络摄像机在区域内的分布情况，所述视频摘要提取单元用于从视频数据中提取图像帧，并将视频数据和图像帧传输至任务管理模块，通过视频摘要提取单元得到采样集合F´。

进一步的，所述任务管理模块包括迟延时间采集单元、视频质量分析单元、任务分配单元，所述迟延时间采集单元用于采集任务的迟延时间，视频质量分析单元用于判断视频质量，并分析视频质量与精度要求之间的匹配度，所述任务分配单元用于将边缘计算无法处理的任务传输至云计算***，包括下列步骤：

步骤S31、边缘云得到视频服务请求集合后，根据延迟需求和视频质量将服务请求集合按照顺序排列，取第一位的请求任务q, 预测完成任务q需要的边缘计算资源Cq；

步骤S32、比较当前剩余边缘云剩余资源C´和Cq的大小，若满足则将边缘计算的计算资源分配给任务q，若当前剩余边缘云剩余资源小于预测完成任务q需要的边缘计算资源时将任务q传输至云服务器中进行计算；

步骤S33、更新当前剩余边缘云剩余资源和任务集合，重复步骤S31、步骤S32，直到所有任务分配完毕。

进一步的，所述算法选择模块包括数据存储单元、对比单元和算法模型调用单元，所述数据存储单元用于存储视频服务所需的所有算法模型和对应的训练视频，所述对比单元用于对比待测视频与训练视频的相似度，根据相似度选择算法，所述算法模型调用单元用于从云服务器中将算法调用出来检测待测视频。

进一步的，所述***将云计算和边缘计算连接，包括云服务器端、边缘计算端和视频采集端，云服务器端用于存储算法模型和训练集，并分析待检测视频摘要与训练集的相似性，在云服务器中进行最优算法的选择；边缘计算服务器针对不同场景，从云服务器中得到对应的算法模型，并将算法模型部署在边缘开发板上进行视频数据的计算和存储。

综上所述：通过任务管理模块建立边缘计算的计算资源分配模型，保证视频服务的最大利用率，通过算法选择模块选择最优算法，提高视频服务质量，通过网络摄像机模块实现对区域内网络摄像机的智能控制，以解决在以下问题现有***及方法无法根据视频质量和用户需求合理分配计算资源，没有根据不同的视频选择适应的算法，缺少对网络摄像机的智能管理，区域内的网络摄像机缺少关联的问题。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的护范围之内。

Claims (9)

1.基于边缘计算的视频服务方法，其特征在于：包括下列步骤：

步骤S01、网络摄像机的管理：在区域内安装网络摄像机进行监控，建立网络摄像机拓扑图和监控区域中网络摄像机分布图，网络摄像机采集实时视频数据，并传输至边缘计算服务器中；

步骤S02、任务管理：将步骤S01传输的视频数据视为任务请求，判断边缘云计算能否满足延迟需求，将不能满足延迟需求的任务传输至云计算***中，将能满足延迟需求的任务传输至下一步骤；

步骤S03、算法选择：边缘计算服务器在接收服务请求后，先通过差分采样从视频数据中获得采样集合F´，将待测图片帧按照时间顺序排列；然后将采样集合按照环境变化时间节点划分为n个采样子集F1´、F2´、F3´…Fn´，选择每个采样子集的适用算法，得到采样集合F´对应的算法集合S´；

步骤S04、模型调用与数据预处理：先从数据库中调用需要的算法模型，根据算法模型的种类采用不同的方式处理待检测数据，包括使用特征增强和标识单元处理采样集合F´，得到适用算法的测试数据；

步骤S05、视频服务：利用算法进行视频服务，所述视频服务包括目标识别、异常检测，得到视频服务结果；

步骤S06、结果反馈：设置网络摄像机响应模式，当一个网络摄像机中出现目标或出现异常，区域内其他网络摄像机更新摄像模式，实现对目标的动态监测。

2.根据权利要求1所述的基于边缘计算的视频服务方法，其特征在于：步骤S03中，所述采样集合F´的获取方式为采用帧间差分和背景差分联合采样方式从视频流中提取图片帧，包括下列步骤：

步骤S11、获取待采样的视频帧的初始集合F，初始化帧间差分采样集合F1，初始化背景差分采样集合F2；

步骤S12、获取帧间差分采样阈值H1，背景差分阈值H2，采用二值化的决策公式处理待采样视频帧初始集合F中的视频帧，将超出阈值的记为“1”，将≤阈值的帧记为“0”，将标记为“1”的帧添加到帧间差分采样集合F1或背景差分采样集合F2中；

步骤S13、得到最终的采样集，取帧间差分采样集F1和背景差分采样集F2的并集，得到采样集合F´。

3.根据权利要求1所述的基于边缘计算的视频服务方法，其特征在于：步骤S04中，所述适用算法的测试数据选取方式为比对视频摘要和数据库中的算法训练集，寻找最优处理算法，包括下列步骤：

步骤S21、数据存储：得到所有视频服务可用算法模型集合S与算法模型集合S对应的训练视频集合X，以及采集处理性能表现得分集合B；

步骤S22、数据对比：将采样集合F´中的子集与训练视频集合X进行相似度比较，采用的方式为：将训练视频和待检测视频投影到Grassmann流形上，得到训练视频和待检测视频的在Grassmann流形上面的分布相似度；

步骤S23、处理算法的选择：根据训练视频和待检测视频间的相似度选择处理算法，若每个子集的检测算法超过一种，选择占用边缘计算资源少，同时满足精确度需求的算法，将每个子集对应的检测算法放入该视频的待使用算法集合S´。

4.根据权利要求1所述的基于边缘计算的视频服务方法，其特征在于：步骤S05中所述视频服务方法包括方向梯度直方图算法、聚合通道特征算法、可变形部件模型算法中的一种或多种。

5.一种用于实施上述权利要求1-4任一所述的基于边缘计算的视频服务***，其特征在于：所述***包括网络摄像机模块、任务管理模块、算法选择模块、数据预处理模块、分析处理模块，所述网络摄像机模块用于采集实时视频，并将采集的不同质量视频传输至任务管理模块，在需要监控的区域范围内安装若干网络摄像机，区域内网络摄像机同时响应一个网络摄像机中得到的分析结果；所述任务管理模块用于管理收到的视频流，根据视频质量和用户需求分配边缘计算资源和存储资源；所述算法选择模块用于通过分析视频摘要将待分析视频与数据库中训练视频进行对比，选择适应算法；所述数据预处理模块包括数据增强单元和数据标识单元；所述分析处理模块用于分析视频流，得到分析结果，并将结果反馈至区域内网络摄像机管理单元，根据结果管理网络摄像机的摄像模式。

6.根据权利要求5所述的***，其特征在于：所述网络摄像机模块包括摄像机控制单元、摄像机拓扑分析单元、视频摘要提取单元，所述摄像机控制单元用于接收结果反馈单元传输的数据，并根据数据采取应对策略控制网络摄像机的视频质量，所述摄像机拓扑分析单元用于得到网络摄像机在区域内的分布情况，所述视频摘要提取单元用于从视频数据中提取图像帧，并将视频数据和图像帧传输至任务管理模块。

7.根据权利要求5所述的***，其特征在于：所述任务管理模块包括迟延时间采集单元、视频质量分析单元、任务分配单元，所述迟延时间采集单元用于采集任务的迟延时间，视频质量分析单元用于判断视频质量，并分析视频质量与精度要求之间的匹配度，所述任务分配单元用于将边缘计算无法处理的任务传输至云计算***，包括下列步骤：

步骤S31、边缘云得到视频服务请求集合后，根据延迟需求和视频质量将服务请求集合按照顺序排列，取第一位的请求任务q, 预测完成任务q需要的边缘计算资源Cq；

步骤S32、比较当前剩余边缘云剩余资源C´和Cq的大小，若满足则将边缘计算的计算资源分配给任务q，若当前剩余边缘云剩余资源小于预测完成任务q需要的边缘计算资源时将任务q传输至云服务器中进行计算；

步骤S33、更新当前剩余边缘云剩余资源和任务集合，重复步骤S31、步骤S32，直到所有任务分配完毕。

8.根据权利要求5所述的***，其特征在于：所述算法选择模块包括数据存储单元、对比单元和算法模型调用单元，所述数据存储单元用于存储视频服务所需的所有算法模型和对应的训练视频，所述对比单元用于对比待测视频与训练视频的相似度，根据相似度选择算法，所述算法模型调用单元用于从云服务器中将算法调用出来检测待测视频。

9.根据权利要求5所述的***，其特征在于：所述***将云计算和边缘计算连接，包括云服务器端、边缘计算端和视频采集端，云服务器端用于存储算法模型和训练集，并分析待检测视频摘要与训练集的相似性，在云服务器中进行最优算法的选择；边缘计算服务器针对不同场景，从云服务器中得到对应的算法模型，并将算法模型部署在边缘开发板上进行视频数据的计算和存储。

Images