CN114154018B - 一种面向无人***的云边协同视频流处理方法及*** - Google Patents

一种面向无人***的云边协同视频流处理方法及*** Download PDF

Info

Publication number
CN114154018B
CN114154018B CN202210117381.6A CN202210117381A CN114154018B CN 114154018 B CN114154018 B CN 114154018B CN 202210117381 A CN202210117381 A CN 202210117381A CN 114154018 B CN114154018 B CN 114154018B
Authority
CN
China
Prior art keywords
cloud
picture
edge
identification
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210117381.6A
Other languages
English (en)
Other versions
CN114154018A (zh
Inventor
郭锐
陈忠
施晓东
徐俊瑜
马驰
李磊
姚传明
王超
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202210117381.6A priority Critical patent/CN114154018B/zh
Publication of CN114154018A publication Critical patent/CN114154018A/zh
Application granted granted Critical
Publication of CN114154018B publication Critical patent/CN114154018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向无人***的云边协同视频流处理方法及***。所述方法包括：末端无人值守平台对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；边缘端设备对图片识别请求进行响应，将图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；边缘端设备从本地识别队列中取出待识别图片进行识别处理；根据本地图片识别得到的置信度，将置信度大于等于指定阈值的识别结果作为正确的识别结果保存；边缘端设备根据本地识别结果和云端识别结果给出最终的图片识别结果。本发明通过云边协同处理，能够提升无人值守***在复杂环境下的视频信息处理效能。

Description

一种面向无人***的云边协同视频流处理方法及***
技术领域
本发明涉及无人***视频流处理，更具体地涉及一种面向无人***的云边协同视频流处理方法及***。
背景技术
无人值守***通过视频监控录像设备采集视频流进行实时分析与目标检测。现有无人***大多是将从末端无人值守平台采集到的视频流发送至云端进行处理。但若所有影像数据在云端执行，会对传输网络造成巨大开销；若将所有检测任务放在边缘端执行，又需要边缘端设备具备较好的计算存储硬件配置，且依赖持续稳定的保障，难以适用于边缘端复杂多变的环境。因此，单一的云端处理或单一的边缘端处理都是不现实的，这就需要将云计算和边缘计算技术相结合，构建云边协同的视频流处理***，提高无人值守***在复杂环境下的视频信息处理效能。
发明内容
发明目的：为解决上述技术问题，本发明提出一种面向无人***的云边协同视频流处理方法及***，利用边缘端的低时延性和云端的资源充足性，通过云边协同的方式优化无人***的视频流处理能力。
技术方案：一种面向无人***的云边协同视频流处理方法，包括以下步骤：
末端无人值守平台对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送至指定边缘端设备进行处理；
边缘端设备对图片识别请求进行响应，将图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；
边缘端设备对本地识别队列中的图片数据进行识别处理；
边缘端设备根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure DEST_PATH_IMAGE002
的识别结果作为正确的识别结果保存；
边缘端设备判断是否接收到云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备向人机交互界面返回本地识别结果；
若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。
其中，所述预先设定的分配策略包括：根据本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的边缘端设备进行图片的处理：
Figure DEST_PATH_IMAGE004
其中d表示选定的边缘端设备，N表示边缘端设备总数，
Figure DEST_PATH_IMAGE006
表示第i个边缘端设备中等待检测识别的图片数量，
Figure DEST_PATH_IMAGE008
表示第
Figure DEST_PATH_IMAGE010
个边缘端设备识别一张图片的平均时间。
所述指定阈值
Figure 852749DEST_PATH_IMAGE002
根据测试集识别结果得到，其取值如下：
Figure DEST_PATH_IMAGE012
其中M为测试集中需要检测出的物体的图片数量，
Figure DEST_PATH_IMAGE014
为测试集中正确识别出的图片数量。
进一步地，根据云端识别的时长和提升的准确率进行综合判定打分，公式如下：
Figure DEST_PATH_IMAGE016
Figure DEST_PATH_IMAGE018
表示提升的准确率，通过测试集获得云端模型的准确率和边缘端的准确率，二者作差即为
Figure 94856DEST_PATH_IMAGE018
的值；
Figure DEST_PATH_IMAGE020
表示从发送图片到云端返回结果经过的时间，
Figure DEST_PATH_IMAGE022
表示边缘端到云端的平均时延。
一种面向无人***的云边协同视频流处理***，包括：
末端无人值守平台，用于对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；
边缘端设备，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；并基于本地识别结果和云端识别结果确定对图片的最终识别结果；
云端，用于识别边缘端设备上送的图片并向边缘端设备返回识别结果；
其中边缘端设备基于本地识别结果和云端识别结果确定对图片的最终识别结果包括：
边缘端设备对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 733648DEST_PATH_IMAGE002
的识别结果作为正确的识别结果保存；
边缘端设备判断是否云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备返回本地识别结果；
若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。
一种面向无人***的视频流处理设备，包括：
数据获取模块，用于从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；
数据队列模块，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；
本地图片识别模块，用于对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 706021DEST_PATH_IMAGE002
的识别结果作为正确的识别结果保存；
云边综合分析决策模块，用于判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现以下步骤：
从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；
对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；
对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 51551DEST_PATH_IMAGE002
的识别结果作为正确的识别结果保存；
判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
有益效果：本发明通过将边缘端从视频流中切割出来的每帧图片，发送给一个预计等待时间最小的边缘端设备进行图片的处理，边缘端设备收到图片后同样也会发送一份给云端设备，边缘端与云端同时处理，云端未处理则取边缘端的识别结果，云端有返回结果则根据时延和提升精度来打分来综合判定，该方法通过云边协同处理，能够结合边缘端的低时延性和云端的资源充足性，提升无人***视频流处理的效能。
附图说明
图1是根据本发明实施例的面向无人***的云边协同视频流处理方法流程图；
图2是根据本发明实施例的目标检测过程示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明提供了一种面向无人***的协同视频流处理方法及***，视频流处理***包括无人值守平台（即无人***）、边缘端设备和云端。云端指的是云端服务器或提供云计算服务的任何平台或基础设施。基于该***的视频流处理方法包括：首先，无人值守平台采集到视频流后将视频中的图片发送给边缘端设备，然后边缘端设备与云端设备协同处理，若有云端返回得到图片处理结果，则根据时延和精度提升率综合判定打分，决定是否要使用云端的识别结果，若云端无返回结果则取边缘端的图片处理结果。参照图1，具体包括如下步骤：
（1）数据分发：
末端无人值守平台将采集到的视频流进行切割，将切割好的每一帧图片发送到边缘端设备。假设有
Figure DEST_PATH_IMAGE024
个边缘端设备，每个边缘端设备
Figure 421484DEST_PATH_IMAGE010
都维护着一个队列，队列中有
Figure 485255DEST_PATH_IMAGE006
张图片等待检测识别。
Figure 998669DEST_PATH_IMAGE008
表示第
Figure 198706DEST_PATH_IMAGE010
个边缘端设备识别一张图片的平均时间，通过在模型训练过程中，对大样本数的同类型图片的识别时间求平均值获得。具体发送的边缘端设备通过实时任务分配来决定。边缘端通过实时任务分配***决定通过哪个靠近的设备来处理当前的图片。实时任务分配***会选择一个预计等待时间最小的边缘端设备进行图片的处理。即：
Figure DEST_PATH_IMAGE004A
每个边缘设备通过定时数据同步，获取临近边缘设备的
Figure DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE028
值，并存储在本地小型数据库SQLite中，能够根据
Figure 441338DEST_PATH_IMAGE026
和
Figure 461246DEST_PATH_IMAGE028
值的动态变化，触发分发策略的改变。
（2） 云边协同图像处理：
（2-1）对于边缘端设备
Figure 994996DEST_PATH_IMAGE010
，每当收到一张图片识别请求时，随即加入至云端发送队列
Figure DEST_PATH_IMAGE030
中等待发送至云端，并将待识别图片加入本地识别队列
Figure DEST_PATH_IMAGE032
中等待识别。
（2-2）每当边缘端设备
Figure 128168DEST_PATH_IMAGE010
识别完一张图片时，从本地队列
Figure 89171DEST_PATH_IMAGE032
中取出下一张图片进行本地识别处理。边缘端设备的识别模型如下：首先采用 Yolov3 用于检测视频流中的常见对象，其次采用 ResNet-152 或 MobileNet用于对检测到的对象进行更精确和特定的分类并标记它们。图2为目标检测的过程图。
（2-3）边缘端设备
Figure 842713DEST_PATH_IMAGE010
识别完一张图片时，得到一个置信度
Figure DEST_PATH_IMAGE034
，当
Figure DEST_PATH_IMAGE036
时，可以认为该图片没有识别到目标，返回无识别目标的结果。即只有置信度大于等于指定阈值
Figure 993203DEST_PATH_IMAGE002
的识别结果被保存，小于
Figure 902253DEST_PATH_IMAGE002
的识别结果均舍去。
Figure 34157DEST_PATH_IMAGE002
的取值使整个边缘端准确率最高。设测试集中有
Figure DEST_PATH_IMAGE038
个需要检测出的物体的图片，在
Figure DEST_PATH_IMAGE040
的结果中，有
Figure 136980DEST_PATH_IMAGE014
张是正确的，
Figure 746953DEST_PATH_IMAGE002
的取值如下：
Figure DEST_PATH_IMAGE012A
（2-4）云端设备识别图片时，云端识别模型如下：首先采用 Yolov3 用于检测视频流中的常见对象，其次采用 ResNet-152 或 MobileNet用于对检测到的对象进行更精确和特定的分类并标记它们。图2为目标检测的过程图。云端设备将检测结果返回至边缘端设备
Figure 169232DEST_PATH_IMAGE010
。
（2-5）若边缘端设备
Figure 206458DEST_PATH_IMAGE010
完成本地识别的同时，也收到了云端的识别结果，根据云端与边缘端分别识别的时间大小和准确率进行综合判定打分，得分细节如下：
Figure DEST_PATH_IMAGE016A
其中
Figure 94780DEST_PATH_IMAGE018
表示提升的准确率，通过测试集获得云端模型的准确率和边缘端的准确率，然后作差即为
Figure 242864DEST_PATH_IMAGE018
的值。
Figure 641353DEST_PATH_IMAGE020
表示从发送图片到云端返回结果经过的时间，
Figure 115060DEST_PATH_IMAGE022
表示边缘端到云端的平均时延。这里
Figure DEST_PATH_IMAGE042
表示云端处理时延与端到端时延的比重，由于
Figure 897202DEST_PATH_IMAGE022
表示边缘端到云端的单向平均时延，
Figure 848978DEST_PATH_IMAGE020
表示从发送图片到云端返回结果经过的时间，是双向的，因此
Figure 118285DEST_PATH_IMAGE022
要乘以2倍来与
Figure 274810DEST_PATH_IMAGE020
进行比较。
（2-6）当score大于等于阈值s时，判定云端识别结果优于边缘端识别结果，此时边缘端设备向人机交互界面返回云端识别结果；否则判定边缘端识别结果优于云端识别结果，边缘端设备向人机交互界面返回本地识别结果。在本发明的实施方式中，阈值s取值为0.6。
若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。
（3）输出结果：
识别完成后，将识别好的结果返回给用户，并且将结果存储在云端数据库中。
本发明还提供一种面向无人***的视频流处理设备，该视频流处理设备对应于上述视频流处理***中的边缘端设备，设备包括：
数据获取模块，用于从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；
数据队列模块，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；
本地图片识别模块，用于对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 731199DEST_PATH_IMAGE002
的识别结果作为正确的识别结果保存；
云边综合分析决策模块，用于判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
其中，数据获取模块根据预先设定的分配策略得到每一帧待处理图片，其分配策略如下：视频流处理设备互相之间定时同步自身的数据队列长度和对一张图片的平均处理时间，各视频流处理设备根据本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的设备进行图片处理：
Figure DEST_PATH_IMAGE004AA
其中d表示选定的视频流处理设备，N表示视频流处理设备总数，
Figure 142458DEST_PATH_IMAGE006
表示第i个视频流处理设备中等待检测识别的图片数量，
Figure 735113DEST_PATH_IMAGE008
表示第
Figure 550623DEST_PATH_IMAGE010
个视频流处理设备识别一张图片的平均时间。
本地图片识别模块的识别模型如下：首先采用 Yolov3 用于检测视频流中的常见对象，其次采用 ResNet-152 或 MobileNet用于对检测到的对象进行更精确和特定的分类并标记它们。
本地图片识别模块使用的指定阈值
Figure 494308DEST_PATH_IMAGE002
根据测试集识别结果得到，其取值如下：
Figure DEST_PATH_IMAGE012AA
其中M为测试集中需要检测出的物体的图片数量，
Figure 587553DEST_PATH_IMAGE014
为测试集中正确识别出的图片数量。
云边综合分析决策模块根据云端与本地分别识别的时间大小和准确率进行综合判定打分，公式如下：
Figure DEST_PATH_IMAGE016AA
其中
Figure 205354DEST_PATH_IMAGE018
表示提升的准确率，通过云端的准确率和本地的准确率作差得到；
Figure 676918DEST_PATH_IMAGE020
表示从发送图片到云端返回结果经过的时间，
Figure 170216DEST_PATH_IMAGE022
表示从视频流处理设备到云端的平均时延。
本发明还提供一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现以下步骤：
从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；
对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；
对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 68419DEST_PATH_IMAGE002
的识别结果作为正确的识别结果保存；
判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
其中，上述处理器执行的步骤和面向无人***的视频流处理设备的各功能模块实现的功能是一一相对应的，各步骤中涉及的具体计算方法可参照前述视频流处理设备的相应描述，此处不再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种面向无人***的云边协同视频流处理方法，其特征在于，包括以下步骤：
末端无人值守平台对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；
边缘端设备对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列等待本地识别；
边缘端设备对本地识别队列中的图片数据进行识别处理；
边缘端设备根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 165552DEST_PATH_IMAGE001
的识别结果作为正确的识别结果保存；
边缘端设备判断是否接收到云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，公式如下：
Figure 487425DEST_PATH_IMAGE002
，其中
Figure 794909DEST_PATH_IMAGE003
表示提升的准确率，通过云端的准确率和边缘端的准确率作差得到；
Figure 623188DEST_PATH_IMAGE004
表示从发送图片到云端返回结果经过的时间，
Figure 623505DEST_PATH_IMAGE005
表示边缘端到云端的平均时延；当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备返回本地识别结果；
若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。
2.根据权利要求1所述的面向无人***的云边协同视频流处理方法，其特征在于，所述预先设定的分配策略包括：根据各边缘端设备本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的边缘端设备进行图片的处理：
Figure 170024DEST_PATH_IMAGE006
其中d表示选定的边缘端设备，N表示边缘端设备总数，
Figure DEST_PATH_IMAGE007
表示第i个边缘端设备中等待检测识别的图片数量，
Figure 218883DEST_PATH_IMAGE008
表示第
Figure 167247DEST_PATH_IMAGE009
个边缘端设备识别一张图片的平均时间。
3.根据权利要求1所述的面向无人***的云边协同视频流处理方法，其特征在于，所述指定阈值
Figure 72886DEST_PATH_IMAGE001
根据测试集识别结果得到，其取值如下：
Figure 103772DEST_PATH_IMAGE010
其中M为测试集中需要检测出的物体的图片数量，
Figure DEST_PATH_IMAGE011
为测试集中正确识别出的图片数量。
4.根据权利要求1所述的面向无人***的云边协同视频流处理方法，其特征在于，边缘端设备的本地识别模型采用Yolov3进行初次检测，再采用ResNet-152或MobileNet对初次检测到的对象进行二次检测和标记。
5.一种面向无人***的云边协同视频流处理***，其特征在于，包括：
末端无人值守平台，用于对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；
边缘端设备，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；并基于本地识别结果和云端识别结果确定对图片的最终识别结果；
云端，用于识别边缘端设备上送的图片并向边缘端设备返回识别结果；
其中边缘端设备基于本地识别结果和云端识别结果确定对图片的最终识别结果包括：
边缘端设备对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 956321DEST_PATH_IMAGE001
的识别结果作为正确的识别结果保存；
边缘端设备判断是否接收到云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，公式如下：
Figure 759192DEST_PATH_IMAGE002
，其中
Figure 835732DEST_PATH_IMAGE003
表示提升的准确率，通过云端的准确率和边缘端的准确率作差得到；
Figure 356844DEST_PATH_IMAGE004
表示从发送图片到云端返回结果经过的时间，
Figure 544242DEST_PATH_IMAGE005
表示边缘端到云端的平均时延；当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备返回本地识别结果；
若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。
6.根据权利要求5所述的面向无人***的云边协同视频流处理***，其特征在于，预先设定的分配策略包括：根据各边缘端设备本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的边缘端设备进行图片处理：
Figure 467199DEST_PATH_IMAGE006
其中d表示选定的边缘端设备，N表示边缘端设备总数，
Figure 711711DEST_PATH_IMAGE007
表示第i个边缘端设备中等待检测识别的图片数量，
Figure 720118DEST_PATH_IMAGE008
表示第
Figure 976787DEST_PATH_IMAGE009
个边缘端设备识别一张图片的平均时间。
7.根据权利要求5所述的面向无人***的云边协同视频流处理***，其特征在于，所述指定阈值
Figure 754250DEST_PATH_IMAGE001
根据测试集识别结果得到，其取值如下：
Figure 172593DEST_PATH_IMAGE010
其中M为测试集中需要检测出的物体的图片数量，
Figure 402718DEST_PATH_IMAGE011
为测试集中正确识别出的图片数量。
8.一种面向无人***的视频流处理设备，其特征在于，包括：
数据获取模块，用于从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是末端无人值守平台根据预先设定的分配策略分发的；
数据队列模块，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；
本地图片识别模块，用于对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 197498DEST_PATH_IMAGE001
的识别结果作为正确的识别结果保存；
云边综合分析决策模块，用于判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，公式如下：
Figure 829468DEST_PATH_IMAGE002
，其中
Figure 681362DEST_PATH_IMAGE003
表示提升的准确率，通过云端的准确率和边缘端的准确率作差得到；
Figure 664361DEST_PATH_IMAGE004
表示从发送图片到云端返回结果经过的时间，
Figure 997254DEST_PATH_IMAGE005
表示边缘端到云端的平均时延；当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现以下步骤：
从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是末端无人值守平台根据预先设定的分配策略分发的；
对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；
对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值
Figure 483730DEST_PATH_IMAGE001
的识别结果作为正确的识别结果保存；
判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，公式如下：
Figure 509455DEST_PATH_IMAGE012
，其中
Figure 979750DEST_PATH_IMAGE003
表示提升的准确率，通过云端的准确率和边缘端的准确率作差得到；
Figure 116333DEST_PATH_IMAGE004
表示从发送图片到云端返回结果经过的时间，
Figure 457316DEST_PATH_IMAGE005
表示边缘端到云端的平均时延；当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
CN202210117381.6A 2022-02-08 2022-02-08 一种面向无人***的云边协同视频流处理方法及*** Active CN114154018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210117381.6A CN114154018B (zh) 2022-02-08 2022-02-08 一种面向无人***的云边协同视频流处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210117381.6A CN114154018B (zh) 2022-02-08 2022-02-08 一种面向无人***的云边协同视频流处理方法及***

Publications (2)

Publication Number Publication Date
CN114154018A CN114154018A (zh) 2022-03-08
CN114154018B true CN114154018B (zh) 2022-05-10

Family

ID=80450257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210117381.6A Active CN114154018B (zh) 2022-02-08 2022-02-08 一种面向无人***的云边协同视频流处理方法及***

Country Status (1)

Country Link
CN (1) CN114154018B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116366649B (zh) * 2023-06-01 2023-09-05 中电云脑(天津)科技有限公司 一种边云协同的脑电数据任务调度方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145816A (zh) * 2017-02-24 2017-09-08 北京悉见科技有限公司 对象识别跟踪方法及装置
CN109872406A (zh) * 2019-01-23 2019-06-11 北京影谱科技股份有限公司 一种渐进式的判断更新方法、装置和人脸打卡***
CN111400047A (zh) * 2020-03-18 2020-07-10 青岛牛利智能科技有限公司 通过云边协同从监控视频流中进行人脸检测和识别的方法
CN111698470A (zh) * 2020-06-03 2020-09-22 河南省民盛安防服务有限公司 一种基于云边协同计算的安防视频监控***及其实现方法
CN111787280A (zh) * 2020-06-30 2020-10-16 清华大学 基于边缘计算的视频实时目标追踪方法及装置
CN111885375A (zh) * 2020-07-15 2020-11-03 中国工商银行股份有限公司 双录视频的检验方法、装置、服务器及***
CN112241719A (zh) * 2020-10-23 2021-01-19 杭州卷积云科技有限公司 基于边云卷积神经网络级联的监控视频目标实时查询方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9728008B2 (en) * 2012-12-10 2017-08-08 Nant Holdings Ip, Llc Interaction analysis systems and methods
CN111368824B (zh) * 2020-02-24 2022-09-23 河海大学常州校区 一种仪表识别方法、移动设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145816A (zh) * 2017-02-24 2017-09-08 北京悉见科技有限公司 对象识别跟踪方法及装置
CN109872406A (zh) * 2019-01-23 2019-06-11 北京影谱科技股份有限公司 一种渐进式的判断更新方法、装置和人脸打卡***
CN111400047A (zh) * 2020-03-18 2020-07-10 青岛牛利智能科技有限公司 通过云边协同从监控视频流中进行人脸检测和识别的方法
CN111698470A (zh) * 2020-06-03 2020-09-22 河南省民盛安防服务有限公司 一种基于云边协同计算的安防视频监控***及其实现方法
CN111787280A (zh) * 2020-06-30 2020-10-16 清华大学 基于边缘计算的视频实时目标追踪方法及装置
CN111885375A (zh) * 2020-07-15 2020-11-03 中国工商银行股份有限公司 双录视频的检验方法、装置、服务器及***
CN112241719A (zh) * 2020-10-23 2021-01-19 杭州卷积云科技有限公司 基于边云卷积神经网络级联的监控视频目标实时查询方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
High Performance Video Processing in Cloud Data Centres;Muhammad Usman Yaseen 等;《2016 IEEE Symposium on Service-Oriented System Engineering (SOSE)》;20160519;152-161 *
基于云边协同的物联网任务卸载策略建模与分析;韩义波 等;《南阳理工学院学报》;20210725;第13卷(第4期);31-41 *
基于边缘计算和微服务的视频监控***;王梓凯;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115(第01(2022)期);I136-1943 *

Also Published As

Publication number Publication date
CN114154018A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN111160469B (zh) 一种目标检测***的主动学习方法
CN109308490B (zh) 用于生成信息的方法和装置
WO2017127976A1 (zh) 一种用于增量式学习云***的训练、调度方法及相关设备
CN109582903B (zh) 一种信息展示的方法、装置、设备和存储介质
CN107733967B (zh) 推送信息的处理方法、装置、计算机设备和存储介质
CN106815254B (zh) 一种数据处理方法和装置
CN114154018B (zh) 一种面向无人***的云边协同视频流处理方法及***
WO2022213565A1 (zh) 一种人工智能模型预测结果的复审方法及装置
WO2017143773A1 (zh) 一种众包学习方法及装置
WO2018149363A1 (zh) 点击模型应用方法、服务器、存储介质及搜索***
CN112966608A (zh) 一种基于边端协同的目标检测方法、***及存储介质
CN111753875A (zh) 一种电力信息***运行趋势分析方法、装置及存储介质
US10574765B2 (en) Method, device, and non-transitory computer-readable recording medium
CN106611021B (zh) 一种数据处理方法和设备
CN113660687A (zh) 网络差小区处理方法、装置、设备及存储介质
CN112925964A (zh) 基于云计算服务的大数据采集方法及大数据采集服务***
CN111061911B (zh) 面向多视频监控数据的目标检测与追踪方法、装置及设备
CN112486676A (zh) 一种基于边缘计算的数据共享分发方法及装置
CN108985341A (zh) 一种神经网络模型的训练集评估方法及***
CN111737371B (zh) 可动态预测的数据流量检测分类方法及装置
CN114580664A (zh) 训练分析方法、装置、存储介质及电子设备
CN110544182B (zh) 一种基于机器学习技术的配电通信网融合控制方法及***
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN114692706A (zh) 模型训练方法、***、装置、设备和存储介质
CN114443970A (zh) 基于人工智能和大数据的数字化内容推送方法及ai***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant