CN117729252A - 一种整合多算法模型的边缘计算*** - Google Patents
一种整合多算法模型的边缘计算*** Download PDFInfo
- Publication number
- CN117729252A CN117729252A CN202410140693.8A CN202410140693A CN117729252A CN 117729252 A CN117729252 A CN 117729252A CN 202410140693 A CN202410140693 A CN 202410140693A CN 117729252 A CN117729252 A CN 117729252A
- Authority
- CN
- China
- Prior art keywords
- edge
- data
- processor
- result
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 99
- 230000008569 process Effects 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 24
- 230000009471 action Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 31
- 238000012216 screening Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013178 mathematical model Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 31
- 239000003795 chemical substances by application Substances 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000779 smoke Substances 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及数据处理技术领域，特别是涉及一种整合多算法模型的边缘计算***。所述***包括：采集终端、边缘代理、边缘处理器以及云服务器；采集终端采集数据以及发送数据给边缘代理；边缘代理对接收的数据进行分类并筛选，发送筛选完的视频数据以及所对应的语音数据以及过程数据给边缘处理器；边缘处理器对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给边缘代理，对语音数据和过程数据进行处理并生成语音结果和过程结果，将所有的数据结果上传到云服务器；云服务器将所有的数据结果进行处理以通过数据展示出来或控制所述采集终端做出相应的执行动作。本发明解决了无法聚焦关键数据从而实现计算资源的及时调配的问题。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种整合多算法模型的边缘计算***。
背景技术
边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务；其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算可以降低采集终端对运算能力的要求，将计算任务集中到边缘处理器上进行，有效的缓解了云计算端的数据处理压力，同时实现过程数据的集中处理分析。
目前的边缘计算***处理大量多类型的数据采用的方式是根据数据的优先级直接对数据进行处理。对于数据的优先级的确定要么是通过数据产生时序的先后确定，要么是通过设定数据采集点的优先次序确定。
这样的方式是对所有的数据都进行分析计算，存在无法聚焦关键数据从而实现计算资源的及时调配的问题。
发明内容
基于此，有必要针对上述的问题，提供一种整合多算法模型的边缘计算***。
本发明实施例是这样实现的，一种整合多算法模型的边缘计算***，所述整合多算法模型的边缘计算***包括：采集终端、边缘代理、边缘处理器以及云服务器；
所述采集终端与所述边缘代理相连，用于采集数据以及发送数据给所述边缘代理；
所述边缘代理与所述边缘处理器相连，用于接收所述采集终端的数据，对接收的数据进行分类，对分类后的视频数据进行筛选以减少无用的视频数据，发送筛选完的视频数据给所述边缘处理器，接收到所述边缘处理器发送的异常信号后发送视频数据所对应的语音数据以及过程数据给所述边缘处理器；
所述边缘处理器与所述云服务器相连，用于接收所述边缘代理发送的筛选完的视频数据，对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给所述边缘代理，接收所述边缘代理发送的语音数据和过程数据并对语音数据和过程数据进行处理并生成语音结果和过程结果，将视频结果、语音结果和过程结果上传到所述云服务器；
所述云服务器与所述采集终端相连，用于接收所述边缘处理器发送的视频结果、语音结果和过程结果，将视频结果、语音结果和过程结果进行处理以通过数据展示出来或控制所述采集终端做出相应的执行动作。
本发明实施例提供的一种整合多算法模型的边缘计算***通过采集终端采集数据并发送数据给边缘代理；边缘代理接收所述采集终端的数据，对接收的数据进行分类，对分类后的视频数据进行筛选以减少无用的视频数据，发送筛选完的视频数据给边缘处理器；边缘处理器接收到边缘代理发送的筛选完的视频数据，对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给边缘代理；边缘代理接收到边缘处理器发送的异常信号后发送视频数据所对应的语音数据以及过程数据给边缘处理器；边缘处理器接收边缘代理发送的语音数据和过程数据并对语音数据和过程数据进行处理并生成语音结果和过程结果，将所有的报告上传到云服务器；云服务器接收边缘处理器发送的视频结果、语音结果和过程结果，将视频结果、语音结果和过程结果进行处理以通过数据展示出来或控制所述采集终端做出相应的执行动作。本***先将数据进行分类，得到视频数据、语音数据和过程数据，对视频数据进行筛选，减少了对无用数据的处理，聚焦关键数据，筛选完的视频数据处理的结果出现异常，再对视频数据所对应的语音数据和过程数据进行处理。这样做解决了无法聚焦关键数据从而实现计算资源的及时调配的问题，减少了对无用信息的处理，提升了***效率。
附图说明
图1为一个实施例中提供的一种整合多算法模型的边缘计算***的结构框图；
图2为一个实施例中高算力边缘处理器的结构示意图；
图3为一个实施例中高算力边缘处理器的数据流向示意图；
图4为一个实施例中对分类后的视频数据进行筛选的逻辑图；
图5为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
如图1所示，在一个实施例中，提出了一种整合多算法模型的边缘计算***，具体可以包括：采集终端、边缘代理、边缘处理器以及云服务器；
所述采集终端与所述边缘代理相连，用于采集数据以及发送数据给所述边缘代理；
所述边缘代理与所述边缘处理器相连，用于接收所述采集终端的数据，对接收的数据进行分类，对分类后的视频数据进行筛选以减少无用的视频数据，发送筛选完的视频数据给所述边缘处理器，接收到所述边缘处理器发送的异常信号后发送视频数据所对应的语音数据以及过程数据给所述边缘处理器；
所述边缘处理器与所述云服务器相连，用于接收所述边缘代理发送的筛选完的视频数据，对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给所述边缘代理，接收所述边缘代理发送的语音数据和过程数据并对语音数据和过程数据进行处理并生成语音结果和过程结果，将视频结果、语音结果和过程结果上传到所述云服务器；
所述云服务器与所述采集终端相连，用于接收所述边缘处理器发送的视频结果、语音结果和过程结果，将视频结果、语音结果和过程结果进行处理以通过数据展示出来或控制所述采集终端做出相应的执行动作。
在本实施例中，采集终端可以是监控摄像头等设备。
在本实施例中，边缘代理有若干个，边缘代理负责数据的分类、筛选和传输。
在本实施例中，边缘处理器可以是交换机等设备。
在本实施例中，采集终端不间断的在采集数据，因为是视频数据，会存在很多无用的数据，比如说，固定摄像头对着通道进行画面采集，大部分的时间通道都是没人经过，采集的画面都是一样的，这些画面就是无用的数据，需要筛选掉，只保留有人经过的画面，并将对应的数据发送给边缘处理器。
在本实施例中，如果视频数据中存在无用的数据，那么无用的视频数据所对应的语音数据和过程数据也一般是无用的数据。所以当对应的视频数据发送给边缘处理器处理后发现异常，边缘代理才会发送视频数据对应的语音数据和过程数据给边缘代理器。在此之前，边缘代理执行语音数据以及过程数据的延时存储功能。
在本实施例中，视频数据是指组成视频的画面帧。语音数据是指组成语音的音频数据。过程数据是指传感器针对特定的环境产生的数据，比如说烟雾传感器在监测到烟雾时产生信号等。
在本实施例中，视频结果如果没有异常，边缘处理器就不会发送异常信号给边缘代理。而边缘代理发送语音数据和过程数据的前提是接收到边缘处理器发送的异常信号。
在本实施例中，将视频结果、语音结果和过程结果进行处理以通过数据展示出来或控制所述采集终端做出相应的执行动作。可以是在移动终端等设备上展示视频结果、语音结果和过程结果等信息；也可以是根据视频结果、语音结果和过程结果控制采集终端执行对应的动作，比如说，摄像头监测到有人在远处抽烟，可以控制摄像头聚焦该人物。
在本实施例中，云服务器还可以与其他控制设备相连，根据视频结果、语音结果和过程结果控制控制连接设备执行动。比如说，摄像头拍摄到着火，且烟雾传感器也产生信息，根据视频结果和过程结果，云服务器控制灭火设备进行灭火。
本发明实施例提供的一种整合多算法模型的边缘计算***通过采集终端采集数据并发送数据给边缘代理；边缘代理接收所述采集终端的数据，对接收的数据进行分类，对分类后的视频数据进行筛选以减少无用的视频数据，发送筛选完的视频数据给边缘处理器；边缘处理器接收到边缘代理发送的筛选完的视频数据，对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给边缘代理；边缘代理接收到边缘处理器发送的异常信号后发送视频数据所对应的语音数据以及过程数据给边缘处理器；边缘处理器接收边缘代理发送的语音数据和过程数据并对语音数据和过程数据进行处理并生成语音结果和过程结果，将所有的报告上传到云服务器；云服务器接收边缘处理器发送的视频结果、语音结果和过程结果，将视频结果、语音结果和过程结果进行处理以通过数据展示出来或控制所述采集终端做出相应的执行动作。本***先将数据进行分类，得到视频数据、语音数据和过程数据，对视频数据进行筛选，减少了对无用数据的处理，聚焦关键数据，筛选完的视频数据处理的结果出现异常，再对视频数据所对应的语音数据和过程数据进行处理。这样做解决了无法聚焦关键数据从而实现计算资源的及时调配的问题，减少了对无用信息的处理，提升了***效率。
在一个实施例中，所述边缘处理器包括高算力边缘处理器、中算力边缘处理器、低算力边缘处理；
所述高算力边缘处理器设置有视觉模型，用于接收所述边缘代理发送的筛选完的视频数据，根据视觉模型对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给所述边缘代理，将视频结果上传到所述云服务器；
所述中算力边缘处理器设置有声纹模型，用于接收所述边缘代理发送的语音数据并根据声纹模型进行处理并生成语音结果，将语音结果上传到所述云服务器；
所述低算力边缘处理器设置有数理模型，用于接收所述边缘代理发送的过程数据并根据数理模型进行处理并生成过程结果，将过程结果上传到所述云服务器。
在本实施例中，高算力边缘处理器可以支持100多路的数据并行处理，中算力边缘处理器可以支持8-16路的数据并行处理，而低算力边缘处理器可以支持2-4路的数据并行处理。高算力边缘处理器可以替代中算力边缘处理器或低算力边缘处理器。
在本实施例中，如图2所示，高算力边缘处理器包括RK3588芯片模组、电源模块、外部接口以及壳体。其中RK3588芯片模组中设置有一个CPU中心管理节点和若干个NPU计算节点，NPU计算节点的数量决定了算力的大小；电源模块为24V电源；外部接口包括WAN口、LAN口、RS485串口和USB口。如图3所示，NPU计算节点的程序启动后向CPU中心管理节点进行注册，CPU中心管理节点根据策略分配任务到NPU计算节点，进行模型处理；NPU计算节点产生处理结果后，将数据汇报到CPU中心管理节点，由CPU中心管理节点通过外部接口上传到云服务器。对于中算力边缘处理器和低算力边缘处理器，与高算力边缘处理器不同的就是芯片模组，中算力边缘处理器和低算力边缘处理器使用低成本的芯片模组，比如说RK3399芯片模组。
在本实施例中，视觉模型是指基于计算机视觉算法的模型，应用于图像或视频领域的识别任务。视觉模型通常采用深度神经网络作为核心模型架构，在大量标注数据上训练而成，能够对图像或视频中的物体、场景和动作等信息进行识别和分类。
在本实施例中，声纹识别模型可以被应用于对机器设备进行故障诊断。通过将机器设备故障时产生的声音信号采集录制下来，并提取其中的特征向量，将其输入到深度学习等模型中进行分类和诊断。声纹识别模型可以自动地提取信号的频域和时域特征，对其进行特征提取和建模，进而识别出故障源，并给出相应的维修建议。
在本实施例中，数理模型是指基于数学和统计学原理构建的模型，用于建立现象之间的数学模型和数学关系，以便对现象进行预测和优化。数理模型包括方程模型和动态模型等，应用于多个领域和问题，可以进行数据分析、预测和决策等。
在本实施例中，语音数据以及过程数据并不一定是同时进行处理的，而是根据视频结果的异常所属的分类来确定的，如果异常所属的分类为轻微故障或者疑似故障，那么边缘处理器可以先处理语音数据再进一步处理过程数据，而不必立即执行过程数据的处理。基于这种设置，中算力边缘处理器以及低算力边缘处理器可以作为共用节点连结其它***，提升这些处理器的使用率，降低***成本；同时，可以使一个***同时连结中算力边缘处理器以及低算力边缘处理器各两台，解决数据集中爆发时期***的承载能力的问题，同时分摊算力，提高***稳定性以及抗风险能力。
在一个实施例中，所述对接收的数据进行分类，包括：
根据数据的表现形式设置三个类别，记为视频类、语音类和过程类；
根据设置的类别对接收的数据进行分类，得到视频数据、语音数据和过程数据。
在本实施例中，设置的类别与边缘处理器设置的模型有关。
在一个实施例中，如图4所示，所述对分类后的视频数据进行筛选，包括：
在视频数据的时间轴上每隔一个第一预设时间设置一个画面采集点；
判断采集终端是否固定不动，若否，根据采集终端的运动步距和画面采集点对视频数据中的画面进行筛选；
若采集终端固定不动，则根据画面采集点和画面采集点所对应的预设画面对视频数据中的画面进行筛选。
在本实施例中，第一预设时间是采集画面帧的间隔时间，可以根据***的应用场景进行设置，一般可以设置在0.5-10s之间。第一预设时间越大，在相同的时间内采集的画面帧就也少。比如说，***用于监控火灾，那么第一预设时间可以设置为0.5s，这样如果有火灾的苗头就可以及时发现。如果***用于停车位的车辆识别等，可以设置为3s，这样可以减少无用的数据的采集。
在本实施例中，采集终端固定不动有两种情况，一种就是采集终端是不动的，只能采集固定方向的图像视频，比如说固定摄像头；另一种是采集终端是可以运动的，只是在设定的时间段是不运动或者运动是有时间间隔的，比如说运动摄像头。
在本实施例中，边缘代理对视频数据进行筛选的目的是减少高算力边缘代理器的数据处理量。所以这里的筛选只是根据图像的不同进行筛选，如果采集终端固定不动，那么只需要筛选出发生变化的画面中符合要求的画面即可，如果采集终端是转动的，那么还需要筛选掉采集终端转动带来的变化的画面，比如说，***用于监测烟雾，摄像头每个5分钟转动一次，画面是发生了变化，但是这是因为摄像头运动造成的，而不是烟雾出现在画面中造成的，这也是无用的视频数据。
在一个实施例中，如图4所示，所述根据采集终端的运动步距和画面采集点对视频数据中的画面进行筛选，包括：
确定采集终端的运动步距在视频数据的时间轴上的分布；
对于任意一个运动步距，判断该运动步距在时间轴上是否经过两个或两个以上的画面采集点，若是，则确定该运动步距动作前的前一个画面采集点采集的画面和该运动步距动作后的后一个画面采集点采集的画面的差异区域；
判断该差异区域是否为采集终端转动所造成的前后位置的差异区域，若是，则将该运动步距动作前的前一个画面采集点采集的画面筛选出来，若否，则将两个画面都筛选出来；
判断两个相邻的运动步距之间是否存在画面采集点，若是，根据画面采集点和画面采集点所对应的预设画面对视频数据中的画面进行筛选。
在本实施例中，运动可以是水平的运动，也可以是旋转的运动，所以运动步距可以用长度表示，也可以用角度表示。
在本实施例中，差异区域，是将两个画面相同的区域进行识别，从而得到差异区域，比如说，摄像头向左运动，对于运动前的画面，差异区域在画面的右边10%的画面，而画面的左边90%的画面与运动后画面的右边90%的画面是一样的，对于运动后的画面，差异区域在画面的左边10%的画面。
在本实施例中，判断该差异区域是否为采集终端转动所造成的前后位置的差异区域，是比较差异区域的比例是否一样以及相同区域的图像是否一样。
在本实施例中，对于连续运动的采集终端，可以获取采集终端的最小运动步距，将该最小运动步距作为采集终端的运动步距的识别，即采集终端每移动一个最小运动步距就确定为一个运动步距。
在一个实施例中，如图4所示，所述根据画面采集点和画面采集点所对应的预设画面对视频数据中的画面进行筛选，包括：
对于每一个画面采集点，获取画面采集点的画面；
计算画面采集点的画面与画面采集点所对应的预设画面的第一差异比例；
判断第一差异比例是否大于等于第一预设值，若是，则计算画面采集点的画面与画面采集点的画面的前一帧画面的第二差异比例；
判断第二差异比例是否大于等于第二预设值，若是，将画面采集点的画面筛选出来。
在本实施例中，该画面采集点所对应的预设画面存在于画面库中，对于预设画面，若该预设画面发送给边缘处理器处理后，边缘处理器不会发出异常信号。
在本实施例中，计算两个画面的差异比例可以通过识别两个画面不一样的区域，再计算该区域占画面面积的比值。
在本实施例中，第一预设值根据***的使用场景进行设置，一般设置在3%-5%。
在本实施例中，第二预设值根据***的使用场景进行设置，一般设置在3%-5%。
在一个实施例中，所述接收到所述边缘处理器发送的异常信号后发送视频数据所对应的语音数据以及过程数据给所述边缘处理器，包括：
存储发送给高算力边缘处理器的视频数据所对应的语音数据和过程数据；
根据高算力边缘处理器发送的异常信号发送视频数据所对应的语音数据给中算力边缘处理器；
根据高算力边缘处理器发送的异常信号发送视频数据所对应的过程数据给低算力边缘处理器。
在本实施例中，边缘代理具有语音数据以及过程数据的延时存储功能，只有语音数据以及过程数据对应的视频数据被视觉模型处理完毕，边缘代理才会将对应的语音数据以及过程数据存入数据库中保存于本地或者定期上传云平台，即只有被筛选的视频数据所对应的语音数据和过程数据才会被存储。
在本实施例中，对于语音数据，进行存储前会进行背景音识别滤除，从而去除没有检测到语音数据或者语音音量低于设定值的语音数据。
在一个实施例中，所述对接收到的筛选完的视频数据进行处理并生成视频结果，包括：
确定需要连接到高算力边缘处理器的边缘代理的数量n；
由得到高算力边缘处理器的端口的数量与需要连接到高算力边缘处理器的边缘代理的数量的差值d；
判断d是否大于0，若是，则对不同边缘代理进行轮询连接以对接收到的筛选玩的视频数据进行处理并生成视频结果；
其中，m为高算力边缘处理器的端口的数量。
在本实施例中，如果d小于等于0，则表示高算力边缘处理器的边缘代理的数量小于等于高算力边缘处理器的端口的数量，所以高算力边缘处理器的边缘代理全部连接到高算力边缘处理器的端口，不需要进行轮询连接。
在一个实施例中，所述对不同边缘代理进行轮询连接，包括：
S901，每隔一个第二预设时间，根据与高算力边缘处理器相连的边缘代理传输的数据量大小对高算力边缘处理器的传输链路进行排序；
S902，断开排序靠后的d条传输链路所对应的边缘代理；
S903，与未与高算力边缘处理器相连的d个边缘代理建立传输链路以将未与高算力边缘处理器相连的d个边缘代理与高算力边缘处理器相连；
S904，监测未与高算力边缘处理器相连的边缘代理的数据累积量；
S905，判断任意一个数据累积量是否达到第三预设值，若是，则执行S902-S903。
在本实施例中，第二预设时间可以设置为3-5s。
在本实施例中，排序是对传输链路进行排序，不是对高算力边缘处理器的端口或边缘代理。
在本实施例中，断开的传输链路也可以不是d条，可以是d的1/2、1/3、1/4等，只需要在重新连接时将所有的传输链路都连接即可，即断开多少条就连接多少条。为了保证高算力边缘处理器所有的端口都能连接，断开的传输链路不能大于d。
在本实施例中，第三预设值可以设置为边缘代理的容量的2/3，当边缘代理的数据累积量到达第三预设值时，就需要将数据传输给高算力边缘处理器。对于未与高算力边缘处理器相连的边缘代理，由于数据无法传输给高算力边缘处理器，所以数据会一直累积。
在本实施例中，如果执行了S905，那么间隔时间需要重新计算，即执行了905，需要再间隔一个第二预设时间，才会根据与高算力边缘处理器相连的边缘代理传输的数据量大小对高算力边缘处理器的传输链路进行排序。
在一个实施例中，所述发送异常信号给所述边缘代理，包括：
判断视频结果是否存在异常，若是，确定异常所属的分类；
根据异常所属的分类发送分类所对应的异常信号给边缘代理。
在本实施例中，分类可以有轻微异常、普通异常、重度异常、严重异常等。
图5示出了一个实施例中计算机设备的内部结构图。如图5所示，该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明任意一个实施例提供的一种整合多算法模型的边缘计算***中采集终端、边缘代理、边缘处理器以及云服务器所执行的步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明任意一个实施例提供的一种整合多算法模型的边缘计算***中采集终端、边缘代理、边缘处理器以及云服务器所执行的步骤。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现本发明任意一个实施例提供的一种整合多算法模型的边缘计算***中采集终端、边缘代理、边缘处理器以及云服务器所执行的步骤。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器可以实现本发明任意一个实施例提供的一种整合多算法模型的边缘计算***中采集终端、边缘代理、边缘处理器以及云服务器所执行的步骤。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种整合多算法模型的边缘计算***，其特征在于，所述整合多算法模型的边缘计算***包括：采集终端、边缘代理、边缘处理器以及云服务器；
所述采集终端与所述边缘代理相连，用于采集数据以及发送数据给所述边缘代理；
所述边缘代理与所述边缘处理器相连，用于接收所述采集终端的数据，对接收的数据进行分类，对分类后的视频数据进行筛选以减少无用的视频数据，发送筛选完的视频数据给所述边缘处理器，接收到所述边缘处理器发送的异常信号后发送视频数据所对应的语音数据以及过程数据给所述边缘处理器；
所述边缘处理器与所述云服务器相连，用于接收所述边缘代理发送的筛选完的视频数据，对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给所述边缘代理，接收所述边缘代理发送的语音数据和过程数据并对语音数据和过程数据进行处理并生成语音结果和过程结果，将视频结果、语音结果和过程结果上传到所述云服务器；
所述云服务器与所述采集终端相连，用于接收所述边缘处理器发送的视频结果、语音结果和过程结果，将视频结果、语音结果和过程结果进行处理以通过数据展示出来或控制所述采集终端做出相应的执行动作。
2.根据权利要求1所述的整合多算法模型的边缘计算***，其特征在于，所述边缘处理器包括高算力边缘处理器、中算力边缘处理器、低算力边缘处理；
所述高算力边缘处理器设置有视觉模型，用于接收所述边缘代理发送的筛选完的视频数据，根据视觉模型对接收到的筛选完的视频数据进行处理并生成视频结果，发送异常信号给所述边缘代理，将视频结果上传到所述云服务器；
所述中算力边缘处理器设置有声纹模型，用于接收所述边缘代理发送的语音数据并根据声纹模型进行处理并生成语音结果，将语音结果上传到所述云服务器；
所述低算力边缘处理器设置有数理模型，用于接收所述边缘代理发送的过程数据并根据数理模型进行处理并生成过程结果，将过程结果上传到所述云服务器。
3.根据权利要求2所述的整合多算法模型的边缘计算***，其特征在于，所述对接收的数据进行分类，包括：
根据数据的表现形式设置三个类别，记为视频类、语音类和过程类；
根据设置的类别对接收的数据进行分类，得到视频数据、语音数据和过程数据。
4.根据权利要求2所述的整合多算法模型的边缘计算***，其特征在于，所述对分类后的视频数据进行筛选，包括：
在视频数据的时间轴上每隔一个第一预设时间设置一个画面采集点；
判断采集终端是否固定不动，若否，根据采集终端的运动步距和画面采集点对视频数据中的画面进行筛选；
若采集终端固定不动，则根据画面采集点和画面采集点所对应的预设画面对视频数据中的画面进行筛选。
5.根据权利要求4所述的整合多算法模型的边缘计算***，其特征在于，所述根据采集终端的运动步距和画面采集点对视频数据中的画面进行筛选，包括：
确定采集终端的运动步距在视频数据的时间轴上的分布；
对于任意一个运动步距，判断该运动步距在时间轴上是否经过两个或两个以上的画面采集点，若是，则确定该运动步距动作前的前一个画面采集点采集的画面和该运动步距动作后的后一个画面采集点采集的画面的差异区域；
判断该差异区域是否为采集终端转动所造成的前后位置的差异区域，若是，则将该运动步距动作前的前一个画面采集点采集的画面筛选出来，若否，则将两个画面都筛选出来；
判断两个相邻的运动步距之间是否存在画面采集点，若是，根据画面采集点和画面采集点所对应的预设画面对视频数据中的画面进行筛选。
6.根据权利要求4或5所述的整合多算法模型的边缘计算***，其特征在于，所述根据画面采集点和画面采集点所对应的预设画面对视频数据中的画面进行筛选，包括：
对于每一个画面采集点，获取画面采集点的画面；
计算画面采集点的画面与画面采集点所对应的预设画面的第一差异比例；
判断第一差异比例是否大于等于第一预设值，若是，则计算画面采集点的画面与画面采集点的画面的前一帧画面的第二差异比例；
判断第二差异比例是否大于等于第二预设值，若是，将画面采集点的画面筛选出来。
7.根据权利要求2所述的整合多算法模型的边缘计算***，其特征在于，所述接收到所述边缘处理器发送的异常信号后发送视频数据所对应的语音数据以及过程数据给所述边缘处理器，包括：
存储发送给高算力边缘处理器的视频数据所对应的语音数据和过程数据；
根据高算力边缘处理器发送的异常信号发送视频数据所对应的语音数据给中算力边缘处理器；
根据高算力边缘处理器发送的异常信号发送视频数据所对应的过程数据给低算力边缘处理器。
8.根据权利要求2所述的整合多算法模型的边缘计算***，其特征在于，所述对接收到的筛选完的视频数据进行处理并生成视频结果，包括：
确定需要连接到高算力边缘处理器的边缘代理的数量n；
由得到高算力边缘处理器的端口的数量与需要连接到高算力边缘处理器的边缘代理的数量的差值d；
判断d是否大于0，若是，则对不同边缘代理进行轮询连接以对接收到的筛选玩的视频数据进行处理并生成视频结果；
其中，m为高算力边缘处理器的端口的数量。
9.根据权利要求8所述的整合多算法模型的边缘计算***，其特征在于，所述对不同边缘代理进行轮询连接，包括：
S901，每隔一个第二预设时间，根据与高算力边缘处理器相连的边缘代理传输的数据量大小对高算力边缘处理器的传输链路进行排序；
S902，断开排序靠后的d条传输链路所对应的边缘代理；
S903，与未与高算力边缘处理器相连的d个边缘代理建立传输链路以将未与高算力边缘处理器相连的d个边缘代理与高算力边缘处理器相连；
S904，监测未与高算力边缘处理器相连的边缘代理的数据累积量；
S905，判断任意一个数据累积量是否达到第三预设值，若是，则执行S902-S903。
10.根据权利要求2所述的整合多算法模型的边缘计算***，其特征在于，所述发送异常信号给所述边缘代理，包括：
判断视频结果是否存在异常，若是，确定异常所属的分类；
根据异常所属的分类发送分类所对应的异常信号给边缘代理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410140693.8A CN117729252B (zh) | 2024-02-01 | 2024-02-01 | 一种整合多算法模型的边缘计算*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410140693.8A CN117729252B (zh) | 2024-02-01 | 2024-02-01 | 一种整合多算法模型的边缘计算*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117729252A true CN117729252A (zh) | 2024-03-19 |
| CN117729252B CN117729252B (zh) | 2024-04-12 |
Family
ID=90201924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410140693.8A Active CN117729252B (zh) | 2024-02-01 | 2024-02-01 | 一种整合多算法模型的边缘计算*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117729252B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101826093A (zh) * | 2009-08-24 | 2010-09-08 | 张艳红 | 基于多维内容挖掘的视频搜索引擎 |
| CN112380391A (zh) * | 2020-10-13 | 2021-02-19 | 特斯联科技集团有限公司 | 基于物联网的视频处理方法、装置、电子设备和存储介质 |
| CN113051234A (zh) * | 2021-04-19 | 2021-06-29 | 国际关系学院 | 移动式现场大数据分析平台 |
| US20220222030A1 (en) * | 2022-04-01 | 2022-07-14 | Sean J.W. Lawrence | Methods and apparatus to improve screen sharing based on identification of irrelevant video frames from interactive context |
| CN114896235A (zh) * | 2022-05-20 | 2022-08-12 | 白音宝力稿 | 一种大数据环境下的数据管理方法 |
| CN116049526A (zh) * | 2023-04-03 | 2023-05-02 | 北京未来链技术有限公司 | 面向元宇宙电商平台的商品关联视频大数据智能推送***及方法 |
-
2024
- 2024-02-01 CN CN202410140693.8A patent/CN117729252B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101826093A (zh) * | 2009-08-24 | 2010-09-08 | 张艳红 | 基于多维内容挖掘的视频搜索引擎 |
| CN112380391A (zh) * | 2020-10-13 | 2021-02-19 | 特斯联科技集团有限公司 | 基于物联网的视频处理方法、装置、电子设备和存储介质 |
| CN113051234A (zh) * | 2021-04-19 | 2021-06-29 | 国际关系学院 | 移动式现场大数据分析平台 |
| US20220222030A1 (en) * | 2022-04-01 | 2022-07-14 | Sean J.W. Lawrence | Methods and apparatus to improve screen sharing based on identification of irrelevant video frames from interactive context |
| CN114896235A (zh) * | 2022-05-20 | 2022-08-12 | 白音宝力稿 | 一种大数据环境下的数据管理方法 |
| CN116049526A (zh) * | 2023-04-03 | 2023-05-02 | 北京未来链技术有限公司 | 面向元宇宙电商平台的商品关联视频大数据智能推送***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117729252B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111212038B (zh) | 基于大数据人工智能的开放数据api网关*** | |
| CN110428522B (zh) | 一种智慧新城的智能安防*** | |
| JP7036493B2 (ja) | 監視方法及び装置 | |
| KR102195706B1 (ko) | 침입 탐지방법 및 그 장치 | |
| KR101964683B1 (ko) | 스마트 영상처리장치 및 그 장치의 구동방법 | |
| CN109446049A (zh) | 一种基于监督学习的服务器错误诊断方法和装置 | |
| US9082042B2 (en) | System and method for classification of moving object during video surveillance | |
| CN115393781A (zh) | 视频监控数据的处理方法及装置 | |
| Ammar et al. | DeepROD: a deep learning approach for real-time and online detection of a panic behavior in human crowds | |
| KR102511287B1 (ko) | 영상 기반 자세 예측 및 행동 검출 방법 및 장치 | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| WO2023279716A1 (zh) | 设备联动方法、装置、设备、存储介质、程序产品及计算机程序 | |
| Bora et al. | Human suspicious activity detection system using CNN model for video surveillance | |
| CN106372171B (zh) | 监控平台实时数据处理方法 | |
| CN117255193B (zh) | 一种5g网络监控器的远程终端状态检测方法及*** | |
| CN117729252B (zh) | 一种整合多算法模型的边缘计算*** | |
| CN114764895A (zh) | 异常行为检测装置和方法 | |
| CN108073854A (zh) | 一种现场巡检的检测方法及装置 | |
| WO2023192996A1 (en) | Few-shot anomaly detection | |
| CN115052128A (zh) | 一种综合视频监控与网络异常检测的机房安全管理方法 | |
| CN115100572A (zh) | 一种校园异常行为的分析***及方法 | |
| Mokashi et al. | Video Analytics Technologies Available for Surveillance Systems | |
| Martínez-Mascorro et al. | Detecting Suspicious Behavior on Surveillance Videos: Dealing with Visual Behavior Similarity between Bystanders and Offenders | |
| Br et al. | Real-Time Intelligent Video Surveillance System using Recurrent Neural Network | |
| TWI784718B (zh) | 廠區告警事件處理方法與系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |