CN109698938A - 图像分析方法、装置及*** - Google Patents
图像分析方法、装置及*** Download PDFInfo
- Publication number
- CN109698938A CN109698938A CN201811565942.9A CN201811565942A CN109698938A CN 109698938 A CN109698938 A CN 109698938A CN 201811565942 A CN201811565942 A CN 201811565942A CN 109698938 A CN109698938 A CN 109698938A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- target
- information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 230000005611 electricity Effects 0.000 claims abstract description 39
- 230000001066 destructive effect Effects 0.000 claims abstract description 26
- 238000010191 image analysis Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000007873 sieving Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 14
- 238000012544 monitoring process Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000533950 Leucojum Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/133—Protocols for remote procedure calls [RPC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种图像分析方法、装置及***。其中，该***包括：图像处理服务器，用于确定接收到的目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；业务服务器，与上述图像处理服务器连接，用于依据上述位置信息和上述类型信息，确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。本发明解决了现有技术中通过人工监控输电线路中的外力破坏事件的防控效果较差，容易导致严重的安全隐患和财产损失的技术问题。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种图像分析方法、装置及***。
背景技术
在现有技术中，输电线路中的外力破坏事件对输电线路的安全运行构成极大的威胁，尤其是吊车、泵车等“大型作业机械”触碰、刮倒电线的场景时有发生，容易导致严重的安全隐患和财产损失。
目前常规的应对措施是在室外输变电场景下安装反外力监控摄像头，然后安排工作人员通过实时观看监控画面来发现并处理大型作业机械。但是，外力破坏场景的出现有着很大的随机性，并且在实际应用中，监控场景数量繁多、情况复杂，难以仅靠有限的值班人员无法实现对所有场景全覆盖无遗漏的监视，还需耗费大量人力，效率很低，并且在现实环境下，值班人员也难以长期高效的完成监视工作，也即，现有技术中虽布置了输电反外力视频监控设备，但实际防控效果并不理想。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像分析方法、装置及***，以至少解决现有技术中通过人工监控输电线路中的外力破坏事件的防控效果较差，容易导致严重的安全隐患和财产损失的技术问题。
根据本发明实施例的一个方面，提供了一种图像分析***，包括：图像处理服务器，用于确定接收到的目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；业务服务器，与上述图像处理服务器连接，用于依据上述位置信息和上述类型信息，确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
进一步地，上述***还包括：摄像设备，设置于上述输电线路上，用于拍摄上述输电线路所处区域得到图像数据。
进一步地，上述业务服务器包括：设备对接模块，与上述摄像设备连接，用于适配接入的上述摄像设备，并接收上述摄像设备上传的上述图像数据；图像预处理模块，与上述设备对接模块连接，用于对上述图像数据进行预处理，并将预处理得到的上述目标图像发送至上述图像处理服务器，其中，上述预处理包括以下至少之一：图像筛选处理、图像增强处理。
进一步地，上述图像处理服务器包括：图像分析模块，与上述图像预处理模块和上述业务服务器连接，用于基于滑动窗口机制识别上述目标图像；并基于深度学习算法提取上述目标图像的图像特征数据，通过将上述图像特征数据与目标特征数据进行比对，确定上述目标物体、上述位置信息和上述类型信息。
进一步地，上述图像处理服务器还包括：任务处理模块，与上述图像分析模块连接，用于在检测到上述图像分析模块接收到多个上述目标图像的情况下，控制上述图像分析模块采用多线程任务处理模型对多个上述目标图像进行多任务并行处理。
进一步地，上述业务服务器还包括：判定模块，与上述图像分析模块连接，用于基于上述目标图像的场景信息和上述目标对象的判定策略信息，对上述位置信息和上述类型信息进行判定处理，并依据判定结果确定是否输出上述告警信息；通讯模块，与上述判定模块和目标设备连接，用于将上述告警信息输出至上述目标设备。
进一步地，上述业务服务器还包括：日志存储模块，用于存储上述业务服务器的运行数据，其中，上述运行数据的类型包括以下至少之一：文本类型、图片类型；上述运行数据至少包括：上述目标图像、判定结果、运行异常数据、图像分析结果、任务分析结果。
进一步地，上述***还包括：远程过程调用协议RPC接口，分别与上述图像处理服务器和上述业务服务器连接，用于提供上述图像处理服务器和上述业务服务器之间的数据通信接口，并指定上述图像处理服务器和上述业务服务器之间的数据交互格式。
进一步地，上述业务服务器还包括：算法调度模块，与上述RPC接口连接，用于根据上述业务服务器中的底层算法服务调用并对接上述RPC接口，并将上述目标图像的数据格式转换为上述RPC接口所需的目标数据格式。
根据本发明实施例的另一方面，还提供了一种图像分析方法，包括：接收目标图像；确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
根据本发明实施例的另一方面，还提供了一种图像分析装置，包括：接收模块，用于接收目标图像；第一确定模块，用于确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；第二确定模块，用于依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
根据本发明实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述的图像分析方法。
根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述的图像分析方法。
在本发明实施例中，通过图像处理服务器，用于确定接收到的目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；业务服务器，与上述图像处理服务器连接，用于依据上述位置信息和上述类型信息，确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件，达到了提高监控输电线路中的外力破坏事件的防控效果的目的，从而实现了降低安全隐患和财产损失的技术效果，进而解决了现有技术中通过人工监控输电线路中的外力破坏事件的防控效果较差，容易导致严重的安全隐患和财产损失的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种图像分析***的结构示意图；
图2是根据本发明实施例的一种可选的图像分析***的结构示意图；
图3是根据本发明实施例的一种图像分析方法的流程图；以及
图4是根据本发明实施例的一种图像分析装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，为方便理解本发明实施例，下面将对本发明中所涉及的部分术语或名词进行解释说明：
远程过程调用协议(RPC)：是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议，采用客户机/服务器模式，请求程序是一个客户机，服务提供程序是一个服务器。
实施例1
根据本发明实施例，提供了一种图像分析***的实施例，图1是根据本发明实施例的一种图像分析***的结构示意图，如图1所示，上述图像分析***，包括：图像处理服务器10和业务服务器12，其中：
图像处理服务器10，用于确定接收到的目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；业务服务器12，与上述图像处理服务器10连接，用于依据上述位置信息和上述类型信息，确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
需要说明的是，通过采用图像智能分析技术和计算机庞大的计算资源，能够以极快的速度和效率完成通常情况下大量人员和时间才能完成的工作；并且，计算机技术的业务处理更加精准，不会出现人员工作中出现的疲累导致的效率降低，误差增多的情况。通过计算机技术实现对大规模图像的实时处理和目标识别，是针对输变电反外力场景分析的有效而且必要的解决方案。
可选的，上述目标图像至少包括：视频图像；上述目标物体可以但不限于为吊车、泵车、挖掘机等大型作业机械；上述目标物体的类型信息即用于判断上述目标物体是否为大型作业机械，上述目标物体的位置信息即用于判断上述目标物体是否出现在输电线路上。
可选的，上述外力破坏事件可以但不限于为吊车、泵车、挖掘机等大型作业机械触碰、刮倒输电线路上电线的事件、不法分子偷窃输电线路上电线的事件等；由于上述外力破坏事件极容易导致严重的安全隐患和财产损失问题，并且在实际应用中，外力破坏场景的出现有着很大的随机性，因而需要在输电杆塔上设置摄像设备对输电线路进行监控。
可选的，图像处理服务器10可以但不限于为提供深度学习算法和传统算法的综合性算法服务***，可以以程序的形式，实现了对算法功能调用的封装；上述业务服务器12可以但不限于主要实现图像分析整个业务流的处理过程。
可选的，上述目标对象可以但不限于为工作人员，例如，故障检修人员等；上述业务服务器可以依据上述位置信息和上述类型信息进行分析，确定上述输电线路是否发生上述指定类型事件，并在发生上述指定类型事件的情况下输出告警信息，指示上述目标对象对上述指定类型事件进行处理。
可选的，上述处理可以但不限于为制止、维修或监管等处理，例如，上述目标对象可以进行报警，或者通过播放语音的方式对上述指定类型事件进行制止，等等。
在本申请实施例中，通过图像处理服务器和业务服务器实现上述图像分析方案，可以将算法与业务进行分隔，图像处理服务器专注解决算法的理论和性能问题，而业务服务器专注解决整体业务流程的对接；将图像处理算法与业务服务分离成两个独立程序，针对现实场景后续接入摄像头数量的扩增，更加方便***的后续性能扩增需求，可以采用分布式架构，支持后续多个算法服务节点接入到业务服务器中，可以更加方便的通过增加硬件和修改配置的方式实现轻松扩容，而不需要对***程序进行修改重构。
在本申请实施例中，通过图像处理服务器，采用基于计算机视觉的方式进行分析，用于确定接收到的目标图像中的目标物体，以及上述目标物体的位置信息和类型信息，相比现有技术中的人工分析方式，计算速度快、识别的准确率高、误报率低、不会疲劳、识别标准统一等优势。
在本发明实施例中，通过图像处理服务器，用于确定接收到的目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；业务服务器，与上述图像处理服务器连接，用于依据上述位置信息和上述类型信息，确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件，达到了提高监控输电线路中的外力破坏事件的防控效果的目的，从而实现了降低安全隐患和财产损失的技术效果，进而解决了现有技术中通过人工监控输电线路中的外力破坏事件的防控效果较差，容易导致严重的安全隐患和财产损失的技术问题。
在一种可选的实施例中，图2是根据本发明实施例的一种可选的图像分析***的结构示意图，如图2所示，上述***还包括：摄像设备14，设置于上述输电线路上，用于拍摄上述输电线路所处区域得到图像数据。
可选的，上述摄像设备可以但不限于为高清视频摄像设备，设置于上述输电线路上，用于拍摄上述输电线路所处区域得到图像数据，例如，视频图像。
在一种可选的实施例中，上述业务服务器包括：设备对接模块，与上述摄像设备连接，用于适配接入的上述摄像设备，并接收上述摄像设备上传的上述图像数据；图像预处理模块，与上述设备对接模块连接，用于对上述图像数据进行预处理，并将预处理得到的上述目标图像发送至上述图像处理服务器，其中，上述预处理包括以下至少之一：图像筛选处理、图像增强处理。
可选的，上述设备对接模块可以但不限于为摄像头对接模块，可以针对不同厂家和品牌的摄像头进行适配和接入，根据不同厂家设备开发一个单独的接入模块，图片服务通过配置动态加载，理论上可以支持接入任意厂商的设备。
可选的，上述设备对接模块可以抽象出设备所具有的所有功能接口，将接口的调用过程抽象为对单一设备的控制过程；仅关注业务功能的信令传递；将信令流与数据流进行分离；负责接收上述摄像设备上传的上述图像数据。
在上述可选的实施例中，上述图像筛选处理即通过对图像格式与内容的判断，过滤掉格式不匹配或者损坏的图像，例如，图像格式损毁，图像质量差(例如，花屏、对焦失败、偏色、雪花等)，以防止对后续的处理步骤传递无效数据，浪费***资源或者导致错误结果输出。
在上述可选的实施例中，上述图像增强处理即采用经典增强算法对图像进行增强处理，对于一般情况下的轻微质量损失图像(例如，轻微模糊图像)有很好的提升效果，可以大大增强后续算法的图像识别能力。
在一种可选的实施例中，上述图像处理服务器包括：图像分析模块，与上述图像预处理模块和上述业务服务器连接，用于基于滑动窗口机制识别上述目标图像；并基于深度学习算法提取上述目标图像的图像特征数据，通过将上述图像特征数据与目标特征数据进行比对，确定上述目标物体、上述位置信息和上述类型信息。
可选的，上述图像分析模块可以但不限于包括以下模块：基于传统算法的图像预处理模块、基于滑动窗口机制的传统算法目标识别模块、基于深度学习的特征提取与分类模块和候选目标过滤分类模块，进而可以依据上述图像分析模块基于滑动窗口机制识别上述目标图像，并基于深度学习算法提取上述目标图像的图像特征数据，通过将上述图像特征数据与目标特征数据进行比对，确定上述目标物体、上述位置信息和上述类型信息。
在一种可选的实施例中，上述图像处理服务器还包括：任务处理模块，与上述图像分析模块连接，用于在检测到上述图像分析模块接收到多个上述目标图像的情况下，控制上述图像分析模块采用多线程任务处理模型对多个上述目标图像进行多任务并行处理。
基于实际业务的需要，当图像分析模块需要执行大规模图片处理任务时，不可避免的需要进行多任务并行处理，即当执行一幅图像的分析任务时，接收到另一张图像，则需要并发启动并执行另外的分析任务。
在一般情况下，服务程序可以采用多线程任务处理模型来进行多任务并行处理，而此服务程序中一个需要额外处理的问题是，基于深度学习的目标检测算法部分内容依赖于中央处理器GPU，而在CPU需要串行执行。因此，对于深度学习的部分需要进行特殊设计，使得GPU部分能够串行，但是其他部分还是能够尽量并行化。
在本申请实施例中，针对上述需求设计了一种特殊的高性能任务处理框架，相比起一般的纯串行处理策略而言，经过实测大概能够提升3-8倍的处理速度，可以很好的应对实际场景下的并发处理需求。
在一种可选的实施例中，上述业务服务器还包括：判定模块，与上述图像分析模块连接，用于基于上述目标图像的场景信息和上述目标对象的判定策略信息，对上述位置信息和上述类型信息进行判定处理，并依据判定结果确定是否输出上述告警信息；通讯模块，与上述判定模块和目标设备连接，用于将上述告警信息输出至上述目标设备。
可选的，上述判定模块与上述图像分析模块连接，用于基于上述目标图像的场景信息和上述目标对象的判定策略信息，对上述位置信息和上述类型信息进行判定处理，并依据判定结果确定是否输出上述告警信息，实现了对图像分析模块确定的算法结果的统一分析和判定处理，即实现目标筛选和告警判定。
需要说明的是，在本申请实施例中，对上述位置信息和上述类型信息进行判定处理，并依据判定结果确定是否输出上述告警信息，可以但不限于根据不同的场景进行判定，也即每个摄像设备所拍摄的目标图像作为一个独立的场景进行关联和判断，检测到目标物体不一定每次都会认为需要输出告警信息，其判定标准通过基于上述目标图像的场景信息和上述目标对象的判定策略信息实现。
可选的，上述目标对象的判定策略信息可以但不限于为：同一个摄像设备场景下，相同位置出现的连续目标物体，只生成并输出一次告警信息。
并且，在本申请实施例中，考虑到算法检测过程中间有可能出现目标物体掉帧的情况，允许在判定相同位置出现的连续目标物体时，中间有一帧不连续的情况。即：一个目标物体前面一直检测到它在某个位置，如果突然有一帧它未检测到，但是下一帧又被检测到并且在原来的位置，则判定该目标物体一直满足“相同位置连续目标”标准，只生成并输出一次告警信息。
由上可知，在本申请实施例中，可以但不限于对目标物体的位置信息和类型信息进行双重判断，并且，需要分场景缓存本场景下检测到的目位置信息和类型信息。每次做新一帧的图像算法检测后，对检测到的目标物体进行位置重复判定和类别重复判定(其中，上述重复判定包含对历史数据的存在判定以及空缺判定两种)，然后根据用户预先确定的判定策略信息最终判定是否构成威胁告警，并输出告警信息。
可选的，上述通讯模块，与上述判定模块和目标设备连接，实现了对告警信息的接收以及对推送目标设备的连接与数据通信工作。
其中，上述目标设备可以但不限于为客户端设备，即为告警信息推送的目标设备/程序；上述通讯模块可以支持不同设备/程序的接入，理论上可以支持多客户端接入(即可以根据告警类别，将不同告警推送到不同目标设备)。业务逻辑层处理支持通过告警类别选择应对不同客户端的连接处理模块，连接处理模块实现了对特定客户端的数据对接功能。
在一种可选的实施例中，上述业务服务器还包括：日志存储模块，用于存储上述业务服务器的运行数据，其中，上述运行数据的类型包括以下至少之一：文本类型、图片类型；上述运行数据至少包括：上述目标图像、判定结果、运行异常数据、图像分析结果、任务分析结果。
可选的，上述日志存储模块可以实现对业务服务器的运行数据的持久化存储能力，上述运行数据不仅包括文本类型数据(传统意义上的日志)，还包括图片类型数据，可以便于用户检测目标数据等结构化/非结构化信息。
可选的，上述日志存储模块所设计实现的存储内容至少包括：上述目标图像、判定结果、运行异常数据、图像分析结果、任务分析结果。
其中，上述图像分析结果可以但不限于包括：算法分析是否成功，算法处理时间，获得结果个数等；由于图像数据量巨大，而算法未检测到目标的图像保存意义有限，因此服务程序设计为上述日志存储模块仅缓存有目标图像的数据。
在本申请一种可选的实施例中，可以但不限于仅存储完整的图像算法的任务分析结果，上诉任务分析结果包括：目标类别，位置，大小，置信度等，可以在后续供算法工程师进行离线分析。
由于业务***在运行过程中，会出现各种异常运行情况，例如，摄像头连接异常，图片格式异常，告警上报异常等等，上述运行异常数据均可以以文本日志的形式进行保存，可以供后续故障人员进行追踪。
在一种可选的实施例中，上述***还包括：远程过程调用协议RPC接口，分别与上述图像处理服务器和上述业务服务器连接，用于提供上述图像处理服务器和上述业务服务器之间的数据通信接口，并指定上述图像处理服务器和上述业务服务器之间的数据交互格式。
可选的，上述远程过程调用协议RPC接口可以但不限于基于编程接口socket的自定义TCP服务器实现，并且，在RPC接口服务之外，还可以制定RPC交互通信协议，该协议指定了跨程序/主机之间的交互数据格式，交互双方通过遵循协议内容可以实现不同程序之间的高速数据通信。
在一种可选的实施例中，上述业务服务器还包括：算法调度模块，与上述RPC接口连接，用于根据上述业务服务器中的底层算法服务调用并对接上述RPC接口，并将上述目标图像的数据格式转换为上述RPC接口所需的目标数据格式。
可选的，上述算法调度模块用于实现对底层算法服务的RPC接口进行调用和对接，以及业务流中的数据对接工作，包括：
(1)数据格式转换，例如，将业务***内的目标图像的数据格式，转为RPC接口所需的目标数据格式。
(2)参数对接：执行算法检测时候需要带有部分参数信息，作为算法处理的参考，例如，图片的质量信息(如，是否有模糊，模糊程度如何，等等)，图片的分辨率信息等，上述参数信息数据需要算法调度模块打包并通过RPC接口传递给下层算法服务。
(3)异步执行适配：由于图片在下层算法服务的处理过程是异步的，因此，算法调度模块需要设计为支持异步数据投递/返回数据收取的机制，以对应相应的处理过程。
需要说明的是，本申请中的图1至图2中所示图像分析***的具体结构仅是示意，在具体应用时，本申请中的图像分析***可以比图1至图2所示的图像分析***具有多或少的结构。
实施例2
根据本发明实施例，提供了一种图像分析方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图3是根据本发明实施例的一种图像分析方法的流程图，如图3所示，该方法包括如下步骤：
步骤S102，接收目标图像；
步骤S104，确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；
步骤S106，依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
在本发明实施例中，通过接收目标图像；确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件，达到了提高监控输电线路中的外力破坏事件的防控效果的目的，从而实现了降低安全隐患和财产损失的技术效果，进而解决了现有技术中通过人工监控输电线路中的外力破坏事件的防控效果较差，容易导致严重的安全隐患和财产损失的技术问题。
需要说明的是，本实施例中的任意一种可选的或优选的图像分析方法，均可以在上述实施例1所提供的图像分析***中执行或实现。
此外，仍需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
实施例3
根据本发明实施例，还提供了一种用于实施上述图像分析方法的装置实施例，图4是根据本发明实施例的一种图像分析装置的结构示意图，如图4所示，上述图像分析装置，包括：接收模块40、第一确定模块42和第二确定模块44，其中:
接收模块40，用于接收目标图像；第一确定模块42，用于确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；第二确定模块44，用于依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述接收模块40、第一确定模块42和第二确定模块44对应于实施例2中的步骤S102至步骤S106，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1和2中的相关描述，此处不再赘述。
上述的图像分析装置还可以包括处理器和存储器，上述接收模块40、第一确定模块42和第二确定模块44等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本申请实施例，还提供了一种存储介质实施例。可选地，在本实施例中，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述任意一种图像分析方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述存储介质包括存储的程序。
可选地，在程序运行时控制存储介质所在设备执行以下功能：接收目标图像；确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
根据本申请实施例，还提供了一种处理器实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种图像分析方法。
本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：接收目标图像；确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：接收目标图像；确定上述目标图像中的目标物体，以及上述目标物体的位置信息和类型信息；依据上述位置信息和上述类型信息确定是否输出告警信息，其中，上述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，上述指定类型事件至少包括：外力破坏事件。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种图像分析***，其特征在于，包括：
图像处理服务器，用于确定接收到的目标图像中的目标物体，以及所述目标物体的位置信息和类型信息；
业务服务器，与所述图像处理服务器连接，用于依据所述位置信息和所述类型信息，确定是否输出告警信息，其中，所述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，所述指定类型事件至少包括：外力破坏事件。
2.根据权利要求1所述的***，其特征在于，所述***还包括：
摄像设备，设置于所述输电线路上，用于拍摄所述输电线路所处区域得到图像数据。
3.根据权利要求2所述的***，其特征在于，所述业务服务器包括：
设备对接模块，与所述摄像设备连接，用于适配接入的所述摄像设备，并接收所述摄像设备上传的所述图像数据；
图像预处理模块，与所述设备对接模块连接，用于对所述图像数据进行预处理，并将预处理得到的所述目标图像发送至所述图像处理服务器，其中，所述预处理包括以下至少之一：图像筛选处理、图像增强处理。
4.根据权利要求3所述的***，其特征在于，所述图像处理服务器包括：
图像分析模块，与所述图像预处理模块和所述业务服务器连接，用于基于滑动窗口机制识别所述目标图像；并基于深度学习算法提取所述目标图像的图像特征数据，通过将所述图像特征数据与目标特征数据进行比对，确定所述目标物体、所述位置信息和所述类型信息。
5.根据权利要求4所述的***，其特征在于，所述图像处理服务器还包括：
任务处理模块，与所述图像分析模块连接，用于在检测到所述图像分析模块接收到多个所述目标图像的情况下，控制所述图像分析模块采用多线程任务处理模型对多个所述目标图像进行多任务并行处理。
6.根据权利要求4所述的***，其特征在于，所述业务服务器还包括：
判定模块，与所述图像分析模块连接，用于基于所述目标图像的场景信息和所述目标对象的判定策略信息，对所述位置信息和所述类型信息进行判定处理，并依据判定结果确定是否输出所述告警信息；
通讯模块，与所述判定模块和目标设备连接，用于将所述告警信息输出至所述目标设备。
7.根据权利要求1所述的***，其特征在于，所述业务服务器还包括：
日志存储模块，用于存储所述业务服务器的运行数据，其中，所述运行数据的类型包括以下至少之一：文本类型、图片类型；所述运行数据至少包括：所述目标图像、判定结果、运行异常数据、图像分析结果、任务分析结果。
8.根据权利要求1所述的***，其特征在于，所述***还包括：
远程过程调用协议RPC接口，分别与所述图像处理服务器和所述业务服务器连接，用于提供所述图像处理服务器和所述业务服务器之间的数据通信接口，并指定所述图像处理服务器和所述业务服务器之间的数据交互格式。
9.根据权利要求8所述的***，其特征在于，所述业务服务器还包括：
算法调度模块，与所述RPC接口连接，用于根据所述业务服务器中的底层算法服务调用并对接所述RPC接口，并将所述目标图像的数据格式转换为所述RPC接口所需的目标数据格式。
10.一种图像分析方法，其特征在于，包括：
接收目标图像；
确定所述目标图像中的目标物体，以及所述目标物体的位置信息和类型信息；
依据所述位置信息和所述类型信息确定是否输出告警信息，其中，所述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，所述指定类型事件至少包括：外力破坏事件。
11.一种图像分析装置，其特征在于，包括：
接收模块，用于接收目标图像；
第一确定模块，用于确定所述目标图像中的目标物体，以及所述目标物体的位置信息和类型信息；
第二确定模块，用于依据所述位置信息和所述类型信息确定是否输出告警信息，其中，所述告警信息用于指示目标对象对输电线路上发生的指定类型事件进行处理，所述指定类型事件至少包括：外力破坏事件。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求10中所述的图像分析方法。
13.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求10中所述的图像分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811565942.9A CN109698938A (zh) | 2018-12-20 | 2018-12-20 | 图像分析方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811565942.9A CN109698938A (zh) | 2018-12-20 | 2018-12-20 | 图像分析方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109698938A true CN109698938A (zh) | 2019-04-30 |
Family
ID=66232787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811565942.9A Pending CN109698938A (zh) | 2018-12-20 | 2018-12-20 | 图像分析方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109698938A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322391A (zh) * | 2019-07-08 | 2019-10-11 | 上海天诚比集科技有限公司 | 基于多线程的视频告警事件分析方法 |
| CN110674861A (zh) * | 2019-09-19 | 2020-01-10 | 国网山东省电力公司电力科学研究院 | 一种输变电巡检图像智能分析方法及装置 |
| CN110992584A (zh) * | 2019-11-29 | 2020-04-10 | 合肥美的智能科技有限公司 | 自动货柜的控制方法、自动货柜和计算机可读存储介质 |
| CN112186613A (zh) * | 2020-09-30 | 2021-01-05 | 国网北京市电力公司 | 电缆管理方法、装置以及*** |
| CN112395980A (zh) * | 2020-11-17 | 2021-02-23 | 华北电力大学扬中智能电气研究中心 | 一种输电线路监测方法、装置、设备及介质 |
| CN114554079A (zh) * | 2022-01-11 | 2022-05-27 | 浙江大华技术股份有限公司 | 智能业务管理方法和智能业务管理*** |
| CN116976610A (zh) * | 2023-07-28 | 2023-10-31 | 东莞盟大集团有限公司 | 基于5g技术的智能调度***及方法 |
| WO2023207995A1 (en) * | 2022-04-26 | 2023-11-02 | Wuhan United Imaging Healthcare Co., Ltd. | Systems and methods for image analysis |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090001152A (ko) * | 2007-06-29 | 2009-01-08 | 건양대학교산학협력단 | Ｓｐｄ를 내장한 ｃｃｔｖ용 송수신장치 |
| CN103871185A (zh) * | 2012-12-12 | 2014-06-18 | 国家电网公司 | 输电线路反外力处理方法、装置及*** |
| CN105516644A (zh) * | 2014-09-23 | 2016-04-20 | 国家电网公司 | 一种变电站远程视频监控*** |
| CN105989682A (zh) * | 2015-02-05 | 2016-10-05 | 国家电网公司 | 一种输电线路线下施工机械安全预警监控***及监控方法 |
| CN107180504A (zh) * | 2017-06-29 | 2017-09-19 | 广东电网有限责任公司佛山供电局 | 一种输电线路防大型机械破坏的图像识别预警***及方法 |
| CN107369291A (zh) * | 2017-07-13 | 2017-11-21 | 南京理工大学 | 基于深度学习的高压线路防外力破坏预警***及方法 |
-
2018
- 2018-12-20 CN CN201811565942.9A patent/CN109698938A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090001152A (ko) * | 2007-06-29 | 2009-01-08 | 건양대학교산학협력단 | Ｓｐｄ를 내장한 ｃｃｔｖ용 송수신장치 |
| CN103871185A (zh) * | 2012-12-12 | 2014-06-18 | 国家电网公司 | 输电线路反外力处理方法、装置及*** |
| CN105516644A (zh) * | 2014-09-23 | 2016-04-20 | 国家电网公司 | 一种变电站远程视频监控*** |
| CN105989682A (zh) * | 2015-02-05 | 2016-10-05 | 国家电网公司 | 一种输电线路线下施工机械安全预警监控***及监控方法 |
| CN107180504A (zh) * | 2017-06-29 | 2017-09-19 | 广东电网有限责任公司佛山供电局 | 一种输电线路防大型机械破坏的图像识别预警***及方法 |
| CN107369291A (zh) * | 2017-07-13 | 2017-11-21 | 南京理工大学 | 基于深度学习的高压线路防外力破坏预警***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| （美）MICROSOFT公司: "《WINDOWS 2000 SERVER资源大全 第4卷 网络互连》", 31 January 2001 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322391A (zh) * | 2019-07-08 | 2019-10-11 | 上海天诚比集科技有限公司 | 基于多线程的视频告警事件分析方法 |
| CN110322391B (zh) * | 2019-07-08 | 2023-07-11 | 上海天诚比集科技有限公司 | 基于多线程的视频告警事件分析方法 |
| CN110674861A (zh) * | 2019-09-19 | 2020-01-10 | 国网山东省电力公司电力科学研究院 | 一种输变电巡检图像智能分析方法及装置 |
| CN110674861B (zh) * | 2019-09-19 | 2022-03-18 | 国网智能科技股份有限公司 | 一种输变电巡检图像智能分析方法及装置 |
| CN110992584A (zh) * | 2019-11-29 | 2020-04-10 | 合肥美的智能科技有限公司 | 自动货柜的控制方法、自动货柜和计算机可读存储介质 |
| CN112186613A (zh) * | 2020-09-30 | 2021-01-05 | 国网北京市电力公司 | 电缆管理方法、装置以及*** |
| CN112395980A (zh) * | 2020-11-17 | 2021-02-23 | 华北电力大学扬中智能电气研究中心 | 一种输电线路监测方法、装置、设备及介质 |
| CN114554079A (zh) * | 2022-01-11 | 2022-05-27 | 浙江大华技术股份有限公司 | 智能业务管理方法和智能业务管理*** |
| WO2023207995A1 (en) * | 2022-04-26 | 2023-11-02 | Wuhan United Imaging Healthcare Co., Ltd. | Systems and methods for image analysis |
| CN116976610A (zh) * | 2023-07-28 | 2023-10-31 | 东莞盟大集团有限公司 | 基于5g技术的智能调度***及方法 |
| CN116976610B (zh) * | 2023-07-28 | 2024-01-26 | 东莞盟大集团有限公司 | 基于5g技术的智能调度***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109698938A (zh) | 图像分析方法、装置及*** | |
| CN108255605B (zh) | 一种基于神经网络的图像识别协同计算方法及*** | |
| US10691950B2 (en) | Activity recognition method and system | |
| Tsai et al. | Distributed analytics in fog computing platforms using tensorflow and kubernetes | |
| Marcenaro et al. | Distributed architectures and logical-task decomposition in multimedia surveillance systems | |
| CN108647559A (zh) | 一种基于深度学习的危险物识别方法 | |
| CN105376251A (zh) | 一种基于云计算的入侵检测方法与*** | |
| CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
| CN104967630A (zh) | 网页访问请求的处理方法及装置 | |
| CN111918039A (zh) | 基于5g网络的人工智能高风险作业管控*** | |
| CN108306747A (zh) | 一种云安全检测方法、装置和电子设备 | |
| CN111047824A (zh) | 一种室内儿童看护联动控制预警方法及*** | |
| CN111177193A (zh) | 一种基于Flink的日志流式处理方法及*** | |
| CN110968479A (zh) | 一种针对应用程序的业务级全链路监控方法及服务器 | |
| US11532158B2 (en) | Methods and systems for customized image and video analysis | |
| CN112969172B (zh) | 一种基于云手机的通讯流量控制方法 | |
| CN113283594B (zh) | 一种基于类脑计算的入侵检测*** | |
| CN114049523A (zh) | 一种视频监控摄像机分布式树叶遮挡识别***及方法 | |
| Narita et al. | Enhanced RSNP for applying to the network service platform-implementation of a face detection function | |
| Boukhtouta et al. | Cloud native applications profiling using a graph neural networks approach | |
| Muzelak et al. | Edge computing implementation of safety monitoring system in frame of IIoT | |
| Shi et al. | Edge Intelligence‐Based OCS Fault Detection in Rail Transit Systems | |
| CN105337999B (zh) | 一种提高云计算环境稳定性的方法 | |
| US20240220344A1 (en) | Automatic issue identification and prevention | |
| CN107564250A (zh) | 一种报警方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190430 |