CN116310665B - 一种图像环境分析方法、设备及介质 - Google Patents

一种图像环境分析方法、设备及介质 Download PDF

Info

Publication number
CN116310665B
CN116310665B CN202310551662.7A CN202310551662A CN116310665B CN 116310665 B CN116310665 B CN 116310665B CN 202310551662 A CN202310551662 A CN 202310551662A CN 116310665 B CN116310665 B CN 116310665B
Authority
CN
China
Prior art keywords
confidence
environment
image
result
analysis algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310551662.7A
Other languages
English (en)
Other versions
CN116310665A (zh
Inventor
包汉彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202310551662.7A priority Critical patent/CN116310665B/zh
Publication of CN116310665A publication Critical patent/CN116310665A/zh
Application granted granted Critical
Publication of CN116310665B publication Critical patent/CN116310665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像环境分析方法、设备及介质,涉及图像识别领域,方法包括:预存多种环境分析算法;在对环境分析算法的输出结果进行条件限定的前提下,得到环境分析算法中设置的置信度阈值;采集当前环境中的待分析图像,并通过环境分析算法得到待分析图像的图像环境对应的第一置信度结果,并根据第一置信度结果与置信度阈值,为第一置信度结果赋予相应的结构化标签;基于当前环境的场景需求,选取具有适配的结构化标签的第一置信度结果。无需对环境分析算法本身进行更改调试的前提下,同时满足不同应用场景的各种场景需求,即使更换应用场景,也无需对算法本身进行调节,保证了环境分析算法的泛用性以及分析效率。

Description

一种图像环境分析方法、设备及介质
技术领域
本申请涉及图像识别领域,具体涉及一种图像环境分析方法、设备及介质。
背景技术
图像目标识别算法,能够根据建立的识别任务,从图像中识别得到相应的目标,比如,其能够对图像中的人类、人类行为、动物、颜色等进行识别。
在目标识别过程中,往往受到图像环境的干扰。图像环境包括两种形式,分别是图像质量和任务干扰场景,图像质量指的是,在图像拍摄过程中,由于当时所处的外界环境或者拍摄设备、拍摄手法等的影响,导致出现的画面模糊、昏暗、逆光、花屏等低质量的图像。任务干扰场景指的是,图像中对识别任务容易产生干扰的场景,比如,识别任务用于对抽烟行为进行识别,而捂嘴、摸脸等行为就容易产生干扰,或者,识别任务用于对指定种类的动物或植物或物品等进行识别,而与其十分相似的其他种类的动物或植物后物品等则容易产生干扰。
在传统的目标识别过程中,在识别到目标后,可能需要通过图像环境分析算法进行辅助,对识别目标所处的图像环境进行分析,从而降低由于图像环境造成对目标误识别的概率。但是这种方式只能适用当前场景需求,一旦更换使用场景,就需要开发人员对图像环境分析算法进行重新调试。比如,在进行人员抽烟检测时,在工厂环境中,环境分析算法更多的需要考虑安全帽等装置的遮挡对于人员抽烟检测产生的影响,而在道路环境中环境分析算法更多的考虑也是捂嘴、接打电话等行为对于人员抽烟检测产生的影响。并且在目标识别过程中,只能同时应对一种场景需求,难以同时满足多种不同的场景需求。
发明内容
为了解决上述问题,本申请提出了一种图像环境分析方法,包括:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息。
另一方面,本申请还提出了一种图像环境分析设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息。
另一方面,本申请还提出了一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息。
通过本申请提出的图像环境分析方法能够带来如下有益效果:
不同的场景中具有不同的需求,基于该场景需求选择最匹配的结构化标签,能够在无需对环境分析算法本身进行更改调试的前提下,同时满足不同应用场景的各种场景需求,即使更换应用场景,也无需对算法本身进行调节,保证了环境分析算法的泛用性以及分析效率。
针对于不同类型、不同指标水平的环境分析算法,定义了可信的结构化属性标签。保证了在环境分析算法对主体任务中进行条件限制时,尽可能保证其他条件对环境分析算法输出结果的正向调节。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中图像环境分析方法的流程示意图;
图2为本申请实施例中,一种场景下的结构化标签生成赋予的流程示意图;
图3为本申请实施例中,一种场景下对图像质量进行环境分析时的环境分析算法启动更新条件判断的流程示意图;
图4为本申请实施例中,一种场景下对任务干扰场景进行环境分析时的环境分析算法启动更新条件判断的流程示意图;
图5为本申请实施例中图像环境分析设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1所示,本申请实施例提供一种图像环境分析方法,包括:
S101:预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种。
预存的环境分析算法指的是,在合法的基础上,从各来源(比如,互联网算法公开平台、算法供应商、自身对算法改进等)获取到的能够实现环境分析的算法,环境分析算法可以通过贝叶斯分类、K最近邻(KNN)、人工神经网络(ANN)、支持向量机(SVM)、K-means等多种架构实现。
图像环境至少包含两种情形,分别是图像质量和任务干扰场景。图像质量指的是,在图像拍摄过程中,由于当时所处的外界环境或者拍摄设备、拍摄手法等的影响,导致出现的画面模糊、昏暗、逆光、花屏等低质量的图像。任务干扰场景指的是,图像中对识别任务容易产生干扰的场景,比如,识别任务用于对抽烟行为进行识别,而捂嘴、摸脸等行为就容易产生干扰,或者,识别任务用于对指定种类的动物或植物或物品等进行识别,而与其十分相似的其他种类的动物或植物后物品等则容易产生干扰。
预先在云端存储有多种环境分析算法,为方便管理,为各环境分析算法赋予相应的标识,还可以基于环境分析算法所针对的情形,在映射关系表中添加相应的字段,比如,在该字段下,0表示该环境分析算法对应于图像质量,1表示该环境分析算法对应于任务干扰场景。
S102:对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值。
为环境分析算法建立相应的结构化评价机制,以此来对各环境分析算法在不同当前环境中能够起到的作用进行评价,从而能够在不同的当前环境中,使用最适配的环境分析算法来进行环境分析。
具体地,针对环境分析算法(通常为已有每种环境分析算法),搭建对应的样本测试集。样本测试集中包含有各类型的图像,其可以通过各类图像库获取,或者,针对于一些指定场景(比如,本申请实施例中图像环境分析方法的实施方的所在场景),可以基于实施方对自身所在场景以拍照等形式,获取相应的照片,从而使得样本测试集能够更加贴合自身所在场景,也就使得测试效果更加贴合自身所在场景。
通过样本测试集对环境分析算法进行测试,将环境分析算法的输出结果的召回率(recall)限定为固定召回率(比如,99.5%),得到环境分析算法中设置的第一置信度阈值(在此写作)。将环境分析算法的输出结果的误识率(false alarm)限定为固定误识率(比如,0.5%),得到环境分析算法中设置的第二置信度阈值(在此写作/>)。当然,还可以通过设置将精准率(precision)设置为固定精准率(比如,99.5%),来代替设置固定误识率,精准率和误识率是相对的关系,两者之和通常为1。
进一步地,如图2所示,样本测试集中包含正例样本集和负例样本集。其中,正例样本集和负例样本集建议对应于至少100个场景,且每个场景中至少包含有100个正例样本或负例样本,以此保证测试的准确性。
此时,通过正例样本集对环境分析算法进行测试,得到环境分析算法在固定召回率下的第一置信度阈值。通过负例样本集对环境分析算法进行测试,得到环境分析算法在固定误识率下的第二置信度阈值。
在测试过程中,若只关注召回率,第一置信度阈值则需要设置的较低,才能保证正例样本尽可能的被召回,达到较高的固定召回率。若只关注误识率,第二置信度阈值则需要设置的较高,才能够保证召回的样本大概率为正例样本,达到较低的固定误识率。因此,第一置信度阈值往往低于第二置信度阈值。但是需要说明的是,此处的大小对比仅为常规情况下的结果,在一些特殊场景或者特殊的环境分析算法中,两者也可能会相等甚至第一置信度阈值要高于第二置信度阈值。
另外,如图2所示,已得到的环境分析算法的第一置信度阈值和第二置信度阈值存储在云端。若是环境分析算法已更新(比如,其中的参数或者架构更新),或者有新的环境分析算法加入时,则需要重新测试或者进行第一次测试,从而对第一置信度阈值和第二置信度阈值进行更新或新添加至云端存储。
S103:采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果。
当前环境指的是实施方当前实际应用的场景和环境,比如,工厂内部、道路两侧、高空设备监控等。在当前环境中设置有监控探头等图像采集装置,基于设置能够实时或者定时的采集得到待分析图像。第一置信度结果(在此写作)指的是,将待分析图像输入至环境分析算法后,环境分析算法根据其自身对应的前向推理过程,输出得到的置信度的输出值。传统的方案中,将该第一置信度结果与环境分析算法自身设置的置信度阈值进行对比后,根据对比结果输出相应的环境分析结果,而在本实施例中,将其与置信度阈值进行对比后,并不只用于输出环境分析结果,还用于为第一置信度结果赋予相应的结构化标签。
具体地,如图2所示,预先对结构化标签进行定义,针对每种环境分析算法,为其定义多种枚举型的结构化属性标签(简称结构化标签),根据环境分析算法输出的第一置信度结果的不同,而赋予相应的结构化标签。
结构化标签包括阳性标签(也可以称作红色标签,简写为RED)、阴性标签(也可以称作绿色标签,简写为GREEN)、疑似标签(也可以称作黄色标签,简写为YELLOW)以及无结果标签(简写为NULL)。
其中,无结果标签通常是不属于其他三种标签时,为其赋予该无结果标签。若被赋予无结果标签,则在后续分析过程中,不再考虑该/>
阳性标签和阴性标签中,阳性(Positive)和阴性(Negative)指代的是事物的是否存在,应用在图像环境分析领域中,可以理解为环境分析算法所识别的“图像环境”在图像中是否存在。比如,当环境分析算法为逆光识别算法(用于识别图像中是否存在“逆光”这一图像环境),若存在逆光,则其对应于“阳性”,若不存在逆光,则其对应于“阴性”。而阳性标签和阴性标签则用于形容第一置信度结果符合对应的阳性或者阴性状态。
对于疑似标签,表示环境分析算法也难以在阳性和阴性中明确选择,此时输出的疑似表示,既可能是阳性,也可能是阴性,疑似标签则对应于该种状态。
如图2所示,将第一置信度结果与第一置信度阈值/>和第二置信度阈值/>作比较,根据比较结果赋予相应的结构化标签。若/>,则说明该第一置信度结果未达到固定召回率下的第一置信度阈值,被召回概率较低,则此时为第一置信度结果/>赋予阴性标签。若/>,则说明该第一置信度结果已经超过固定误识率下的第二置信度阈值,被误识概率较低,则为第一置信度结果赋予阳性标签。若/>,则说明该第一置信度结果被召回概率较高,但是被误识的概率也较高,故而结果难以确定,为第一置信度结果赋予疑似标签。若是三次对比均未符合相应的结果,则赋予无结果标签。当然,图2中所示三次对比的顺序仅为一种示例性的顺序,本实施例中的三次对比并不具有顺序限制。
S104:基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息。
将适配的结构化标签的第一置信度结果之外的其他第一置信度结果筛除,不作为本次图像环境分析结果的考虑因素。可以直接将适配的结构化标签,作为图像环境分析结果,也可以基于所有适配的结构化标签的第一置信度结果再做处理,从而得到最终的图像环境分析结果。比如,将所有适配的结构化标签的第一置信度结果相加后求均值,将该均值作为结构化标签的发生概率,从而将该发生概率作为图像环境分析结果。
若最终的环境分析结果中,需要进行告警,则可以得到生成相应的告警信息并进行告警,比如,在智能手机等可视化交互设备展示告警信息,或者,向相应的管理人员发送短信、邮件等进行告警。当然,若是最终选择的第一置信度结果代表本次环境分析未出现异常,则不再进行告警。
不同的场景中具有不同的需求,基于该场景需求选择最匹配的结构化标签,能够在无需对环境分析算法本身进行更改调试的前提下,同时满足不同当前环境的各种场景需求,即使更换当前环境,也无需对算法本身进行调节,保证了环境分析算法的泛用性以及分析效率。
针对于不同类型(包括图像质量、任务干扰场景等)、不同指标水平(对应于不同的第一置信度结果)的环境分析算法,定义了可信的结构化属性标签。保证了在环境分析算法对主体任务中进行条件限制时,尽可能保证其他条件对环境分析算法输出结果的正向调节,比如,将召回率限制在99.5%以上时,能够尽可能的降低误识率。
进一步地,在根据场景需求选择适配的结构化标签时,根据当前环境对应的风险等级,确定当前环境的场景需求。风险等级指的是当前环境中所要检测目标的风险程度,其能够被(人为、自动化手段)配置,比如,当前环境为“烟火检测”时,其风险等级要高于当前环境为“打电话检测”的风险等级。当然,即使是同一检测目标,在不同区域中,风险等级可能也不同,比如,“在加油站进行抽烟检测”的风险等级,要高于“在空旷地区进行抽烟检测”。预先可以通过人工进行设置各当前环境的风险等级,在每个风险等级中,可以包含多个当前环境。
若场景需求对应于最高风险等级,则在场景需求中,需要对召回率的最低阈值进行限定,此时,选取具有阳性标签的第一置信度结果。比如,烟火检测为最高风险等级,此时宁可存在一定的误报,尽量也不要漏报烟火的发生,从而导致火灾事件。因此,在最高风险等级对应的场景需求中,需要保证高召回率,对召回率的最低阈值进行限定。故而,此时只选择具有阳性标签的第一置信度结果,将其他标签对应的第一置信度结果过滤掉,不作为环境分析结果的考虑范围。
若场景需求对应于最低风险等级,则在场景需求中,需要对误识率的最高阈值进行限定,此时,选取具有阴性标签的第一置信度结果。比如,人员打电话检测为最低风险等级,尽量不要因为画面模糊、昏暗或者人员摸头发、摸耳朵等动作引起误报。因此,在最低风险等级对应的场景需求中,需要保证低误识率,对误识率的最高阈值进行限定。故而,此时只选择具有阴性标签的第一置信度结果。
若场景需求对应于其他风险等级(该其他风险等级位于最低风险等级和最高风险等级之间),则在场景需求中需要在召回率和误识率中寻找平衡点(上文已经介绍过,在常规情况下,在不改变算法本身架构和参数的前提下,提高召回率和降低误识率是难以同时实现的),比如,提高最高阈值、降低最低阈值,以得到误识率和召回率各自分别对应的平衡阈值,此时可以选取具有阳性标签和/或阴性标签的第一置信度结果(比如,同时采用具有阳性标签或具有阴性标签的第一置信度结果,或者,基于人为设置只选取阳性标签或阴性标签对应的第一置信度结果)。
例如,人员不带安全帽识别为其他风险等级,此时需要同时保证召回率和误识率在平衡阈值下。因此,可以同时采用具有阳性标签或具有阴性标签的第一置信度结果,并且还要注重对疑似标签的处理,选取至少部分具有疑似标签的第一置信度结果。
更进一步地,对于其他风险等级中的疑似标签,根据当前环境的风险等级,以及预先设置的风险等级与灵敏度之间的映射关系,确定当前环境对应的灵敏度。当其他风险等级中,设置有多个更细化的层级时,每个层级均对应有相应的灵敏度,灵敏度表示该风险等级对于第一置信度阈值和第二置信度阈值的可调整范围的灵敏度,通常来说,灵敏度越高,和/>的可调整幅度越大。
基于此,根据灵敏度,以及第一置信度阈值和第二置信度阈值,得到位于第一置信度阈值和第二置信度阈值之间的第三置信度阈值。比如,根据公式得到第三置信度阈值,其中,/>为第三置信度阈值,/>为第一置信度阈值,/>为第二置信度阈值,/>为灵敏度,且/>的范围为[0,1]。
此时在和/>之间,以/>进行了更细致的划分,若/>大于/>,则说明在新的更细致的划分中,第一置信度结果/>更加偏向阴性,将/>的疑似标签修改为阴性标签。相反地,若/>小于或等于/>,则将/>的疑似标签修改为阳性标签。此时,在其他风险等级对应的当前环境中,即可根据其原本需要选取的阳性标签和/或阴性标签,在修改后的疑似标签中进行选择。
在一个实施例中,在上述实施例的方案中,需要通过多种环境分析算法对待分析图像进行环境分析,若是在当前环境中,将采集到的每帧图像进行环境分析,则容易导致算力资源的巨大占用,影响主体算法的性能,且环境分析过程不够简洁高效。
基于此,如图3所示,当环境分析算法用于对图像质量进行环境分析时(比如,模糊、逆光、昏暗等),将待分析图像进行区域划分,得到多个目标框,每个目标看表示一个区域。比如,划分得到m*n个矩形框,并且每个目标框大小与待分析目标大小相似,差值低于预设值。在此需要说明的是,该待分析目标为通过图像目标识别算法对待分析图像进行识别得到的,故也将待分析目标称作识别目标(比如,其可以是人物、车辆等)。通常情况下,通过图像目标识别算法识别到识别目标后,再交由环境分析算法进行环境识别,以辅助判断图像目标识别算法识别到的识别目标是否准确和正确。图像目标识别算法与环境分析算法类似地,也可以存储在云端。
设置有时间间隔(比如,设置为5分钟),通过计时器触发,确认每经过时间间隔后,针对每个目标框,通过环境分析算法得到该目标框的图像质量对应的第一置信度结果,并为出现在该目标框内的识别目标赋予第一置信度结果,然后即可根据上文中步骤S103以及步骤S104中的相关内容进行后续处理。
如此,通过设置多个目标框,能够对待分析图像内的各区域进行分块处理,使得整体的环境分析结果更加高效。且对于图像质量对应的环境分析来说,时间对于其影响较大,在同一个时间段内,图像质量很难产生较大变化,因此,只需要每隔预设间隔后进行一次环境分析,即可实现对于环境分析的需求目标。
如图4所示,当环境分析算法用于对任务干扰场景进行环境分析时(比如,对识别目标的干扰动作和干扰属性),通过图像目标识别算法对待分析图像进行识别,以在待分析图像中遍历所有识别目标,并确定识别目标的坐标范围以及目标识别对应的第二置信度结果,该第二置信度结果与第一置信度结果类似地,是图像目标识别算法在前向推理过程中针对识别目标产生的。
每当检测到新的识别目标后,为其生成赋予新的目标ID,此时,基于该目标ID来判断本次识别到的识别目标是否为首次确认。若是首次确认,则通过环境分析算法对任务干扰场景进行环境分析,并记录该识别目标的坐标和第二置信度结果,后续即可执行上文中步骤S103以及步骤S104中的相关内容。
若目标ID并非新的目标ID,则确认识别目标非首次确认,则根据新识别到的坐标范围或第二置信度结果,通过环境分析算法,对识别目标的任务干扰场景重新进行环境分析,并通过重新进行的环境分析,对之前的环境分析结果进行更新,后续即可执行上文中步骤S103以及步骤S104中的相关内容。
具体地,在判断是否需要重新进行环境分析时,可以通过坐标范围或者第二置信度结果来判断,两者只需要满足其一,即可重新进行环境分析。
其中,若根据坐标范围,确定同一目标ID对应的识别目标本次的坐标范围,与上一次通过环境分析算法进行环境分析时的坐标范围之间,重叠度低于预设范围,比如,通过将两个坐标范围(本次识别识别目标的第一坐标范围与识别目标上一次通过环境分析算法进行环境分析时识别的第二坐标范围)之间进行交并比IOU,来确定两者之间的重叠度。若重叠度低于预设范围(比如,低于10%或者IOU=0),则说明识别目标已经位移了较大的距离,其状态很可能已经发生了改变,故而需要重新进行环境分析。当然,在此可以根据具体场景,通过扩大识别目标的检测框、降低预设范围的设定值等方式,来降低环境分析算法的启动频率,反之也可以通过相应手段提高环境分析算法的启动频率。
根据第二置信度结果,确定识别目标本次的第二置信度结果,高于上一次通过环境分析算法进行环境分析时的第二置信度结果/>,则说明通过图像目标识别算法,确认识别目标正是我们所需的目标的概率更大,故而需要对其采用更谨慎的态度,重启环境分析算法,并对已有的环境分析结果进行更新。
如图5所示,本申请实施例还提供了一种图像环境分析设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息。
本申请实施例还提供了一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的,因此,设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种图像环境分析方法,其特征在于,包括:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息;
在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值,具体包括:
针对所述环境分析算法,搭建对应的样本测试集,所述样本测试集中包含正例样本集和负例样本集;
通过所述正例样本集对所述环境分析算法进行测试,以将所述环境分析算法的输出结果的召回率限定为固定召回率,得到所述环境分析算法中设置的第一置信度阈值;
通过所述负例样本集对所述环境分析算法进行测试,以将所述环境分析算法的输出结果的误识率限定为固定误识率,得到所述环境分析算法中设置的第二置信度阈值。
2.根据权利要求1所述的方法,其特征在于,根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,具体包括:
若所述第一置信度结果小于所述第一置信度阈值,则为所述第一置信度结果赋予阴性标签;
若所述第一置信度结果大于所述第二置信度阈值,则为所述第一置信度结果赋予阳性标签;
若所述第一置信度结果大于所述第一置信度阈值,且小于所述第二置信度阈值,则为所述第一置信度结果赋予疑似标签。
3.根据权利要求2所述的方法,其特征在于,基于所述当前环境中的场景需求,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的图像环境分析结果,具体包括:
根据所述当前环境对应的风险等级,确定所述当前环境的场景需求;所述场景需求能够被配置;
若所述场景需求对应于最高风险等级,则选取具有所述阳性标签的第一置信度结果;
若所述场景需求对应于最低风险等级,则选取具有所述阴性标签的第一置信度结果;
若所述场景需求对应于其他风险等级,则选取具有所述阳性标签和/或所述阴性标签的第一置信度结果,并选取至少部分具有所述疑似标签的第一置信度结果。
4.根据权利要求3所述的方法,其特征在于,根据所述当前环境对应的风险等级,确定所述当前环境的场景需求,具体包括:
若所述当前环境对应于最高风险等级,则在所述场景需求中,对召回率的最低阈值进行限定;
若所述当前环境对应于最低风险等级,则在所述场景需求中,对误识率的最高阈值进行限定;
若所述当前环境对应于其他风险等级,则在所述场景需求中,提高当前误识率的最高阈值且降低当前召回率的最低阈值,以得到误识率和召回率各自分别对应的平衡阈值。
5.根据权利要求3所述的方法,其特征在于,选取至少部分具有所述疑似标签的第一置信度结果,具体包括:
根据所述当前环境的风险等级,以及预先设置的风险等级与灵敏度之间的映射关系,确定所述当前环境对应的灵敏度;
根据所述灵敏度,以及所述第一置信度阈值和所述第二置信度阈值,得到在所述第一置信度阈值和所述第二置信度阈值之间的第三置信度阈值;
若所述第一置信度结果大于所述第三置信度阈值,则将所述第一置信度结果的疑似标签修改为阴性标签;
若所述第一置信度结果小于或等于所述第三置信度阈值,则将所述第一置信度结果的疑似标签修改为阳性标签。
6.根据权利要求5所述的方法,其特征在于,根据所述灵敏度,以及所述第一置信度阈值和所述第二置信度阈值,得到位于所述第一置信度阈值和所述第二置信度阈值之间的第三置信度阈值,具体包括:
根据公式得到第三置信度阈值,其中,/>为第三置信度阈值,/>为第一置信度阈值,/>为第二置信度阈值,/>为灵敏度,且/>的取值范围为[0,1]。
7.根据权利要求1所述的方法,其特征在于,通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,具体包括:
确定测试后的环境分析算法用于对所述图像质量进行分析;
将所述待分析图像进行区域划分,得到多个目标框,每个目标框表示一个区域;
针对每个目标框,每经过预设时间间隔,通过所述测试后的环境分析算法得到该目标框的图像质量对应的第一置信度结果,并为出现在该目标框内的识别目标赋予所述第一置信度结果,所述识别目标是通过图像目标识别算法对所述待分析图像进行识别得到的。
8.根据权利要求1所述的方法,其特征在于,通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果之前,所述方法还包括:
确定测试后的环境分析算法用于对所述任务干扰场景进行环境分析;所述任务干扰场景包括目标干扰动作和/或干扰属性;
通过图像目标识别算法对所述待分析图像进行识别,以在所述待分析图像中确定识别目标的坐标范围以及目标识别对应的第二置信度结果;
若所述识别目标为首次识别到,则通过所述环境分析算法对任务干扰场景进行环境分析;
若所述识别目标非首次识别到,则根据所述识别目标的所述坐标范围或所述第二置信度结果,通过所述环境分析算法,对所述识别目标的任务干扰场景重新进行环境分析。
9.根据权利要求8所述的方法,其特征在于,根据所述识别目标的所述坐标范围或所述第二置信度结果,通过所述环境分析算法,对所述识别目标的任务干扰场景重新进行环境分析,具体包括:
根据所述识别目标的所述坐标范围,确定本次识别所述识别目标的坐标范围,与上一次通过环境分析算法进行环境分析时识别的坐标范围之间,重叠度低于预设范围;或
根据所述第二置信度结果,确定本次识别所述识别目标的第二置信度结果,高于上一次通过环境分析算法进行环境分析时识别的第二置信度结果。
10.根据权利要求1所述的方法,其特征在于,对所述多种环境分析算法中任意一种进行测试之后,所述方法还包括:
确定存储有新的环境分析算法,或预存的环境分析算法已更新,对该新的环境分析算法,以及该更新的环境分析算法进行测试。
11.一种图像环境分析设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息;
在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值,具体包括:
针对所述环境分析算法,搭建对应的样本测试集,所述样本测试集中包含正例样本集和负例样本集;
通过所述正例样本集对所述环境分析算法进行测试,以将所述环境分析算法的输出结果的召回率限定为固定召回率,得到所述环境分析算法中设置的第一置信度阈值;
通过所述负例样本集对所述环境分析算法进行测试,以将所述环境分析算法的输出结果的误识率限定为固定误识率,得到所述环境分析算法中设置的第二置信度阈值。
12.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
预存多种环境分析算法,所述环境分析算法用于对图像环境进行分析,所述图像环境包括图像质量、任务干扰场景中的至少一种;
对所述多种环境分析算法中任意一种进行测试,以在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值;
采集当前环境中的待分析图像,并通过测试后的环境分析算法,得到所述待分析图像的图像环境对应的第一置信度结果,并根据所述第一置信度结果与所述置信度阈值,为所述第一置信度结果赋予相应的结构化标签,所述结构化标签用于指示所述第一置信度结果对应的图像环境分析结果;
基于所述当前环境中的场景需求,在已得到的多种第一置信度结果中,选取具有适配的结构化标签对应的第一置信度结果,用于得到所述待分析图像的告警信息;
在对所述环境分析算法的输出结果进行条件限定的前提下,得到所述环境分析算法中设置的置信度阈值,具体包括:
针对所述环境分析算法,搭建对应的样本测试集,所述样本测试集中包含正例样本集和负例样本集;
通过所述正例样本集对所述环境分析算法进行测试,以将所述环境分析算法的输出结果的召回率限定为固定召回率,得到所述环境分析算法中设置的第一置信度阈值;
通过所述负例样本集对所述环境分析算法进行测试,以将所述环境分析算法的输出结果的误识率限定为固定误识率,得到所述环境分析算法中设置的第二置信度阈值。
CN202310551662.7A 2023-05-17 2023-05-17 一种图像环境分析方法、设备及介质 Active CN116310665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310551662.7A CN116310665B (zh) 2023-05-17 2023-05-17 一种图像环境分析方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310551662.7A CN116310665B (zh) 2023-05-17 2023-05-17 一种图像环境分析方法、设备及介质

Publications (2)

Publication Number Publication Date
CN116310665A CN116310665A (zh) 2023-06-23
CN116310665B true CN116310665B (zh) 2023-08-15

Family

ID=86796257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310551662.7A Active CN116310665B (zh) 2023-05-17 2023-05-17 一种图像环境分析方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116310665B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764208A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN112036312A (zh) * 2020-08-31 2020-12-04 中国平安财产保险股份有限公司 质检场景识别方法、装置、计算机设备及可读存储介质
WO2022121033A1 (zh) * 2020-12-10 2022-06-16 广州广电运通金融电子股份有限公司 基于视频质检场景的阈值设定方法、存储介质和***
CN114998783A (zh) * 2022-05-19 2022-09-02 安徽合为智能科技有限公司 一种用于烟火及人员行为视频分析的前端设备
CN115131621A (zh) * 2021-03-26 2022-09-30 华为技术有限公司 一种图像质量评估方法与装置
CN115512189A (zh) * 2022-09-16 2022-12-23 煤炭科学研究总院有限公司 图像识别模型评估方法、装置以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174503A1 (en) * 2019-12-06 2021-06-10 Raylytic GmbH Method, system and storage medium with a program for the automatic analysis of medical image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764208A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN112036312A (zh) * 2020-08-31 2020-12-04 中国平安财产保险股份有限公司 质检场景识别方法、装置、计算机设备及可读存储介质
WO2022121033A1 (zh) * 2020-12-10 2022-06-16 广州广电运通金融电子股份有限公司 基于视频质检场景的阈值设定方法、存储介质和***
CN115131621A (zh) * 2021-03-26 2022-09-30 华为技术有限公司 一种图像质量评估方法与装置
CN114998783A (zh) * 2022-05-19 2022-09-02 安徽合为智能科技有限公司 一种用于烟火及人员行为视频分析的前端设备
CN115512189A (zh) * 2022-09-16 2022-12-23 煤炭科学研究总院有限公司 图像识别模型评估方法、装置以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Labeling confidence for uncertainty-aware histology image classification;Rocío del Amor et al.;Computerized Medical Imaging and Graphics;第1-9页 *

Also Published As

Publication number Publication date
CN116310665A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
CN108734684B (zh) 动态照明场景的图像背景减除
CN113780466A (zh) 模型迭代优化方法、装置、电子设备和可读存储介质
CN111489342A (zh) 一种基于视频的火焰检测方法、***及可读存储介质
JP7121353B2 (ja) 映像解析装置、映像解析方法、および映像解析プログラム
US20100002142A1 (en) System and method for video-processing algorithm improvement
CN110866515A (zh) 厂房内对象行为识别方法、装置以及电子设备
CN114386034B (zh) 动态迭代的多引擎融合恶意代码检测方法、设备及介质
CN110909712A (zh) 运动目标检测方法、装置、电子设备及存储介质
KR20190141577A (ko) 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템
CN108537202A (zh) 森林火灾识别装置及***
CN112784738A (zh) 运动目标检测告警方法、装置以及计算机可读存储介质
CN116681724A (zh) 基于YOLOv5-Deepsort算法的矿井人员目标视频跟踪方法及存储介质
CN116310665B (zh) 一种图像环境分析方法、设备及介质
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
CN113947744A (zh) 基于视频的火灾图像检测方法、***、设备及存储介质
CN110705502B (zh) 一种驾驶员监控设备优化方法
CN112419635B (zh) 融合光栅和视频的周界报警方法
US20220255953A1 (en) Feature detection with neural network classification of images representations of temporal graphs
CN114595086A (zh) 一种异常检测方法、装置、设备及存储介质
CN112929386B (zh) 基于人工智能和异常识别的模型训练方法、***及平台
CN111368651A (zh) 一种车辆识别方法、装置及电子设备
US20190236375A1 (en) Data fusion based safety surveillance system and method
CN113469057B (zh) 火眼视频自适应检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant