CN113569730B - 防护状态检测方法、装置及电子设备 - Google Patents
防护状态检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113569730B CN113569730B CN202110852736.1A CN202110852736A CN113569730B CN 113569730 B CN113569730 B CN 113569730B CN 202110852736 A CN202110852736 A CN 202110852736A CN 113569730 B CN113569730 B CN 113569730B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- interest
- region
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000013145 classification model Methods 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010276 construction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009435 building construction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及防护状态检测方法、装置及电子设备,所述方法包括获取待检测图像;对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像;当所述待检测图像为目标防护场景的图像时,对所述待检测图像中的感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常。基于计算机视觉技术提出了不基于传感器的检测方法,且在对感兴趣区域进行防护状态检测之前,先对待检测图像进行场景识别,可以对图像采集设备位置出现偏移可能造成的误检进行过滤,提高了检测的可靠性以及检测算法的鲁棒性。进一步地,由于该检测方法与图像的采集角度无关,从而可以实现在不同设备上的可迁移性。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及防护状态检测方法、装置及电子设备。
背景技术
对于施工场景而言,为了保证人员安全需要对一些存在安全隐患的区域进行防护。例如,建筑工程中所述的临边、洞口。其中,临边指建筑工程中的“五临边”,分别为:沟、坑、槽和深基础临边;楼层临边;楼梯侧边;平台或阳台临边;以及屋面临边。洞口指建筑工程中的“四口”,分别为:楼梯口、电梯口、预留洞口以及通道口。
现有的防护检测装置一般是基于物联网技术,通过在施工现场部署传感器的方式实现防护状态的监测与报警。例如,以检测人与防护设施的距离,当距离小于安全距离时发出报警。
然而,上述技术方案中安装传感器,而工地场景较为复杂,传感器在这种场景下易遭到破坏,导致后续检测的可靠性偏低。
发明内容
有鉴于此,本发明实施例提供了一种防护状态检测方法、装置及电子设备,以解决防护状态检测的可靠性偏低的问题。
根据第一方面,本发明实施例提供了一种防护状态检测方法,包括:
获取待检测图像;
对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像;
当所述待检测图像为目标防护场景的图像时,对所述待检测图像中的感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常。
本发明实施例提供的防护状态检测方法,基于计算机视觉技术提出了不基于传感器的检测方法,且在对感兴趣区域进行防护状态检测之前,先对待检测图像进行场景识别,确定其是否为目标防护场景的图像,可以对图像采集设备位置出现偏移可能造成的误检进行过滤,提高了检测的可靠性以及检测算法的鲁棒性。进一步地,由于该检测方法与图像的采集角度无关,从而可以实现在不同设备上的可迁移性。
结合第一方面,在第一方面第一实施方式中,所述对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像,包括:
获取场景分类模型;
将所述待检测图像输入所述场景分类模型中,以利用所述场景分类模型对所述待检测图像进行全局特征提取,确定所述待检测图像是否为目标防护场景的图像。
本发明实施例提供的防护状态检测方法,由于后续感兴趣区域的防护状态检测是基于临边场景的局部特征进行的,而施工现场会存在大量具备临边特征但是不需要防护的区域,这个会导致后续的防护状态检测在采集场景频繁更换的设备上存在较多误检,因此,通过加入场景分类模型的全局特征提取,可以从场景上将这些误检过滤掉,提升算法可靠性。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述将所述待检测图像输入所述场景分类模型中,以利用所述场景分类模型对所述待检测图像进行全局特征提取,确定所述待检测图像是否为目标防护场景的图像,包括:
将所述待检测图像缩放至预设尺寸,并利用所述场景分类模型中的卷积单元对缩放后的图像进行全局特征提取,得到全局特征,所述卷积单元包括多个卷积层以及与最后一个卷积层连接的注意力模块;
基于所述全局特征确定所述待检测图像是否为目标防护场景的图像。
本发明实施例提供的防护状态检测方法,在卷积单元中加入注意力模块可以使场景分类模型在提取特征时更好地定位到目标特征的区域,从而在不增加计算量的前提下提升模型性能。
结合第一方面至第一方面第二实施方式中任一项,在第一方面第三实施方式中,所述方法还包括:
当所述待检测图像不是目标防护场景的图像时,确定采集所述待检测图像的图像采集装置偏移,并将图像采集装置偏移的信息发送给预设对象。
本发明实施例提供的防护状态检测方法,在检测出不存在目标防护场景的图像时,此时通知预设对象图像采集装置发生偏移,需要对其进行调整,以便对图像采集装置的采集角度进行及时调整。
结合第一方面,在第一方面第四实施方式中,所述对所述待检测图像中感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常,包括:
获取检测模型以及防护分类模型;
将所述待检测图像输入所述检测模型中,确定所述感兴趣区域的位置;
基于所述感兴趣区域的位置,从所述待检测图像中截取出感兴趣图像;
将所述感兴趣图像输入所述防护分类模型中,确定所述感兴趣区域的防护状态是否正常。
本发明实施例提供的防护状态检测方法,利用检测+分类的流程识别感兴趣区域的防护是否正常,可以最大程度保证对于被识别出的防护状态判断的准确性,减少无防护报警的误报和漏报。
结合第一方面第四实施方式,在第一方面第五实施方式中,所述将所述待检测图像输入所述检测模型中,确定所述感兴趣区域的类别和位置,包括:
利用所述检测模型中的特征提取单元提取所述待检测图像的临边特征;
基于所述临边特征,确定所述感兴趣区域的类别和位置,所述感兴趣区域包括临边或洞口。
本发明实施例提供的防护状态检测方法,对检测模型对待检测图像进行局部特征的提取,使得检测更注重细节,提高检测可靠性。
结合第一方面第四实施方式,在第一方面六实施方式中,所述基于所述感兴趣区域的位置,从所述待检测图像中截取出感兴趣图像,包括:
利用所述感兴趣区域的位置,确定所述感兴趣区域的范围;
将确定出感兴趣区域的范围进行等比例向外扩展,确定感兴趣图像的范围;
利用所述感兴趣图像的范围从所述待检测图像中截取出所述感兴趣图像。
本发明实施例提供的防护状态检测方法,将感兴趣区域的范围进行等比例往外扩展,从而能够最大限度地将感兴趣图像囊括在内,提高了检测方法的准确性。
根据第二方面,本发明实施例还提供了一种防护状态检测装置,包括:
获取模块,用于获取待检测图像;
场景识别模块,用于对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像;
防护检测模块,用于当所述待检测图像为目标防护场景的图像时,对所述待检测图像中的感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常。
本发明实施例提供的防护状态检测装置,基于计算机视觉技术提出了不基于传感器的检测方法,且在对感兴趣区域进行防护状态检测之前,先对待检测图像进行场景识别,确定其是否为目标防护场景的图像,可以对图像采集设备位置出现偏移可能造成的误检,提高了检测的可靠性以及检测算法的鲁棒性。进一步地,由于该检测方法与图像的采集角度无关,从而可以实现在不同设备上的可迁移性。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的防护状态检测方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的防护状态检测方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的防护状态检测方法的流程图;
图2是根据本发明实施例的防护状态检测方法的流程图;
图3是根据本发明实施例的场景分类模型的架构示意图;
图4是根据本发明实施例的防护状态检测方法的流程图;
图5是根据本发明实施例的检测分类流程图;
图6是根据本发明实施例的感兴趣区域的截取示意图;
图7是根据本发明实施例的防护状态检测装置的结构框图;
图8是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决由于硬件安装所导致的检测可靠性偏低的问题,常想到的方法是基于软件算法的防护检测,例如,基于计算机视觉技术对采集到的图像进行防护状态的检测,可以是先检测出边缘,再对边缘是否设置防护进行分类。但是,在建筑场景下,并不是所有具有边缘特征的区域均需要设置防护。例如,非行人通道、高度低于2m的边缘等等。针对上述场景,若仅仅采用边缘检测和分类的方法将会导致误检。
基于此,本发明实施例提供的防护状态检测方法,在边缘检测之前,先对采集到的图像进行防护场景的检测,确定是否需要进行防护检测。在需要进行方法检测时,才对其进行防护状态的检测。
根据本发明实施例,提供了一种防护状态检测方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种防护状态检测方法,可用于上述的电子设备,如摄像头、手机、平板电脑、智能眼镜等,图1是根据本发明实施例的防护状态检测方法的流程图,如图1所示,该流程包括如下步骤:
S11,获取待检测图像。
所述的待检测图像可以是电子设备直接采集到的,也可以是电子设备从第三方设备中获取的。例如,电子设备具有图像采集功能,利用该图像采集功能采集图像,相应地,电子设备就可以获取到待检测图像;电子设备与第三方设备连接,第三方设备采集图像并将采集到的图像发送给电子设备,相应地,电子设备就可以获取到待检测图像。在此对其来源并不做任何限制,具体可以根据实际情况进行相应的设置。
作为本实施例的一个具体应用场景,巡检人员利用巡检装置采集各区域的图像,可以是巡检装置执行所述的防护状态检测方法进行防护状态检测,也可以是巡检装置将采集到的图像发送给电子设备,由电子设备进行检测,等等。
S12,对待检测图像进行场景识别,确定待检测图像是否为目标防护场景的图像。
目标防护场景用于表示需要进行防护检测的场景,例如,临边和洞口。具体地,在电子设备中存储有临边以及洞口的特征,对待检测图像进行特征提取,将提取出的特征与各个目标防护场景的特征进行对比,即可确定待检测图像是否为目标防护场景的图像。
或者,通过大量的场景图像训练得到场景分类模型,将待检测图像驶入到场景分类模型中进行场景识别,确定其是否为目标防护场景的图像。其中,关于场景分类模型的具体细节将在下文中进行详细描述。
在此对场景识别的具体处理方式,并不做任何限定,具体可以根据实际需求进行相应的设置,只需保证电子设备能够确定待检测图像是否为目标防护场景的图像即可。
当待检测图像为目标防护场景的图像时,执行S13;否则,执行其他操作。
S13,对待检测图像中的感兴趣区域进行防护状态检测,以确定感兴趣区域的防护状态是否正常。
电子设备在确定出待检测图像为目标防护场景的图像后,就需要对其进行防护状态检测,以确定防护状态是否正常。其中,所述的感兴趣区域为需要设置防护的区域,例如,临边、洞口。
对于感兴趣区域的确定可以是利用检测网络模型确定的,在确定出感兴趣区域之后,再利用防护分类模型对感兴趣区域的图像进行识别,确定其防护状态是否正常。
或者,对待检测图像进行特征提取,利用提取出的特征同时进行感兴趣区域的检测以及防护分类,以提高检测效率。
本实施例提供的防护状态检测方法,基于计算机视觉技术提出了不基于传感器的检测方法,且在对感兴趣区域进行防护状态检测之前,先对待检测图像进行场景识别,确定其是否为目标防护场景的图像,可以对图像采集设备位置出现偏移可能造成的误检进行过滤,提高了检测的可靠性以及检测算法的鲁棒性。进一步地,由于该检测方法与图像的采集角度无关,从而可以实现在不同设备上的可迁移性。
在本实施例中提供了一种防护状态检测方法,可用于上述的电子设备,如摄像头、手机、平板电脑、智能眼镜等,图2是根据本发明实施例的防护状态检测方法的流程图,如图2所示,该流程包括如下步骤:
S21,获取待检测图像。
详细请参见图1所示实施例的S11,在此不再赘述。
S22,对待检测图像进行场景识别,确定待检测图像是否为目标防护场景的图像。
当待检测图像为目标防护场景的图像时,执行S23;否则,执行S24。
所述的目标防护场景可以根据实际需求进行相应的设置,在此对其并不做任何限定。例如,根据工地的实际场景,确定对应的目标防护场景。
具体地,上述S22包括:
S221,获取场景分类模型。
场景分类模型的输入为待检测图像,输出为该待检测图像为目标防护场景的概率。由于后续的检测模型是利用待检测图像的临边特征进行检测的,但是并不是所有具有临边特征的场景均是需要防护的。其中,所述的临边特征即一侧是平的,另一侧是落差。而这个因素会导致检测模型在检测过程中会有较多的误检。例如,高度落差小于2米,或是非行人通道等情况。
因此,在检测模型检测之前,先利用场景分类模型对其进行目标防护场景的识别,以过滤掉不属于目标防护场景的图像。例如,正样本包括常见的室内洞口场景,室外洞口,阳台场景,楼梯场景等场景图片,负样本一般会加入一些其他的工地场景图片例如近景拍摄的一些脚手架或是其他工具等。具体可以根据实际需求进行相应的设置。
在训练得到场景分类模型之后,利用验证数据集中的样本数据进行验证;若验证不合格,再加入对应于不合格图像的样本数据,以加强对这部分图像的学习。即,在训练过程中,动态调整训练样本数据集,以得到预测结果准确的场景分类模型。
S222,将待检测图像输入场景分类模型中,以利用场景分类模型对待检测图像进行全局特征提取,确定待检测图像是否为目标防护场景的图像。
由于场景的检测需要从待检测图像的全局出发,从整体上进行识别。因此,利用场景分类模型对待检测图像进行全局特征提取,才能准确地识别出其是否为目标防护场景的图像。
在本实施例的一种可选实施方式中,结合图3所示,上述S222包括:
(1)将待检测图像缩放至预设尺寸,并利用场景分类模型中的卷积单元对缩放后的图像进行全局特征提取,得到全局特征。
其中,所述卷积单元包括多个卷积层以及与最后一个卷积层连接的注意力模块。
场景分类模型包括输入单元、卷积单元以及输出处理单元。具体地,输入单元用于将输入图像缩放至预设尺寸,以保证输入至卷积单元的图像尺寸保持一致。
如图3所示,预设尺寸为416*416。但是,本发明保护范围并不限于此,具体可以根据实际情况进行相应的设置。
所述的卷积单元包括多个卷积层以及注意力模块,该注意力模块与最后一个卷积层连接。在卷积单元中加入注意力模块可以使场景分类模型在提取特征时更好地定位到目标特征的区域,从而在不增加计算量的前提下提升模型性能。其中,卷积层的具体数量可以根据实际需求进行相应的设置,在此对其并不做任何限定。
电子设备将待检测图像输入至场景分类模型中,利用卷积单元提取全局特征,即从注意力模块输出全局特征。
(2)基于全局特征确定待检测图像是否为目标防护场景的图像。
如图3所示,将全局特征展平输入到全连接层和Softmax层得到最后的输出,输出向量中的最大值表示场景分类模型预测的待检测图像的场景。相应地,就可以确定待检测图像是否为目标防护场景的图像。
待检测图像经过场景分类模型后会得到模型对于当前场景的预测,如果是目标防护场景,则进行后续的防护状态检测;若不是目标防护场景,可以返回非目标场景的结果,并执行S24。
S23,对待检测图像中的感兴趣区域进行防护状态检测,以确定感兴趣区域的防护状态是否正常。
电子设备在确定出待检测图像中的场景为目标防护场景时,再对感兴趣区域进行防护状态检测,以确定防护状态是否正常。
关于该步骤具体将在下文中进行详细描述。
S24,确定采集待检测图像的图像采集装置偏移,并将图像采集装置偏移的信息发送给预设对象。
在确定出待检测图像中的场景不是目标防护场景时,确定出采集待检测图像的图像采集装置发生偏移。例如,当图像采集装置为监控设备时,可能由于有些原因导致监控设备的镜头偏移,那么此时就可以检测出该偏移,并将偏移的信息发送给预设对象,以对其进行及时调整。
当图像采集装置为移动采集设备时,可能由于采集角度问题,此时需要提醒操作人员可能未对准,即未检测到目标防护场景可能是由于镜头的位置未对准,等等。
本实施例提供的防护状态检测方法,由于后续感兴趣区域的防护状态检测是基于临边场景的局部特征进行的,而施工现场会存在大量具备临边特征但是不需要防护的区域,这个会导致后续的防护状态检测在采集场景频繁更换的设备上存在较多误检,因此,通过加入场景分类模型的全局特征提取,可以从场景上将这些误检过滤掉,提升算法可靠性。在检测出不存在目标防护场景的图像时,此时通知预设对象图像采集装置发生偏移,需要对其进行调整,以便对图像采集装置的采集角度进行及时调整。
在本实施例中提供了一种防护状态检测方法,可用于上述的电子设备,如摄像头、手机、平板电脑、智能眼镜等,图4是根据本发明实施例的防护状态检测方法的流程图,如图4所示,该流程包括如下步骤:
S31,获取待检测图像。
详细请参见2所示实施例的S21,在此不再赘述。
S32,对待检测图像进行场景识别,确定待检测图像是否为目标防护场景的图像。
当待检测图像为目标防护场景的图像时,执行S33;否则,执行S34。
详细请参见图2所示实施例的S22,在此不再赘述。
S33,对待检测图像中的感兴趣区域进行防护状态检测,以确定感兴趣区域的防护状态是否正常。
具体地,上述S33包括:
S331,获取检测模型以及防护分类模型。
检测模型以及防护分类模型的具体网络结构在此对其并不做任何限定,只需保证检测模型能够检测出待检测图像中的感兴趣区域,防护分类模型能够对感兴趣区域是否防护进行分类即可。
其中,检测模型的输入为待检测图像,输出包括待检测图像中感兴趣区域的位置及类别;防护分类模型的输入为感兴趣区域图像,输出为设置防护的概率。
进一步可选地,防护分类模型可以依据类别进行分类,例如,用于对临边的防护进行分类的模型以及用于对洞口的防护进行分类的模型,等等。或者,更进一步地,视觉特征差距较大的目标会使用不同的分类器,比如楼梯、阳台临边、预留洞口和电梯洞口使用的是不同的分类器。具体可以根据实际情况进行相应的设置,在此对其并不做任何限定。
S332,将待检测图像输入检测模型中,确定感兴趣区域的位置。
检测模型是通过基于待检测图像的局部特征确定感兴趣区域的。在本实施例的一些可选实施方式中,上述S332可以包括:
(1)利用检测模型中的特征提取单元提取待检测图像的临边特征。
特征提取单元可以包括多个卷积层,也可以是在卷积层的基础上加上注意力模块,等等,在此对其具体结构并不做任何限定,电子设备利用特征提取单元提取待检测图像的临边特征。
(2)基于临边特征,确定感兴趣区域的类别和位置,所述感兴趣区域包括临边或洞口。
依据工地现场常见类别洞口在视觉特征上的差异,检测模型的检测的目标分为四类:楼梯侧边、阳台和楼层的临边、电梯门洞和圆形或是方形的洞口。在检测模型的训练阶段,首先使用带有标注的有上述四类目标的图片和无目标的负例图片组成训练集,其中负例图片是从工地场景采集的各类图片中均匀采样得到。此外,使用相同方式构建一个样本数量较小但分布与训练集相似且独立于训练集的测试集。在训练过程中,在得到一版训练好的检测模型之后会在测试集上进行测试,然后依据测试集上出现的漏检和误检调整训练集的数据,根据误检漏检的情况增加相应场景下的正负样本。
目标检测器会输出感兴趣区域的类别,即具体为哪一类临边或是洞口、置信度以及感兴趣区域在图像中的左上角坐标和区域长宽,通过这两个输出的参数可以确定临边区域在图像中的位置。
对检测模型对待检测图像进行局部特征的提取,使得检测更注重细节,提高检测可靠性。
S333,基于感兴趣区域的位置,从待检测图像中截取出感兴趣图像。
电子设备利用感兴趣区域的位置对待检测图像进行裁剪,裁剪的目的是将上一步中识别出的临边/洞口区域裁剪出来。例如,利用opencv相关函数将感兴趣区域从待检测图像中裁剪出来。
上一步检测模型的输出中包含目标区域在图像中的左上角坐标和区域长宽(x1,y1,w,h),基于此,就可以得到感兴趣区域在图像的右下角坐标(x1,y1,x2,y2)。
在本实施例的另一些可选实施方式中,上述S333可以包括:
(1)利用感兴趣区域的位置,确定感兴趣区域的范围。
在裁剪时可以将感兴趣区域进行扩大,以保证临边洞口区域全部都在裁剪的区域中。如图6所示,(x1,y1)和(x2,y2)分别为检测模型输出的感兴趣区域的左上角和右下角坐标。
(2)将确定出感兴趣区域的范围进行等比例向外扩展,确定感兴趣图像的范围。
在裁剪时,将裁剪区域的左上角和右下角坐标分别扩大原区域长宽的20%,具体计算方式如下所示:
其中,w和h分别为检测模型输出的感兴趣区域的宽和高。
需要说明的是,图6仅仅是一种可行的实施方式,但是本发明的保护范围并不限于此,具体可以根据实际情况进行相应的设置。
(3)利用感兴趣图像的范围从待检测图像中截取出感兴趣图像。
电子设备在确定出感兴趣图像的范围之后,就可以从待检测图像中截取出该感兴趣图像。
将感兴趣区域的范围进行等比例往外扩展,从而能够最大限度地将感兴趣图像囊括在内,提高了检测方法的准确性。
S334,将感兴趣图像输入防护分类模型中,确定感兴趣区域的防护状态是否正常。
电子设备在裁剪之后,将裁剪后的感兴趣图像送入防护分类模型中,这一步中的防护分类模型用于判断临边洞口区域是否按规定设置了防护措施。例如,对于临边和楼梯,需要使用钢筋钢管或是其他钢材焊接形成防护栏;对于洞口则需要先使用盖板覆盖洞口再在四周设置防护栏。如果防护分类模型对于该区域的识别结果为未设置防护的类别,则算法返回“临边/洞口无防护”的安全隐患。
可选地,分类器的特征提取结构与场景分类模型类似,但因为场景分类模型中的采用的是二分类器,那么最后一层使用的是sigmoid层来代替softmax层。该防护分类模型的输出为该区域有防护的概率,其中,可以定义概率大于0.5则表示该区域有防护。
作为本实施例的一种可选实施方式,如图5所示,上述S33包括:将待检测图像输入检测模型中,输出目标区域的类别和坐标;判断目标区域是否为感兴趣区域,当存在时,在原图上找到感兴趣区域坐标;当不存在时,输出无感兴趣区域隐患。
在确定出感兴趣区域坐标之后,依据坐标点将感兴趣区域放大后裁剪,输出裁剪图像,并将裁剪图像输入防护分类模型中,判断其是否设置防护措施。当设置防护措施后,返回临边/洞口无防护隐患;当未设置防护措施后,返回临边/洞口有防护隐患。
S34,确定采集待检测图像的图像采集装置偏移,并将图像采集装置偏移的信息发送给预设对象。
详细请参见图2所示实施例的S24,在此不再赘述。
本实施例提供的防护状态检测方法,利用检测+分类的流程识别感兴趣区域的防护是否正常,可以最大程度保证对于被识别出的防护状态判断的准确性,减少无防护报警的误报和漏报。
本发明实施例提供的防护状态检测方法,基于计算机视觉技术,实现对于施工现场临边洞口无防护安全隐患的自动识别,且方案的实现不基于传感器,相比于已有方案来说具有部署方便,维护成本低的优点,对于建筑施工过程中工人的安全保障具有重大意义。在施工现场部署的例如摄像头等图像采集设备可能会因为人为移动等因素改变朝向,导致采集到的画面并不是目标的临边洞口区域。为了能够自动设别出这种情况从而避免隐患的漏报误报,本发明实施例的方案在“检测+分类”的流程之外还增加了一个场景分类,用于识别当前图像采集设备输入的图像是否是目标防护场景,提高了算法的鲁棒性。此外,如前文所述,在输入图像场景频繁变换的情况下使用场景识别可以有效过滤掉检测器可能出现的误检,因此本方案也可以较为方便的迁移到手机或是智能眼镜等可能会频繁更换场景的设备上。具体地,对于固定安装的图像采集设备,有可能会人为偏移,从而导致场景中整个图像被偏移;对于手机、智能眼镜,由于其到任何一个地方都可以拍照,例如,拍出来有一个临边的特征,这种时候将该图像经过一个场景分类模型,就可以筛选出这种情况。即,加一个场景分类模型过掉一些无用场景。
在本实施例中还提供了一种防护状态检测装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种防护状态检测装置,如图7所示,包括:
获取模块41,用于获取待检测图像;
场景识别模块42,用于对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像;
防护检测模块43,用于当所述待检测图像为目标防护场景的图像时,对所述待检测图像中的感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常。
本实施例提供的防护状态检测装置,基于计算机视觉技术提出了不基于传感器的检测方法,且在对感兴趣区域进行防护状态检测之前,先对待检测图像进行场景识别,确定其是否为目标防护场景的图像,可以对图像采集设备位置出现偏移可能造成的误检进行过滤,提高了检测的可靠性以及检测算法的鲁棒性。进一步地,由于该检测方法与图像的采集角度无关,从而可以实现在不同设备上的可迁移性。
本实施例中的防护状态检测装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种电子设备,具有上述图7所示的防护状态检测装置。
请参阅图8,图8是本发明可选实施例提供的一种电子设备的结构示意图,如图8所示,该电子设备可以包括:至少一个处理器51,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口53,存储器54,至少一个通信总线52。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口53可以包括显示屏(Display)、键盘(Keyboard),可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图8所描述的装置,存储器54中存储应用程序,且处理器51调用存储器54中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线52可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器54可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器54还可以包括上述种类的存储器的组合。
其中,处理器51可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器54还用于存储程序指令。处理器51可以调用程序指令,实现如本申请图1、2或4实施例中所示的防护状态检测方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的防护状态检测方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种防护状态检测方法,其特征在于,包括:
获取待检测图像;
对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像;
当所述待检测图像为目标防护场景的图像时,对所述待检测图像中的感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常;
其中,所述对所述待检测图像中感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常,包括:
获取检测模型以及防护分类模型;
将所述待检测图像输入所述检测模型中,确定所述感兴趣区域的类别和位置;
基于所述感兴趣区域的位置,从所述待检测图像中截取出感兴趣图像;
将所述感兴趣图像输入所述防护分类模型中,确定所述感兴趣区域的防护状态是否正常;
所述将所述待检测图像输入所述检测模型中,确定所述感兴趣区域的类别和位置,包括:
利用所述检测模型中的特征提取单元提取所述待检测图像的临边特征;
基于所述临边特征,确定所述感兴趣区域的类别和位置,所述感兴趣区域包括临边或洞口。
2.根据权利要求1所述的方法,其特征在于,所述对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像,包括:
获取场景分类模型;
将所述待检测图像输入所述场景分类模型中,以利用所述场景分类模型对所述待检测图像进行全局特征提取,确定所述待检测图像是否为目标防护场景的图像。
3.根据权利要求2所述的方法,其特征在于,所述将所述待检测图像输入所述场景分类模型中,以利用所述场景分类模型对所述待检测图像进行全局特征提取,确定所述待检测图像是否为目标防护场景的图像,包括:
将所述待检测图像缩放至预设尺寸,并利用所述场景分类模型中的卷积单元对缩放后的图像进行全局特征提取,得到全局特征,所述卷积单元包括多个卷积层以及与最后一个卷积层连接的注意力模块;
基于所述全局特征确定所述待检测图像是否为目标防护场景的图像。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
当所述待检测图像不是目标防护场景的图像时,确定采集所述待检测图像的图像采集装置偏移,并将图像采集装置偏移的信息发送给预设对象。
5.根据权利要求1所述的方法,其特征在于,所述基于所述感兴趣区域的位置,从所述待检测图像中截取出感兴趣图像,包括:
利用所述感兴趣区域的位置,确定所述感兴趣区域的范围;
将确定出感兴趣区域的范围进行等比例向外扩展,确定感兴趣图像的范围;
利用所述感兴趣图像的范围从所述待检测图像中截取出所述感兴趣图像。
6.一种防护状态检测装置,其特征在于,包括:
获取模块,用于获取待检测图像;
场景识别模块,用于对所述待检测图像进行场景识别,确定所述待检测图像是否为目标防护场景的图像;
防护检测模块,用于当所述待检测图像为目标防护场景的图像时,对所述待检测图像中的感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常;
其中,所述对所述待检测图像中感兴趣区域进行防护状态检测,以确定所述感兴趣区域的防护状态是否正常,包括:
获取检测模型以及防护分类模型;
将所述待检测图像输入所述检测模型中,确定所述感兴趣区域的类别和位置;
基于所述感兴趣区域的位置,从所述待检测图像中截取出感兴趣图像;
将所述感兴趣图像输入所述防护分类模型中,确定所述感兴趣区域的防护状态是否正常;
所述将所述待检测图像输入所述检测模型中,确定所述感兴趣区域的类别和位置,包括:
利用所述检测模型中的特征提取单元提取所述待检测图像的临边特征;
基于所述临边特征,确定所述感兴趣区域的类别和位置,所述感兴趣区域包括临边或洞口。
7.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-5中任一项所述的防护状态检测方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-5中任一项所述的防护状态检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110852736.1A CN113569730B (zh) | 2021-07-27 | 2021-07-27 | 防护状态检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110852736.1A CN113569730B (zh) | 2021-07-27 | 2021-07-27 | 防护状态检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113569730A CN113569730A (zh) | 2021-10-29 |
CN113569730B true CN113569730B (zh) | 2024-02-27 |
Family
ID=78168101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110852736.1A Active CN113569730B (zh) | 2021-07-27 | 2021-07-27 | 防护状态检测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113569730B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114758260B (zh) * | 2022-06-15 | 2022-10-18 | 成都鹏业软件股份有限公司 | 工地安全防护网检测方法及*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2544744A1 (en) * | 2006-04-28 | 2007-10-28 | Jocelyn Janson | System and method for surveilling a scene |
JP2016197093A (ja) * | 2015-01-04 | 2016-11-24 | 高橋 正人 | 方向情報取得装置、方向情報取得フ゜ロク゛ラム及び方向情報取得方法 |
CN107220786A (zh) * | 2017-07-26 | 2017-09-29 | 西交利物浦大学 | 一种建筑工地安全风险识别、评估和防范方法 |
CN208152602U (zh) * | 2018-03-26 | 2018-11-27 | 中建八局第三建设有限公司 | 一种临边防护设施智能监测预警装置 |
CN110674702A (zh) * | 2019-09-04 | 2020-01-10 | 精英数智科技股份有限公司 | 一种矿井图像场景分类方法、装置及设备、*** |
CN111832760A (zh) * | 2020-07-14 | 2020-10-27 | 深圳市法本信息技术股份有限公司 | 一种基于视觉算法的井盖自动巡检方法 |
CN112382044A (zh) * | 2020-10-30 | 2021-02-19 | 北京中铁建建筑科技有限公司 | 一种用于工地的智能安全监控*** |
CN112464914A (zh) * | 2020-12-30 | 2021-03-09 | 南京积图网络科技有限公司 | 一种基于卷积神经网络的护栏分割方法 |
CN112861623A (zh) * | 2020-12-31 | 2021-05-28 | 深圳市特辰科技股份有限公司 | 一种高层建筑工程安全的监控***及方法 |
-
2021
- 2021-07-27 CN CN202110852736.1A patent/CN113569730B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2544744A1 (en) * | 2006-04-28 | 2007-10-28 | Jocelyn Janson | System and method for surveilling a scene |
JP2016197093A (ja) * | 2015-01-04 | 2016-11-24 | 高橋 正人 | 方向情報取得装置、方向情報取得フ゜ロク゛ラム及び方向情報取得方法 |
CN107220786A (zh) * | 2017-07-26 | 2017-09-29 | 西交利物浦大学 | 一种建筑工地安全风险识别、评估和防范方法 |
CN208152602U (zh) * | 2018-03-26 | 2018-11-27 | 中建八局第三建设有限公司 | 一种临边防护设施智能监测预警装置 |
CN110674702A (zh) * | 2019-09-04 | 2020-01-10 | 精英数智科技股份有限公司 | 一种矿井图像场景分类方法、装置及设备、*** |
CN111832760A (zh) * | 2020-07-14 | 2020-10-27 | 深圳市法本信息技术股份有限公司 | 一种基于视觉算法的井盖自动巡检方法 |
CN112382044A (zh) * | 2020-10-30 | 2021-02-19 | 北京中铁建建筑科技有限公司 | 一种用于工地的智能安全监控*** |
CN112464914A (zh) * | 2020-12-30 | 2021-03-09 | 南京积图网络科技有限公司 | 一种基于卷积神经网络的护栏分割方法 |
CN112861623A (zh) * | 2020-12-31 | 2021-05-28 | 深圳市特辰科技股份有限公司 | 一种高层建筑工程安全的监控***及方法 |
Non-Patent Citations (3)
Title |
---|
Ensuring Secure Health Data Exchange across Europe. SHIELD Project;López-Moreno, B 等,;《HEALTHINF: PROCEEDINGS OF THE 12TH INTERNATIONAL JOINT CONFERENCE ON BIOMEDICAL ENGINEERING SYSTEMS AND TECHNOLOGIES - VOL 5: HEALTHINF》;20190101;422-430 * |
基于BIM的工程施工安全关键技术研究;张立茂 等,;《建筑经济》;20180805;第2018年卷(第8期);44-49 * |
基于卷积神经网络的建筑工程施工安全预警研究;赵静,;《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》;20200815;第2020年卷(第8期);B026-20 * |
Also Published As
Publication number | Publication date |
---|---|
CN113569730A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101926561B1 (ko) | 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 | |
CN111368615B (zh) | 一种违章建筑预警方法、装置及电子设备 | |
CN101751744B (zh) | 一种烟雾检测和预警方法 | |
CN109858367B (zh) | 工人通过支撑不安全行为的视觉自动化检测方法及*** | |
Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
US20230005176A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
CN110796819B (zh) | 一种针对站台黄线入侵越界人员的检测方法及*** | |
AU2019249431B2 (en) | System and method for early identification and monitoring of defects in transportation infrastructure | |
CN110956104A (zh) | 一种检测垃圾桶溢出的方法、装置及*** | |
CN107220969A (zh) | 产品灯位的测试方法及检测*** | |
CN113569730B (zh) | 防护状态检测方法、装置及电子设备 | |
CN112270253A (zh) | 一种高空抛物的检测方法及装置 | |
CN105976398A (zh) | 一种白天火灾视频检测方法 | |
CN114022810A (zh) | 建筑工地爬架防护网工作状态检测方法、***、介质及终端 | |
CN111275984B (zh) | 车辆检测方法、装置及服务器 | |
KR101542134B1 (ko) | 스마트 카메라모듈을 통한 열차선로 상의 낙석·사람으로 이루어진 관심 객체 실시간 감시 장치 및 방법 | |
KR20230056807A (ko) | 이미지 데이터를 활용한 조적조 건축물의 하이브리드 손상평가 시스템 및 그 방법 | |
CN116052356A (zh) | 一种智能工地监控平台 | |
CN116524539A (zh) | 一种信号工与驾驶员交互风险的协同感知方法 | |
CN114509540B (zh) | 一种基于数据处理的工业园区空气质量检测方法及装置 | |
CN115841730A (zh) | 视频监控***、异常事件检测方法 | |
CN115171220A (zh) | 异常通行预警方法、装置及电子设备 | |
CN113920535A (zh) | 一种基于YOLOv5的电子区域检测方法 | |
CN113516120A (zh) | 扬尘检测方法、图像处理方法、装置、设备及*** | |
Kang et al. | Real Time Image Processing System for Detecting Infrastructure Damage: Crack |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |