CN114997279A - 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 - Google Patents
一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 Download PDFInfo
- Publication number
- CN114997279A CN114997279A CN202210510739.1A CN202210510739A CN114997279A CN 114997279 A CN114997279 A CN 114997279A CN 202210510739 A CN202210510739 A CN 202210510739A CN 114997279 A CN114997279 A CN 114997279A
- Authority
- CN
- China
- Prior art keywords
- worker
- helmet
- input
- model
- improved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000010276 construction Methods 0.000 title claims abstract description 27
- 238000011176 pooling Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000006798 recombination Effects 0.000 claims abstract description 6
- 238000005215 recombination Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 19
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000008521 reorganization Effects 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 7
- 238000002372 labelling Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052796 boron Inorganic materials 0.000 description 1
- -1 boron amide Chemical class 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法，采用数据集标注方法解决目标遮挡问题；在检测阶段引入卷积注意力模块(CBAM)、空洞空间金字塔池化(ASPP)和特征重组上采样算子(CARAFE)，提高Yolov5模型的准确率，具体实施步骤为：①采集并标注工地图像，构建数据集；②构建并训练基于Yolov5模型改进的Helmet‑Yolov5s安全帽检测模型；③输入实时采集的现场数据，根据安全帽颜色判断工人权限，识别是否存在入侵行为。本发明公开的方法能在遮挡情况下实现多尺度目标工人危险区域入侵行为的准确检测，为工地管理提供技术支持。
Description
技术领域
本发明涉及一种建筑工地人员安全检测方法，具体为基于改进的Yolov5模型对建筑工地工人危险区域入侵行为进行检测的方法，属建筑施工管理领域。
背景技术
建筑施工现场人员密集、环境复杂、危险区域众多，工人在没有相应权限的情况下进入工地的危险区域，会带来较大的安全隐患。因此，及时发现并预警施工现场工人的区域入侵行为，对于实现工地的安全管理而言至关重要。
传统的区域入侵检测方法主要采用各类传感器，包括超声波、红外***、射频识别***(RFID)、物联网(IoT)技术等。基于传感器的检测方法依靠定位***和无线传输技术来实现工人区域入侵的检测。然而，这类方法仍存在无线设备的续航能力差、互联网覆盖范围有限等局限性，导致基于传感器的检测技术难以广泛应用。
新兴的区域入侵检测方法基于计算机视觉技术，具有精度高和无接触的特点，已开始得到了研究者与施工管理人员的广泛关注，尤其是目标检测和人脸识别技术。然而，目标检测技术在检测区域入侵行为方面仍然存在一定的不足，其检测的准确率受到了建筑工地中各类因素的干扰，例如遮挡物、检测距离、光照条件等；而人脸识别算法要求必须从工人的正面捕捉图像数据，这在复杂的工地环境中也难以实现。
发明内容
针对现有技术的不足，本发明提出一种基于改进Yolov5算法的建筑工地工人危险区域入侵检测方法，以提升在复杂环境下算法的检测精度。其具体内容包括：
一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法，包括以下步骤：
A.构建数据集；
A1.从施工现场获取佩戴安全帽工人的图像数据；
A2.标注图像数据，标注的矩形边界框中只包含工人头部及其安全帽区域，从而减少背景像素的引入，降低遮挡对检测的影响。图像数据和标注文件共同构成一个大型的图像数据集；
B.构建基于Yolov5改进的工人安全帽检测模型Helmet-Yolov5s；
B1.将CBAM添加在主干特征提取网络的每个标准卷积层，赋予目标区域更多的特征权重；
B2.引入空洞空间金字塔池化(ASPP)替换空间金字塔池化(SPP)，减少图像细节信息的损失；
B3.使用特征重组上采样算子(CARAFE)进行图像上采样，使上采样过程能够充分利用全图的语义信息；
C.将数据集输入改进后的Helmet-Yolov5s模型进行训练，并检测模型性能；
D.使用训练后的Helmet-Yolov5s模型处理施工现场采集的图像或视频数据，获得工人位置及相应安全帽颜色；
E.通过工人所佩戴的安全帽颜色识别工人工种，进一步判断其是否具有进入当前区域的权限。
进一步地，所述步骤B1中的CBAM包括通道注意力模块和空间注意力模块。
进一步地，所述的通道注意力模块包括：输入特征图在空间维度上分别通过最大值池化和平均值池化后，输入到多层感知机(MLP)，然后通过Sigmoid函数激活获得通道注意力权重，原输入乘上该权重得到通道注意力模块的输出特征，上述过程可描述为：
Mc(x)＝σ{MLP[AvgPool(x)]+MLP[MaxPool(x)]} (1)
其中，x为通道注意力模块的输入特征图；AvgPool和MaxPool分别代表平均值池化和最大值池化；σ为Sigmoid激活函数；
进一步地，所述的空间注意力模块包括：将通道注意力模块的输出特征图作为输入，在通道维度上分别通过最大值池化和平均值池化后，将特征图降至一维，然后通过Sigmoid函数激活获得空间注意力权重，此阶段输入乘上该权重得到CBAM模块的输出特征，上述过程可描述为：
Ms(x)＝σ{Conv[AvgPool(x)；MaxPool(x)]} (2)
其中，x为空间注意力模块的输入特征图；AvgPool和MaxPool分别代表平均值池化和最大值池化；σ为Sigmoid激活函数；Conv为卷积层。
进一步地，所述步骤B2中的ASPP结构由四个并行分支组成，由骨干网络生成的输入特征图通过一个标准卷积模块；然后通过空洞率分别为4、8和12的空洞卷积层，输出的特征和与最初的输入相叠加；最后通过另一个标准卷积模块得到ASPP结构的输出。
进一步地，所述步骤B3中的CARAFE包括上采样核预测和特征重组两部分；
进一步地，所述的上采样核预测包括：输入特征图通过标准卷积层后输出大小为H×W×σ2×k2的特征图，调整该特征图的大小得到尺寸为σH×σW×k2的上采样核，通过SoftMax函数对上采样核进行归一化，使其权重之和为1；
进一步地，所述的特征重组包括：取出以输入特征图中某个点为中心k×k的区域，与预测出的上采样核对应位置的权重作点积，得到该点最终输出值，其函数可表示为：
其中，OCARAFE表示CARAFE的输出特征图，Wx(m,n)表示预测上采样核的权重，I(i+m,j+n)表示该点k×k区域内的输入特征图的值。
进一步地，所述步骤E中识别的安全帽颜色包括“red”、“blue”、“yellow”、“white”和“none”，分别代表代表管理人员、技术操作人员、普通工人、领导和未佩戴安全帽人员。
与现有的方法相比，本方法有以下几个优点：
(1)本文采用了新的图像标注方法构建数据集。这种只标记工人头部和安全帽区域的标注方法可以较少地引入背景像素，提高模型的检测效果，同时也使得模型对遮挡情况下的目标具有更高的鲁棒性。
(2)与原Yolov5s模型相比，本文提出的Helmet-Yolov5s模型在检测区域入侵的行为上具有更高的准确性。此外，它还在黑暗环境中表现出较好的检测性能，同时也克服了原Yolov5s模型存在的误判问题。
(3)与其它先进的目标检测模型(即SSD、Faster R-CNN、Yolov3和Yolov4)相比，Helmet-Yolov5s模型的平均准确率达到了84.9％，是所有模型中最高的。此外，除去检测精度最低的SSD模型，Helmet-Yolov5s模型的检测速度也优于其他模型。
附图说明
图1是本发明方法的流程图；
图2是本发明的数据集图片实例；
图3是本发明的图像标注实例；
图4是本发明的Helmet-Yolov5s结构图；
图5是本发明的CBAM模块的示意图；
图6是本发明的ASPP结构的示意图；
图7是本发明的CARAFE算子的结构图；
图8是本发明的安全帽检测结果图；
图9是本发明的工人入侵检测实例图。
图中，1为标注的矩形边界框；2为空洞空间金字塔池化；3为卷积层；4为叠加层；5为CSP残差结构；6为特征重组上采样；7为模型预测结果；8为CBAM模块输入特征图；9为MaxPool和AvgPool；10为多层感知机；11为CBAM模块输出特征图；12为ASPP输入特征图；13为ASPP结构输入特征图；14为CARAFE算子模块的输入特征图；15为预测的上采样核；16为点x处范围k内的特征值；17为点x处范围k内的权重；18为CARAFE算子模块的输出特征图。
具体实施方式
下面结合附图对本发明一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法做进一步的详细说明。本发明的实施方法如图1所示，具体包含以下步骤：
A.构建数据集。
A1.采集施工现场佩戴安全帽工人的图像数据，如图2所示，本实例共采集到3259张图片，其中包括训练数据2605张，验证数据456张和测试数据199张；
A2.选择LabelImg作为标注工具，如图3所示，用矩形边界框标注图像数据中工人头部及其安全帽区域，获得相应的label文件并存储为Yolo格式，label文件与原始图像共同构成图像数据集。
B.搭建改进的Helmet-Yolov5s目标检测模型，如图4所示。
B1.在Yolov5网络主干特征提取网络中的卷积层后添加CBAM，使网络聚焦于图像的目标区域。CBAM模块原理如图5所示；
B2.将Yolov5网络的SPP结构替换为ASPP结构，通过使用空洞卷积来减少图像细节信息的丢失，扩大特征的感受野。ASPP结构如图6所示；
B3.将Yolov5网络金字塔结构中的上采样层改进为CARAFE算子，使上采样过程能够充分利用全图的语义信息，以进行后续多尺度的特征融合。CARAFE算子结构如图7所示；
C.将所有训练数据集的图片输入改进后的模型中进行训练，用测试数据集检测模型性能，其结果如表1所示：
表1 Helmet-Yolov5s模型性能
将Helmet-Yolov5s模型与其他主流目标检测模型进行对比，得到的结果如表2所示：
表2模型性能对比表
由此可见，所提出的改进模型具有较高的检测精度；
D.将实时采集的施工现场监控图像数据输入Helmet-Yolov5s检测模型中，输出工人的位置与佩戴安全帽的颜色，检测结果如图8所示；
E.根据安全帽颜色，获得目标工人身份与相应权限，判断是否存在入侵行为，结果如图9所示。
本说明书实施案例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施案例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (5)
1.一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法，其特征在于，包括以下步骤：
A.构建数据集；
A1.从施工现场获取佩戴安全帽工人的图像数据；
A2.标注图像数据，标注的矩形边界框中只包含工人头部及其安全帽区域，从而减少背景像素的引入，降低遮挡对检测的影响。图像数据和标注文件共同构成一个大型的图像数据集；
B.构建基于Yolov5改进的工人安全帽检测模型Helmet-Yolov5s；
B1.将CBAM添加在主干特征提取网络的每个标准卷积层，赋予目标区域更多的特征权重；
B2.引入空洞空间金字塔池化ASPP替换空间金字塔池化SPP，减少图像细节信息的损失；
B3.使用特征重组上采样算子CARAFE进行图像上采样，使上采样过程能够充分利用全图的语义信息；
C.将数据集输入改进后的Helmet-Yolov5s模型进行训练，并检测模型性能；
D.使用训练后的Helmet-Yolov5s模型处理施工现场采集的图像或视频数据，获得工人位置及相应安全帽颜色；
E.通过工人所佩戴的安全帽颜色识别工人工种，进一步判断其是否具有进入当前区域的权限。
2.根据权利要求1所述的一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法，其特征在于：所述步骤B1中的CBAM包括通道注意力模块和空间注意力模块；
所述的通道注意力模块包括：输入特征图在空间维度上分别通过最大值池化和平均值池化后，输入到多层感知机(MLP)，然后通过Sigmoid函数激活获得通道注意力权重，原输入乘上该权重得到通道注意力模块的输出特征，上述过程可描述为：
Mc(x)＝σ{MLP[AvgPool(x)]+MLP[MaxPool(x)]} (1)
其中，x为通道注意力模块的输入特征图；AvgPool和MaxPool分别代表平均值池化和最大值池化；σ为Sigmoid激活函数；
所述的空间注意力模块包括：将通道注意力模块的输出特征图作为输入，在通道维度上分别通过最大值池化和平均值池化后，将特征图降至一维，然后通过Sigmoid函数激活获得空间注意力权重，此阶段输入乘上该权重得到CBAM模块的输出特征，上述过程可描述为：
Ms(x)＝σ{Conv[AvgPool(x)；MaxPool(x)]} (2)
其中，x为空间注意力模块的输入特征图；AvgPool和MaxPool分别代表平均值池化和最大值池化；σ为Sigmoid激活函数；Conv为卷积层。
3.根据权利要求1所述的一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法，其特征在于：所述步骤B2中的ASPP结构由四个并行分支组成，由骨干网络生成的输入特征图通过一个标准卷积模块；然后通过空洞率分别为4、8和12的空洞卷积层，输出的特征和与最初的输入相叠加；最后通过另一个标准卷积模块得到ASPP结构的输出。
4.根据权利要求1所述的一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法，其特征在于：所述步骤B3中的CARAFE包括上采样核预测和特征重组两部分；
所述的上采样核预测包括：输入特征图通过标准卷积层后输出大小为H×W×σ2×k2的特征图，调整该特征图的大小得到尺寸为σH×σW×k2的上采样核，通过SoftMax函数对上采样核进行归一化，使其权重之和为1；
所述的特征重组包括：取出以输入特征图中某个点为中心k×k的区域，与预测出的上采样核对应位置的权重作点积，得到该点最终输出值，其函数可表示为
其中，OCARAFE表示CARAFE的输出特征图，Wx(m,n)表示预测上采样核的权重，I(i+m,j+n)表示该点k×k区域内的输入特征图的值。
5.根据权利要求1所述的一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法，其特征在于：所述步骤E中识别的安全帽颜色包括“red”、“blue”、“yellow”、“white”和“none”，分别代表代表管理人员、技术操作人员、普通工人、领导和未佩戴安全帽人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210510739.1A CN114997279A (zh) | 2022-05-11 | 2022-05-11 | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210510739.1A CN114997279A (zh) | 2022-05-11 | 2022-05-11 | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114997279A true CN114997279A (zh) | 2022-09-02 |
Family
ID=83027538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210510739.1A Pending CN114997279A (zh) | 2022-05-11 | 2022-05-11 | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114997279A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118069469A (zh) * | 2024-04-17 | 2024-05-24 | 江西财经大学 | 一种基于人工智能的建筑工程安全监测方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN111460919A (zh) * | 2020-03-13 | 2020-07-28 | 华南理工大学 | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 |
| CN113361425A (zh) * | 2021-06-11 | 2021-09-07 | 珠海路讯科技有限公司 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN113361428A (zh) * | 2021-06-11 | 2021-09-07 | 浙江澄视科技有限公司 | 一种基于图像的交通标志检测方法 |
| CN113591621A (zh) * | 2021-07-15 | 2021-11-02 | 河南工业大学 | 基于改进的多尺度自适应特征融合的DC-YOLOv4算法 |
| CN113792665A (zh) * | 2021-09-16 | 2021-12-14 | 山东大学 | 一种针对不同角色权限的违禁区域侵入检测方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
-
2022
- 2022-05-11 CN CN202210510739.1A patent/CN114997279A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460919A (zh) * | 2020-03-13 | 2020-07-28 | 华南理工大学 | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN113361425A (zh) * | 2021-06-11 | 2021-09-07 | 珠海路讯科技有限公司 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
| CN113361428A (zh) * | 2021-06-11 | 2021-09-07 | 浙江澄视科技有限公司 | 一种基于图像的交通标志检测方法 |
| CN113591621A (zh) * | 2021-07-15 | 2021-11-02 | 河南工业大学 | 基于改进的多尺度自适应特征融合的DC-YOLOv4算法 |
| CN113792665A (zh) * | 2021-09-16 | 2021-12-14 | 山东大学 | 一种针对不同角色权限的违禁区域侵入检测方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| RYANC3: "深度学习 卷积神经网络即插即用的小插件", Retrieved from the Internet <URL:https://blog.csdn.net/u012655441/article/details/121919291> * |
| 陈恺: "CARAFE: 轻量级通用上采样算子", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/76063768> * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118069469A (zh) * | 2024-04-17 | 2024-05-24 | 江西财经大学 | 一种基于人工智能的建筑工程安全监测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Detection algorithm of safety helmet wearing based on deep learning | |
| CN112200043B (zh) | 面向室外施工现场的危险源智能识别***及方法 | |
| CN111898514B (zh) | 一种基于目标检测与动作识别的多目标视觉监管方法 | |
| CN108009473A (zh) | 基于目标行为属性视频结构化处理方法、***及存储装置 | |
| CN108062349A (zh) | 基于视频结构化数据及深度学习的视频监控方法和*** | |
| CN107967458A (zh) | 一种人脸识别方法 | |
| CN108052859A (zh) | 一种基于聚类光流特征的异常行为检测方法、***及装置 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN109672863A (zh) | 一种基于图像识别的施工人员安全装备智能监测方法 | |
| CN110619277A (zh) | 一种多社区智慧布控方法以及*** | |
| CN107688830B (zh) | 一种用于案件串并的现勘视觉信息关联图层生成方法 | |
| CN110728252B (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| CN113516076A (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
| CN111353338B (zh) | 一种基于营业厅视频监控的能效改进方法 | |
| CN111062303A (zh) | 图像处理方法、***及计算机存储介质 | |
| CN101715111A (zh) | 视频监控中滞留物主自动搜寻方法 | |
| WO2022121498A1 (zh) | 身份识别方法、模型训练方法、装置、设备和存储介质 | |
| CN112183472A (zh) | 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法 | |
| CN112819068A (zh) | 一种基于深度学习的船舶作业违章行为实时侦测方法 | |
| CN114648714A (zh) | 一种基于yolo的车间规范行为的监测方法 | |
| CN115035088A (zh) | 一种基于yolov5和姿态估计的安全帽佩戴检测方法 | |
| CN113191273A (zh) | 基于神经网络的油田井场视频目标检测与识别方法及*** | |
| CN115294519A (zh) | 一种基于轻量化网络的异常事件检测及预警方法 | |
| CN112989958A (zh) | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 | |
| CN111723725A (zh) | 一种基于视频ai多维分析*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220902 |