CN112001963A - 消防通道的排查的方法、***和计算机设备 - Google Patents
消防通道的排查的方法、***和计算机设备 Download PDFInfo
- Publication number
- CN112001963A CN112001963A CN202010761984.0A CN202010761984A CN112001963A CN 112001963 A CN112001963 A CN 112001963A CN 202010761984 A CN202010761984 A CN 202010761984A CN 112001963 A CN112001963 A CN 112001963A
- Authority
- CN
- China
- Prior art keywords
- fire
- point cloud
- image
- fighting
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000011835 investigation Methods 0.000 title description 24
- 238000013024 troubleshooting Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000011109 contamination Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000010813 municipal solid waste Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了消防通道的排查的方法、***和计算机设备，其中，获取消防通道双目图像的三维点云和该消防通道的地面面积；将该三维点云进行地面投影，获取二维平面的点云分布；在该二维平面上获取该双目图像上物品的外接图形面积；根据外接图形面积与该地面面积的比值，确定该消防通道是否堵塞，解决了消防安全督查的排查效率和排查质量无法得到保障的问题，提高了消防安全督查的排查效率和排查质量。
Description
技术领域
本发明涉及视频监控领域，具体而言，涉及消防通道的排查的方法、***和计算机设备。
背景技术
室内消防通道否堵塞以及消防器材是否合理或可用，在消防安全督查中最重要的内容之一，直接关系人员能否得到及时的救援。
在相关技术中，在消防安全督查的过程中，需要督查人员对消防通道是否占用和消防设备是否合规，进行仔细的排查，这种排查需要督查人员有较高的排查频率、专业度和责任心，在督查人员不具备上述时间和能力的情况下，排查效率和排查质量无法得到保障。
针对相关技术中，消防安全督查的排查效率和排查质量无法得到保障的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中，消防安全督查的排查效率和排查质量无法得到保障的问题，本发明的实施例至少解决上述问题。
根据本发明的一个方面，提供了一种消防通道的排查方法，所述方法包括：获取消防通道双目图像的三维点云和所述消防通道的地面面积；将所述三维点云进行地面投影，获取二维平面的点云分布；在所述二维平面上获取所述双目图像上物品的外接图形面积；根据外接图形面积与所述地面面积的比值，确定所述消防通道是否堵塞。
在其中一些实施中，在所述获取消防通道的双目图像的三维点云和所述消防通道的地面面积之后，所述方法还包括：将所述双目图像的一目图像或者双目图像，输入训练完备的消防器材放置识别模型，以识别所述双目图像中的消防器材的位置、类型和数量；将识别得到的所述消防器材的位置、类型和数量，与预设的位置、类型和数量进行对比，判断消防器材的放置是否合规。
在其中一些实施例中，所述方法还包括：获取所述消防通道中的消防器材和占用物品的训练图片；对所述训练图片中的所述消防器材和所述占用物品进行标注，利用标注后的所述训练图片训练目标检测框架和分类网络，得到所述消防器材放置识别模型。
在其中一些实施例中，在所述获取消防通道的双目图像的三维点云和所述消防通道的地面面积之后，所述方法还包括：将所述双目图像的一目图像或者双目图像，输入训练完备的消防器材污损识别模型，以确定所述双目图像中的消防器材是否污损。
在其中一些实施例中，所述方法还包括：获取所述消防通道中的消防器材的训练图片；对所述训练图片中的被污损的所述消防器材进行标注，利用标注后的所述训练图片训练目标检测框架和分类网络，得到所述消防器污损识别模型。
在其中一些实施例中，所述获取消防通道的双目图像的三维点云和所述消防通道的地面面积，其中，所述获取消防通道的双目图像的三维点云，包括：对所述双目图像进行校正；通过半全局匹配算法SGBM计算校正后的所述双目图像的视差图；获取所述视差图的深度图像；根据所述深度图像获取所述三维点云。
在其中一些实施例中，所述在所述二维平面上获取所述双目图像上物品的外接图形面积，包括：去除所述点云分布上与所述三维点云边界对应的点，以及去除所述点云分布上与所述三维点云中大于预设值的高度点对应的点；获取在所述二维平面上各个物品的最小外接矩形，获取各个物品的最小外接矩形的面积之和，将所述最小外接矩形的面积之和作为所述外接图形面积。
根据本发明的另一个方面，提供了一种消防通道的排查***，所述***包括双目摄像机和服务器；所述双目摄像机用于获取所述消防通道的双目图像，并将获取到的所述双目图像发送至所述服务器；所述服务器用于获取所述消防通道的所述双目图像的三维点云和所述消防通道的地面面积，将所述三维点云进行地面投影，获取二维平面的点云分布，在所述二维平面上获取所述双目图像上物品的外接图形面积，所述服务器根据外接图形面积与所述地面面积的比值，确定所述消防通道是否堵塞。
在其中一些实施例中，所述服务器还用于将所述双目图像的一目图像或者双目图像，输入训练完备的消防器材识别模型，识别所述双目图像中的消防器材的位置、类型和数量；并根据所述消防器材的位置、类型和数量，与预设的位置、类型和数量进行对比，判断消防器材的放置是否合规。
根据本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。
本发明通过获取消防通道双目图像的三维点云和该消防通道的地面面积，将该三维点云进行地面投影，获取二维平面的点云分布；在该二维平面上获取该双目图像上物品的外接图形面积；根据外接图形面积与该地面面积的比值，确定该消防通道是否堵塞。其解决了消防安全督查的排查效率和排查质量无法得到保障的问题，提高了消防安全督查的排查效率和排查质量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种消防通道的排查方法的应用环境示意图；
图2是根据本发明实施例的一种消防通道的排查方法的流程图；
图3是根据本发明实施例的消防器材的排查方法的流程图；
图4是根据本发明实施例的消防器材污损的排查方法的流程图；
图5是根据本发明实施例的室内消防通道状态识别方法的流程图；
图6是根据本发明实施例的计算机设备的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的一种消防通道的排查***，可以应用于如图1所示的应用环境中，图1是根据本发明实施例的一种消防通道的排查方法的应用环境示意图，其中，双目摄像机102和服务器104通过有线或无线网络连接。该双目摄像机102用于获取该消防通道的双目图像，并将获取到的该双目图像发送至该服务器104；该服务器104用于获取该消防通道的该双目图像的三维点云和该消防通道的地面面积，将该三维点云进行地面投影，获取二维平面的点云分布，在该二维平面上获取该双目图像上物品的外接图形面积。该服务器104还可以根据外接图形面积与该地面面积的比值，确定该消防通道是否堵塞。本申请解决了消防安全督查的排查效率和排查质量无法得到保障的问题，提高了消防安全督查的排查效率和排查质量。
其中，该双目摄像机102的监视区域覆盖消防通道的区域。该服务器104可以与多个双目摄像机102连接，对多个消防通道进行排查。需要说明的是，该服务器104可以与显示终端连接，该显示终端显示排查的结果。该服务器104还可以将排查的结果及时发送为手机或者平板等移动设备。
在本发明的实施例中，提供了一种消防通道的排查方法，图2是根据本发明实施例的一种消防通道的排查方法的流程图，该方法包括如下步骤：
步骤S202，获取消防通道双目图像的三维点云和该消防通道的地面面积。其中，可以通过双目摄像机获取该双目图像，进而基于该双目图像通过点云转换软件获取三维点云。例如，可以通过开源点云库(Point Cloud Library，简称为PCL)获取该双目图像的三维点云，进一步对该三维点云进行三维聚类，在三维聚类满足预设条件下，确定该聚类目标。该地面面积为该消防通道在双目图像上的图像像素坐标系下的面积。另外，可以使用成熟的PCL来获取三维点云，先去除一些无意义或三维信息异常的点，再进行采用得到比较稀疏的点云，节省耗时。而聚类方式可以采用基于密度的聚类方式，例如DBSCAN以及基于它的各种改进方法均可实现。
步骤S204，将该三维点云进行地面投影，获取二维平面的点云分布。可以将该聚类目标的三维点云进行二维投影，获取基于地面的转换矩阵，三维点云通过该转换矩阵形成该二维平面的点云分布。其中，双目图像三维点云转换为二维平面点云分布的原理是将三维点云转换为世界坐标系坐标，然后将聚类目标的相关的三维点云的高度投影到地面后，高度值变为0，就可以得到投影到地面的二维平面的点云分布。
步骤S206，在该二维平面上获取该双目图像上物品的外接图形面积。在将三维点云转换为二维平面的点云分布的过程中，可以将物品的深度信息转换为灰度值，通过灰度值确定物品在双目图像上的图像像素坐标系下的外接图形面积。该物品可以是纸盒、垃圾桶和椅子等非消防器材的物品，其中，消防通道或者物品映射的投影外接矩形面积计算的基本原理为物品映射到二维平面后，与普通二维图像一致，可以直接求出连通域的面积。采用经典的两次遍历法或者种子填充法，将每个聚类目标映射到二维时使用不同的灰度值进行区分，另外，外聚类目标的类别在单目检测图像上已经获取得到，在二维图像上使用上述连通域求取方法就可以将某类目标的面积求出来。
步骤S208，根据外接图形面积与该地面面积的比值，确定该消防通道是否堵塞。在物品占用消防通道的面积大于预设的面积后，就不符合消防通道排查的规定，就会发送提醒信息。
通过上述步骤S202至S208，针对相关技术中背景建模的方法，通过背景的建立识别前景目标的方法并不能准确的识别物体的类别和位置，从而无法计算该消防通道是否堵塞。本申请通过将双目图像的三维点云转换到二维平面的点云分布，计算出消防通道上物品占用面积，以确定该消防通道是否堵塞，可以更加准确的计算出物品占用消防通道的面积，解决了消防安全督查的排查效率和排查质量无法得到保障的问题，提高了消防安全督查的排查效率和排查质量。
在一个实施例中，图3是根据本发明实施例的消防器材的排查方法的流程图，该方法包括如下步骤：
步骤S302，将双目图像的一目图像或者双目图像，输入训练完备的消防器材放置识别模型，以识别该双目图像中的消防器材的位置、类型和数量，该消防器材的类型包括消防栓和灭火器等物品。另外，双目视觉图像定位***中的双目定位广泛应用于零件确认、尺寸测量、和测量装置等领域，主要应用于IC、芯片、电路板的位置识别定位和视觉图像定位***上，例如：打孔机定位、绑定机定位、晶体管吸取定位、IC贴片机对位、机器坐标定位、机器手定位、方向辨别定位。
步骤S304，将识别得到的该消防器材的位置、类型和数量，与预设的位置、类型和数量进行对比，判断消防器材的放置是否合规。例如，消防通道上消防器材的放置规定包括必须有1个消防栓和2个灭火器，灭火器需要放置在明显和便于取用的地点,且不得放置影响安全疏散的通道上。在识别出灭火器的数量为1个的情况下，灭火器的放置就不合规；或者，在识别出灭火器放置在疏散通道上，该灭火器的放置也不合规。
通过上述步骤S302至S304，本申请的实施例除了可以排查消防通道是否堵塞以外，还可以排查识别消防器材的位置、类型和数量是否合规，增加了消防安全督查的检查项，进一步节省了人工成本。
需要说明的是，该方法还包括：获取该消防通道中的消防器材和占用物品的训练图片；对该训练图片中的该消防器材和该占用物品进行标注，利用标注后的该训练图片训练目标检测框架和分类网络，得到该消防器材放置识别模型。
上述模型的训练过程，可以使用YOLO或其他目标检测框架进行训练；对消防器材或者物品进行分类网络训练，该训练完备的消防器材放置识别模型可以识别出双目图像中左目图像或者右目图像中的消防器材或者物品的位置、类型和数量。
其中，检测训练框架主要包括：输入图预处理，例如输入图像的颜色空间增强，旋转、随机裁剪等，当然对输入图像的标记信息也要相应的进行处理。标记信息中一般是手动打好的目标框的宽、高以及中心点的坐标，目标类别；神经网络各层的前向计算和反向推理计算函数，例如包括卷积层、全连接层、concat层、shortcut层，激活函数计算和上下采样层等；损失函数计算，例如，均方差函数，focal loss等；darknet、pytorch和tensorflow等就是各种训练框架。在这些框架上就可以根据算法设计和搭建最后的网络模型。以yolov3为例，就是在这个框架下搭建v3的网络结构和损失函数设计，输入训练图像和打标好的txt信息，经过卷积、采用、shortcut等层不断提取图像的深层信息，最后预测出目标的位置和类别；预测位置及类别和真值不断优化求解损失函数最小时的各层的参数，即可得到较优模型的权重参数。使用这个权重，即训练好的模型，在测试图片上进行计算，就可以预测得到目标的位置和类别信息了；分类网络训练框架和检测框架无区别，主要在于训练数据和网络设计不同。分类的训练数据通常一张图一个目标，打标信息就是目标的类别。网络设计上主干的特征提取和检测也没有太大区别，例如，resnet18主干网络；主要区别还是损失函数和激活函数上。分类网络经常在最后特征提取最后的特征层后使用全连接层和softmax激活函数得到各个类别的概率，概率最大的则为该目标的分类类别。
在一个实施例中，图4是根据本发明实施例的消防器材污损的排查方法的流程图，该方法包括如下步骤：
步骤S402，将双目图像的一目图像或者双目图像，输入训练完备的消防器材污损识别模型，其中，双目图像定位用两部相机来定位，对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标，只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置；
步骤S404，确定该双目图像中的消防器材是否污损，其中，该消防器材包括消防栓和灭火器等，例如，消防栓的表面是否整洁，是否有污损或者有广告粘贴。
通过上述步骤S402至S404，本申请的实施例除了可以排查消防通道是否堵塞以外，还可以排查识别消防器材是否污损，增加了消防安全督查的检查项，进一步节省了人工成本。
需要说明的是，预设消防器材污损识别模型用于获取该消防通道中消防器材的训练图片之后，对该训练图片中该消防器材标注，进行目标检测框架训练和分类网络训练，识别该消防器材是否污损，该预设消防器材污损识别模型先识别消防器材的类型，在确定完类型后，再确定该类型消防器材是否污损，例如，先识别出双目图像中左目图像或者右目图像的消防栓，再识别消防栓是否表面整洁，是否有污损或者是否有广告粘贴。
在一个实施例中，对获取消防通道的双目图像的三维点云的过程包括：对该双目图像进行校正；并通过半全局匹配算法SGBM计算校正后的该双目图像的视差图；获取该视差图的深度图像，并根据该深度图像获取该三维点云。
在一个实施例中，该获取二维平面的点云分布，在该二维平面上获取该双目图像上物品的外接图形面积的过程包括：去除该点云分布上与该三维点云边界对应的点，以及去除该点云分布上与该三维点云中大于预设值的高度点对应的点；获取在该二维平面上各个物品的最小外接矩形，获取各个物品的最小外接矩形的面积之和，将该最小外接矩形的面积之和作为该外接图形面积。
下面结合具体应用场景，对本发明进行详细的说明，在进行室内消防通道状态识别之前，收集消防器材和通道占用物品的训练图片，并进行标注，常见的通道占用物品类别包括椅子，垃圾桶，纸盒和箱子等，消防器材类别包括消火栓和灭火器等，其中，消防栓属性标注为是否污损；使用YOLO或其他目标检测框架进行训练；对消防栓图片进行分类网络训练，在消防通道区域安装双目摄像机，双目摄像机的监控的区域覆盖消防通道的感兴趣区域。
图5是根据本发明实施例的室内消防通道状态识别方法的流程图，如图5所示，该方法包括：
步骤S501，双目摄像机获取双目图像后，选取左目图像或者右目图像进行深度学习，获取各物体的图像坐标位置和类别；
步骤S502，对该双目图像进行矫正，并使用半全局块匹配(Semi-Global BlockMatching，简称为SGBM)方法计算视差图和三维点云；
步骤S503，将三维点云进行地面的投影，得到二维平面的点云分布，并去除其中原三维点云中图像边界以及高度不满足的点；
步骤S504，在二维平面上获取各物体的最小外接矩形，按照映射关系得到各矩形的实际长和宽的大小；根据地面尺寸大小计算通道占用面积；
步骤S505，对双目图像中消防器材的类目标分别进行分析，对检测到的消火栓利用分类器判断是否污损，对检测到的灭火器的个数进行判断，与预定值进行比较来判断是否缺失。
步骤S506，根据通道占用物体类别，以及物品在总的地面占用面积，以及综合消防栓是否有污损，以及灭火器的个数是否与预定值一致，根据上述判断的结果进行告警，并根据判断结果告知是消防通道堵塞，还是消防栓污损或者灭火器的个数不符；
通过上述步骤S501至S506，对消防通道中相关状态都识别出来，包括消防通道具体的占用物体类别、占用严重程度、消火栓的是否污损和灭火器是否缺失等状态，该识别方法提高了检测的准确性，降低对图像质量的要求。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述车牌倾斜矫正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本申请实施例提供了一种计算机可读存储介质，图6是根据本发明实施例的计算机设备的示意图，如图6所示，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面该的消防通道的排查方法。本领域技术人员可以理解，图6中示出的结构，仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
另外，结合上述实施例中的一种消防通道的排查方法，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上该实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种消防通道的排查方法，其特征在于，所述方法包括：
获取消防通道双目图像的三维点云和所述消防通道的地面面积；
将所述三维点云进行地面投影，获取二维平面的点云分布；
在所述二维平面上获取所述双目图像上物品的外接图形面积；
根据外接图形面积与所述地面面积的比值，确定所述消防通道是否堵塞。
2.根据权利要求1所述的方法，其特征在于，在所述获取消防通道的双目图像的三维点云和所述消防通道的地面面积之后，所述方法还包括：
将所述双目图像的一目图像或者双目图像，输入训练完备的消防器材放置识别模型，以识别所述双目图像中的消防器材的位置、类型和数量；
将识别得到的所述消防器材的位置、类型和数量，与预设的位置、类型和数量进行对比，判断消防器材的放置是否合规。
3.根据权利要求2所述的方法，其特征在于，还包括以下步骤：
获取所述消防通道中的消防器材和占用物品的训练图片；
对所述训练图片中的所述消防器材和所述占用物品进行标注，利用标注后的所述训练图片训练目标检测框架和分类网络，得到所述消防器材放置识别模型。
4.根据权利要求1所述的方法，其特征在于，在所述获取消防通道的双目图像的三维点云和所述消防通道的地面面积之后，所述方法还包括：
将所述双目图像的一目图像或者双目图像，输入训练完备的消防器材污损识别模型，以确定所述双目图像中的消防器材是否污损。
5.根据权利要求4所述的方法，其特征在于，还包括以下步骤：
获取所述消防通道中的消防器材的训练图片；
对所述训练图片中的被污损的所述消防器材进行标注，利用标注后的所述训练图片训练目标检测框架和分类网络，得到所述消防器污损识别模型。
6.根据权利要求1所述的方法，其特征在于，所述获取消防通道的双目图像的三维点云和所述消防通道的地面面积，其中，所述获取消防通道的双目图像的三维点云，包括：
对所述双目图像进行校正；
通过半全局匹配算法SGBM计算校正后的所述双目图像的视差图；
获取所述视差图的深度图像；
根据所述深度图像获取所述三维点云。
7.根据权利要求1所述的方法，其特征在于，所述在所述二维平面上获取所述双目图像上物品的外接图形面积，包括：
去除所述点云分布上与所述三维点云边界对应的点，以及去除所述点云分布上与所述三维点云中大于预设值的高度点对应的点；
获取在所述二维平面上各个物品的最小外接矩形，获取各个物品的最小外接矩形的面积之和，将所述最小外接矩形的面积之和作为所述外接图形面积。
8.一种消防通道的排查***，其特征在于，所述***包括双目摄像机和服务器；
所述双目摄像机用于获取所述消防通道的双目图像，并将获取到的所述双目图像发送至所述服务器；
所述服务器用于获取所述消防通道的所述双目图像的三维点云和所述消防通道的地面面积，将所述三维点云进行地面投影，获取二维平面的点云分布，在所述二维平面上获取所述双目图像上物品的外接图形面积，所述服务器根据外接图形面积与所述地面面积的比值，确定所述消防通道是否堵塞。
9.根据权利要求8所述的***，其特征在于，所述服务器还用于将所述双目图像的一目图像或者双目图像，输入训练完备的消防器材识别模型，识别所述双目图像中的消防器材的位置、类型和数量；并根据所述消防器材的位置、类型和数量，与预设的位置、类型和数量进行对比，判断消防器材的放置是否合规。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761984.0A CN112001963A (zh) | 2020-07-31 | 2020-07-31 | 消防通道的排查的方法、***和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761984.0A CN112001963A (zh) | 2020-07-31 | 2020-07-31 | 消防通道的排查的方法、***和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112001963A true CN112001963A (zh) | 2020-11-27 |
Family
ID=73462655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010761984.0A Pending CN112001963A (zh) | 2020-07-31 | 2020-07-31 | 消防通道的排查的方法、***和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001963A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396040A (zh) * | 2021-01-19 | 2021-02-23 | 成都四方伟业软件股份有限公司 | 一种车辆占道识别方法及装置 |
| CN112966619A (zh) * | 2021-03-15 | 2021-06-15 | 精英数智科技股份有限公司 | 一种采煤皮带机头溜煤眼下口堵塞检测方法及装置 |
| CN117671918A (zh) * | 2023-11-10 | 2024-03-08 | 深圳市亲邻科技有限公司 | 一种基于边缘服务器的社区特殊区域安全识别方法与*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204595A (zh) * | 2016-07-13 | 2016-12-07 | 四川大学 | 一种基于双目摄像机的机场场面三维全景监视方法 |
| CN107386730A (zh) * | 2017-07-18 | 2017-11-24 | 武汉智象机器人有限公司 | 一种智能地下停车库及其停车方法 |
| CN110261436A (zh) * | 2019-06-13 | 2019-09-20 | 暨南大学 | 基于红外热成像和计算机视觉的轨道故障检测方法及*** |
| CN110472486A (zh) * | 2019-07-03 | 2019-11-19 | 北京三快在线科技有限公司 | 一种货架障碍物识别方法、装置、设备及可读存储介质 |
| CN110766915A (zh) * | 2019-09-19 | 2020-02-07 | 重庆特斯联智慧科技股份有限公司 | 一种用于识别消防通道状态的报警方法及*** |
| US20200082207A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Object detection method and apparatus for object detection |
| CN110910355A (zh) * | 2019-11-07 | 2020-03-24 | 浙江大华技术股份有限公司 | 包裹堵塞检测方法、装置以及计算机存储介质 |
| CN110992356A (zh) * | 2019-12-17 | 2020-04-10 | 深圳辰视智能科技有限公司 | 目标对象检测方法、装置和计算机设备 |
| CN111414848A (zh) * | 2020-03-19 | 2020-07-14 | 深动科技（北京）有限公司 | 一种全类别3d障碍物检测方法、***和介质 |
-
2020
- 2020-07-31 CN CN202010761984.0A patent/CN112001963A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204595A (zh) * | 2016-07-13 | 2016-12-07 | 四川大学 | 一种基于双目摄像机的机场场面三维全景监视方法 |
| CN107386730A (zh) * | 2017-07-18 | 2017-11-24 | 武汉智象机器人有限公司 | 一种智能地下停车库及其停车方法 |
| US20200082207A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Object detection method and apparatus for object detection |
| CN110261436A (zh) * | 2019-06-13 | 2019-09-20 | 暨南大学 | 基于红外热成像和计算机视觉的轨道故障检测方法及*** |
| CN110472486A (zh) * | 2019-07-03 | 2019-11-19 | 北京三快在线科技有限公司 | 一种货架障碍物识别方法、装置、设备及可读存储介质 |
| CN110766915A (zh) * | 2019-09-19 | 2020-02-07 | 重庆特斯联智慧科技股份有限公司 | 一种用于识别消防通道状态的报警方法及*** |
| CN110910355A (zh) * | 2019-11-07 | 2020-03-24 | 浙江大华技术股份有限公司 | 包裹堵塞检测方法、装置以及计算机存储介质 |
| CN110992356A (zh) * | 2019-12-17 | 2020-04-10 | 深圳辰视智能科技有限公司 | 目标对象检测方法、装置和计算机设备 |
| CN111414848A (zh) * | 2020-03-19 | 2020-07-14 | 深动科技（北京）有限公司 | 一种全类别3d障碍物检测方法、***和介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396040A (zh) * | 2021-01-19 | 2021-02-23 | 成都四方伟业软件股份有限公司 | 一种车辆占道识别方法及装置 |
| CN112396040B (zh) * | 2021-01-19 | 2022-03-01 | 成都四方伟业软件股份有限公司 | 一种车辆占道识别方法及装置 |
| CN112966619A (zh) * | 2021-03-15 | 2021-06-15 | 精英数智科技股份有限公司 | 一种采煤皮带机头溜煤眼下口堵塞检测方法及装置 |
| CN117671918A (zh) * | 2023-11-10 | 2024-03-08 | 深圳市亲邻科技有限公司 | 一种基于边缘服务器的社区特殊区域安全识别方法与*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108009543B (zh) | 一种车牌识别方法及装置 | |
| US10878283B2 (en) | Data generation apparatus, data generation method, and data generation program | |
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| CN112001963A (zh) | 消防通道的排查的方法、***和计算机设备 | |
| US11030464B2 (en) | Privacy processing based on person region depth | |
| CN113096119B (zh) | 晶圆缺陷分类的方法、装置、电子设备以及存储介质 | |
| CN111860140B (zh) | 目标事件检测方法、装置、计算机设备和存储介质 | |
| CN111898486B (zh) | 监控画面异常的检测方法、装置及存储介质 | |
| CN112131951B (zh) | 一种自动化识别施工中违规使用梯子行为的*** | |
| CN116152863B (zh) | 一种人员信息识别方法、装置、电子设备及存储介质 | |
| CN112528974B (zh) | 测距方法、装置、电子设备及可读存储介质 | |
| CN109389105A (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN116229560B (zh) | 一种基于人体姿态的异常行为识别方法及*** | |
| CN110717449A (zh) | 车辆年检人员的行为检测方法、装置和计算机设备 | |
| CN114022846A (zh) | 作业车辆的防碰撞监控方法、装置、设备和介质 | |
| US11544839B2 (en) | System, apparatus and method for facilitating inspection of a target object | |
| CN111372042A (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
| CN113177941B (zh) | 一种钢卷边裂识别方法、***、介质和终端 | |
| CN116229502A (zh) | 基于图像的摔倒行为识别方法及设备 | |
| CN106663317A (zh) | 数字图像的形态学处理方法和数字图像处理装置 | |
| CN115294505A (zh) | 风险物体检测及其模型的训练方法、装置及电子设备 | |
| CN114241354A (zh) | 仓库人员行为识别方法、装置、计算机设备、存储介质 | |
| CN112188151B (zh) | 视频处理方法、装置及计算机可读存储介质 | |
| CN113449617A (zh) | 轨道安全检测方法、***、装置和存储介质 | |
| CN114630102A (zh) | 检测数据采集设备角度变化的方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |