CN115752462A - 楼宇内重点巡检目标巡检方法、***、电子设备和介质 - Google Patents

Abstract

本发明公开了一种楼宇内重点巡检目标巡检方法、***、电子设备和介质，结合SLAM地图构建导航技术和深度学***台设计巡检路线，移动机器人按照巡检路线，依次经过巡检点并拍摄图片，对拍摄的每一张图片，机器人会根据图像特征识别算法，识别门、灯、消防拴、指示标志、人，并在图像中标注，可以无需标注任何对象巡检点位，即可自动完成对绝大多数的重点巡检目标的检视，获取到深度学习模型根据移动机器人的视觉信息进行消防安全识别，提高了巡检的效率。

Description

楼宇内重点巡检目标巡检方法、***、电子设备和介质

技术领域

本发明涉及智能设备技术领域，尤其涉及一种楼宇内重点巡检目标巡检方法、***、电子设备和介质。

背景技术

随着技术的不断发展与创新，机器人能够为人们提供的帮助越来越多。就楼宇场景而言，机器人已经能胜任外卖和快递的配送、室内的导游巡检及定期消毒等一系列的任务。相信在可预见的未来，机器人将能在更多的场景完成越来越多类型的任务。

楼宇安保工作的重点之一是楼宇内重点内容的巡检，巡检对象包括：消防栓是否完好，消防门是否关闭或者打开，消防灯是否亮着，指示标志是否完好，安全通道是否通畅，是否存在明火等。使用移动机器人对楼宇内重点目标的巡检一般需要标注指定点位置(x,y坐标)，以及角度(theta角度)，一方面楼层内的巡检目标平均来说数量不少，一层楼经常是几十甚至上百个目标，这样造成了大量的位置标注维护工作；另一方面机器人巡检时需要在指定点位上停留并按照预设的角度进行拍照识别，这就势必需要耗费大量的时间才可以完成巡检工作，巡检的效率较低、自动化程度不高。

发明内容

本发明提供一种楼宇内重点巡检目标巡检方法、***、电子设备和介质，可以无需标注任何对象巡检点位，即可自动完成对绝大多数的重点巡检目标的检视。

第一方面，本发明实施例提供一种楼宇内重点巡检目标巡检方法，包括：

获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

作为优选的，所述巡检任务还包括巡检目标所在的巡检区域；

所述巡检路线包括在所述SLAN地图上依顺序标注的若干巡检点，所有所述巡检点构成一条覆盖目标楼层内所有巡检区域的巡检路线。

作为优选的，每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，具体包括：

基于所述待巡检路线对所述目标楼层进行巡检时，若判断进入巡检区域或者巡检点，则按照预设时间间隔获取当前场景下的图像，并将所述图像按照时间戳的顺序进行保存和上传。

作为优选的，所述识别所述巡检目标的安全状态后，还包括：

对安全状态异常的所述图像进行目标框标注、异常标注，并上报进标注后的图像，以及获取图像时的坐标；

获取历史上报的图像，以及对应的目标框和坐标为输入，以异常标注结果为监督数据，进行有监督的深度学习，以更新所述深度学习模型。

作为优选的，所述巡检目标包括消防门、消防灯、消防指示标志、消防栓、行人；所述安全状态包括消防门是否打开、消防灯是否打开、消防栓是否完好、消防标志是否完好、是否有行人移动。

作为优选的，还包括：

若判断安全状态异常，则上报异常检测结果，所述异常检测结果包括异常类型和异常位置；基于所述异常检测结果生成待处理任务并反馈至中控平台。

作为优选的，若所述巡检目标的安全状态确认为异常，则对所述异常数据进行训练获得优化后的深度学习模型。

第二方面，本发明实施例提供一种楼宇内重点巡检目标巡检***，包括：

导航模块，获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

巡检检测模块，每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述楼宇内重点巡检目标巡检方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述楼宇内重点巡检目标巡检方法的步骤。

第五方面，本发明提供了一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或者指令被处理器执行时实现本发明第一方面所述方法的步骤。

本发明实施例提供的一种楼宇内重点巡检目标巡检方法、***、电子设备和介质，结合SLAM地图构建导航技术和深度学***台设计巡检路线，移动机器人按照巡检路线，依次经过巡检点并拍摄图片，对拍摄的每一张图片，机器人会根据图像特征识别算法，识别门、灯、消防拴、指示标志、人，并在图像中标注，可以无需标注任何对象巡检点位，即可自动完成对绝大多数的重点巡检目标的检视，获取到深度学习模型根据移动机器人的视觉信息进行消防安全识别，提高了巡检的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的楼宇内重点巡检目标巡检方法流程框图；

图2为根据本发明实施例的楼宇内重点巡检目标巡检方法闭环运行示意图；

图3为根据本发明实施例的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的***、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。以下将通过多个实施例进行展开说明和介绍。

图1和图2为本发明实施例提供一种楼宇内重点巡检目标巡检方法，包括：

步骤S1、获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

所述移动机器人的移动是在基于SLAM算法构建的地图中进行移动的，通过SLAM技术建图，机器人通过事先扫图构建与真实场景对应的地图，机器人移动时通过感知在地图中的位置进行定位，获得实时位置，SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)，基本原理是：当机器人处于未知环境中的未知位置时，通过自身传感器收集自身运动状况及周围环境情况，让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图是指不受障碍行进到楼宇内可进入的每个角落，是在机器人移动到未知空间时通过探测周围环境来估计当前位置并同时绘制地图的方法。

本实施例中，机器人自带或者实时构建目标楼层的SLAM地图，通过在后端中控平台设计巡检路线，以确定目标楼层的巡检路线，所述巡检路线包括若干巡检点，若干所述巡检点相连构成一条覆盖目标楼层内所有巡检区域的巡检路线，即巡检路线包括多个顺序排布的巡检点，若机器人当前地图与巡检任务不匹配时，则从云端或者本地获取到与巡检任务匹配的地图。

在一个实施例中，巡检点由(x,y)二元组表示，其中x，y为定位坐标。巡检路线上的巡检点可以直接由标记工具在SLAM地图上直接标注，非常直观，所有的巡检点构成一条覆盖所有巡检区域的巡检路线。

获取所述移动机器人当前的位置感知，基于所述感知场景确定所述移动机器人的当前位置。在SLAM中，移动机器人利用自身携带的传感器识别未知环境中的特征标志，然后根据机器人与特征标志之间的相对位置和里程计的读数估计机器人和特征标志的全局坐标。在线的定位与地图创建需要保持机器人与特征标志之间的详细信息。

移动机器人按照巡检路线，依次经过巡检点，经过巡检点时并不做停留。

在另一个实施例中，所述巡检点为有向巡检点，每个所述巡检点记录有当前巡检点的坐标及方向矢量，所述方向矢量由当前巡检点指向相邻的下一巡检点；巡检路线上的巡检点可以直接由标记工具在SLAM地图上直接标注，非常直观，所有的巡检点构成一条覆盖所有巡检区域的巡检路线。此时根据SLAM地图控制所述移动机器人沿巡检路线移动，具体包括：确定所述移动机器人的当前位姿，并获取所述巡检路线中与所述移动机器人的当前位置相匹配的巡检点，基于巡检点的方向矢量和当前位姿确定移动机器人的位移方向。

步骤S2、每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

在本实施例中，移动机器人每隔2秒，会通过顶置摄像头和前置摄像头，拍摄图像，移动器人按照巡检路线移动，在进入巡检区域或者巡检点时，按照预设时间间隔获取当前场景下的图像，图像会按照时间戳命名保存在本地磁盘，并通过队列依次通过移动网络(4G/5G)上传图像到云端。对拍摄的每一张图像，移动机器人会根据图像特征识别算法，识别巡检目标及其特征，利用图像特征识别算法可以初步判断是否与预存的目标对象特征相同，巡检目标包括消防门、消防灯、消防指示标志、消防栓、行人，并在图像中标注。算法还会对消防门是否打开；消防灯是否打开；消防拴、消防指示标志是否完好；是否有人移动做出判断，并标记异常，进行上报。

云端提供安防中控页面，可以实时查看到移动机器人的位置，已经上传的图像序列，以及机器人上报的异常检测结果，所述异常检测结果包括异常类型和异常位置。安防人员通过中控界面可以及时判断上报异常是否准确，并判断是否需要处理，如果异常情况的确需要处理，安防人员将点击该范围框内的异常，生成一项任务，并亲自到目标位置进行确认和处理。安防人员还可以通过中控界面实时查看图像序列，人工检查图像中的重点目标是否存在异常，如果存在异常，同样可以标记并进行线下处理。

在上述实施例的基础上，作为一种优选的实施方式，在并识别所述巡检目标的安全状态后，还包括：

对安全状态异常的所述图像进行目标框标注、异常标注，并上报进标注后的图像，以及获取图像时移动机器人的坐标；

获取历史上报的图像，以及对应的目标框和坐标为输入，以异常标注结果为监督数据，进行有监督的深度学习，以更新所述深度学习模型。

本实施例中，移动机器人的异常标记上报，以及安防人员的异常标记上报和确认，将被***记录，云端会把历史上的图像、上报位置、重点目标框作为输入，保安的异常确认结果作为监督数据，进行有监督的机器学习，形成新的深度学习模型。移动机器人端在下一次任务中使用新的深度学习模型，构成闭环，运行次数越多，异常识别效果将会越准确。

本发明实施例还提供一种楼宇内重点巡检目标巡检***，基于上述各实施例中的楼宇内重点巡检目标巡检方法，包括：

导航模块，获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

巡检检测模块，每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

基于相同的构思，本发明实施例还提供了一种实体结构示意图，如图3所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810、通信接口820、存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述楼宇内重点巡检目标巡检方法的步骤。例如包括：

获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述楼宇内重点巡检目标巡检方法的步骤。例如包括：

获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于所述SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。

所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。

基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。

基于相同的技术构思，本申请实施例还提供了一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或者指令被处理器执行时实现上述实施例中方法的步骤。

综上所述，本发明实施例提供的一种楼宇内重点巡检目标巡检方法、***、电子设备和介质，结合SLAM地图构建导航技术和深度学***台设计巡检路线，移动机器人按照巡检路线，依次经过巡检点并拍摄图片，对拍摄的每一张图片，机器人会根据图像特征识别算法，识别门、灯、消防拴、指示标志、人，并在图像中标注，可以无需标注任何对象巡检点位，即可自动完成对绝大多数的重点巡检目标的检视，获取到深度学习模型根据移动机器人的视觉信息进行消防安全识别，提高了巡检的效率。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

本发明中，作为供交换的盒子即待调度盒，在交换时，可以只交换单元组(此时智能柜内供交换的只有单元组)，也可以只交换独立单元盒(此时智能柜内供交换的只有独立单元盒)，也可以是上述实施例中单元组和独立单元盒均可交换(此时智能柜内的待调度盒有单元组和独立单元盒)，当待调度盒为单元组和独立单元盒时，单元组、独立单元盒分别作为独立的待调度盒采用上述实施例中的方法进行调仓，当待调度盒为单元组或独立单元盒时，也可采用上述实施例对应完成实施，在此不再一一实施展开说明。针对不同规格或者交换形式的待调度盒，均可采用上述实施例中描述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种楼宇内重点巡检目标巡检方法，包括：

获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

2.根据权利要求1所述的楼宇内重点巡检目标巡检方法，其特征在于，所述巡检任务还包括巡检目标所在的巡检区域；

所述巡检路线包括在所述SLAN地图上依顺序标注的若干巡检点，所有所述巡检点构成一条覆盖目标楼层内所有巡检区域的巡检路线。

3.根据权利要求2所述的楼宇内重点巡检目标巡检方法，其特征在于，每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，具体包括：

基于所述待巡检路线对所述目标楼层进行巡检时，若判断进入巡检区域或者巡检点，则按照预设时间间隔获取当前场景下的图像，并将所述图像按照时间戳的顺序进行保存和上传。

4.根据权利要求3所述的楼宇内重点巡检目标巡检方法，其特征在于，所述识别所述巡检目标的安全状态后，还包括：

对安全状态异常的所述图像进行目标框标注、异常标注，并上报进标注后的图像，以及获取图像时的坐标；

获取历史上报的图像，以及对应的目标框和坐标为输入，以异常标注结果为监督数据，进行有监督的深度学习，以更新所述深度学习模型。

5.根据权利要求1所述的楼宇内重点巡检目标巡检方法，其特征在于，所述巡检目标包括消防门、消防灯、消防指示标志、消防栓、行人；所述安全状态包括消防门是否打开、消防灯是否打开、消防栓是否完好、消防标志是否完好、是否有行人移动。

6.根据权利要求1所述的楼宇内重点巡检目标巡检方法，其特征在于，还包括：

若判断安全状态异常，则上报异常检测结果，所述异常检测结果包括异常类型和异常位置；基于所述异常检测结果生成待处理任务并反馈至中控平台。

7.根据权利要求1-6任一项所述的楼宇内重点巡检目标巡检方法，其特征在于，若所述巡检目标的安全状态确认为异常，则对所述异常数据进行训练获得优化后的深度学习模型。

8.一种楼宇内重点巡检目标巡检***，包括：

导航模块，获取中控平台下发的巡检任务，所述巡检任务包括目标楼层的巡检目标和待巡检路线，基于SLAM地图和所述待巡检路线对所述目标楼层进行巡检；

巡检检测模块，每间隔预设时间获取按所述待巡检路线巡检时拍摄的多个角度的图像，基于预先训练的深度学习模型对所述图像进行特征识别，识别所述图像中的巡检目标，并识别所述巡检目标的安全状态。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述楼宇内重点巡检目标巡检方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述楼宇内重点巡检目标巡检方法的步骤。

Images