CN115283360A - 基于地铁智能吹扫的视觉点云路径自动规划***及方法 - Google Patents

Abstract

本发明涉及基于地铁智能吹扫的视觉点云路径自动规划***及方法，属于城市轨道交通车辆维护保养技术领域，包括AGV吹扫车；所述AGV吹扫车上设置机械臂摄像头和吹扫机器人；所述机械臂摄像头的摄像头安装在机械臂末端并随机械臂活动，所述机械臂安装在AGV吹扫车的基座上；所述AGV吹扫车、机械臂摄像头和吹扫机器人均由中控平台控制；所述中控平台内设有地铁数据库、YoloV4识别的立体模块，还包括使用该***进行的路径自动规划方法。本发明采用YoloV4识别技术，透过预训练好的零部件的分类与识别技术，把所有可能存在地铁的零部件类型找出来，并且在地铁车底点云建图阶段，一并把零部件的绝对位置标示出来对零部件精准识别、定位并做出自动化吹扫路径规划。

Description

基于地铁智能吹扫的视觉点云路径自动规划***及方法

技术领域

本发明属于城市轨道交通车辆维护保养技术领域，特别涉及基于地铁智能吹扫的视觉点云路径自动规划***及方法。

背景技术

在现代社会中，由于人口的快速增长以及城市化建设的飞速发展，城市内的交通感到了前所未有的压力，绝大多数的城市轨道交通***都是用来运载市内通勤的乘客，而在很多场合下城市轨道交通***都会被当成城市交通的骨干。地铁，又称为地下铁道，是简历在有轨电车的基础之上发展起来的，是一种拥有很高的现代化技术含量的客运***，具有节省土地、有效减少噪音和干扰、节约能源、减少污染等优点。自从 20 世纪 80 年代以后，地铁的建设得到了前所未有的高速发展。

为了缓解目前这种交通拥挤状况，我国已经在多个城市扩建、在建、规划城市地下铁道。同时，我国地铁建设飞速发展的同时，也随之而来一个问题:即众多与地铁相关的配套设备的设计和制造。由于我国地铁车辆的研制工作还处于发展和普及阶段，众多的配套设备尚未形成标准化和系列化的设计和生产，再加上地下铁道交通***的多样化以及车辆运行环境的差异性，即便是在地下铁道发展较长时间的欧美日等发达国家，市场上的现成通用设备也几乎没有。

在轨道车辆除尘技术中，所需要处理的对象大部分是指工业粉尘。工业粉尘，从定义上讲是指因机械过程(破碎、筛分、运输等)而产生的微细粒子，能在气体中分散(悬浮)一定时间的固体粒子。粉尘的粒径范围很广，由细至 1/10μm 到数百微米。在目前国内外地铁检修车场，所常用的除尘手段多为手动式喷吹和吸尘，这种方式工作效率低、劳动强度大、工作环境恶劣、并且由于人工操作所带来的不确定性可能会导致严重的环境污染。

也就说，在地铁列车的维护中，地铁列车底部的吹扫一直是车辆检修维护的重点难点。由于列车运行一段时间之后，地铁列车底部的电气零部件会因为环境等一系列因素而堆积大量的粉尘，从而影响到列车的安全正常运行。按照《地铁设计规范》要求，地铁车辆车辆段的检修设施应包括列车吹扫设施。吹扫作业是城市轨道交通车辆在检修前必须经过的一步，主要目的是用于车辆零部件，尤其是针对车底重要部件的清洁，从而便于车辆的检修。

根据目前对市场的调研情况，国内已经投入运营的车辆段中，并没有效果良好的智能吹扫***，对于车底的吹扫作业方式大多数为人工作业为主，作业时扬尘大，对现场环境污染严重，作业人员须穿戴防护服及呼吸器，作业强度大，工作效率低下，因此吹扫作业一直是现场作业人员的痛点，急需一种智能吹扫装置来解决上述问题。近期，国内开始有人推出地铁吹扫机器人，主要是利用机器人来代替人工，执行地铁底部的吹扫作业。也就是通过研发地铁列车智能吹扫智能机器人***，旨在降低地铁列车吹扫耗时，提高列车吹扫的效率; 降低吹扫作业后环境中的扬尘浓度，改善作业环境。

专利号为CN202011462888.2，公开号为CN113911075A，名称为一种集成车底车侧吹扫除尘设备的吹扫***的发明专利公开的地铁列车智能吹扫***包括中央控制***、电控***、定位***和吹扫***，其地铁列车智能吹扫***一共采用三台智能吹扫机器人，可以根据中央控制***发出的指令对浮沉积聚严重的部位进行重点吹扫。同时对吹落的灰尘进行同步收集，经过滤达标后排放，从而大大提高吹扫作业的工作效率、降低作业人员劳动强度、改善吹扫作业的工作环境。但是上述吹扫***存在以下问题：

1、无法得知地铁底部的零部件分类，不能根据零部件的外观执行自动化吹扫动作，或根本没有定义吹扫的动作，或定义出最短距离的吹扫路径。例如说，地铁的零部件有圆柱型或三棱柱型，其吹扫的方向应该是不同的法线角度，优选吹扫路径如图1和图2所示，而上述***皆没有定义。

2、根据地铁的吹扫环境要求，地铁停靠到吹扫区时，停止的位置往往会有误差。上述***并没有定义出这个计算误差的算法并反馈到***中，作为***执行吹扫时的位置累积修正数据。

3、上述***无法得知地铁底部的零部件的位置并判断其是否需要吹扫，并且无法衡量吹扫后的干净程度，仅能进行机械性的全面吹扫；尽管通过二维码带来定义重点吹扫的位置，指定特别清扫的地点，但地铁停靠到保养吹扫区时，位置未必刚好完全吻合，或者仅靠吹扫车的轮式里程计定位；当误差出现时，这些累计误差无法与二维码带配合，也没有提出修正算法。

4、上述***也没有自动识别体系，判断列车的车号等数据。无法建立吹扫时间、次数、零部件等的吹扫数据库。

5、整个吹扫过程需要反复的人为操作或监控，无任何智能的***辅助或支援。

发明内容

本发明为解决公知技术中存在的技术问题提供基于地铁智能吹扫的视觉点云路径自动规划***及方法，其主要功能是对地铁运行的地铁车辆下部两侧的车底零部件进行除尘，对零部件精准识别、定位并规划出自动吹扫路径。

本发明包括如下技术方案：一种基于地铁智能吹扫的视觉点云路径自动规划***，包括AGV吹扫车；所述AGV吹扫车上设置机械臂摄像头和吹扫机器人；所述机械臂摄像头的摄像头安装在机械臂末端并随机械臂活动，所述机械臂安装在基座上；所述AGV吹扫车、机械臂摄像头和吹扫机器人均由中控平台控制；所述中控平台内设有地铁数据库、YoloV4识别模型。

进一步的，所述机械臂摄像头上设有陀螺仪，机器臂的移动过程是可以被解算的，因此同时机械臂上安装的摄像头也可以抓到拍摄每一帧照片的绝对位置。

进一步的，所述机械臂摄像头拍摄的2D图像经由YoloV4识别模块进行零部件识别得到的零部件型号和位置、3D扫描获取的3D点云数据库以及零部件的绝对位置均存储在地铁数据库中。

一种基于地铁智能吹扫的视觉点云路径自动规划方法，包括以下步骤：

S1当地铁停稳后，先进行车底盖板的拆卸和存放，完成后人员撤离；确认作业范围安全后，将三台吹扫机器人通电启动并移动到起始点；

S2将机械臂摄像头移动至车头位置，启动并对车头识别扫描，确认车头位置与起始点误差，并将该误差传送到中控***中，开始执行预先定义的吹扫任务；

S3依据预先完成的零部件建图，对地铁列车底部的零部件进行定位；

S4定位正确后，判断零部件位置误差；

S5 启动机械臂前，采用事先建立好的点云数据库，比对当下的点云数据，吹扫前先执行障碍物判断，先确认***是否存在中断续接流程，后续再开始执行吹扫；启动吹扫前后均对零部件表面进行2D拍照以判断清洁是否达标；

S6执行完对所有零部件的吹扫后，等待中控平台通知AGV吹扫车已经到达终点（即地铁车尾），同时移动机械臂回等待位置。

进一步的，所述S3中的零部件建图流程包括以下步骤：

A1，于地铁车厢底部启动AGV吹扫车；

A2，并指定每移动设定距离30cm后，AGV吹扫车静止；

A3，指定机械臂移动到离地距离50cm，机械臂摄像头维持在基座上方，从基座上方、往左45度角、往右45度角，等三个位置朝上拍摄，获取三张固定搬运车位置，但仅靠机械臂移动所拍照的三张2D图像；

A4，拍照并储存2D图像，执行YoloV4模型，分类并判断零部件是否存在于指定相片中。若发现存在零部件，则根据机械臂摆动的角度以及AGV吹扫车的定点位置，计算该零部件在图像中的相对地面的位置，并指定其位置为零部件的绝对位置；

A5，储存零部件2D照片、地铁底盘绝对位置、机械臂拍摄角度、现场零部件与YoloV4模型库中的零部件角度差异等数值于地铁数据库中；

A6，每执行一次各列地铁零部件建图后，于地铁数据储存所有零部件种类、位置、2D照片、3D点云数据和扫描时间，并且特别标注每列地铁车型的第一个零部件位置，记录第一个零部件为该车型的第一零部件。

A7，针对每个零部件的外型，预先建立好吹扫的路径，包括大面积的快速吹扫路径、仅涵盖稀疏点云的基本吹扫路径及包含所有点云的深度吹扫路径等。

进一步的，所述S3中的零部件定位流程包括以下步骤：

B1，AGV吹扫车于启始点位静止，并移动机械臂摄像头到基座上方，离地50cm；

B2，直接移动AGV吹扫车到列车第一个零部件位置；

B3，启动机械臂摄像头2D拍照，获取2D图像，并执行YoloV4模型，分类并判断此零部件是否存在于指定地点；

B3-1，若发现第一零部件存在且位置一致，则取出具备此第一零部件的列车数据，并以此列车为本次吹扫车型；

B3-2，若没有发现该型列车第一零部件，则读取数据库中，其他列车的第一零部件位置，并移动到该第一零部件位置，重复执行B3；

B4，回传识别该车型编号给中控平台，并等待中控平台回传指定该零部件种类和吹扫方式，也就是快速、基本、深度三种吹扫路径；

B5，移动AGV吹扫车到下一个指定零部件位置，依次执行B3和B4。

进一步的，所述S4中的位置误差判断流程包括以下步骤：

C1，再次比对2D图像若发现零部件存在，则以2D图像中的零部件相对位置、机械臂的相对位置、AGV吹扫车的绝对位置，来计算出这个零部件是否与数据库中的位置相符合；若存在超过1cm以上的误差，则通知中控***，并记录AGV吹扫车出现定位误差，并开始执行指定吹扫方式（快速、基本、深度吹扫等三种）；

C2，再次比对2D图像若发现零部件不存在，则表示AGV吹扫车出现严重定位误差，此时则通知中控***，并启动前后30cm移动，开始搜寻零部件位置，并重复执行S3。

进一步的，所述B4中吹扫方式的建立包括以下步骤：

D1，事先搜集所有地铁底盘的零部件2D照片；

D2，执行YoloV4模型，预先训练好零部件分类动作，并达到90%以上的精确识别度；

D3，通过机械臂摄像头针对该零部件执行3D扫描，获取3D点云并存入到地铁数据库；

D4，针对3D点云数据产生的立体外观，建立人工示教的吹扫路径，分别包括包含大面积的快速吹扫路径、仅涵盖稀疏点云的基本吹扫路径，以及遍历所有点云的深度吹扫路径等，并将这些吹扫路径也存入到该零部件的数据库中。

针对S5中的中断接续流程的包含以下步骤：

M1, 确认中断接续流程的参数是否存数值，如果有数值，表示此次的吹扫路径曾经执行过，并且没有完成；后续便读取此过程中所扫描过的路径或3D点云数据，并快速让机械臂移动到上次未完成的路径；

M2, 如果中断接续流程的参数没有数值，表示本零部件的吹扫是第一次执行，便进入初始路径读取，便让机械臂移动到初始点云位置；

M3, 一边执行点云吹扫路径，一边纪录遍历过的3D点云数据到中断接续流程的参数中，一直到执行结束，再把中断接续流程的参数归零。

进一步的，所述S5中的障碍物判断流程包括以下步骤：

E1，为了判断前方是否有管道线的遮档，***先根据采集到的2D图像，使用霍夫线性变换，将画面中的图像转成边缘线段的二值图，详见图7，（a）为原图，（b）为转换后的边缘线图，将此二值图与深度图合并，藉以找出画面中线段的位置与距离；

E2，根据画面中线段的位置与距离，将零部件与障碍物之间的距离预设定一阈值，根据画面中线段的位置与距离，找出零部件前方是否有阈值范围内的线段，藉以判断未知的障碍物的存在与否，若该线段离摄像头距离小于阈值，则发出无法吹扫此零部件信息给中控平台，并由中控平台回传是否暂停吹扫；

E3，若没有障碍物，则启动吹扫过程，移动机械臂到达定点，透过预先规划的吹扫路径，加上来自中控平台的路径修正指令，以及现场点云扫描的判断，执行智能化吹扫动作。

进一步的，所述S5中的判断清洁是否达标的流程包括以下步骤：

F1，启动吹扫前，针对吹扫零部件再执行一次零部件表面的2D拍照；并于吹扫后，机械臂回到基座上方，再执行一次2D拍照，并执行照片比对；将照片转成负片格式，并比对两张负片中的杂点，量化其杂点的数量程度，把此数值当作清洁后的概率，传回中控平台，由平台判定是否需要再次清洁；

F2，若需要再次吹扫，中控平台则回传相同零部件型号、相同位置给机械臂控制中心；

F3，若不需要再次吹扫，中控平台则回传下一个零部件型号、不同位置给机械臂控制中心。

本发明具有的优点和积极效果：

1、本发明使用YoloV4的识别技术，透过预训练好的零部件的分类与识别技术，把所有可能存在地铁的零部件类型找出来，并且在地铁车底点云建图阶段，一并把零部件的绝对位置标示出来，从而得知地铁底部的零部件分类与位置。

2、本发明事先已建立好车厢底部的点云地图和零部件位置，可以透过每列地铁的第一零部件位置来辨识车型，并且找到第一零部件位置与起始点地标的绝对位置误差，来判断列车是否停靠妥当；同时通过对车头的识别扫描判定列车的型号。

3、当收到中控平台传回的零部件型号与位置后，AGV吹扫车则会行驶到其指定位置；到达后机械臂摄像头会再次辨识零部件的位置是否有误差，并传回误差修正量给中控平台，以此来修正车厢定位误差。

4、启动吹扫动作时，***会执行霍夫线性转换，把2D照片图转成边缘线图，并把二值图与深度图合并，判断最近的线段位置，是否超出阈值的可接受范围，并且决定是否为临时的障碍物。

5、本***能够根据零部件的点云数据来建立其人工示教的吹扫路径，并且分为快速、普通以及深度吹扫等三种方式，这三种吹扫不仅可以根据使用者的需求来达到，清洁程度与效率并重的目的。

6、本***存在吹扫过程中的自动接续功能，能够判断***是否存在因为断电、外界干扰等意外状况而中止的吹扫，故障排除后，***能够接续其吹扫进度。

7、启动吹扫前后均对零部件表面进行2D拍照，并比对吹扫前的2D图片负片和执行吹扫后的2D图片负片中的杂点，量化其杂点的数量程度以判断是否清洁干净。

附图说明

图1是圆形截面零件的优选吹扫路径示意图。

图2是三角形截面零件的优选吹扫路径示意图。

图3是本发明的吹扫流程示意图。

图4是本发明的零部件建图流程示意图。

图5是本发明的零部件定位流程示意图。

图6是本发明的地铁数据库建立流程示意图。

图7是霍夫线性转换示意图,其中，(a)原图，(b)是霍夫线性转换后的边缘线图。

图8是Yolov4架构示意图。

具体实施方式

为能进一步公开本发明的发明内容、特点及功效，特例举以下实例并结合附图详细说明如下。

参阅附图3-图8，一种基于地铁智能吹扫的视觉点云路径自动规划***，包括AGV吹扫车；所述AGV吹扫车上设置机械臂摄像头和吹扫机器人；所述机械臂摄像头的摄像头安装在机械臂末端并随机械臂活动，所述机械臂安装在基座上；所述AGV吹扫车、机械臂摄像头和吹扫机器人均由中控平台控制；所述中控平台内设有地铁数据库、YoloV4识别模型。

如图6所示，所述机械臂摄像头拍摄的2D图像经由YoloV4识别模块进行零部件识别得到的零部件型号和位置、3D扫描获取的3D点云数据库以及零部件的绝对位置均存储在地铁数据库中。

使用 Tesla V100 GPU，在 MS COCO 数据集上以接近 65 FPS 的推理速度，YoloV4实现了 43.5% AP （65.7% AP₅₀）的准确度。但对于目标检测而言，检测结果的高准确度以及边缘设备运行这些模型的流畅性均是亟需的。因此，如何使用低成本硬件实时地处理输入视频也成为了一个重要的研究方向。

如图8所示，YoloV4为了提升准确度，主要使用了通过提高网络深度来扩展感受野和增大模型复杂度。同时，为了降低训练难度，还可应用跳越连接。***还可以进一步延伸这一概念，即使用高度互连的层。也就是密集模块（Dense Block）包含多个卷积层，其中每一层

都由归一化层、ReLU层与之后的卷积层构成。

的输入不仅包含前一层的输出,还包含之前所有层的输出以及原始输入，即

。图7中，每个

都输出4个特征图。因此，在每一层，特征图的数量都增加4倍的增长率。

因此，在吹扫的过程中，首先大量搜集地铁底部所有的零部件照片，将所有零部件的照片训练并且分类，透过YoloV4的模型来做好目标检视。同时在数据库中，记录了每一帧所辨识到的零部件位置信息，以及转换后的点云信息。由于所述机械臂摄像头上设有陀螺仪，机器臂的移动过程是可以被解算的，因此同时机械臂上安装的摄像头也可以抓到每一帧照片的绝对位置。透过此信息，可以换算得到每一帧中的零部件的全局位置。

参阅附图3-图8，一种基于地铁智能吹扫的视觉点云路径自动规划方法，包括以下步骤（从S1 到 S6）：

S1当地铁停稳后，先进行车底盖板的拆卸和存放，完成后人员撤离；确认作业范围安全后，将三台吹扫机器人通电启动并移动到起始点。

S2将机械臂摄像头移动至车头位置启动并对车头识别扫描，确认车头位置与起始点误差并将该误差传送到中控***中，开始执行由中控***定义的吹扫任务。

S3依据预先完成的零部件建图对地铁列车底部的零部件进行定位。

所述S3中的零部件建图流程包括以下步骤：

A1，于地铁车厢底部启动AGV吹扫车；

A2，并指定每移动设定距离30cm后，AGV吹扫车静止；

A3，指定机械臂移动到离地距离50cm，机械臂摄像头维持在基座上方，从基座上方、往左45度角、往右45度角三个位置朝上拍摄，获取机械臂移动所拍照的三张2D图像；

A4，拍照并储存2D图像，执行YoloV4模型，分类并判断零部件是否存在于指定相片中；若发现存在零部件，则根据机械臂摆动的角度以及AGV吹扫车的定点位置，计算该零部件在图像中的相对地面的位置，并指定其位置为零部件的绝对位置；

A5，储存零部件2D照片、地铁底盘绝对位置、机械臂拍摄角度、现场零部件与YoloV4模型库中的零部件角度差异等数值于地铁数据库中；

A6，每执行一次各列地铁零部件建图后，于地铁数据储存所有零部件种类、位置、2D照片、3D点云数据和扫描时间，并且特别标注每列地铁车型的第一个零部件位置，记录第一个零部件为该车型的第一零部件。

A7，针对每个零部件的外型，预先建立好吹扫的路径，包括大面积的快速吹扫路径、仅涵盖稀疏点云的基本吹扫路径及包含所有点云的深度吹扫路径等。

所述S3中的零部件定位流程包括以下步骤：如图5所示：

B1，AGV吹扫车于启始点位静止，并移动机械臂摄像头到基座上方，离地50cm；

B2，直接移动AGV吹扫车到列车第一个零部件位置；

B3，启动机械臂摄像头2D拍照，获取2D图像，并执行YoloV4模型，分类并判断此零部件是否存在于指定地点；

B3-1，若发现第一零部件存在且位置一致，则取出具备此第一零部件的列车数据，并以此列车为本次吹扫车型；

B3-2，若没有发现该型列车第一零部件，则读取数据库中，其他列车的第一零部件位置，并移动到该第一零部件位置，重复执行B3；

B4，回传识别该车型编号给中控平台，并等待中控平台回传指定该零部件种类和吹扫方式，一般有快速、基本、重复三种吹扫方式；

B5，移动AGV吹扫车到下一个指定零部件位置，依次执行B3和B4。

S4定位正确后，接着便判断零部件位置误差。

所述S4中的位置误差判断流程包括以下步骤：

C1，再次比对2D图像若发现零部件存在，则以2D图像中的零部件相对位置、机械臂的相对位置、吹扫车的绝对位置，来计算出这个零部件是否与数据库中的位置相符合；主要的计算公式如下，

位置绝对误差=（零部件原始位置-零部件相对位置）=零部件原始位置-（吹扫车绝对位置+机械臂相对位置+识别位置）

若存在超过1cm以上的绝对误差，则通知中控***，并记录AGV吹扫车出现定位误差，若位置符合，则通至中控***，以获得指定吹扫方式（快速、基本、深度吹扫路径）等三种；

C2，再次比对2D图像若发现零部件不存在，则表示AGV吹扫车出现严重定位误差，此时则通知中控***，并启动前后30cm移动，开始搜寻零部件位置，并重复执行S3。

所述B4中的吹扫方式建立包括以下步骤：

D1，事先搜集所有地铁底盘的零部件2D照片；

D2，执行YoloV4模型，预先训练好零部件分类动作，并达到90%以上的精确识别度；

D3，通过机械臂摄像头针对该零部件执行3D扫描，获取3D点云数据库；

D4，针对3D点云数据产生的立体外观，采用人工示教的方式，建立三种吹扫方式，分别为快速、标准和深度吹扫路径；并根据此零部件的位姿（坐标和方向），调整后期吹扫路径，并开始吹扫。

S5开始吹扫前，采用事先建立好的点云数据库，比对当下的点云数据，吹扫前先执行障碍物判断，先确认***是否存在中断续接流程，后续再开始执行吹扫；启动吹扫前后均对零部件表面进行2D拍照以判断清洁是否达标。

S5中的中断接续流程的步骤如下：

M1, 确认中断接续流程的参数是否存数值，如果有数值，表示此次的吹扫路径曾经执行过，并且没有完成；后续便读取此过程中所扫描过的路径或3D点云数据，并快速让机械臂移动到上次未完成的路径；

M2, 如果中断接续流程的参数没有数值，表示本零部件的吹扫是第一次执行，便进入初始路径读取，便让机械臂移动到初始点云位置；

M3, 一边执行点云吹扫路径，一边纪录遍历过的3D点云数据到中断接续流程的参数中，一直到执行结束，再把中断接续流程的参数归零。

所述S5中的障碍物判断流程包括以下步骤：

E1，为了判断前方是否有管道线的遮档，***先根据采集到的2D图像，使用霍夫线性变换，将画面中的图像转成边缘线段的二值图，详见图7，(a)为原图，(b)为转换后的边缘线图，将此二值图与深度图合并，藉以找出画面中线段的位置与距离；

E2，根据画面中线段的位置与距离，将零部件与障碍物之间的距离预设定一阈值，根据画面中线段的位置与距离，找出零部件前方是否有阈值范围内的线段，藉以判断未知的障碍物的存在与否，若该线段离摄像头距离小于阈值，则发出无法吹扫此零部件信息给中控平台，并由中控平台回传是否暂停吹扫；

E3，若没有障碍物，则启动吹扫过程，移动机械臂到达定点，透过预先规划的吹扫路径，加上来自中控平台的路径修正指令，以及现场点云扫描的判断，执行智能化吹扫动作。

所述S5中的判断清洁是否达标的流程包括以下步骤：

F1，启动吹扫前，针对吹扫零部件再执行一次零部件表面的2D拍照；并于吹扫后，机械臂回到基座上方，再执行一次2D拍照，并执行照片比对；将照片转成负片格式，并比对两张负片中的杂点，量化其杂点的数量程度，把此数值当作清洁后的概率，传回中控平台，由平台判定是否需要再次清洁，并以下列公式作为干净程度的标准：

(吹扫前负片中的杂点数量-吹扫后负片中的杂点数量)/吹扫前的负片中的杂点数量（1），由于此数值越小（接近零），代表杂点减少的数量，可以当作干净程度的概率来作为干净程度判断；

F2，若需要再次吹扫，中控平台则回传相同零部件型号、相同位置给机械臂控制中心；

F3，若不需要再次吹扫，中控平台则回传下一个零部件型号、不同位置给机械臂控制中心。

S6执行完对所有零部件的吹扫后，等待中控平台通知AGV吹扫车已经到达终点（即地铁车尾），同时移动机械臂回等待位置。

尽管上面对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以作出很多形式。这些均属于本发明的保护范围之内。

Claims (10)

1.一种基于地铁智能吹扫的视觉点云路径自动规划***，包括AGV吹扫车，其特征在于：所述AGV吹扫车上设置机械臂摄像头和吹扫机器人；所述机械臂摄像头安装在机械臂末端并随机械臂活动，所述机械臂安装在AGV吹扫车的基座上；所述AGV吹扫车、机械臂摄像头和吹扫机器人均由中控平台控制；所述中控平台内设有地铁数据库、YoloV4识别模型。

2.根据权利要求1所述的一种基于地铁智能吹扫的视觉点云路径自动规划***，其特征在于：所述机械臂摄像头上设有陀螺仪与超声波传感器；所述机械臂摄像头拍摄的2D图像经由YoloV4识别模块进行零部件识别得到零部件型号和位置、透过摄像头获得的3D点云数据产生的立体外观均存储在地铁数据库中。

3.一种基于地铁智能吹扫的视觉点云路径自动规划方法，使用如权利要求1-2任一所述的路径自动规划***，其特征在于，包括以下步骤：

S1当地铁停稳后，进行车底盖板的拆卸和存放；确认作业范围安全后，将三台吹扫机器人通电启动并移动到起始点；

S2将机械臂摄像头移动至车头位置启动并对车头识别扫描，确认车头位置与起始点误差并将该误差传送到中控***中，开始指定预先定义的吹扫任务；

S3依据预先完成的零部件建图对地铁列车底部的零部件进行定位；

S4定位正确后判断零部件位置误差；

S5开始吹扫前，采用事先建立好的点云数据库，比对当下的点云数据，吹扫前先执行障碍物判断，先确认***是否存在中断续接流程，后续再开始执行吹扫；启动吹扫前后均对零部件表面进行2D拍照以判断清洁是否达标；

S6执行完对所有零部件的吹扫后，等待中控平台通知AGV吹扫车已经到达终点，同时移动机械臂回等待位置。

4.根据权利要求3所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法，其特征在于：所述S3中的零部件建图流程包括以下步骤，

A1，于地铁车厢底部启动AGV吹扫车；

A2，并指定每移动设定距离30cm后，AGV吹扫车静止；

A3，指定机械臂移动到离地距离50cm，机械臂摄像头维持在基座上方，从基座上方、往左45度角、往右45度角三个位置朝上拍摄，获取机械臂移动所拍照的三张2D图像；

A4，拍照并储存2D图像，执行YoloV4模型，分类并判断零部件是否存在于指定相片中；若发现存在零部件，则根据机械臂摆动的角度以及AGV吹扫车的定点位置，计算该零部件在图像中相对地面的位置，并指定其位置为零部件的绝对位置；

A5，储存零部件2D照片、地铁底盘绝对位置、机械臂拍摄角度、现场零部件与YoloV4模型库中的零部件角度差异于地铁数据库中；

A6，每执行一次各列地铁零部件建图后，于地铁数据储存所有零部件种类、位置、2D照片、3D点云数据和扫描时间，并且特别标注每列地铁车型的第一个零部件位置，记录第一个零部件为该车型的第一零部件；

A7，针对每个零部件的外型，预先建立好吹扫的路径，包括大面积的快速吹扫路径、仅涵盖稀疏点云的基本吹扫路径及包含所有点云的深度吹扫路径。

5.根据权利要求4所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法，其特征在于：所述S3中的零部件定位流程包括以下步骤，

B1，AGV吹扫车于启始点位静止，并移动机械臂摄像头到基座上方，离地50cm；

B2，直接移动AGV吹扫车到列车第一零部件位置；

B3，启动机械臂摄像头2D拍照，获取2D图像，并执行YoloV4模型，分类并判断此零部件是否存在于指定地点；

B3-1，若发现第一零部件存在且位置一致，则取出具备此第一零部件的列车数据，并以此列车为本次吹扫车型；

B3-2，若没有发现该型列车第一零部件，则读取数据库中其他列车的第一零部件位置，并移动到该第一零部件位置，重复执行B3；

B4，回传识别该车型编号给中控平台，并等待中控平台回传指定该零部件种类和吹扫方式；

B5，移动AGV吹扫车到下一个指定零部件位置，依次执行B3和B4。

6.根据权利要求3所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法，其特征在于：所述S4中的位置误差判断流程包括以下步骤，

C1，再次比对2D图像若发现零部件存在，则以2D图像中的零部件相对位置、机械臂的相对位置、AGV吹扫车的绝对位置，来计算出这个零部件是否与数据库中的位置相符合；若存在超过1cm的误差，则通知中控***，并记录AGV吹扫车出现定位误差，并开始执行指定吹扫方式；

C2，再次比对2D图像若发现零部件不存在，则表示AGV吹扫车出现严重定位误差，此时则通知中控***，并启动前后移动30cm，搜寻零部件的新位置，并重复执行S3。

7.根据权利要求5所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法，其特征在于：所述B4中吹扫方式的建立包括以下步骤，

D1，事先搜集所有地铁底盘的零部件2D照片；

D2，执行YoloV4模型，预先训练好零部件分类，并达到90%以上的精确识别度；

D3，通过机械臂摄像头针对该零部件执行3D扫描，获取3D点云数据并存入到地铁数据库；

D4，针对3D点云数据产生的立体外观建立三种吹扫方式，分别为快速、标准和深度吹扫路径。

8.根据权利要求3所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法，其特征在于：所述S5中的中断接续流程包括以下步骤，

M1, 确认中断接续流程的参数是否存数值，如果有数值，表示此次的吹扫路径曾经执行过，并且没有完成；后续便读取此过程中所扫描过的路径或3D点云数据，并快速让机械臂移动到上次未完成的路径；

M2, 如果中断接续流程的参数没有数值，表示本零部件的吹扫是第一次执行，便进入初始路径读取，便让机械臂移动到初始的点云位置；

M3, 一边执行吹扫路径，一边纪录遍历过的3D点云数据到中断接续流程的参数中，一直到执行结束，再把中断接续流程的参数归零。

9.根据权利要求3所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法，其特征在于：所述S5中的障碍物判断流程包括以下步骤，

E1，为了判断前方是否有管道线的遮档，***先根据采集到的2D图像，使用霍夫线性变换，将画面中的图像转成边缘线段的二值图，将此二值图与深度图合并，藉以找出画面中线段的位置与距离；

E2，根据画面中线段的位置与距离，将零部件与障碍物之间的距离预设定一阈值，根据画面中线段的位置与距离，找出零部件前方是否有阈值范围内的线段，藉以判断未知的障碍物的存在与否，若该线段离摄像头距离小于阈值，则发出无法吹扫此零部件信息给中控平台，并由中控平台回传是否暂停吹扫；

E3，若没有障碍物，则启动吹扫过程，移动机械臂到达定点，透过预先规划的吹扫路径，加上来自中控平台的路径修正指令，以及现场点云扫描的判断，执行智能化吹扫动作。

10.根据权利要求3所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法，其特征在于：所述S5中的判断清洁是否达标的流程包括以下步骤，

F1，启动吹扫前，针对吹扫零部件再执行一次零部件表面的2D拍照；并于吹扫后，机械臂回到基座上方，再执行一次2D拍照，并执行照片比对；将照片转成负片格式，并比对两张负片中的杂点，量化其杂点的数量程度，并把此数值当作清洁后的概率，传回中控平台，由平台判定是否需要再次清洁；

F2，若需要再次吹扫，中控平台则回传相同零部件型号和位置给机械臂控制中心；

F3，若不需要再次吹扫，中控平台则回传下一个零部件型号和位置给机械臂控制中心。

Images