CN114454137A - 基于双目视觉的钢结构损伤智能巡检方法、***及机器人 - Google Patents
基于双目视觉的钢结构损伤智能巡检方法、***及机器人 Download PDFInfo
- Publication number
- CN114454137A CN114454137A CN202210378027.9A CN202210378027A CN114454137A CN 114454137 A CN114454137 A CN 114454137A CN 202210378027 A CN202210378027 A CN 202210378027A CN 114454137 A CN114454137 A CN 114454137A
- Authority
- CN
- China
- Prior art keywords
- steel structure
- image
- damage
- robot
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/005—Manipulators mounted on wheels or on carriages mounted on endless tracks or belts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了基于双目视觉的钢结构损伤智能巡检方法、***及机器人，所述方法包括：获取待测钢结构图像数据，进行滤波、降噪、图像增强和三维重构，获得钢结构图像三维重构数据；搭建卷积神经网络模型对钢结构图像三维重构数据进行多次迭代训练，获得钢结构损伤识别模型；判断待测钢结构损伤类型，并采用实例分割和二值化计算获得识别的损伤图像；将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；根据所述损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像。本发明通过双目视觉技术获取更多的损伤特征信息，结合机器学习算法，实现了对损伤的快速高效检测。
Description
技术领域
本发明涉及钢结构无损检测领域，具体涉及基于双目视觉的钢结构损伤智能巡检方法、***及机器人。
背景技术
钢结构具有轻质、高强、施工周期短、机械化程度高和可靠性好等特点，在桥梁、水利、船舶、管道、压力容器、大型建筑、大型机械和军事航空领域中得到了广泛的应用。但钢结构在制造和使用过程中，可能会因加工技术、外部作用力、长期使用及外界环境作用，而出现裂纹、腐蚀和表面脱落等损伤，严重时将直接威胁钢结构的安全性和耐久性。因此钢结构无损检测是保证钢结构质量安全的重要一环，研究现代化钢结构检测技术与设备已成为无损检测领域的研究热点。
目前对于钢结构的无损检测方法主要有超声波、射线、磁粉、渗透和视觉检测等，检测方法多样但检测工作均需要采用逐点排查式进行，是检测技术无法得到高效运用的“卡脖子”难题。并且使用检测技术过程中人为主观性强，对于人力不易到达、检测环境恶劣或大范围区域检测工作，存在漏检和误判的风险；如果不能及时发现并处置有害损伤，长此以往必会形成危害结构安全的隐患，甚至引发安全事故。
双目视觉技术是机器视觉的重要进阶形式之一，基于视差原理可获取图像中更多的三维几何特征信息，对于物体表面检测工作具有特征全、效率高和精度好等优点，可适用于混凝土、钢结构、玻璃等各种类型的表面损伤检测。得益于近年来应用电子和计算机的快速发展，机器人技术开始进入实际应用阶段，使用机器人辅助检测工作，特别是在水下、高温、太空和核辐射等严酷环境下，能够减轻人类作业的难度和危险性，但与人工智能环境下的科技领域相比检测机器人仍属于智能化程度低下水平。需求决定产品，目前市场上没有基于双目视觉的钢结构损伤检测一体化设备，对于部分钢结构难检区域仍束手无策，亟需一种适用于钢结构的智能化检测机器人设备。
发明内容
本发明所要解决的技术问题是采用现有技术对钢结构进行无损检测，人为主观性强，对于人力不易到达、检测环境恶劣或大范围区域检测工作，存在漏检和误判的风险，目的在于提供一种基于双目视觉的钢结构损伤智能巡检方法、***及机器人，解决上述的问题。
本发明通过下述技术方案实现：
一种基于双目视觉的钢结构损伤智能巡检方法，包括如下步骤：
S1：获取待测钢结构图像数据，并对待测钢结构图像数据进行滤波、降噪和图像增强获得增强后的钢结构图像数据；
S2：基于增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
S3：搭建卷积神经网络(CNN)模型对钢结构图像三维重构数据进行多次迭代训练，获得钢结构损伤识别模型；
S4：基于钢结构损伤识别模型判断待测钢结构损伤类型，并采用实例分割和二值化计算获得识别的损伤图像；
S5：将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
S6：根据所述损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像。
进一步地，步骤S1中，所述获取待测钢结构图像数据，包括：通过主摄像头和副摄像头进行图像采集，在运动过程记录主摄像头和副摄像头转动角度和运动距离，通过相机坐标位置变化完成图像像素坐标到世界坐标的转换。
进一步地，步骤S2中，所述对钢结构图像的三维空间信息进行图像三维重构，包括：通过主摄像头和副摄像头的图像匹配和坐标计算，判断主副摄像头图像在场景中物体的远近差异获得图像的三维空间信息，并采用逆向工程思维对空间信息进行图像三维重构。
一种基于双目视觉的钢结构损伤智能巡检***，包括图采模块、图像预处理模块、双目视觉重构模块、钢结构损伤识别模块、检测分割模块、形态特征计算模块、可视化成像模块；
所述图采模块用于获取待测钢结构图像数据，并将待测钢结构图像数据传输给图像预处理模块；
所述图像预处理模块用于对待测钢结构图像数据进行滤波、降噪和图像增强获得增强后的钢结构图像数据；
所述双目视觉重构模块用于根据增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
所述钢结构损伤识别模块用于根据钢结构图像三维重构数据判断待测钢结构损伤类型；
所述检测分割模块用于基于损伤类型采用实例分割和二值化计算获得识别的损伤图像；
所述形态特征计算模块用于将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
所述可视化成像模块用于根据所述损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像。
一种基于双目视觉的钢结构损伤智能巡检机器人，主要包括：
机器人本体、视觉子***、控制子***和监控子***，所述视觉子***设置在所述机器人本体上；
所述机器本体用于执行控制子***发送的控制指令，还用于将视觉子***处理后得到的损伤信息传输至控制子***和监控子***；
所述视觉子***用于采集待测钢结构图像数据，并对采集的待测钢结构图像数据进行处理，得到待测钢结构的损伤信息，包括：
图像采集器，用于获取待测钢结构图像数据；
图像预处理器，用于对待测钢结构图像数据进行滤波、降噪和图像增强，获得增强后的钢结构图像数据；
双目视觉重构处理器，用于根据增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
钢结构损伤识别器，用于根据钢结构图像三维重构数据判断待测钢结构损伤类型；
检测分割器，用于基于损伤类型采用实例分割和二值化计算获得识别的损伤图像；
形态特征计算器，用于将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
图像显示器，用于根据损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像；
数据处理器，用于将待测钢结构的损伤类型、损伤图像、损伤的几何尺寸及空间位置信息进行汇总，得到待测钢结构的损伤信息，并将损伤信息发送给机器人本体；
所述控制子***用于发出控制机器人本体行动和转动的指令，还用于根据视觉子***传输的损伤信息来调整图像预处理器的姿态和灯光；
所述监控子***用于实时监控、计算处理和储存来自视觉子***的损伤信息，当损伤信息达到预设阀值时进行预警。
现有技术中，虽然已存在辅助性的图像检测机器人，但只是将机器人作为图像检测的载体，其本质是将摄像头安装在可移动的爬行机器人上，将拍摄画面进行传输或储存，通过人为的方式对拍摄的画面进行甄别，观察画面中是否存在损伤情况；上述方式解决了部分难以到达区域的难检问题，但是对于大型结构的大规模巡检而言，损伤形式变化多，损伤尺度跨度大，辅助检测方式难免出现由于主观因素而出现漏判的情况且工作效率低；目前市面上没有针对钢结构的成套的视觉检测机器人，更不必说基于双目视觉的智能化机器人检测***。
本发明将能够智能识别图像的机器学习算法压缩嵌入到机器人中，通过双目视觉获得更多的图像特征信息提高检测的效率和精度，采用机器人作为运动载体实现远程化的无线控制，使整个***兼具智能识别、双目视觉和远程控制功能；本发明既可以采用手动控制又可以进行自动巡检，可实现对检测目标的识别、跟踪、测量和定位，达到对钢结构损伤的快速化检测。
现有通用图像识别技术对文字、符号、物体或人脸识别有较好的检测精度，其一般过程是对输入图像进行信息获取，并采用滤波算法进行图像的预处理，进而对图像进行分割和特征抽取，最后输出图像对象的分类决策；若直接采用上述方法进行钢结构损伤检测工作，缺少在数据库下的统计分析过程，检测结果鲁棒性差，无法满足钢结构复杂损伤情况下的检测要求。
本发明采用双目视觉技术在进行表面损伤检测的同时能够构建三维环境信息，能够提高检测效率并降低误判率；本发明将损伤信息存储至监控子***中，也作为机器人***的深度学习数据库，形成自身独特的多类型损伤数据库；本发明以移动客户端作为控制中心，以数据云端作为监控中心，构件了集机器人检测、移动远程控制和数据实时监控一体化的钢结构损伤智能化检测生态***。
目前，现有深度学习算法在图像清晰条件下的计算精度已满足损伤识别的要求，但需要权衡计算时间效率与精度两方面要求，在高性能计算机下完成深度仍需要较长的计算时间。在现有硬件能力范围内，在机器人上安装能够胜任现有深度学习的高性能计算机不具有可操作性，一方面移动式机器人对计算机的供电功率无法保证，另一方面检测机器人轻量化也无法满足市场要求。
进一步地，
所述图像采集器用于采集钢结构表面图像信息；
所述图像采集器还包括灯光，用于照明和补光，为摄像头提供良好的视觉环境；
所述图像采集器包括主摄像头，副摄像头，主摄像头姿态控制装置，副摄像头姿态控制装置，主摄像头探照灯，副摄像头探照灯，高清图像传输线和减震器；所述主摄像头和副摄像头分别通过高清图像传输线将采集的待测钢结构图像数据传递至图像预处理器。
所述主摄像头姿态控制装置包括竖向转动装置和横向转动装置，分别用于控制主摄像头的竖向转动和横向转动；所述竖向转动装置和横向转动装置的舵机连接于主板，执行主板发出的转动指令；所述主摄像头探照灯用于对主摄像头在黑暗工作条件下图采时进行补光，且可调整探照灯角度以达到较好的光照效果；所述减震器可降低机器人在运动过程中由于外部环境造成和自身各元件运行产生的振动对图像采集的不利影响；所述副摄像头，副摄像头姿态控制装置和副摄像头探照灯等以与主摄像头相同的使用方式进行图传、安装和控制。
图像采集器的主摄像头探照灯、主摄像头，主摄像头姿态控制装置和减震器自上而上下依次设置，并最终安装在机器人本体骨架的右前位置；所述副摄像头探照灯、副摄像头，副摄像头姿态控制装置和减震器自上而上下依次设置，并最终安装在机器人机身骨架的左前位置；所述姿态控制装置包括竖向转动舵机、横向转动舵机和多个转向架；所述高清图像传输线将主摄像头、副摄像头连接至主板，进行采集画面的传输。
所述主摄像头（副摄像头）是可拆卸式的，可根据检测场景要求更换适配拍摄范围较大的广角镜头或能够拍摄微小损伤的微距镜头。
进一步地，所述机器人本体包括：
主控模块：用于处理由控制子***发出的运动指令，根据处理后的运动指令控制机器人的行动和转动行为，还用于控制图像采集器摄像头的姿态和灯光亮度；
所述主控模块还用于各模块间的信息传递，包括将数据处理器处理得到的损伤信息传递至通讯模块，将运动模块的位置信息传递至通讯模块等；
主控模块包括主板、处理器和散热风扇；所述主板作为机器人的主要电子***，提供其余各元件所需的大量传输和供电接口方式，与主、副摄像头，探照灯，驱动电机和电池组等元件均连接；所述处理器位于主板上，也通过主板供电，所述处理器作为主控模块的核心服务元件，与主板共同构成了一台微型计算机，用于传输、解释和处理接收的指令；所述散热风扇固定于处理器上方且依靠主板供电，用于加速处理器散热，防止温度过高。主板、处理器和散热风扇自下而上依次设置，且所述主板安装于所述运动模块的机身骨架上。
运动模块：用于执行由主控模块发出的行动和转动指令，同时记录机器人在待测钢结构表面的平面运动位置信息。
运动模块包括机身骨架，驱动电机，齿轮，履带，磁铁和编码器；所述机身骨架作为机身整体结构的主要受力构造，承载着其余装置和元件的重量；所述驱动电机连接于主板，执行主板发出的驱动指令，用于控制机器人的运动；所述齿轮用于连接于驱动电机和履带，将驱动电机的机械转动力传递至履带；所述磁铁用于将机器人吸附于钢结构上，使机器人可在钢结构上以多种姿势：包括正立、倒立和侧立，且所述磁铁可根据不同材料和姿势的需求通过改变磁铁的磁力和数量控制机器人的吸附力；所述编码器用于记录机器人的运动路径；进一步的可通过所述编码器运动路径推算出某时刻图像所对应的平面位置。磁铁、履带、齿轮和驱动电机由外而内依次设置，且所述驱动电机安装于机身骨架。
通讯模块：用于接收控制子***的运动指令，并将指令信号传递至主控模块，还用于将经过数据处理器处理后的损伤信息实时传输至控制子***和监控子***。
进一步地，所述机器人本体还包括电源模块，所述电源模块用于为机器人本体供电；所述电源模块包括USB电源线和电池组；所述USB电源线作为机器人的第一供电方式，所述USB电源线直接连接于主板供电插口且可通过主板对电池组充电；所述电池组作为机器人的第二供电方式，在无USB电源线供电时为机器人供电，且所述电池组可固定在机身骨架上并与主板连接。
USB电源线作为机器人的第一供电方式，所述电池组为机器人的第二供电方式，两种方式均可为机器人本体供电，在使用时根据实际应用情况选择其一。
进一步地，所述运动模块还包括磁吸单元，用于将机器人本体吸附于待测钢结构表面。
进一步地，所述通讯模块包括无线网卡和天线；所述无线网卡用于机器人本体与控制子***和监控子***之间的无线传输，且无线网卡与天线相连接；所述天线用于增强和稳定无线网卡传输信号，且天线固定于机身骨架。
本发明在使用时，包括以下步骤：
步骤1：在待测钢结构上选择合适检测初始位置，将所述机器人置于初始位置，由于机器人履带上的磁铁对钢材具有磁吸力作用，机器人将自动吸附于钢结构上；
步骤2：为机器人选择合适的供电方式，在检测条件允许的条件下，优先采用稳定的电源线方式供电，将电源线与主板相应接口相连，另一端与日常生活供电插口相连；在检测条件不便于机器人拖带电源线时，采用电池组为机器人供电；
步骤3：点击主板上的启动按钮，启动机器人，电源模块通过主板为其他各电器元件供电；主控模块的处理器及散热风扇开始运行；灯光模块的主摄像头探照灯和副摄像头探照灯亮起，其余各元件通电正常；
步骤4：处理器启动完成后，摄像头姿态控制装置根据处理器中预先设置的各舵机初始值，使主摄像头和副摄像头的竖转与横转舵机分别回到初始位置；
步骤5：将机器人通过传输模块连接至无线网络；联网的移动或PC客户端可通过控制子***的连接机器人，使机器人与手机和计算机共同组成独立的通讯空间，三者可在该通讯空间内实现指令传输与信息互通；
步骤6：检查机器人传输至移动和PC客户端上的画面传输是否正常；检查机器人运动模块功能是否正常，包括电机驱动和磁力吸附功能；检查机器人视觉模块的灯光和姿态控制装置功能是否正常，包括主、副摄像头的竖转与横转舵机控制；
步骤7：在移动和PC客户端上选择手动控制或自动巡检等操作模式，并打开损伤智能识别功能；
步骤8：在移动和PC客户端上控制各舵机转动，调整至摄像头对准待测区域，并调整灯光明暗使采集画面亮度适宜；
步骤9：在移动和PC客户端上控制机器人的运动路径与方向，运动过程中也可进行S8步骤；
步骤10：机器人在运动过程中，将损伤识别后的画面实时传输至客户端，可指导后续行进路线；同时将损伤识别后的图像和位置信息实时传输至云端数据库，进行钢结构损伤的信息统计、储存及预警；
步骤11：当机器人采用电池组供电且电量小于10%时，机器人会通过最短路径返回至检测初始位置，防止机器人由电量不足的丢失；
步骤12：完成该钢结构损伤检测后，取下机器人，选择其他钢结构或位置进行检测，重复步骤6~步骤11；或将机器人关机。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明提供的基于双目视觉的钢结构损伤智能巡检方法、***及机器人，通过神经网络压缩技术，为机器人量身定做了基于嵌入式***的损伤识别深度学习方法；采用能够满足现有图像像素下的机器学习识别算法，结合多损伤分类标注算法，辅以钢结构场景分析算法，将三者相互沟通融合并进行算法压缩与蒸馏，有效减少深度学习过程的运算量和储存空间大小，在机器人有限资源下使用机器学习实现了损伤识别，也保证了检测精度与时间的有效性。
2、本发明提供的基于双目视觉的钢结构损伤智能巡检方法、***及机器人，搭建的基于双目视觉的钢结构损伤智能巡检机器人***通过机器人、视觉子***、控制子***和监控子***的联合应用，实现对钢结构的损伤检测，检测***设计合理，形成完整可靠的钢结构损伤巡检机器人***，可以完成对各种钢结构的检测任务，降低检测危险程度，提高检测效率；通过双目视觉技术获取更多的损伤特征信息，设计的视觉子***直接嵌入机器人，实现对损伤的快速高效检测；机器人与控制子***采用无线网络通信技术，兼具信号传输距离长和稳定性好的特点；利用云端数据搭建监控子***，完成对数据的深度分析及损伤情况的实时监控，可进一步提高智能化无损检测能力，具有检测速度快、效率高，可操作性强、环境适应性好、智能化程度高等优点。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明智能检测方法流程图；
图2为本发明的***结构示意图；
图3为本发明机器人结构示意图；
图4为本发明视觉子***的示意图；
图5为本发明控制子***的示意图。
附图中标记及对应的零部件名称：
1-主摄像头探照灯，2-副摄像头探照灯，3-主摄像头，4-主摄像头竖向转动舵机，5-副摄像头，6-主摄像头横向转动舵机，7-副摄像头竖向转动舵机，8-副摄像头横向转动舵机，9-减震器，10-转向架，11-主板，12-处理器，13-散热风扇，14-履带，15-磁铁，16-USB电源线，17-电池组，18-2.4g天线，19-无线网卡，20-机身骨架，21-驱动电机，22-齿轮，23-高清图像传输线，24-编码器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1所示，一种基于双目视觉的钢结构损伤智能巡检方法，包括如下步骤：
S1：获取待测钢结构图像数据，并对待测钢结构图像数据进行滤波、降噪和图像增强获得增强后的钢结构图像数据；
S2：基于增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
S3：搭建卷积神经网络(CNN)模型对钢结构图像三维重构数据进行多次迭代训练，获得钢结构损伤识别模型；
S4：基于钢结构损伤识别模型判断待测钢结构损伤类型，并采用实例分割和二值化计算获得识别的损伤图像；
S5：将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
S6：根据所述损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像。
步骤S1中，所述获取待测钢结构图像数据，包括：通过主摄像头和副摄像头进行图像采集，在运动过程记录主摄像头和副摄像头转动角度和运动距离，通过相机坐标位置变化完成图像像素坐标到世界坐标的转换。
步骤S2中，所述对钢结构图像的三维空间信息进行图像三维重构，包括：通过主摄像头和副摄像头的图像匹配和坐标计算，判断主副摄像头图像在场景中物体的远近差异获得图像的三维空间信息，并采用逆向工程思维对空间信息进行图像三维重构。
如图4所示，一种基于双目视觉的钢结构损伤智能巡检***，基于所述的钢结构损伤智能巡检方法，包括图采模块、图像预处理模块、双目视觉重构模块、钢结构损伤识别模块、检测分割模块、形态特征计算模块、可视化成像模块；
所述图采模块用于获取待测钢结构图像数据，并将待测钢结构图像数据传输给图像预处理模块；
所述图像预处理模块用于对待测钢结构图像数据进行滤波、降噪和图像增强获得增强后的钢结构图像数据；
所述双目视觉重构模块用于根据增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
所述钢结构损伤识别模块用于根据钢结构图像三维重构数据判断待测钢结构损伤类型；
所述检测分割模块用于基于损伤类型采用实例分割和二值化计算获得识别的损伤图像；
所述形态特征计算模块用于将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
所述可视化成像模块用于根据所述损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像。
如图2所示，一种基于双目视觉的钢结构损伤智能巡检机器人，主要包括：
机器人本体、视觉子***、控制子***和监控子***，所述视觉子***设置在所述机器人本体上；
所述机器本体用于搭载机器人***所需硬件装置，执行控制子***发送的控制指令，还用于将视觉子***处理后得到的损伤信息传输至控制子***和监控子***；
所述视觉子***用于采集待测钢结构图像数据，并对采集的待测钢结构图像数据进行处理，得到待测钢结构的损伤信息，包括：
图像采集器，用于获取待测钢结构图像数据；
图像预处理器，用于对图像采集器采集的待测钢结构图像数据进行滤波、降噪和图像增强，获得增强后的钢结构图像数据；
双目视觉重构处理器，用于根据增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
钢结构损伤识别器，用于根据钢结构图像三维重构数据判断待测钢结构损伤类型；
检测分割器，用于基于损伤类型采用实例分割和二值化计算获得识别的损伤图像；
形态特征计算器，用于将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
图像显示器，用于根据损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像；
数据处理器，用于将待测钢结构的损伤类型、损伤图像、损伤的几何尺寸及空间位置信息进行汇总，得到待测钢结构的损伤信息，并将损伤信息发送给机器人本体；
所述控制子***用于发出控制机器人行动和转动的指令，还用于根据所述视觉子***传输的损伤信息来调整机器人摄像头的姿态和灯光；
所述监控子***用于实时监控、计算处理和储存来自视觉子***的损伤信息，当损伤信息达到预设阀值时进行预警。
本实施例实施时，通过履带上的磁铁将机器人吸附于待测钢结构，并通过控制子***控制机器人运动；在进行特定结构的检查任务时，可根据预先设计的适用于该结构的运动规划路线进行损伤快速巡检。
如图2和图3所示，所述机器人包括：
主控模块：用于处理由控制子***发出的运动指令，以控制机器人的行动和转动行为；所述主控模块还用于控制图像采集器的摄像头的姿态和灯光的亮度；所述主控模块还用于各模块间的信息传递，包括将处理后的信息传递至通讯模块，将运动模块的位置信息传递至通讯模块等；
如图3所示，主控模块包括主板11、处理器12和散热风扇13；所述主板11作为机器人的主要电子***，提供其余各元件所需的大量传输和供电接口方式，与主摄像头3、副摄像头5、主摄像头探照灯1、副摄像头探照灯2、驱动电机21和电池组17等元件均连接；所述处理器12位于主板11上，也通过主板11供电，所述处理器12作为主控模块的核心服务元件，与主板11共同构成了一台微型计算机，用于传输、解释和处理接收的指令；所述散热风扇13固定于处理器12上方且依靠主板11供电，用于加速处理器12散热，防止温度过高。主板11、处理器12和散热风扇13自下而上依次设置，且所述主板11安装于所述运动模块的机身骨架20上。
图像采集器：用于采集钢结构表面图像信息，并将采集的钢结构表面图像信息传递至处理模块；所述图采模块还包括灯光，用于照明和补光，为摄像头提供良好的视觉环境；包括主摄像头3，副摄像头5，主摄像头姿态控制装置，副摄像头姿态控制装置，主摄像头探照灯1，副摄像头探照灯2，高清图像传输线23和减震器9；所述主摄像头3通过高清图像传输线23将采集的图像传输至主板11；所述主摄像头姿态控制装置包括主摄像头竖向转动舵机4和主摄像头横向转动舵机6，分别用于控制主摄像头3的竖向转动和横向转动；所述竖向转动装置和横向转动装置的舵机连接于主板11，执行主板11发出的转动指令；所述主摄像头探照灯1用于对主摄像头3在黑暗工作条件下图采时进行补光，且可调整探照灯角度以达到较好的光照效果；所述减震器9可降低机器人在运动过程中由于外部环境造成和自身各元件运行产生的振动对图像采集的不利影响；所述副摄像头5的副摄像头姿态控制装置和副摄像头探照灯2等以与主摄像头3相同的使用方式进行图传、安装和控制。
图采模块的主摄像头探照灯1、主摄像头3，主摄像头姿态控制装置和减震器9自上而上下依次设置，并最终安装在机器人机身骨架20的右前位置；所述副摄像头探照灯2、副摄像头5，副摄像头姿态控制装置和减震器9自上而上下依次设置，并最终安装在机器人机身骨架20的左前位置；所述姿态控制装置包括副摄像头竖向转动舵机7、副摄像头横向转动舵机8和多个转向架10；所述高清图像传输线23将主摄像头3、副摄像头5连接至主板11，进行采集画面的传输。
所述主摄像头3和副摄像头5均为可拆卸式的，可根据检测场景要求更换适配拍摄范围较大的广角镜头或能够拍摄微小损伤的微距镜头。
运动模块：用于执行由主控模块发出的行动和转动指令，同时记录机器人在钢结构表面的平面运动位置信息；
运动模块包括机身骨架20，驱动电机21，齿轮22，履带14，磁铁15和编码器24；所述机身骨架20作为机身整体结构的主要受力构造，承载着其余装置和元件的重量；所述驱动电机21连接于主板11，执行主板11发出的驱动指令，用于控制机器人的运动；所述齿轮22用于连接于驱动电机21和履带14，将驱动电机21的机械转动力传递至履带14；所述磁铁15用于将机器人本体吸附于钢结构上，使机器人可在钢结构上以多种姿势：包括正立、倒立和侧立，且所述磁铁15可根据不同材料和姿势的需求通过改变磁铁15的磁力和数量控制机器人的吸附力；所述编码器24用于记录机器人的运动路径；进一步的可通过所述编码器24运动路径推算出某时刻图像所对应的平面位置。磁铁15、履带14、齿轮22和驱动电机21由外而内依次设置，且所述驱动电机21安装于机身骨架20。
通讯模块：用于接收控制子***的运动指令，并将指令信号传递至主控模块；所述通讯模块还用于将经过处理模块处理后的图像缺陷信息实时传输至控制子***和监控子***。
所述运动模块还具有磁吸功能，用于将机器人吸附于待测钢结构表面。
所述通讯模块包括无线网卡19和2.4g天线18；所述无线网卡19用于机器人与控制子***和监控子***之间的无线传输，且无线网卡19与2.4g天线18相连接；所述2.4g天线18用于增强和稳定无线网卡19传输信号，且2.4g天线18固定于机身骨架20。
所述机器人还包括电源模块，所述电源模块用于为机器人供电；所述电源模块包括USB电源线16和电池组17；所述USB电源线16作为机器人的第一供电方式，所述USB电源线16直接连接于主板11供电插口且可通过主板11对电池组17充电；所述电池组17作为机器人的第二供电方式，在无USB电源线16供电时为机器人供电，且所述电池组17可固定在机身骨架20上与主板11连接。
USB电源线16作为机器人的第一供电方式，所述电池组17为机器人的第二供电方式，两种方式均可为机器人供电，在使用时根据实际应用情况选择其一。
如图5所示，为了进一步的说明本实施例的工作过程，所述控制子***包括手动控制和自动巡检两种方式，在手动控制模式下可通过电机转动对机器人的运动进行控制，可通过舵机转动对摄像头进行控制，也可通过灯管为视觉子***照明补光；在自动巡检模式下可根据检测场景的需求选择引导性操作；两种控制方式都具有自动避障功能，防止机器人碰撞损坏。
本实施例实施时，将钢结构表面清理干净，避免因落物、残渣等遮挡摄像头拍摄钢结构表面的损伤，造成表面损伤的漏检。本实施例在使用时，包括以下步骤：
S1：在待测钢结构上选择合适检测初始位置，将所述机器人置于初始位置，由于机器人履带上的磁铁对钢材具有磁吸力作用，机器人将自动吸附于钢结构上；
S2：为机器人选择合适的供电方式，在检测条件允许的条件下，优先采用稳定的电源线方式供电，将电源线与主板相应接口相连，另一端与日常生活供电插口相连；在检测条件不便于机器人拖带电源线时，采用电池组为机器人供电；
S3：点击主板上的启动按钮，启动机器人，电源模块通过主板为其他各电器元件供电；主控模块的处理器及散热风扇开始运行；灯光模块的主摄像头探照灯1和副摄像头探照灯亮起，其余各元件通电正常；
S4：处理器启动完成后，摄像头姿态控制装置根据处理器中预先设置的各舵机初始值，使主摄像头和副摄像头的竖转与横转舵机分别回到初始位置；
S5：将机器人通过传输模块连接至无线网络；联网的移动或PC客户端可通过控制子***的连接机器人，使机器人与手机和计算机共同组成独立的通讯空间，三者可在该通讯空间内实现指令传输与信息互通；
S6：检查机器人传输至移动和PC客户端上的画面传输是否正常；检查机器人运动模块功能是否正常，包括电机驱动和磁力吸附功能；检查机器人视觉模块的灯光和姿态控制装置功能是否正常，包括主、副摄像头的竖转与横转舵机控制；
S7：在移动和PC客户端上选择手动控制或自动巡检等操作模式，并打开损伤智能识别功能；
S8：在移动和PC客户端上控制各舵机转动，调整至摄像头对准待测区域，并调整灯光明暗使采集画面亮度适宜；
S9：在移动和PC客户端上控制机器人的运动路径与方向，运动过程中也可进行S8步骤；
S10：机器人在运动过程中，将损伤识别后的画面实时传输至客户端，可指导后续行进路线；同时将损伤识别后的图像和位置信息实时传输至云端数据库，进行钢结构损伤的信息统计、储存及预警；
S11：当机器人采用电池组供电且电量小于10%时，机器人会通过最短路径返回至检测初始位置，防止机器人由电量不足的丢失；
S12：完成该钢结构损伤检测后，取下机器人，选择其他钢结构或位置进行检测，重复S6~S11步骤；或将机器人关机。
本实施例实施时，由于视觉子***是通过数据库中若干训练集形成的视觉识别***，因此提前采用双目视觉对大量钢结构的特征损伤进行拍摄，并输入至监控子***数据库中进行训练，有利于视觉子***对损伤的快速识别，从而提高本发明的计算效率。
为了进一步的说明本实施例的工作过程，如图5所示，待测钢结构为H型钢柱，高度3m，将机器人放置于其腹板位置，自上而下进行视觉检测，检测到疑似损伤有两处，分别位于1.52m和2.78m处，经确认为表面涂层开裂。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于双目视觉的钢结构损伤智能巡检方法，其特征在于，包括如下步骤：
S1：获取待测钢结构图像数据，并对待测钢结构图像数据进行滤波、降噪和图像增强，获得增强后的钢结构图像数据；
S2：基于增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
S3：搭建卷积神经网络模型对钢结构图像三维重构数据进行多次迭代训练，获得钢结构损伤识别模型；
S4：基于钢结构损伤识别模型判断待测钢结构损伤类型，并采用实例分割和二值化计算获得识别的损伤图像；
S5：将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
S6：根据所述损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像。
2.根据权利要求1所述的一种基于双目视觉的钢结构损伤智能巡检方法，其特征在于，步骤S1中，所述获取待测钢结构图像数据，包括：通过主摄像头和副摄像头进行图像采集，在运动过程中记录主摄像头和副摄像头的转动角度和运动距离，通过相机坐标位置变化完成图像像素坐标到世界坐标的转换。
3.根据权利要求1所述的一种基于双目视觉的钢结构损伤智能巡检方法，其特征在于，步骤S2中，所述对钢结构图像的三维空间信息进行图像三维重构，包括：通过主摄像头和副摄像头的图像匹配和坐标计算，判断主副摄像头图像在场景中物体的远近差异获得图像的三维空间信息，并采用逆向工程思维对空间信息进行图像三维重构。
4.一种基于双目视觉的钢结构损伤智能巡检***，其特征在于，包括图采模块、图像预处理模块、双目视觉重构模块、钢结构损伤识别模块、检测分割模块、形态特征计算模块、可视化成像模块；
所述图采模块用于获取待测钢结构图像数据，并将待测钢结构图像数据传输给图像预处理模块；
所述图像预处理模块用于对待测钢结构图像数据进行滤波、降噪和图像增强，获得增强后的钢结构图像数据；
所述双目视觉重构模块用于根据增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
所述钢结构损伤识别模块用于根据钢结构图像三维重构数据判断待测钢结构损伤类型；
所述检测分割模块用于基于损伤类型采用实例分割和二值化计算获得识别的损伤图像；
所述形态特征计算模块用于将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
所述可视化成像模块用于根据所述损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像。
5.一种基于双目视觉的钢结构损伤智能巡检机器人，其特征在于，包括：机器人本体、视觉子***、控制子***和监控子***，所述视觉子***设置在所述机器人本体上；
所述机器人本体用于执行控制子***发送的控制指令，还用于将视觉子***处理后得到的损伤信息传输至控制子***和监控子***；
所述视觉子***用于采集待测钢结构图像数据，并对采集的待测钢结构图像数据进行处理，得到待测钢结构的损伤信息，包括：
图像采集器，用于获取待测钢结构图像数据；
图像预处理器，用于对待测钢结构图像数据进行滤波、降噪和图像增强，获得增强后的钢结构图像数据；
双目视觉重构处理器，用于根据增强后的钢结构图像数据获得钢结构图像的三维空间信息，并对钢结构图像的三维空间信息进行图像三维重构，获得钢结构图像三维重构数据；
钢结构损伤识别器，用于根据钢结构图像三维重构数据判断待测钢结构损伤类型；
检测分割器，用于基于损伤类型采用实例分割和二值化计算获得识别的损伤图像；
形态特征计算器，用于将识别的损伤图像进行骨架提取和像素映射到三维表面，并进行形态特征计算，获得损伤的几何尺寸与空间位置信息；
图像显示器，用于根据损伤的几何尺寸与空间位置信息进行可视化成像，获得可视化钢结构损伤图像；
数据处理器，用于将待测钢结构的损伤类型、损伤图像、损伤的几何尺寸及空间位置信息进行汇总，得到待测钢结构的损伤信息，并将损伤信息发送给机器人本体；
所述控制子***用于发出控制机器人本体行动和转动的指令，还用于根据视觉子***传输的损伤信息来调整图像预处理器的姿态和灯光；
所述监控子***用于实时监控、计算处理和储存来自视觉子***的损伤信息，当损伤信息达到预设阀值时进行预警。
6.根据权利要求5所述的一种基于双目视觉的钢结构损伤智能巡检机器人，其特征在于，所述图像采集器包括主摄像头和副摄像头；所述主摄像头和副摄像头分别通过高清图像传输线将采集的待测钢结构图像数据传递至图像预处理器。
7.根据权利要求5所述的一种基于双目视觉的钢结构损伤智能巡检机器人，其特征在于，
所述机器人本体包括：
主控模块：用于处理由控制子***发出的运动指令，根据处理后的运动指令控制机器人本体的行动和转动行为，还用于控制图像采集器的摄像头的姿态和灯光亮度；
运动模块：用于执行由主控模块发出的行动和转动指令，同时记录机器人本体在待测钢结构表面的平面运动位置信息；
通讯模块：用于接收控制子***的运动指令，并将指令信号传递至主控模块，还用于将经过数据处理器处理后的损伤信息实时传输至控制子***和监控子***。
8.根据权利要求5所述的一种基于双目视觉的钢结构损伤智能巡检机器人，其特征在于，所述机器人本体还包括电源模块，所述电源模块用于为机器人本体供电；所述电源模块包括USB电源线和电池组；所述USB电源线作为第一供电方式，所述USB电源线直接连接于主板供电插口且可通过主板对电池组充电；所述电池组作为第二供电方式，在无USB电源线供电时为机器人本体供电，且所述电池组可固定在机身骨架上并与主板连接。
9.根据权利要求7所述的一种基于双目视觉的钢结构损伤智能巡检机器人，其特征在于，所述运动模块还包括磁吸单元，用于将机器人本体吸附于待测钢结构表面。
10.根据权利要求7所述的一种基于双目视觉的钢结构损伤智能巡检机器人，其特征在于，所述通讯模块包括无线网卡和天线；所述无线网卡用于机器人本体与控制子***和监控子***之间的无线传输，且无线网卡与天线相连接；所述天线用于增强和稳定无线网卡传输信号，且天线固定于机身骨架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210378027.9A CN114454137A (zh) | 2022-04-12 | 2022-04-12 | 基于双目视觉的钢结构损伤智能巡检方法、***及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210378027.9A CN114454137A (zh) | 2022-04-12 | 2022-04-12 | 基于双目视觉的钢结构损伤智能巡检方法、***及机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114454137A true CN114454137A (zh) | 2022-05-10 |
Family
ID=81418209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210378027.9A Pending CN114454137A (zh) | 2022-04-12 | 2022-04-12 | 基于双目视觉的钢结构损伤智能巡检方法、***及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114454137A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975254A (zh) * | 2024-03-29 | 2024-05-03 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种基于双目图像的着生藻类监测方法及*** |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
| JP2016078150A (ja) * | 2014-10-15 | 2016-05-16 | Ｊｆｅスチール株式会社 | 鋼板表面欠陥研削装置および方法 |
| CN106127205A (zh) * | 2016-06-22 | 2016-11-16 | 山东鲁能智能技术有限公司 | 一种适用于室内轨道机器人的数字仪表图像的识别方法 |
| CN106335040A (zh) * | 2016-09-29 | 2017-01-18 | 广东石油化工学院 | 一种油罐维护专用爬壁机器人 |
| CN106530274A (zh) * | 2016-10-11 | 2017-03-22 | 昆明理工大学 | 一种钢梁裂纹的定位方法 |
| WO2018087546A1 (en) * | 2016-11-08 | 2018-05-17 | Dogtooth Technologies Limited | A robotic fruit picking system |
| JP2019007891A (ja) * | 2017-06-27 | 2019-01-17 | ファナック株式会社 | 機械学習装置、ロボット制御システム及び機械学習方法 |
| CN109664301A (zh) * | 2019-01-17 | 2019-04-23 | 中国石油大学(北京) | 巡检方法、装置、设备及计算机可读存储介质 |
| CN109773804A (zh) * | 2019-01-21 | 2019-05-21 | 浙江工业大学 | 一种基于钢结构超声波探伤的机器人检测*** |
| CN110026962A (zh) * | 2019-04-12 | 2019-07-19 | 云南电力试验研究院(集团)有限公司 | 一种智能无损检测*** |
| US20200005448A1 (en) * | 2018-06-29 | 2020-01-02 | Photogauge, Inc. | SYSTEM AND METHOD FOR USING IMAGES FROM A COMMODITY CAMERA FOR OBJECT SCANNING, REVERSE ENGINEERING, METROLOGY, ASSEMBLY, and ANALYSIS |
| CN111047556A (zh) * | 2019-11-13 | 2020-04-21 | 广智微芯(扬州)有限公司 | 一种带钢表面缺陷检测方法及装置 |
| CN111062915A (zh) * | 2019-12-03 | 2020-04-24 | 浙江工业大学 | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 |
| CN111136671A (zh) * | 2020-01-19 | 2020-05-12 | 国家电网有限公司 | 一种用于变电站巡检的机器人*** |
| CN111633665A (zh) * | 2020-07-03 | 2020-09-08 | 桂林电子科技大学 | 抓取电磁换能器协助无损检测的装置及其轨迹规划方法 |
| CN112308855A (zh) * | 2020-11-27 | 2021-02-02 | 株洲时代电子技术有限公司 | 钢轨伤损识别模型生成装置、伤损检测装置及*** |
| CN112394065A (zh) * | 2020-11-26 | 2021-02-23 | 宁夏巨能机器人股份有限公司 | 一种多台机器人协作工件瑕疵检测方法 |
| US20210245081A1 (en) * | 2020-02-10 | 2021-08-12 | Matician, Inc. | Waste bag with absorbent dispersion sachet |
| CN113763346A (zh) * | 2021-08-31 | 2021-12-07 | 哈尔滨工业大学（威海） | 基于双目视觉的立面作业效果与表面缺陷检测方法 |
-
2022
- 2022-04-12 CN CN202210378027.9A patent/CN114454137A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
| JP2016078150A (ja) * | 2014-10-15 | 2016-05-16 | Ｊｆｅスチール株式会社 | 鋼板表面欠陥研削装置および方法 |
| CN106127205A (zh) * | 2016-06-22 | 2016-11-16 | 山东鲁能智能技术有限公司 | 一种适用于室内轨道机器人的数字仪表图像的识别方法 |
| CN106335040A (zh) * | 2016-09-29 | 2017-01-18 | 广东石油化工学院 | 一种油罐维护专用爬壁机器人 |
| CN106530274A (zh) * | 2016-10-11 | 2017-03-22 | 昆明理工大学 | 一种钢梁裂纹的定位方法 |
| WO2018087546A1 (en) * | 2016-11-08 | 2018-05-17 | Dogtooth Technologies Limited | A robotic fruit picking system |
| JP2019007891A (ja) * | 2017-06-27 | 2019-01-17 | ファナック株式会社 | 機械学習装置、ロボット制御システム及び機械学習方法 |
| US20200005448A1 (en) * | 2018-06-29 | 2020-01-02 | Photogauge, Inc. | SYSTEM AND METHOD FOR USING IMAGES FROM A COMMODITY CAMERA FOR OBJECT SCANNING, REVERSE ENGINEERING, METROLOGY, ASSEMBLY, and ANALYSIS |
| CN109664301A (zh) * | 2019-01-17 | 2019-04-23 | 中国石油大学(北京) | 巡检方法、装置、设备及计算机可读存储介质 |
| CN109773804A (zh) * | 2019-01-21 | 2019-05-21 | 浙江工业大学 | 一种基于钢结构超声波探伤的机器人检测*** |
| CN110026962A (zh) * | 2019-04-12 | 2019-07-19 | 云南电力试验研究院(集团)有限公司 | 一种智能无损检测*** |
| CN111047556A (zh) * | 2019-11-13 | 2020-04-21 | 广智微芯(扬州)有限公司 | 一种带钢表面缺陷检测方法及装置 |
| CN111062915A (zh) * | 2019-12-03 | 2020-04-24 | 浙江工业大学 | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 |
| CN111136671A (zh) * | 2020-01-19 | 2020-05-12 | 国家电网有限公司 | 一种用于变电站巡检的机器人*** |
| US20210245081A1 (en) * | 2020-02-10 | 2021-08-12 | Matician, Inc. | Waste bag with absorbent dispersion sachet |
| CN111633665A (zh) * | 2020-07-03 | 2020-09-08 | 桂林电子科技大学 | 抓取电磁换能器协助无损检测的装置及其轨迹规划方法 |
| CN112394065A (zh) * | 2020-11-26 | 2021-02-23 | 宁夏巨能机器人股份有限公司 | 一种多台机器人协作工件瑕疵检测方法 |
| CN112308855A (zh) * | 2020-11-27 | 2021-02-02 | 株洲时代电子技术有限公司 | 钢轨伤损识别模型生成装置、伤损检测装置及*** |
| CN113763346A (zh) * | 2021-08-31 | 2021-12-07 | 哈尔滨工业大学（威海） | 基于双目视觉的立面作业效果与表面缺陷检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| RENXIANG CHEN;DONGYIN CAI;XIAOLIN HU;ZAN ZHAN;SHUAI WANG: "Defect Detection Method of Aluminum Profile Surface Using Deep Self-Attention Mechanism Under Hybrid Noise Conditions", 《INSTRUMENTATION AND MEASUREMENT》 * |
| 乔铁柱: "《矿用输送带无损检测技术》", 30 June 2015, 国防工业出版社 * |
| 吴庆华: "基于线结构光扫描的三维表面缺陷在线检测的理论与应用研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 郭凯、贾鑫: "《弹丸毁伤参数三维重构技术》", 31 December 2018, 国防工业出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975254A (zh) * | 2024-03-29 | 2024-05-03 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种基于双目图像的着生藻类监测方法及*** |
| CN117975254B (zh) * | 2024-03-29 | 2024-06-11 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种基于双目图像的着生藻类监测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297498B (zh) | 一种基于无线充电无人机的轨道巡检方法及*** | |
| Luo et al. | A survey of intelligent transmission line inspection based on unmanned aerial vehicle | |
| CN113791641B (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
| CN202043246U (zh) | 固定翼无人机线路巡检数据远程采集装置 | |
| CN109063532B (zh) | 一种基于无人机的野外失联人员搜寻方法 | |
| CN102176161B (zh) | 面向电力线巡检的飞行模拟*** | |
| CN203405206U (zh) | 全景影像无人机采集*** | |
| CN106379536A (zh) | 基于无人机的天然气管线巡检*** | |
| CN108563236B (zh) | 一种基于同心圆特征的纳型无人机目标跟踪方法 | |
| CN104122891A (zh) | 一种城市地下轨道检测的智能机器人巡检*** | |
| CN109976339B (zh) | 一种车载配网巡检数据采集方法与巡检*** | |
| CN106056624A (zh) | 无人机高清图像小目标检测与跟踪***及其检测跟踪方法 | |
| CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、***和装置 | |
| CN110647170A (zh) | 一种基于无人机的航标巡检装置与方法 | |
| CN114454137A (zh) | 基于双目视觉的钢结构损伤智能巡检方法、***及机器人 | |
| CN115933718A (zh) | 一种融合全景slam与目标识别的无人机自主飞行技术方法 | |
| CN210835732U (zh) | 一种基于无人机的航标巡检装置 | |
| CN115909092A (zh) | 轻量化输电通道隐患测距方法及隐患预警装置 | |
| CN110825098B (zh) | 一种无人机配电网智能巡检*** | |
| CN113222838A (zh) | 基于视觉定位的无人机自主巡线方法 | |
| CN117293697A (zh) | 变电站漂浮物处理方法、装置、电子设备及存储介质 | |
| CN116342693A (zh) | 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法 | |
| CN106204516B (zh) | 一种机器人的自动充电方法及装置 | |
| CN106081091A (zh) | 用于通信基站勘测的飞行机器人 | |
| CN106532945B (zh) | 一种机器人电站巡检***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220510 |