CN112326552B - 基于视觉和力觉感知的隧道掉块病害检测方法和*** - Google Patents
基于视觉和力觉感知的隧道掉块病害检测方法和*** Download PDFInfo
- Publication number
- CN112326552B CN112326552B CN202011130560.0A CN202011130560A CN112326552B CN 112326552 B CN112326552 B CN 112326552B CN 202011130560 A CN202011130560 A CN 202011130560A CN 112326552 B CN112326552 B CN 112326552B
- Authority
- CN
- China
- Prior art keywords
- disease
- tunnel
- block
- suspected
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N19/00—Investigating materials by mechanical methods
- G01N19/08—Detecting presence of flaws or irregularities
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0025—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of elongated objects, e.g. pipes, masts, towers or railways
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0041—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress
- G01M5/005—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress by means of external apparatus, e.g. test benches or portable test systems
- G01M5/0058—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress by means of external apparatus, e.g. test benches or portable test systems of elongated objects, e.g. pipes, masts, towers or railways
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Analytical Chemistry (AREA)
- Computational Linguistics (AREA)
- Biochemistry (AREA)
- Mathematical Physics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明提供了一种基于视觉和力觉感知的隧道掉块病害检测方法和***,采集隧道内壁图像,利用训练后的第一神经网络模型初步识别掉块病害;以初步识别过程中确定的疑似掉块病害的中心位置为圆心,构建圆形,并通过多条直径将圆形圆周等分,以垂直于隧道内壁的姿态抵住疑似掉块病害的中心,在疑似掉块病害范围内沿所述直径方向上运动,记录位移,并采集运动过程中疑似掉块病害处所受力和力矩;基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害;本发明能够快速进行隧道掉块病害检测,达到掉落病害快速、准确检测的效果。
Description
技术领域
本发明属于隧道病害检测技术领域,具体涉及一种基于视觉和力觉感知的隧道掉块病害检测方法和***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
目前很多隧道存在掉块、裂损、变形和渗漏水等病害现象,其中掉块病害是对交通质量影响最大的病害,掉块病害一旦发生很有可能对隧道内行驶车辆造成极大伤害,极大的威胁隧道内的行车安全。
据发明人了解,目前隧道掉块病害的日常检测工作,大多通过人工作业实地勘测。工人师傅通过肉眼查看隧道内壁,看有无环形裂缝,若发现环形裂缝,工人师傅就用杆子抵住环形裂缝处前后左右活动,然后根据经验判断此处是否是掉块病害,如果判定是掉块病害则马上安排维护。对于拱腰以上和拱顶的检测,则需要采用脚手架或者高空升降平台车,检测人员才能近距离接触到隧道内壁,采用手电筒照明,肉眼查看拱腰和拱顶的病害。该方法检测到的掉块病害准确率低,容易漏检,在检测工程中,人员安全性差,检测效率低。
发明内容
本发明为了解决上述问题,提出了一种基于视觉和力觉感知的隧道掉块病害检测方法和***,本发明能够快速进行隧道掉块病害检测,达到掉落病害快速、准确检测的效果。
根据一些实施例,本发明采用如下技术方案:
一种基于视觉和力觉感知的隧道掉块病害检测方法,包括以下步骤:
采集隧道内壁图像,利用训练后的第一神经网络模型初步识别掉块病害;
以初步识别过程中确定的疑似掉块病害的中心位置为圆心,构建圆形,并通过多条直径将圆形圆周等分,以垂直于隧道内壁的姿态抵住疑似掉块病害的中心,在疑似掉块病害范围内沿所述直径方向上运动,记录位移,并采集运动过程中疑似掉块病害处所受力和力矩;
基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,根据构建的判定因子最终判定是否是隧道掉块病害。
作为可选择的实施方式,所述第一神经网络模型为YOLO神经网络模型,包括7个卷积层和5个池化层,且卷积层全部采用3x3的卷积核,且前6个卷积层后紧跟着最大池化层来进行降维和减少参数,同时对每一层输入都进行归一化处理。
作为可选择的实施方式,所述第二神经网络模型为BP神经网络模型,包括输入层、隐含层和输出层。
作为可选择的实施方式,基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害的具体过程包括:
基于隧道内壁健康状态下测得的数据,计算得到参考状态下残差矩阵,构建隧道掉块病害判定因子,计算隧道掉块病害损伤判定阈值;
对于某处待判定的病害,利用检测到的数据,构建隧道疑似掉块病害处力和力矩的数据样本集合;利用参考状态下训练的第二神经网络模型,得到待判定状态下的残差矩阵,计算待判定状态下隧道掉块病害判定因子向量,并判断待判定状态下隧道掉块病害判定因子向量是否超过阈值,如果超过则判定为存在掉块病害。
在本发明中,以垂直于隧道内壁的姿态抵住疑似掉块病害的中心,可以通过机械执行机构实现,如机械臂、机械手、升降杆等。能够实现抵住并移动动作的实现方式,理应属于本发明的保护范围。
当然,机械执行机构上端可以设置有相关采集或检测设备。
一种基于视觉和力觉感知的隧道掉块病害检测***,包括移动平台和控制***,其中:
所述移动平台上设置有若干摄像装置,用于采集隧道内壁图像;
所述移动平台上设置有定位机构,用于定位移动平台所处位置;
所述移动平台上设置有六轴机械臂,所述六轴机械臂被配置为指定位置处移动或停靠,其端部设置有六维力传感器,用于采集力和力矩;
所述控制***,被配置为接收隧道内壁图像、所述六轴机械臂端部位移、力和力矩信息,基于图像信息,利用训练后的第一神经网络模型初步识别掉块病害;基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害。
作为可选择的实施方式,所述移动平台上设置有升降台,所述升降台上设置六轴机械臂。
作为可选择的实施方式,所述移动平台上设置有若干辅助光源。
作为可选择的实施方式,所述控制***包括控制中心和控制操作集成***,具体包括中控主板、同步控制器、工控机、存储器和显示器,所述中控主板作为数据处理分析和转换传输的核心,所述存储器用于存储数据,所述显示器用于显示实时检测图像流;所述同步控制器用于接收触发信号及传感器数据,并同时将触发信号发送给图像采集装置触发采集图像和将数据发送给所述存储器:所述存储器用于存储图像和传感器数据:所述工控机用于接收数据并存储于存储器。
基于上述***的工作方法,包括以下步骤:
移动平台在隧道内移动,利用摄像装置采集隧道内壁各个位置的图像,传输给控制***,利用训练后的第一神经网络模型初步识别掉块病害;
六轴机械臂以初步识别过程中确定的疑似掉块病害的中心位置为圆心,构建圆形,并通过多条直径将圆形圆周等分,以垂直于隧道内壁的姿态抵住疑似掉块病害的中心,在疑似掉块病害范围内沿所述直径方向上运动,记录位移,并通过在六维力传感器采集运动过程中在疑似掉块病害处所受力和力矩;
控制***基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害。
作为可选择的实施方式,通过3D摄像头测出疑似病害位置,计算出六轴机械臂端部距离疑似病害的距离,升降台升高直到六轴机械臂到疑似病害的距离达到其作业范围。
与现有技术相比,本发明的有益效果为:
本发明利用摄像装置采集的图像初步确定疑似病害位置,再通过六轴机械臂进行再次操作,节约时间,提高准确率。同时,将采集到的图像输入训练好的YOLO神经网络,初步识别疑似的掉块病害,识别出疑似的掉块病害后通过3D摄像头测出疑似病害位置,计算出机械臂距疑似病害的距离,升降台升高直到机械臂到疑似病害的距离达到其作业范围;控制过程简单、容易实现。
本发明通过BP神经网络构建基于位移、力和力矩的隧道掉块病害判定因子,能够自动确定隧道内是否存在掉块病害,且判断结果准确率高。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明方法流程示意图;
图2为本发明***结构示意图;
图3为本发明的BP神经网络结构图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图2所示,一种基于视觉和力觉感知的隧道掉块病害检测***,在本实施例中,包括控制操作集成***(7)、六轴机械臂(2)、定位***(8、9)、移动集成平台(10)、升降台(4)、3D摄像头(5)、辅助光源(6)组成。
控制操作集成***包括中控主板、同步控制器、工控机、存储器和显示器;所述中控主板作为数据处理分析和转换传输的核心,所述显示器用于显示实时检测图像流;所述同步控制器用于接收触发信号及传感器数据,并同时将触发信号发送给图像采集装置触发采集图像和将数据发送给所述存储器:所述存储器用于存储图像和传感器数据:所述工控机用于接收数据并存储于存储器。
当然,控制操作集成***还包括必要的电能供给***。
为保证那能采集到多个方向的力和力矩数据,采用装有六维力传感器(3)的六轴机械臂。
在本实施例中,定位***由里程计(9)和惯性导航单元(8)组成,里程计和车轴连接,惯性导航单元安装在平台上。
在本实施例中,升降台用于承载和升高机械臂,升降台上设计有横向的导轨,可以使机械臂到达隧道横截面的任意位置。2台3D摄像头组成,左右两侧各一台。
在本实施例中,辅助光源采用LED频闪灯,均匀分布在3D摄像头的两侧,用来照亮隧道内部环境。
采集潜在的掉块病害(即环形裂缝)图像训练YOLO神经网络,将3D摄像头采集到的图像输入训练好的YOLO神经网络,初步识别疑似的掉块病害,识别出疑似的掉块病害后通过3D摄像头测出疑似病害位置,计算出机械臂距疑似病害的距离,升降台升高直到机械臂到疑似病害的距离达到其作业范围。以疑似掉块病害中心为圆心在隧道内壁的面上构建一个圆,通过N条直径将圆周等分,机械臂执行器初始以垂直于隧道内壁的姿态抵住疑似掉块病害的中心,在疑似掉块病害范围内沿这N条直径方向上前后运动两次之后停住,记录机械臂执行器末端的位移,通过在机械臂末端安装的六维力传感器采集执行器运动过程中在疑似掉块病害处所受力和力矩的最大值和最小值,通过BP神经网络构建基于位移、力和力矩的隧道掉块病害判定因子,当判定因子数值为0时表明该隧道未存在掉块病害,当判定因子为1时表明该隧道可能存在掉块病害,需要维护人员来进一步检修,向维护人员发送位置信息及维护提示信息。
本发明所设计的YOLO神经网络采用的是Darknet19模型作为基础特征提取网络,共包含19个卷积层和5个Max-pooling层,考虑到目前车载级芯片的计算能力有限,直接采用同量级的卷积神经网络难以满足实时性需求,因此,本发明对原网络进行适当裁剪,得到的隧道掉块病害实时检测网络模型如表所示:
表1隧道掉块病害实时检测网络模型
表1所搭建的是本发明网络模型的主干网络。由上表可知,此处搭建的网络模型共有7个卷积层和5个池化层,相较于YOLOv2网络结构缩减了近一半。网络中卷积层全部采用3x3的卷积核,且前6个卷积层后紧跟着最大池化层来进行降维和减少参数,同时对每一层输入都进行归一化处理,加快网络计算以及收敛速度。
通过BP神经网络构建基于位移、力和力矩的隧道掉块病害判定因子,构建隧道疑似掉块病害处的数据样本集合,利用m个样本点对BP神经网络进行训练,训练集如下所示:
P1=([ρ1 ρ2 … ρg … ρn]T)n×4(g∈(1,2,…,n)) (1)
χ1=([x1 x2 … xg … xn]T)n×4(g∈(1,2,…,n)) (2)
P=([P1 P2 … Pr … Pm]T)m×4(r∈(1,2,…,m)) (3)
X=([χ1 χ2 … χr … χm]T)m×4(r∈(1,2,…,m)) (4)
(1)中,ρg为机械臂执行器沿某处样本第g个直径方向运动过程中所受力和力矩的最大值和最小值所构成的向量,其定义如下:
ρg=[Fmin Fmax Mmin Mmax] (5)
式中,Fmin、Fmax、Mmin、Mmax为机械臂执行器所受力和力矩的最大值和最小值。
(2)中,xg为该样本处机械臂执行器沿第g个直径方向运动过程中的位移样本向量,其定义如下:
xg=[Xx Xy Xz 0] (6)
P和X为m个样本的训练集输入和输出数据集合。
为利用BP神经网络建立位移、力和力矩与隧道掉块病害之间的关系,将m个样本处采集到的训练集数据集合进行如下形式的划分,
式中,Pinput为BP神经网络训练集的输入层样本集,Xoutput为BP神经网络训练集的输出层样本集。
BP神经网络由输入层、隐含层、输出层构成,三层BP神经网络能够逼近任何非线性函数,误差精度的提高可通过设计隐含层中的神经元数目来获得,通过以下经验公式确定隐含层的神经元个数:
式中,k为隐含层的神经元个数,2n为输入层和输出层神经元个数之和,a为[1,10]之间的常数。将输入层与输出层样本集代入BP神经网络进行训练。
δ为BP神经网络的残差矩阵,如下式所示:
δr=[δ1 δ2 … δz … δn]n×4 (z∈(1,2,…,n)) (9)
利用隧道内壁健康状态下测得的数据,计算得到参考状态下残差矩阵δr,构建如下的隧道掉块病害判定因子,
d={d1,d2,…,dz,…,dn} (z∈(1,2,…,n)) (11)
式中,dz为参考状态下机械臂执行器在第z个直径方向的隧道掉块病害判定因子,其定义如下式所示,
式中,δz为参考状态下残差矩阵δr的第z列,μ及θ分别为残差矩阵δr的均值向量及协方差矩阵,其定义如下式所示,
对于某处待判定的病害,利用检测到的数据,构建隧道疑似掉块病害处力和力矩的数据样本集合q,如下式表示,
利用参考状态下训练的BP神经网络,得到待判定状态下的残差矩阵δ′,
d′={d′1,d′2,…,d′w,…,d′n}(w∈(1,2,…,n)) (17)
式中,d′w为d′的第w个元素,δ′w为待判定状态下残差矩阵δ′的第w列。
在隧道健康状态下,计算隧道掉块病害损伤判定阈值,在此基础上,通过计算超过阈值的病害判定因子,对隧道进行病害判定决策:
在健康状态下,隧道掉块病害判定的阈值计算方法为:
λ=[d1,d2,…,dz,…,dn]0.95 (z∈(1,2,…,n)) (19)
式中,λ为隧道掉块病害判定阈值,[·]0.95算子代表取95%置信概率值,dz为机械臂执行器沿第z个直径方向运动过程中在疑似掉块病害处的判定因子。
利用隧道健康状态下所建立的病害判定阈值λ,判断隧道是否存在掉块病害的可能,即
式中,Tw为隧道掉块病害判定指标,w为待判定状态下的任意直径方向,d'w为待判定状态下第w个直径方向的隧道掉块病害判定因子。当Tw数值为1表明该隧道可能存在掉块病害,需要维护人员来进一步检修,当Tw数值为0表明该隧道未存在掉块病害。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于视觉和力觉感知的隧道掉块病害检测方法,其特征是:包括以下步骤:
采集隧道内壁图像,利用训练后的第一神经网络模型初步识别掉块病害;
所述第一神经网络模型为YOLO神经网络模型,包括7个卷积层和5个池化层,且卷积层全部采用3x3的卷积核,且前6个卷积层后紧跟着最大池化层来进行降维和减少参数,同时对每一层输入都进行归一化处理;
以初步识别过程中确定的疑似掉块病害的中心位置为圆心,构建圆形,并通过多条直径将圆形圆周等分,以垂直于隧道内壁的姿态抵住疑似掉块病害的中心,在疑似掉块病害范围内沿所述直径方向上运动,记录位移,并采集运动过程中疑似掉块病害处所受力和力矩;
基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害;
所述第二神经网络模型为BP神经网络模型,包括输入层、隐含层和输出层。
2.如权利要求1所述的一种基于视觉和力觉感知的隧道掉块病害检测方法,其特征是:基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害的具体过程包括:
基于隧道内壁健康状态下测得的数据,计算得到参考状态下残差矩阵,构建隧道掉块病害判定因子,计算隧道掉块病害损伤判定阈值;
对于某处待判定的病害,利用检测到的数据,构建隧道疑似掉块病害处力和力矩的数据样本集合;利用参考状态下训练的第二神经网络模型,得到待判定状态下的残差矩阵,计算待判定状态下隧道掉块病害判定因子向量,并判断待判定状态下隧道掉块病害判定因子向量是否超过阈值,如果超过则判定为存在掉块病害。
3.一种基于视觉和力觉感知的隧道掉块病害检测***,其特征是:包括移动平台和控制***,其中:
所述移动平台上设置有若干摄像装置,用于采集隧道内壁图像;
所述移动平台上设置有定位机构,用于定位移动平台所处位置;
所述移动平台上设置有六轴机械臂,所述六轴机械臂被配置为指定位置处移动或停靠,其端部设置有六维力传感器,用于采集力和力矩;
所述控制***,被配置为接收隧道内壁图像、所述六轴机械臂端部位移、力和力矩信息,基于图像信息,利用训练后的第一神经网络模型初步识别掉块病害;基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害;
所述第一神经网络模型为YOLO神经网络模型,包括7个卷积层和5个池化层,且卷积层全部采用3x3的卷积核,且前6个卷积层后紧跟着最大池化层来进行降维和减少参数,同时对每一层输入都进行归一化处理;
所述第二神经网络模型为BP神经网络模型,包括输入层、隐含层和输出层。
4.如权利要求3所述的一种基于视觉和力觉感知的隧道掉块病害检测***,其特征是:所述移动平台上设置有升降台,所述升降台上设置六轴机械臂。
5.如权利要求3所述的一种基于视觉和力觉感知的隧道掉块病害检测***,其特征是:所述移动平台上设置有若干辅助光源。
6.如权利要求3所述的一种基于视觉和力觉感知的隧道掉块病害检测***,其特征是:所述控制***包括控制中心和控制操作集成***,具体包括中控主板、同步控制器、工控机、存储器和显示器,所述中控主板作为数据处理分析和转换传输的核心,所述存储器用于存储数据,所述显示器用于显示实时检测图像流;所述同步控制器用于接收触发信号及传感器数据,并同时将触发信号发送给图像采集装置触发采集图像和将数据发送给所述存储器:所述存储器用于存储图像和传感器数据:所述工控机用于接收数据并存储于存储器。
7.基于权利要求3-6中任一项所述的***的工作方法,其特征是:包括以下步骤:
移动平台在隧道内移动,利用摄像装置采集隧道内壁各个位置的图像,传输给控制***,利用训练后的第一神经网络模型初步识别掉块病害;
六轴机械臂以初步识别过程中确定的疑似掉块病害的中心位置为圆心,构建圆形,并通过多条直径将圆形圆周等分,以垂直于隧道内壁的姿态抵住疑似掉块病害的中心,在疑似掉块病害范围内沿所述直径方向上运动,记录位移,并通过在六维力传感器采集运动过程中在疑似掉块病害处所受力和力矩;
控制***基于采集的位移、力和力矩,利用第二神经网络模型对疑似隧道掉块病害做进一步判定,最终判定隧道掉块病害。
8.如权利要求7所述的工作方法,其特征是:通过3D摄像头测出疑似病害位置,计算出六轴机械臂端部距离疑似病害的距离,升降台升高直到六轴机械臂到疑似病害的距离达到其作业范围。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011130560.0A CN112326552B (zh) | 2020-10-21 | 2020-10-21 | 基于视觉和力觉感知的隧道掉块病害检测方法和*** |
US17/328,191 US11769333B2 (en) | 2020-10-21 | 2021-05-24 | Method and system for detecting block falling disaster in a tunnel based on visual and mechanical perception |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011130560.0A CN112326552B (zh) | 2020-10-21 | 2020-10-21 | 基于视觉和力觉感知的隧道掉块病害检测方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112326552A CN112326552A (zh) | 2021-02-05 |
CN112326552B true CN112326552B (zh) | 2021-09-07 |
Family
ID=74311913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011130560.0A Active CN112326552B (zh) | 2020-10-21 | 2020-10-21 | 基于视觉和力觉感知的隧道掉块病害检测方法和*** |
Country Status (2)
Country | Link |
---|---|
US (1) | US11769333B2 (zh) |
CN (1) | CN112326552B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117824974B (zh) * | 2024-03-05 | 2024-05-10 | 深圳市迈腾电子有限公司 | 交换机跌落测试方法、装置、电子设备与计算机可读介质 |
CN118051745B (zh) * | 2024-04-16 | 2024-06-14 | 北京城建设计发展集团股份有限公司 | 基于共现分析的隧道病害空间相关性分析方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2533321C1 (ru) * | 2013-06-28 | 2014-11-20 | Антон Андреевич Бекаревич | Способ адаптивного прогнозирования остаточного ресурса эксплуатации сложных объектов и устройство для его осуществления |
CN110472597A (zh) * | 2019-07-31 | 2019-11-19 | 中铁二院工程集团有限责任公司 | 基于深度学习的岩石图像风化程度检测方法及*** |
CN110720034A (zh) * | 2017-05-07 | 2020-01-21 | 国立大学法人大阪大学 | 识别方法、分类分析方法、识别装置、分类分析装置及记录介质 |
CN110836824A (zh) * | 2019-11-19 | 2020-02-25 | 山西大学 | 基于液压缸压力信号识别岩石硬度的方法及其识别平台 |
CN111260057A (zh) * | 2020-01-21 | 2020-06-09 | 北京空间飞行器总体设计部 | 一种基于虚拟传感器的足式机器人地形感知方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003304295A1 (en) * | 2003-07-02 | 2005-01-21 | Neubrex Co., Ltd. | Structure monitor system |
JP2005033559A (ja) * | 2003-07-14 | 2005-02-03 | Fuji Xerox Co Ltd | 故障診断装置 |
DE102012014936A1 (de) * | 2012-07-27 | 2014-01-30 | Kuka Roboter Gmbh | Ladesystem und Verfahren zum elektrischen Aufladen eines Kraftfahrzeugs |
JP6444086B2 (ja) * | 2014-07-25 | 2018-12-26 | 西日本高速道路エンジニアリング四国株式会社 | トンネル覆工面調査システムおよびトンネル覆工面調査システムに用いる車両 |
JP7330710B2 (ja) * | 2018-04-26 | 2023-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN110569699B (zh) * | 2018-09-07 | 2020-12-29 | 创新先进技术有限公司 | 对图片进行目标采样的方法及装置 |
WO2020110576A1 (ja) * | 2018-11-27 | 2020-06-04 | キヤノン株式会社 | 情報処理装置 |
JP7352632B2 (ja) * | 2019-02-28 | 2023-09-28 | スキッドモア オーウィングス アンド メリル リミテッド ライアビリティ パートナーシップ | 機械学習ツール |
US11714878B2 (en) * | 2020-01-28 | 2023-08-01 | Faro Technologies, Inc. | Construction site defect and hazard detection using artificial intelligence |
-
2020
- 2020-10-21 CN CN202011130560.0A patent/CN112326552B/zh active Active
-
2021
- 2021-05-24 US US17/328,191 patent/US11769333B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2533321C1 (ru) * | 2013-06-28 | 2014-11-20 | Антон Андреевич Бекаревич | Способ адаптивного прогнозирования остаточного ресурса эксплуатации сложных объектов и устройство для его осуществления |
CN110720034A (zh) * | 2017-05-07 | 2020-01-21 | 国立大学法人大阪大学 | 识别方法、分类分析方法、识别装置、分类分析装置及记录介质 |
CN110472597A (zh) * | 2019-07-31 | 2019-11-19 | 中铁二院工程集团有限责任公司 | 基于深度学习的岩石图像风化程度检测方法及*** |
CN110836824A (zh) * | 2019-11-19 | 2020-02-25 | 山西大学 | 基于液压缸压力信号识别岩石硬度的方法及其识别平台 |
CN111260057A (zh) * | 2020-01-21 | 2020-06-09 | 北京空间飞行器总体设计部 | 一种基于虚拟传感器的足式机器人地形感知方法 |
Non-Patent Citations (2)
Title |
---|
基于小波神经网络的管道腐蚀缺陷定量识别研究;蒋奇;《钢铁》;20051031;第40卷(第10期);第48-51页 * |
基于深度学习的盾构隧道衬砌病害识别方法;薛亚东 等;《湖南大学学报(自然科学版)》;20180331;第45卷(第3期);第100-108页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112326552A (zh) | 2021-02-05 |
US20220121863A1 (en) | 2022-04-21 |
US11769333B2 (en) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112326552B (zh) | 基于视觉和力觉感知的隧道掉块病害检测方法和*** | |
CN108051450B (zh) | 一种基于无人机的桥梁健康检测***及方法 | |
CN101657277B (zh) | 用于对连续铸造板坯上的表面缺陷进行识别和分类的方法 | |
CN107782733A (zh) | 金属表面缺陷的图像识别无损检测装置及方法 | |
CN108288055A (zh) | 基于深度网络与分级测试的电力机车受电弓及电弧检测方法 | |
CN107392197A (zh) | 一种机车车号识别及机车部件故障检测方法及*** | |
CN108108516B (zh) | 伸缩罩的异常发生推定装置以及异常发生推定方法 | |
CN109159113A (zh) | 一种基于视觉推理的机器人作业方法 | |
CN107894423A (zh) | 车身表面质损自动检测设备及方法、车辆智能检测*** | |
CN110705414A (zh) | 基于深度学习的输电线路施工机械隐患检测方法 | |
CN112884717A (zh) | 实时工件表面检测与刀具寿命预测的***及方法 | |
US10460431B2 (en) | Part recognition and damage characterization using deep learning | |
CN117197412B (zh) | 一种基于ar的公路病害智能巡检***及方法 | |
CN110097140A (zh) | 一种用于隧道巡检机器人的数据处理*** | |
CN112037205A (zh) | 一种基于深度学习的起重机裂纹检测方法 | |
CN117058855B (zh) | 一种物联网云边通信方法 | |
Rani et al. | Edge intelligence with light weight cnn model for surface defect detection in manufacturing industry | |
CN117218428A (zh) | 基于深度学习的铸件表面缺陷检测方法和*** | |
CN111259494B (zh) | 重机设备健康监测分析方法 | |
CN117422296A (zh) | 一种标准节使用优先级确定方法和*** | |
CN115165362A (zh) | 一种基于巡检及振动信号的轴承故障智能检测***和方法 | |
Meyes et al. | Transparent and interpretable failure prediction of sensor time series data with convolutional neural networks | |
CN116152228B (zh) | 基于机器视觉和机器学习轮胎缺陷检测方法及*** | |
CN104156989A (zh) | 利用Hough直线变换检测齿轮键槽方位的方法 | |
JP2009236593A (ja) | 外観検査支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |