CN114529808B - 一种管道检测全景拍摄处理***及方法 - Google Patents
一种管道检测全景拍摄处理***及方法 Download PDFInfo
- Publication number
- CN114529808B CN114529808B CN202210418233.8A CN202210418233A CN114529808B CN 114529808 B CN114529808 B CN 114529808B CN 202210418233 A CN202210418233 A CN 202210418233A CN 114529808 B CN114529808 B CN 114529808B
- Authority
- CN
- China
- Prior art keywords
- module
- pipeline
- target
- visual
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims description 103
- 230000006870 function Effects 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 40
- 230000004913 activation Effects 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 24
- 230000008447 perception Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012512 characterization method Methods 0.000 claims description 6
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 claims description 6
- 229960004134 propofol Drugs 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 11
- 238000011156 evaluation Methods 0.000 abstract description 5
- 201000010099 disease Diseases 0.000 abstract description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 4
- 230000008439 repair process Effects 0.000 abstract description 3
- 239000010865 sewage Substances 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007849 functional defect Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 230000007847 structural defect Effects 0.000 description 3
- XLYOFNOQVPJJNP-ZSJDYOACSA-N Heavy water Chemical compound [2H]O[2H] XLYOFNOQVPJJNP-ZSJDYOACSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明设计了一种管道检测全景拍摄处理***及方法,***包括主控制器、爬行器、摄像头和图像处理子***,所述控制器用于控制爬行器行进,所述摄像头安装在爬行器上,所述爬行器在管道内以预设速度匀速前进,行进全程摄像头拍摄管道内壁的全景照片,图像处理子***对全景照片进行拼接处理,生成从管道底部向顶部投射的展开全景图。本发明为管道检测时的病害抓拍、缺陷分析、修复评估等提供了更加清晰直观的图片资料,减少人工操作造成的疏漏。
Description
技术领域
本发明涉及排水管道检测技术领域,特别涉及一种管道检测全景拍摄处理***及方法。
背景技术
城市污水处理经过几十年的快速发展,已逐渐步进入***性查缺补漏阶段,开始对发展过程中重地上轻地下、重厂轻网、重水轻泥等系列问题进行纠正,污水治理提质增效问题成为行业关注的重点。然而污水管网***“内渗外漏”、“管网错接混接”、“干支失联”等问题依然普遍存在,导致污水处理效能偏低。优化排水***,提高排水管网质量,是目前污水处理提质增效的关键之一。目前,采用“四位一体”排查方法,对排水管网展开测绘、调查、检测和评估。通过测绘,查清排水管网的基本情况;通过调查,查清排水管网存在的污水直排、雨污混接、溢流污染、地表水倒灌、外水入渗等问题以及排水户接管情况;通过检测,查清管道及检查井结构情形缺陷和功能性缺陷;通过评估,梳理排水管网***存在的问题,形成问题整改项目清单,为后续整改工作提供依据。
目前常用的排水管道检测方式有:
1)电视检测(采用闭路电视***进行管道检测的方法,简称CCTV检测);
2)声呐检测(采用声波探测技术对管道内水面以下的状况进行检测的方法);
3)管道潜望镜检测(采用管道潜望镜在检查井内对管道进行检测的方法,简称QV检测)。
CCTV检测拍摄设备工作流程:
①机器人进入管道后,由检测人员控制机器人在管道内爬行。在机器人行进期间,摄像头拍摄管道内部画面,行进过程中,画面保持正向水平、拍摄角度和焦距不得中途改变,检测人员观看实时传输的视频画面,画面不应产生暂停、间断记录、剪接的现象。
②通过实时传输视频画面发现管道内部缺陷时,机器人停止前进,在完全能够解析缺陷的位置停留至少10秒,重点拍摄缺陷部位。
③检测人员通过实时传输的视频画面发现管道内部的结构性/功能性缺陷、特殊结构,填写原始记录表,初步判读并记录缺陷的名称、等级、距离信息,形成原始资料。
④现场检测完毕后,由资料处理人员对检测视频和原始资料进行复核,抓取管道内结构性/功能性缺陷处的高清图片,备注缺陷的长度和在管道内环向时钟表示的位置,整理编制检测与评估报告。
在技术娴熟的检测人员的操作下,利用现有的CCTV检测设备,可以得到一段管道的完整、清晰的内部检测视频资料。然而,现有的CCTV检测设备由检测人员手动控制,检测期间,设备爬行的速度、稳定性无法保证始终处于均衡状态,对管道内缺陷的侧向抓拍,也依赖于现场检测人员的肉眼发现,拍摄角度、时长和图像清晰度亦受制于检测人员的拍摄技术。因此,在无法保证现场检测人员对仪器设备使用技术娴熟、工作态度严谨认真的情况下,拍摄出的视频资料质量亦会参差不齐,影响后续的管道缺陷判读、报告编制和修复评估。
发明内容
本发明的目的在于针对现有管道检测过程中缺陷捕捉难、拍摄视频容量大、储存传输难、人工核查工作量大的问题,提出一种管道检测全景拍摄处理方法,从而提高管道检测的精准度,提高工作效率,节约人力成本。
本发明公开了一种管道检测全景拍摄处理***,包括:主控制器、爬行器、摄像头和图像处理子***,所述控制器用于控制爬行器行进,所述摄像头安装在爬行器上,所述爬行器在管道内以预设速度匀速前进,行进全程摄像头拍摄管道内壁的全景照片,图像处理子***对全景照片进行拼接处理,生成从管道底部向顶部投射的展开全景图;
所述图像处理子***包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块,
所述图像预处理模块用于对摄像头拍摄的照片预处理,进行降噪和增强,
所述特征提取模块用于对经过预处理后的照片提取视觉特征,
所述目标检测识别模块用于检测和识别不同摄像头采集照片中相同的目标,
所述增强空间变换模块用于计算不同摄像头中相同目标的空间坐标映射关系,
所述图像拼接模块用于对增强空间变换后的图像拼接,生成从管道底部向顶部投射的展开全景图。
进一步地,所述摄像头采用等比例安装的三个全景拍摄摄像头,所述摄像头前端设有可调节光强的照明灯,管道检测时,摄像头根据管径调整摄像头位置,使爬行器前端的摄像头始终保持在管道中轴线位置上,拍摄期间全景摄像头根据管道内部环境因素自动调整拍摄焦,所述爬行器匀速前进过程中,三个全景摄像头从不同方向分别拍摄管道内壁的部分内面的全景照片,每两张照片之间互有15°重叠部分。
进一步地,所述特征提取模块由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成,经过图像预处理后的照片分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理,获得特征提取模块RCNNB输出特征和通道注意模块CHAB输出特征将,两者相结合,形成表征能力更强的视觉特征,公式为:
进一步地,所述通道注意模块由全局平均池化、卷积层、Mish激活函数、Sigmoid函数构成,通道注意模块CHAB的数据处理公式为:
进一步地,所述目标检测识别模块的网络结构为:
其中,conv1表示卷积核为1的卷积操作,conv3表示卷积核为3的卷积操作,relu表示激活函数线性修正单元,feature表示目标检测识别模块中的输入视觉特征,imginfo表示图像信息,reshape是变形操作,proposal 表示区域候选操作,ROIPOOL是感兴趣区域池化操作,softmax表示softmax函数,FC 是全连接操作, 表示目标候选框的回归偏移量, 表示候选目标属于特定类的概率;
进一步地,所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块,其中,
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取,通过结合通道感知构建有效的视觉特征;
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集;
其中,FC是全连接操作,Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块;
其中,Map表示坐标映射函数,Sample表示像素采样函数。
本发明还公开了一种管道检测全景拍摄处理方法,基于上述的管道检测全景拍摄处理***,包括以下步骤:
步骤1:主控制器控制爬行器进入管道,确定起始位置,爬行器上的控制测距仪归零;
步骤2:爬行器在管道内以预设速度匀速前进,行进期间摄像头自动调焦并拍摄管道内壁的全景照片,以预设频次拍摄照片;
步骤3:图像处理子***同步对全景照片进行拼接处理,并根据爬行器的行进速度与拍摄时间,自动计算并在管道内壁全景展开图上标注位置坐标;
步骤4:拍摄结束后,主控制器对爬行器发出返回指令。
进一步地,所述步骤3包括:
步骤301:图像预处理模块对每个摄像头拍摄的照片降噪和增强后的照片为q,第i个像素的像素值为:
步骤302:照片q分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理通道处理,获得RCNNB模块输出特征和通道注意模块CHAB输出特征相结合形成的表征能力强的新的视觉特征,公式为:
其中,conv1表示卷积核为1的卷积操作,conv3表示卷积核为3的卷积操作,relu表示激活函数线性修正单元,feature表示目标检测识别模块中的输入视觉特征,imginfo表示图像信息,reshape是变形操作,proposal 表示区域候选操作,ROIPOOL是感兴趣区域池化操作,softmax表示softmax函数,FC 是全连接操作, 表示目标候选框的回归偏移量, 表示候选目标属于特定类的概率;
步骤305:完成目标坐标变换后,根据对应的坐标, 图像拼接模块将摄像头采集图像的全景拼接融合。
进一步地,所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块,其中,
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取,通过结合通道感知构建有效的视觉特征;
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集;
其中,FC是全连接操作,Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块;
其中,Map表示坐标映射函数,Sample表示像素采样函数。
与现有技术相比,本发明的有益效果为:
1、以管道内壁全景照片代替视频,解决人工操作设备拍摄检测视频时,因管道病害微小、检测人员疏漏而导致对缺陷抓拍产生遗漏的问题;
2、避免检测视频中拍摄时间过短、影像不清晰等原因导致审核人员对管道病害的漏判、错判问题;
3、降低现场检测人员对设备操作的要求,降低审核人员对管道病害判读的难度,减少人力投入,减轻人员培训成本;
4、降低存储成本,提高检测资料的质量,便于后续编制检测平复报告和修复方案;
5、实现以少量人手完成一座城市地下综合管廊的定期监控和全面维护工作。
附图说明
图1是本发明公开的***工作示例图;
图2是本发明公开的摄像头放大图示意图;
图3是本发明公开的图像拼接网络结构流程图;
图4是本发明公开的通道注意模块网络示意图;
图5是本发明公开的目标检测识别模块网络结构示意图;
图6是本发明公开的增强空间变换模块网络结构示例图;
图7是本发明公开的照片成果示例图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示,本发明公开了一种管道检测全景拍摄处理***,包括:主控制器1、爬行器3、摄像头2和图像处理子***。主控制器1用于控制爬行器3行进,所述摄像头2安装在爬行器3上,所述爬行器3在管道内以预设速度匀速前进,行进全程摄像头2拍摄管道内壁的全景照片,图像处理子***对全景照片进行拼接处理,生成从管道底部向顶部投射的展开全景图。
在本实施例中,如图2所示,摄像头2采用等比例安装的三个全景拍摄摄像头,所述摄像头2前端设有可调节光强的照明灯,管道检测时,摄像头根据管径调整摄像头2位置,使爬行器3前端的摄像头2始终保持在管道中轴线位置上,拍摄期间全景摄像头2根据管道内部环境因素自动调整拍摄焦。爬行器3匀速前进过程中,三个全景摄像头2从不同方向分别拍摄管道内壁的部分内面的全景照片,每两张照片之间互有15°重叠部分。摄像头2与爬行器3之间用云台稳定器连接,使爬行器3在颠簸状态下拍摄的照片依然保持完整清晰。
如图3所示,图像处理子***包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块。
所述图像预处理模块用于对摄像头拍摄照片进行降噪和增强。在本实施例中,降低采集图像的噪声采用增强的导向滤波,一方面既可以有效降低采集图像引起的噪声,另一方面也增强图像的细节特征。图像预处理模块对照片进行预处理,输出照片q第i个像素的像素值可以利用与输入图像I的第i个像素局部区域的像素线性表示,公式如下:
所述特征提取模块用于对经过图像预处理后的照片提取视觉特征。特征提取模块FAB由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成。
所述目标检测识别模块用于视觉特征中相同的目标,并标注相同目标。如图5所示,网络结构可表示为:
其中,conv1表示卷积核为1的卷积操作,conv3表示卷积核为3的卷积操作,relu表示激活函数线性修正单元,feature表示目标检测识别模块中的输入视觉特征,imginfo表示图像信息,reshape是变形操作,proposal 表示区域候选操作,ROIPOOL是感兴趣区域池化操作,softmax表示softmax函数,FC 是全连接操,表示目标候选框的回归偏移量,表示候选目标属于特定类的概率。
所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块。所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取,通过结合通道感知构建有效的视觉特征。所述空间坐标变换模块用于对感知视觉特征提取模块输出的目标进行空间坐标提取、坐标映射和像素采集。
其中,FC是全连接操作,Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块;
其中,Map表示坐标映射函数,Sample表示像素采样函数,在本实施例中Sample采用了双线性插值采样函数。
如图1-7所示,基于上述的管道检测全景拍摄处理***,本发明还公开了一种管道检测全景拍摄处理方法,包括以下步骤:
步骤1:主控制器1控制爬行器3进入管道,确定起始位置,爬行器3上的控制测距仪归零;
步骤2:爬行器3在管道内以预设速度匀速前进,行进期间摄像头2自动调焦并拍摄管道内壁的全景照片;
步骤3:图像处理子***同步对三个全景摄像头拍摄的照片进行拼接处理,并根据爬行器的行进速度与拍摄时间,自动计算并在管道内壁全景展开图上标注位置坐标,如图3所示,以三个全景摄像头中的两个全景摄像头进行拼接处理为例,I1和I2表示二个不同方向的摄像头采集的图片,I12是两个图片拼接后的图片,具体包括以下步骤:
如图5所示,目标检测识别模块的网络结构为:
其中,conv1表示卷积核为1的卷积操作,conv3表示卷积核为3的卷积操作,relu表示激活函数线性修正单元,feature表示目标检测识别模块中的输入视觉特征、和,imginfo表示图像信息,reshape是变形操作,proposal 表示区域候选操作,ROIPOOL是感兴趣区域池化操作,softmax表示softmax函数,FC 是全连接操作,表示目标候选框的回归偏移量,表示候选目标属于特定类的概率。
其中,FC是全连接操作,Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块;
其中,Map表示坐标映射函数,Sample表示像素采样函数。
步骤305:完成目标坐标变换后,根据对应的坐标, 图像拼接模块将三幅图像级联在一起,将三个摄像头采集图像的全景拼接融合。具体如下:
如图7所示,第一个摄像头拍摄0~150度的照片,第二个摄像头拍摄120~240度的照片,第三个摄像头拍摄240~360度的照片。阴影处表示用于图像拼接的局域。对于两幅图像融合,图像的最左边完全采取图像的左侧部分,最左边图像右侧采集块和中间图像左侧采集块重合部分是采集块变换后的加权平均。最左边图像和中间图像重合区域完全取自中间图像采集左侧图像块信息,接着中间图像采集右侧的图像块和最右边图像采集左侧的图像块重合部分是采集块变换后加权平均。拼接完以后,全景图进行水平矫正。对同一个摄像头拍摄照片的处理,根据训练好的空间坐标参数对整幅图像进行空间坐标变换得到同一坐标图像。
步骤4:拍摄结束后,主控制器1对爬行器3发出返回指令。
以上显示和描述了本发明的主要特征、使用方法、基本原理以及本发明的优点。本行业技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会根据实际情况有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种管道检测全景拍摄处理***,其特征在于,包括:主控制器、爬行器、摄像头和图像处理子***,所述控制器用于控制爬行器行进,所述摄像头安装在爬行器上,所述爬行器在管道内以预设速度匀速前进,行进全程摄像头拍摄管道内壁的全景照片,图像处理子***对全景照片进行拼接处理,生成从管道底部向顶部投射的展开全景图;
所述图像处理子***包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块,
所述图像预处理模块用于对摄像头拍摄的照片预处理,进行降噪和增强,
所述特征提取模块用于对经过预处理后的照片提取视觉特征,
所述目标检测识别模块用于检测和识别不同摄像头采集照片中相同的目标,
所述增强空间变换模块用于计算不同摄像头中相同目标的空间坐标映射关系,
所述图像拼接模块用于对增强空间变换后的图像拼接,生成从管道底部向顶部投射的展开全景图;
所述特征提取模块由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成,经过图像预处理后的照片分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理,获得特征提取模块RCNNB输出特征和通道注意模块CHAB输出特征,将两者相结合,形成表征能力更强的视觉特征,公式为:
所述通道注意模块由全局平均池化、卷积层、Mish激活函数、Sigmoid函数构成,通道注意模块CHAB的数据处理公式为:
2.根据权利要求1所述的管道检测全景拍摄处理***,其特征在于,所述摄像头采用等比例安装的三个全景拍摄摄像头,所述摄像头前端设有可调节光强的照明灯,管道检测时,摄像头根据管径调整摄像头位置,使爬行器前端的摄像头始终保持在管道中轴线位置上,拍摄期间全景摄像头根据管道内部环境因素自动调整拍摄焦,所述爬行器匀速前进过程中,三个全景摄像头从不同方向分别拍摄管道内壁的部分内面的全景照片,每两张照片之间互有15°重叠部分。
3.根据权利要求1所述的管道检测全景拍摄处理***,其特征在于,所述目标检测识别模块的网络结构为:
其中,conv1表示卷积核为1的卷积操作,conv3表示卷积核为3的卷积操作,relu表示激活函数线性修正单元,feature表示目标检测识别模块中的输入视觉特征,imginfo表示图像信息,reshape是变形操作,proposal 表示区域候选操作,ROIPOOL是感兴趣区域池化操作,softmax表示softmax函数,FC 是全连接操作, 表示目标候选框的回归偏移量, 表示候选目标属于特定类的概率;
4.根据权利要求1所述的管道检测全景拍摄处理***,其特征在于,所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块,其中,
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取,通过结合通道感知构建有效的视觉特征;
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集;
其中,FC是全连接操作,Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块;
其中,Map表示坐标映射函数,Sample表示像素采样函数。
5.一种管道检测全景拍摄处理方法,基于权利要求1-4任一项所述的管道检测全景拍摄处理***,其特征在于,包括以下步骤:
步骤1:主控制器控制爬行器进入管道,确定起始位置,爬行器上的控制测距仪归零;
步骤2:爬行器在管道内以预设速度匀速前进,行进期间摄像头自动调焦并拍摄管道内壁的全景照片,以预设频次拍摄照片;
步骤3:图像处理子***同步对全景照片进行拼接处理,并根据爬行器的行进速度与拍摄时间,自动计算并在管道内壁全景展开图上标注位置坐标;
步骤4:拍摄结束后,主控制器对爬行器发出返回指令。
6.根据权利要求5所述的管道检测全景拍摄处理方法,其特征在于,所述步骤3包括:
步骤301:图像预处理模块对每个摄像头拍摄的照片进行降噪和增强后的照片为q,第i个像素的像素值为:
步骤302:照片q分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理通道处理,获得RCNNB模块输出特征和通道注意模块CHAB输出特征相结合形成的表征能力强的新的视觉特征,公式为:
其中,conv1表示卷积核为1的卷积操作,conv3表示卷积核为3的卷积操作,relu表示激活函数线性修正单元,feature表示目标检测识别模块中的输入视觉特征,imginfo表示图像信息,reshape是变形操作,proposal 表示区域候选操作,ROIPOOL是感兴趣区域池化操作,softmax表示softmax函数,FC 是全连接操作, 表示目标候选框的回归偏移量, 表示候选目标属于特定类的概率;
步骤305:完成目标坐标变换后,根据对应的坐标, 图像拼接模块将摄像头采集图像的全景拼接融合。
8.根据权利要求6所述的管道检测全景拍摄处理方法,其特征在于,所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块,其中,
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取,通过结合通道感知构建有效的视觉特征;
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集;
其中,FC是全连接操作,Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块;
其中,Map表示坐标映射函数,Sample表示像素采样函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210418233.8A CN114529808B (zh) | 2022-04-21 | 2022-04-21 | 一种管道检测全景拍摄处理***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210418233.8A CN114529808B (zh) | 2022-04-21 | 2022-04-21 | 一种管道检测全景拍摄处理***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114529808A CN114529808A (zh) | 2022-05-24 |
CN114529808B true CN114529808B (zh) | 2022-07-19 |
Family
ID=81627869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210418233.8A Active CN114529808B (zh) | 2022-04-21 | 2022-04-21 | 一种管道检测全景拍摄处理***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114529808B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827480B (zh) * | 2022-06-29 | 2022-11-15 | 武汉中仪物联技术股份有限公司 | 管道内壁全景展开图采集方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860398A (zh) * | 2020-07-28 | 2020-10-30 | 河北师范大学 | 遥感图像目标检测方法、***及终端设备 |
CN112734640A (zh) * | 2020-12-30 | 2021-04-30 | 山东大学 | 隧道围岩图像采集装置、处理***及全景图像拼接方法 |
CN113989741A (zh) * | 2021-10-29 | 2022-01-28 | 西安热工研究院有限公司 | 一种注意力机制和Faster RCNN相结合的核电站厂区遮挡行人检测方法 |
WO2022047828A1 (zh) * | 2020-09-07 | 2022-03-10 | 南京翱翔信息物理融合创新研究院有限公司 | 一种工业增强现实组合定位*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205785B (zh) * | 2015-10-09 | 2019-03-19 | 济南东朔微电子有限公司 | 一种可定位的大型车辆运行管理***及其运行方法 |
-
2022
- 2022-04-21 CN CN202210418233.8A patent/CN114529808B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860398A (zh) * | 2020-07-28 | 2020-10-30 | 河北师范大学 | 遥感图像目标检测方法、***及终端设备 |
WO2022047828A1 (zh) * | 2020-09-07 | 2022-03-10 | 南京翱翔信息物理融合创新研究院有限公司 | 一种工业增强现实组合定位*** |
CN112734640A (zh) * | 2020-12-30 | 2021-04-30 | 山东大学 | 隧道围岩图像采集装置、处理***及全景图像拼接方法 |
CN113989741A (zh) * | 2021-10-29 | 2022-01-28 | 西安热工研究院有限公司 | 一种注意力机制和Faster RCNN相结合的核电站厂区遮挡行人检测方法 |
Non-Patent Citations (1)
Title |
---|
基于主动式全景视觉的管道形貌缺陷检测***;汤一平等;《红外与激光工程》;20161125(第11期);183-189 * |
Also Published As
Publication number | Publication date |
---|---|
CN114529808A (zh) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108918539B (zh) | 一种隧道结构表观病害检测装置及方法 | |
CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
CN108769578B (zh) | 一种基于多路摄像头的实时全景成像***及方法 | |
CN111192198B (zh) | 一种基于管道机器人的管道全景扫描方法 | |
WO2020110576A1 (ja) | 情報処理装置 | |
CN110145692B (zh) | 污水管道cctv检测***及方法 | |
CN105578027A (zh) | 一种拍照方法及装置 | |
KR102170235B1 (ko) | 상하수관로 상태 정보 분석 및 모델링 방법 | |
CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及*** | |
CN103150716B (zh) | 红外图像拼接方法 | |
CN114529808B (zh) | 一种管道检测全景拍摄处理***及方法 | |
CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控***及存储介质 | |
JP7387261B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114742797A (zh) | 排水管道内壁全景图像的缺陷检测方法和图像采集机器人 | |
CN111476314B (zh) | 一种融合光流算法与深度学习的模糊视频检测方法 | |
CN115578315A (zh) | 一种基于无人机图像的桥梁应变近景摄影测量方法 | |
CN111667470A (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
CN112348775A (zh) | 基于车载环视的路面坑塘检测***及方法 | |
CN115619623A (zh) | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 | |
CN117496319A (zh) | 基于未配准双模态图像融合的全天候目标检测***及方法 | |
CN117214172A (zh) | 长身管圆柱体内壁缺陷检测方法、装置及存储介质 | |
CN112037192A (zh) | 一种城镇燃气公用管道安装过程埋深信息采集方法 | |
CN103873773A (zh) | 基于主辅协同双光路设计的全向成像方法 | |
CN116342693A (zh) | 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法 | |
CN116132636A (zh) | 煤矿综采工作面视频拼接方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |