CN114529808B - 一种管道检测全景拍摄处理***及方法 - Google Patents

一种管道检测全景拍摄处理***及方法 Download PDF

Info

Publication number
CN114529808B
CN114529808B CN202210418233.8A CN202210418233A CN114529808B CN 114529808 B CN114529808 B CN 114529808B CN 202210418233 A CN202210418233 A CN 202210418233A CN 114529808 B CN114529808 B CN 114529808B
Authority
CN
China
Prior art keywords
module
pipeline
target
visual
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210418233.8A
Other languages
English (en)
Other versions
CN114529808A (zh
Inventor
蒋湘成
相入喜
董淑环
方诗颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Beikong Engineering Testing Consulting Co ltd
Original Assignee
Nanjing Beikong Engineering Testing Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Beikong Engineering Testing Consulting Co ltd filed Critical Nanjing Beikong Engineering Testing Consulting Co ltd
Priority to CN202210418233.8A priority Critical patent/CN114529808B/zh
Publication of CN114529808A publication Critical patent/CN114529808A/zh
Application granted granted Critical
Publication of CN114529808B publication Critical patent/CN114529808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20—Controlling water pollution; Waste water treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明设计了一种管道检测全景拍摄处理***及方法，***包括主控制器、爬行器、摄像头和图像处理子***，所述控制器用于控制爬行器行进，所述摄像头安装在爬行器上，所述爬行器在管道内以预设速度匀速前进，行进全程摄像头拍摄管道内壁的全景照片，图像处理子***对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图。本发明为管道检测时的病害抓拍、缺陷分析、修复评估等提供了更加清晰直观的图片资料，减少人工操作造成的疏漏。

Description

一种管道检测全景拍摄处理***及方法
技术领域
本发明涉及排水管道检测技术领域，特别涉及一种管道检测全景拍摄处理***及方法。
背景技术
城市污水处理经过几十年的快速发展，已逐渐步进入***性查缺补漏阶段，开始对发展过程中重地上轻地下、重厂轻网、重水轻泥等系列问题进行纠正，污水治理提质增效问题成为行业关注的重点。然而污水管网***“内渗外漏”、“管网错接混接”、“干支失联”等问题依然普遍存在，导致污水处理效能偏低。优化排水***，提高排水管网质量，是目前污水处理提质增效的关键之一。目前，采用“四位一体”排查方法，对排水管网展开测绘、调查、检测和评估。通过测绘，查清排水管网的基本情况；通过调查，查清排水管网存在的污水直排、雨污混接、溢流污染、地表水倒灌、外水入渗等问题以及排水户接管情况；通过检测，查清管道及检查井结构情形缺陷和功能性缺陷；通过评估，梳理排水管网***存在的问题，形成问题整改项目清单，为后续整改工作提供依据。
目前常用的排水管道检测方式有：
1）电视检测（采用闭路电视***进行管道检测的方法，简称CCTV检测）；
2）声呐检测（采用声波探测技术对管道内水面以下的状况进行检测的方法）；
3）管道潜望镜检测（采用管道潜望镜在检查井内对管道进行检测的方法，简称QV检测）。
CCTV检测拍摄设备工作流程：
①机器人进入管道后，由检测人员控制机器人在管道内爬行。在机器人行进期间，摄像头拍摄管道内部画面，行进过程中，画面保持正向水平、拍摄角度和焦距不得中途改变，检测人员观看实时传输的视频画面，画面不应产生暂停、间断记录、剪接的现象。
②通过实时传输视频画面发现管道内部缺陷时，机器人停止前进，在完全能够解析缺陷的位置停留至少10秒，重点拍摄缺陷部位。
③检测人员通过实时传输的视频画面发现管道内部的结构性/功能性缺陷、特殊结构，填写原始记录表，初步判读并记录缺陷的名称、等级、距离信息，形成原始资料。
④现场检测完毕后，由资料处理人员对检测视频和原始资料进行复核，抓取管道内结构性/功能性缺陷处的高清图片，备注缺陷的长度和在管道内环向时钟表示的位置，整理编制检测与评估报告。
在技术娴熟的检测人员的操作下，利用现有的CCTV检测设备，可以得到一段管道的完整、清晰的内部检测视频资料。然而，现有的CCTV检测设备由检测人员手动控制，检测期间，设备爬行的速度、稳定性无法保证始终处于均衡状态，对管道内缺陷的侧向抓拍，也依赖于现场检测人员的肉眼发现，拍摄角度、时长和图像清晰度亦受制于检测人员的拍摄技术。因此，在无法保证现场检测人员对仪器设备使用技术娴熟、工作态度严谨认真的情况下，拍摄出的视频资料质量亦会参差不齐，影响后续的管道缺陷判读、报告编制和修复评估。
发明内容
本发明的目的在于针对现有管道检测过程中缺陷捕捉难、拍摄视频容量大、储存传输难、人工核查工作量大的问题，提出一种管道检测全景拍摄处理方法，从而提高管道检测的精准度，提高工作效率，节约人力成本。
本发明公开了一种管道检测全景拍摄处理***，包括：主控制器、爬行器、摄像头和图像处理子***，所述控制器用于控制爬行器行进，所述摄像头安装在爬行器上，所述爬行器在管道内以预设速度匀速前进，行进全程摄像头拍摄管道内壁的全景照片，图像处理子***对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图；
所述图像处理子***包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块，
所述图像预处理模块用于对摄像头拍摄的照片预处理，进行降噪和增强，
所述特征提取模块用于对经过预处理后的照片提取视觉特征，
所述目标检测识别模块用于检测和识别不同摄像头采集照片中相同的目标，
所述增强空间变换模块用于计算不同摄像头中相同目标的空间坐标映射关系，
所述图像拼接模块用于对增强空间变换后的图像拼接，生成从管道底部向顶部投射的展开全景图。
进一步地，所述摄像头采用等比例安装的三个全景拍摄摄像头，所述摄像头前端设有可调节光强的照明灯，管道检测时，摄像头根据管径调整摄像头位置，使爬行器前端的摄像头始终保持在管道中轴线位置上，拍摄期间全景摄像头根据管道内部环境因素自动调整拍摄焦，所述爬行器匀速前进过程中，三个全景摄像头从不同方向分别拍摄管道内壁的部分内面的全景照片，每两张照片之间互有15°重叠部分。
进一步地，所述特征提取模块由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成，经过图像预处理后的照片分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理，获得特征提取模块RCNNB输出特征
Figure DEST_PATH_IMAGE001
和通道注意模块CHAB输出特征将
Figure DEST_PATH_IMAGE002
，两者相结合，形成表征能力更强的视觉特征
Figure DEST_PATH_IMAGE003
，公式为：
Figure DEST_PATH_IMAGE004
其中
Figure DEST_PATH_IMAGE005
表示通道级相乘。
进一步地，所述通道注意模块由全局平均池化、卷积层、Mish激活函数、Sigmoid函数构成，通道注意模块CHAB的数据处理公式为：
Figure DEST_PATH_IMAGE006
其中，
Figure 297160DEST_PATH_IMAGE002
表示通道注意模块数据，
Figure DEST_PATH_IMAGE007
是图像块特征，
Figure DEST_PATH_IMAGE009
表示Sigmoid函数，Mish表示Mish激活函数
Figure DEST_PATH_IMAGE010
，Conv1D表示1维卷积操作，GAP表示全局平均池化。
进一步地，所述目标检测识别模块的网络结构为：
Figure DEST_PATH_IMAGE011
Figure DEST_PATH_IMAGE012
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，imginfo表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操作，
Figure DEST_PATH_IMAGE013
表示目标候选框的回归偏移量，
Figure DEST_PATH_IMAGE014
表示候选目标属于特定类的概率；
当候选目标属于特定类的概率
Figure 765575DEST_PATH_IMAGE014
高于预设值时，记录对应目标并标记为U，对应的视觉特征为
Figure DEST_PATH_IMAGE015
，根据余弦相似度准则识别与目标U对应的目标V，对应的视觉特征为
Figure DEST_PATH_IMAGE016
。
进一步地，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；
所述感知视觉特征提取模块的输出视觉特征
Figure DEST_PATH_IMAGE017
，表示为：
Figure DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE019
其中，
Figure DEST_PATH_IMAGE020
代表目标检测识别模块中第s个摄像头目标U的视觉特征，
Figure DEST_PATH_IMAGE021
表示视觉特征
Figure DEST_PATH_IMAGE022
经过三个卷积模块后的视觉输出，ConvB表示一个卷积操作；
Figure DEST_PATH_IMAGE023
表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 表示全连接操作，GAP表示全局平均池化操作，
Figure DEST_PATH_IMAGE024
表示通道级相乘；
所述空间坐标变换模块对视觉特征
Figure DEST_PATH_IMAGE025
进行空间坐标提取，输出空间坐标参数
Figure DEST_PATH_IMAGE026
可以表示为：
Figure DEST_PATH_IMAGE027
其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块；
所述空间坐标变换模块对空间坐标参数
Figure DEST_PATH_IMAGE028
进行坐标映射和像素采集，完成目标U的坐标到对应变形目标V的坐标变换
Figure DEST_PATH_IMAGE029
，表示为：
Figure DEST_PATH_IMAGE030
其中，Map表示坐标映射函数，Sample表示像素采样函数。
本发明还公开了一种管道检测全景拍摄处理方法，基于上述的管道检测全景拍摄处理***，包括以下步骤：
步骤1：主控制器控制爬行器进入管道，确定起始位置，爬行器上的控制测距仪归零；
步骤2：爬行器在管道内以预设速度匀速前进，行进期间摄像头自动调焦并拍摄管道内壁的全景照片，以预设频次拍摄照片；
步骤3：图像处理子***同步对全景照片进行拼接处理，并根据爬行器的行进速度与拍摄时间，自动计算并在管道内壁全景展开图上标注位置坐标；
步骤4：拍摄结束后，主控制器对爬行器发出返回指令。
进一步地，所述步骤3包括：
步骤301：图像预处理模块对每个摄像头拍摄的照片降噪和增强后的照片为q，第i个像素的像素值为：
Figure DEST_PATH_IMAGE031
其中，I表示输入的摄像头拍摄的照片，参数
Figure DEST_PATH_IMAGE032
和
Figure DEST_PATH_IMAGE033
分别表示第k个局部区域
Figure DEST_PATH_IMAGE034
的线性斜率和偏差，i表示摄像头拍摄的照片I的像素坐标；
步骤302：照片q分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理通道处理，获得RCNNB模块输出特征
Figure DEST_PATH_IMAGE035
和通道注意模块CHAB输出特征
Figure DEST_PATH_IMAGE036
相结合形成的表征能力强的新的视觉特征
Figure DEST_PATH_IMAGE037
，公式为：
Figure 455270DEST_PATH_IMAGE004
其中
Figure DEST_PATH_IMAGE038
表示通道级相乘；
步骤303：目标检测识别模块提取并识别同一时间不同摄像头拍摄照片的取视觉特征
Figure DEST_PATH_IMAGE039
之间的相同的目标，
Figure DEST_PATH_IMAGE040
Figure DEST_PATH_IMAGE041
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，imginfo表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操作，
Figure DEST_PATH_IMAGE042
表示目标候选框的回归偏移量，
Figure DEST_PATH_IMAGE043
表示候选目标属于特定类的概率；
当候选目标属于特定类的概率
Figure 59951DEST_PATH_IMAGE043
高于预设值时，记录对应目标并标记为U，对应的视觉特征为
Figure DEST_PATH_IMAGE044
，根据余弦相似度准则识别与目标U对应的目标V，对应的视觉特征为
Figure DEST_PATH_IMAGE045
；
步骤304：增强空间变换模块对获得的相同目标的视觉特征
Figure 64817DEST_PATH_IMAGE044
，计算出相同目标在不同采集器中的空间坐标映射关系；
步骤305：完成目标坐标变换后，根据对应的坐标, 图像拼接模块将摄像头采集图像的全景拼接融合。
进一步地，所述步骤301中，所述参数
Figure DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE047
的值通过拉格朗日乘数法求得，公式为：
Figure DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE049
其中，
Figure DEST_PATH_IMAGE050
和
Figure DEST_PATH_IMAGE051
分别是第k个窗口
Figure DEST_PATH_IMAGE052
的平均值和标准方差，
Figure DEST_PATH_IMAGE053
是约束参数；
为了能获得有效参数
Figure DEST_PATH_IMAGE054
和
Figure DEST_PATH_IMAGE055
，整个局部区域的重构像素与原始像素尽可能的接近，即两者局部区域的像素差的能量和
Figure DEST_PATH_IMAGE056
最小，公式为：
Figure DEST_PATH_IMAGE058
其中，参数
Figure DEST_PATH_IMAGE059
和
Figure DEST_PATH_IMAGE060
分别表示第k个局部区域的线性斜率和偏差。
进一步地，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；
所述感知视觉特征提取模块的输出视觉特征
Figure DEST_PATH_IMAGE061
，表示为：
Figure DEST_PATH_IMAGE062
Figure DEST_PATH_IMAGE063
其中，
Figure DEST_PATH_IMAGE064
代表目标检测识别模块中第s个摄像头目标U的视觉特征，
Figure DEST_PATH_IMAGE065
表示视觉特征
Figure DEST_PATH_IMAGE066
经过三个卷积模块后的视觉输出，ConvB表示一个卷积操作；
Figure DEST_PATH_IMAGE068
表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 表示全连接操作，GAP表示全局平均池化操作，
Figure DEST_PATH_IMAGE069
表示通道级相乘；
所述空间坐标变换模块对视觉特征
Figure DEST_PATH_IMAGE070
进行空间坐标提取，输出空间坐标参数
Figure DEST_PATH_IMAGE071
可以表示为：
Figure DEST_PATH_IMAGE072
其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块；
所述空间坐标变换模块对空间坐标参数
Figure 769597DEST_PATH_IMAGE071
进行坐标映射和像素采集，完成目标U的坐标到对应变形目标V的坐标变换
Figure 100002_DEST_PATH_IMAGE073
，表示为：
Figure DEST_PATH_IMAGE074
其中，Map表示坐标映射函数，Sample表示像素采样函数。
与现有技术相比，本发明的有益效果为：
1、以管道内壁全景照片代替视频，解决人工操作设备拍摄检测视频时，因管道病害微小、检测人员疏漏而导致对缺陷抓拍产生遗漏的问题；
2、避免检测视频中拍摄时间过短、影像不清晰等原因导致审核人员对管道病害的漏判、错判问题；
3、降低现场检测人员对设备操作的要求，降低审核人员对管道病害判读的难度，减少人力投入，减轻人员培训成本；
4、降低存储成本，提高检测资料的质量，便于后续编制检测平复报告和修复方案；
5、实现以少量人手完成一座城市地下综合管廊的定期监控和全面维护工作。
附图说明
图1是本发明公开的***工作示例图；
图2是本发明公开的摄像头放大图示意图；
图3是本发明公开的图像拼接网络结构流程图；
图4是本发明公开的通道注意模块网络示意图；
图5是本发明公开的目标检测识别模块网络结构示意图；
图6是本发明公开的增强空间变换模块网络结构示例图；
图7是本发明公开的照片成果示例图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本发明公开了一种管道检测全景拍摄处理***，包括：主控制器1、爬行器3、摄像头2和图像处理子***。主控制器1用于控制爬行器3行进，所述摄像头2安装在爬行器3上，所述爬行器3在管道内以预设速度匀速前进，行进全程摄像头2拍摄管道内壁的全景照片，图像处理子***对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图。
在本实施例中，如图2所示，摄像头2采用等比例安装的三个全景拍摄摄像头，所述摄像头2前端设有可调节光强的照明灯，管道检测时，摄像头根据管径调整摄像头2位置，使爬行器3前端的摄像头2始终保持在管道中轴线位置上，拍摄期间全景摄像头2根据管道内部环境因素自动调整拍摄焦。爬行器3匀速前进过程中，三个全景摄像头2从不同方向分别拍摄管道内壁的部分内面的全景照片，每两张照片之间互有15°重叠部分。摄像头2与爬行器3之间用云台稳定器连接，使爬行器3在颠簸状态下拍摄的照片依然保持完整清晰。
如图3所示，图像处理子***包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块。
所述图像预处理模块用于对摄像头拍摄照片进行降噪和增强。在本实施例中，降低采集图像的噪声采用增强的导向滤波，一方面既可以有效降低采集图像引起的噪声，另一方面也增强图像的细节特征。图像预处理模块对照片进行预处理，输出照片q第i个像素的像素值可以利用与输入图像I的第i个像素局部区域
Figure DEST_PATH_IMAGE075
的像素线性表示，公式如下：
Figure DEST_PATH_IMAGE076
，
其中，参数
Figure DEST_PATH_IMAGE077
和
Figure DEST_PATH_IMAGE078
分别表示第k个局部区域
Figure 767378DEST_PATH_IMAGE075
的线性斜率和偏差，i表示照片I的像素坐标。
为了能获得有效参数，需要使整个局部区域的重构像素与原始像素尽可能的接近，也就是说两者局部区域
Figure 302264DEST_PATH_IMAGE075
的像素差的能量和
Figure DEST_PATH_IMAGE079
最小，即
Figure DEST_PATH_IMAGE080
其中，参数
Figure 402332DEST_PATH_IMAGE077
和
Figure 327562DEST_PATH_IMAGE078
分别表示第k个局部区域
Figure 614187DEST_PATH_IMAGE075
的线性斜率和偏差。
为了获得有效的参数值，结合拉格朗日乘数法，可求得参数
Figure 3580DEST_PATH_IMAGE077
和
Figure 287931DEST_PATH_IMAGE078
的值，其值公式为：
Figure DEST_PATH_IMAGE081
Figure DEST_PATH_IMAGE082
其中，
Figure DEST_PATH_IMAGE083
和
Figure DEST_PATH_IMAGE084
分别是第k个窗口
Figure DEST_PATH_IMAGE085
的平均值和标准方差，
Figure DEST_PATH_IMAGE086
是约束参数。
所述特征提取模块用于对经过图像预处理后的照片提取视觉特征。特征提取模块FAB由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成。
通道注意模块由全局平均池化(GAP)，卷积层(Conv1D)，Mish激活函数，Sigmoid函数（
Figure DEST_PATH_IMAGE087
）构成，网络流程结构如图4所示，公式为：
Figure DEST_PATH_IMAGE088
其中,
Figure 71430DEST_PATH_IMAGE036
是通道注意模块数据，
Figure DEST_PATH_IMAGE089
是图像块特征，Mish函数形式如下：
Figure DEST_PATH_IMAGE090
其中，x表示 1维卷积操作后的输出特征，
Figure DEST_PATH_IMAGE091
是双曲正切函，
Figure DEST_PATH_IMAGE092
表示以常数e为底数的对数函数。
Figure 83117DEST_PATH_IMAGE036
与faster RCNN中的特征提取输出
Figure DEST_PATH_IMAGE093
相结合，形成表征能力强的新的视觉特征
Figure DEST_PATH_IMAGE094
，公式为：
Figure 392263DEST_PATH_IMAGE004
其中
Figure DEST_PATH_IMAGE095
表示通道级相乘。
Figure DEST_PATH_IMAGE096
,分别代表等比例安装的三个全景拍摄摄像头。
所述目标检测识别模块用于视觉特征中相同的目标，并标注相同目标。如图5所示，网络结构可表示为：
Figure DEST_PATH_IMAGE097
Figure DEST_PATH_IMAGE098
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征
Figure DEST_PATH_IMAGE099
，imginfo表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操，
Figure DEST_PATH_IMAGE100
表示目标候选框的回归偏移量，
Figure DEST_PATH_IMAGE101
表示候选目标属于特定类的概率。
在本实施例中，当满足
Figure DEST_PATH_IMAGE102
时，记录对应目标并标记为U，对应的视觉特征为
Figure DEST_PATH_IMAGE103
。根据余弦相似度准则识别与目标U对应另一摄像头的目标V，对应的视觉特征为
Figure DEST_PATH_IMAGE104
。
所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块。所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征。所述空间坐标变换模块用于对感知视觉特征提取模块输出的目标进行空间坐标提取、坐标映射和像素采集。
所述感知视觉特征提取模块的输出视觉特征
Figure DEST_PATH_IMAGE105
表示为：
Figure DEST_PATH_IMAGE106
Figure DEST_PATH_IMAGE107
其中，
Figure DEST_PATH_IMAGE108
表示视觉特征
Figure 592388DEST_PATH_IMAGE103
经过三个卷积块后的视觉输出，
Figure DEST_PATH_IMAGE109
代表目标检测识别模块中第s个摄像头的目标视觉特征，卷积块（ConvB）表示一个卷积操作；
Figure DEST_PATH_IMAGE110
表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 是全连接操作，GAP表示全局平均池化操作，
Figure DEST_PATH_IMAGE111
表示通道级相乘；
所述空间坐标变换模块对视觉特征
Figure DEST_PATH_IMAGE112
进行空间坐标提取，输出空间坐标参数
Figure DEST_PATH_IMAGE113
可以表示为：
Figure DEST_PATH_IMAGE114
其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块；
所述空间坐标变换模块对空间坐标参数
Figure DEST_PATH_IMAGE115
进行坐标映射和像素采集，完成目标U的坐标到对应变形目标V的坐标变换
Figure DEST_PATH_IMAGE116
，表示为：
Figure DEST_PATH_IMAGE117
其中，Map表示坐标映射函数，Sample表示像素采样函数，在本实施例中Sample采用了双线性插值采样函数。
如图1-7所示，基于上述的管道检测全景拍摄处理***，本发明还公开了一种管道检测全景拍摄处理方法，包括以下步骤：
步骤1：主控制器1控制爬行器3进入管道，确定起始位置，爬行器3上的控制测距仪归零；
步骤2：爬行器3在管道内以预设速度匀速前进，行进期间摄像头2自动调焦并拍摄管道内壁的全景照片；
步骤3：图像处理子***同步对三个全景摄像头拍摄的照片进行拼接处理，并根据爬行器的行进速度与拍摄时间，自动计算并在管道内壁全景展开图上标注位置坐标，如图3所示，以三个全景摄像头中的两个全景摄像头进行拼接处理为例，I1和I2表示二个不同方向的摄像头采集的图片，I12是两个图片拼接后的图片，具体包括以下步骤：
步骤301：图像预处理模块对三个摄像头拍摄的照片降噪和增强后的照片为q，第i个像素的像素值可以利用与输入图像I的第i个像素局部区域
Figure DEST_PATH_IMAGE118
的像素线性表示，
Figure DEST_PATH_IMAGE119
其中，参数
Figure DEST_PATH_IMAGE120
和
Figure DEST_PATH_IMAGE121
分别表示第k个局部区域
Figure DEST_PATH_IMAGE122
的线性斜率和偏差，i表示照片I的像素坐标。为了能获得有效参数，需要使整个局部区域的重构像素与原始像素尽可能的接近，也就是说两者局部区域的像素差的能量和最小，即
Figure DEST_PATH_IMAGE080A
为了获得有效的参数值，结合拉格朗日乘数法，可求得参数
Figure DEST_PATH_IMAGE123
和
Figure DEST_PATH_IMAGE124
的值，公式如下：
Figure DEST_PATH_IMAGE125
Figure DEST_PATH_IMAGE126
其中，
Figure DEST_PATH_IMAGE127
和
Figure DEST_PATH_IMAGE128
分别是第k个窗口
Figure DEST_PATH_IMAGE129
的平均值和标准方差，
Figure DEST_PATH_IMAGE130
是约束参数。
步骤302：经过图像预处理后输出的照片q分别经过faster RCNN中的特征提取模块RCNNB输出视觉特征
Figure DEST_PATH_IMAGE131
和通道注意模块CHAB输出视觉特征
Figure DEST_PATH_IMAGE132
。
Figure DEST_PATH_IMAGE133
其中，
Figure 928429DEST_PATH_IMAGE132
表示通道注意模块数据，
Figure DEST_PATH_IMAGE134
是图像块特征，
Figure DEST_PATH_IMAGE135
表示Sigmoid函数，Mish表示Mish激活函数
Figure DEST_PATH_IMAGE136
，Conv1D表示1维卷积操作，GAP表示全局平均池化；
Mish激活函数
Figure 743807DEST_PATH_IMAGE136
的公式：
Figure DEST_PATH_IMAGE137
其中，x表示 1维卷积操作后的输出特征，
Figure DEST_PATH_IMAGE138
是双曲正切函，
Figure DEST_PATH_IMAGE139
表示以常数e为底数的对数函数。
将RCNNB模块输出特征
Figure DEST_PATH_IMAGE140
和通道注意模块CHAB输出特征
Figure 862172DEST_PATH_IMAGE132
两者相结合，形成表征能力更强的视觉特征
Figure DEST_PATH_IMAGE141
，公式为：
Figure DEST_PATH_IMAGE142
其中
Figure DEST_PATH_IMAGE143
表示通道级相乘。其他两个摄像头采集的图像，采用相同的步骤获取对应的视觉特征
Figure DEST_PATH_IMAGE144
和
Figure DEST_PATH_IMAGE145
。
步骤303：所述目标检测识别模块通过步骤302提取的视觉特征
Figure DEST_PATH_IMAGE146
，
Figure 802839DEST_PATH_IMAGE144
和
Figure 252275DEST_PATH_IMAGE145
，提取并识别
Figure DEST_PATH_IMAGE147
和
Figure 418814DEST_PATH_IMAGE144
，
Figure 574989DEST_PATH_IMAGE144
和
Figure DEST_PATH_IMAGE148
相同的目标，并标注。
如图5所示，目标检测识别模块的网络结构为：
Figure DEST_PATH_IMAGE149
Figure DEST_PATH_IMAGE150
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征
Figure DEST_PATH_IMAGE151
、
Figure 621312DEST_PATH_IMAGE144
和
Figure DEST_PATH_IMAGE152
，imginfo表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操作，
Figure DEST_PATH_IMAGE153
表示目标候选框的回归偏移量，
Figure DEST_PATH_IMAGE154
表示候选目标属于特定类的概率。
当满足
Figure DEST_PATH_IMAGE155
时，记录对应目标并标记为U，对应的视觉特征为
Figure DEST_PATH_IMAGE156
（
Figure DEST_PATH_IMAGE157
、
Figure DEST_PATH_IMAGE158
和
Figure DEST_PATH_IMAGE159
），根据余弦相似度准则识别与目标U对应的另一摄像头的目标V，对应的视觉特征为
Figure DEST_PATH_IMAGE160
。
步骤304：增强空间变换模块根据步骤303获得相同目标的视觉特征，即第一个摄像头目标视觉特征
Figure DEST_PATH_IMAGE161
和第二个摄像头的目标视觉特征
Figure DEST_PATH_IMAGE162
，第三个摄像头目标视觉
Figure DEST_PATH_IMAGE163
，计算出相同目标在不同采集器中的空间坐标映射关系；
以第一个摄像头目标坐标转换为例，第一个摄像头目标视觉特征
Figure DEST_PATH_IMAGE164
经过感知视觉特征提取模块输出视觉特征
Figure DEST_PATH_IMAGE165
可以表示为：
Figure DEST_PATH_IMAGE166
Figure DEST_PATH_IMAGE167
其中，
Figure DEST_PATH_IMAGE168
表示视觉特征U经过三个卷积块后的视觉输出，
Figure DEST_PATH_IMAGE169
代表目标检测识别模块中第一个摄像头的目标视觉特征，卷积块（ConvB）表示一个卷积操作；
Figure DEST_PATH_IMAGE170
表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 表示全连接操作，GAP表示全局平均池化操作，
Figure DEST_PATH_IMAGE171
表示通道级相乘；
空间坐标变换模块对视觉特征
Figure DEST_PATH_IMAGE172
进行空间坐标提取，输出空间坐标参数
Figure DEST_PATH_IMAGE173
可以表示为：
Figure DEST_PATH_IMAGE174
其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块；
所述空间坐标变换模块对空间坐标参数进行坐标映射和像素采集，完成目标U的坐标到对应变形目标V的坐标变换
Figure DEST_PATH_IMAGE175
，表示为：
Figure DEST_PATH_IMAGE176
其中，Map表示坐标映射函数，Sample表示像素采样函数。
同样的方法完成目标视觉特征
Figure DEST_PATH_IMAGE177
和
Figure DEST_PATH_IMAGE178
的目标坐标变换。
步骤305：完成目标坐标变换后，根据对应的坐标, 图像拼接模块将三幅图像级联在一起，将三个摄像头采集图像的全景拼接融合。具体如下：
如图7所示，第一个摄像头拍摄0~150度的照片，第二个摄像头拍摄120~240度的照片，第三个摄像头拍摄240~360度的照片。阴影处表示用于图像拼接的局域。对于两幅图像融合，图像的最左边完全采取图像的左侧部分，最左边图像右侧采集块和中间图像左侧采集块重合部分是采集块变换后的加权平均。最左边图像和中间图像重合区域完全取自中间图像采集左侧图像块信息，接着中间图像采集右侧的图像块和最右边图像采集左侧的图像块重合部分是采集块变换后加权平均。拼接完以后，全景图进行水平矫正。对同一个摄像头拍摄照片的处理，根据训练好的空间坐标参数
Figure DEST_PATH_IMAGE179
对整幅图像进行空间坐标变换得到同一坐标图像。
步骤4：拍摄结束后，主控制器1对爬行器3发出返回指令。
以上显示和描述了本发明的主要特征、使用方法、基本原理以及本发明的优点。本行业技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会根据实际情况有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种管道检测全景拍摄处理***，其特征在于，包括：主控制器、爬行器、摄像头和图像处理子***，所述控制器用于控制爬行器行进，所述摄像头安装在爬行器上，所述爬行器在管道内以预设速度匀速前进，行进全程摄像头拍摄管道内壁的全景照片，图像处理子***对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图；
所述图像处理子***包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块，
所述图像预处理模块用于对摄像头拍摄的照片预处理，进行降噪和增强，
所述特征提取模块用于对经过预处理后的照片提取视觉特征，
所述目标检测识别模块用于检测和识别不同摄像头采集照片中相同的目标，
所述增强空间变换模块用于计算不同摄像头中相同目标的空间坐标映射关系，
所述图像拼接模块用于对增强空间变换后的图像拼接，生成从管道底部向顶部投射的展开全景图；
所述特征提取模块由faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB组成，经过图像预处理后的照片分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理，获得特征提取模块RCNNB输出特征
Figure 172169DEST_PATH_IMAGE001
和通道注意模块CHAB输出特征
Figure 909180DEST_PATH_IMAGE002
，将两者相结合，形成表征能力更强的视觉特征
Figure 291620DEST_PATH_IMAGE003
，公式为：
Figure 721465DEST_PATH_IMAGE004
其中
Figure 228669DEST_PATH_IMAGE005
表示通道级相乘；
所述通道注意模块由全局平均池化、卷积层、Mish激活函数、Sigmoid函数构成，通道注意模块CHAB的数据处理公式为：
Figure 566110DEST_PATH_IMAGE006
其中，
Figure 209581DEST_PATH_IMAGE007
表示通道注意模块数据，
Figure 403802DEST_PATH_IMAGE008
是图像块特征，
Figure 132723DEST_PATH_IMAGE009
表示Sigmoid函数，Mish表示Mish激活函数
Figure 477117DEST_PATH_IMAGE010
，Conv1D表示1维卷积操作，GAP表示全局平均池化。
2.根据权利要求1所述的管道检测全景拍摄处理***，其特征在于，所述摄像头采用等比例安装的三个全景拍摄摄像头，所述摄像头前端设有可调节光强的照明灯，管道检测时，摄像头根据管径调整摄像头位置，使爬行器前端的摄像头始终保持在管道中轴线位置上，拍摄期间全景摄像头根据管道内部环境因素自动调整拍摄焦，所述爬行器匀速前进过程中，三个全景摄像头从不同方向分别拍摄管道内壁的部分内面的全景照片，每两张照片之间互有15°重叠部分。
3.根据权利要求1所述的管道检测全景拍摄处理***，其特征在于，所述目标检测识别模块的网络结构为：
Figure 975094DEST_PATH_IMAGE011
Figure 809058DEST_PATH_IMAGE012
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，imginfo表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操作，
Figure 819084DEST_PATH_IMAGE013
表示目标候选框的回归偏移量，
Figure 701589DEST_PATH_IMAGE014
表示候选目标属于特定类的概率；
当候选目标属于特定类的概率
Figure 116390DEST_PATH_IMAGE014
高于预设值时，记录对应目标并标记为U，对应的视觉特征为
Figure 58938DEST_PATH_IMAGE015
，根据余弦相似度准则识别与目标U对应另一摄像头的目标V，对应的视觉特征为
Figure 355927DEST_PATH_IMAGE016
。
4.根据权利要求1所述的管道检测全景拍摄处理***，其特征在于，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；
所述感知视觉特征提取模块的输出视觉特征
Figure 776544DEST_PATH_IMAGE017
，表示为：
Figure 514693DEST_PATH_IMAGE018
Figure 690460DEST_PATH_IMAGE019
其中，
Figure 615690DEST_PATH_IMAGE020
表示目标检测识别模块中第s个摄像头目标U的视觉特征，
Figure 902315DEST_PATH_IMAGE021
表示视觉特征
Figure 963812DEST_PATH_IMAGE020
经过三个卷积模块后的视觉输出，ConvB表示一个卷积操作；
Figure 310480DEST_PATH_IMAGE022
表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 表示全连接操作，GAP表示全局平均池化操作，
Figure 723007DEST_PATH_IMAGE023
表示通道级相乘；
所述空间坐标变换模块对视觉特征
Figure 813322DEST_PATH_IMAGE024
进行空间坐标提取，输出空间坐标参数
Figure 60152DEST_PATH_IMAGE025
可以表示为：
Figure 249824DEST_PATH_IMAGE026
其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块；
所述空间坐标变换模块对空间坐标参数
Figure 211964DEST_PATH_IMAGE027
进行坐标映射和像素采集，完成目标U的坐标到对应变形目标V的坐标变换
Figure 778075DEST_PATH_IMAGE028
，表示为：
Figure 142060DEST_PATH_IMAGE029
其中，Map表示坐标映射函数，Sample表示像素采样函数。
5.一种管道检测全景拍摄处理方法，基于权利要求1-4任一项所述的管道检测全景拍摄处理***，其特征在于，包括以下步骤：
步骤1：主控制器控制爬行器进入管道，确定起始位置，爬行器上的控制测距仪归零；
步骤2：爬行器在管道内以预设速度匀速前进，行进期间摄像头自动调焦并拍摄管道内壁的全景照片，以预设频次拍摄照片；
步骤3：图像处理子***同步对全景照片进行拼接处理，并根据爬行器的行进速度与拍摄时间，自动计算并在管道内壁全景展开图上标注位置坐标；
步骤4：拍摄结束后，主控制器对爬行器发出返回指令。
6.根据权利要求5所述的管道检测全景拍摄处理方法，其特征在于，所述步骤3包括：
步骤301：图像预处理模块对每个摄像头拍摄的照片进行降噪和增强后的照片为q，第i个像素的像素值为：
Figure 502634DEST_PATH_IMAGE030
其中，I表示输入的摄像头拍摄的照片，参数
Figure 952070DEST_PATH_IMAGE031
和
Figure 321872DEST_PATH_IMAGE032
分别表示第k个局部区域
Figure 274784DEST_PATH_IMAGE033
的线性斜率和偏差，i表示摄像头拍摄的照片I的像素坐标；
步骤302：照片q分别经过faster RCNN中的特征提取模块RCNNB和通道注意模块CHAB处理通道处理，获得RCNNB模块输出特征
Figure 134156DEST_PATH_IMAGE034
和通道注意模块CHAB输出特征
Figure 742992DEST_PATH_IMAGE035
相结合形成的表征能力强的新的视觉特征
Figure 978801DEST_PATH_IMAGE036
，公式为：
Figure 989482DEST_PATH_IMAGE004
其中
Figure 19755DEST_PATH_IMAGE037
表示通道级相乘；
步骤303：目标检测识别模块提取并识别同一时间不同摄像头拍摄照片的取视觉特征
Figure 115887DEST_PATH_IMAGE038
之间的相同的目标，
Figure 886878DEST_PATH_IMAGE039
Figure 814383DEST_PATH_IMAGE040
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，imginfo表示图像信息，reshape是变形操作，proposal 表示区域候选操作，ROIPOOL是感兴趣区域池化操作，softmax表示softmax函数,FC 是全连接操作，
Figure 953240DEST_PATH_IMAGE041
表示目标候选框的回归偏移量，
Figure 598985DEST_PATH_IMAGE042
表示候选目标属于特定类的概率；
当候选目标属于特定类的概率
Figure 848701DEST_PATH_IMAGE042
高于预设值时，记录对应目标并标记为U，视觉特征标记为
Figure 896291DEST_PATH_IMAGE043
，根据余弦相似度准则识别与目标U对应的目标V，视觉特征表示为
Figure 206050DEST_PATH_IMAGE044
；
步骤304：增强空间变换模块对获得的相同目标的视觉特征
Figure 339091DEST_PATH_IMAGE045
，计算出相同目标在不同采集器中的空间坐标映射关系；
步骤305：完成目标坐标变换后，根据对应的坐标, 图像拼接模块将摄像头采集图像的全景拼接融合。
7.根据权利要求6所述的管道检测全景拍摄处理方法，其特征在于，所述步骤301中，所述参数
Figure 392498DEST_PATH_IMAGE046
和
Figure 294595DEST_PATH_IMAGE047
的值通过拉格朗日乘数法求得，公式为：
Figure 837572DEST_PATH_IMAGE048
Figure 130013DEST_PATH_IMAGE049
其中，
Figure 49427DEST_PATH_IMAGE050
和
Figure 743714DEST_PATH_IMAGE051
分别是第k个窗口
Figure 460521DEST_PATH_IMAGE052
的平均值和标准方差，
Figure 505838DEST_PATH_IMAGE053
是约束参数；
为了能获得有效参数
Figure 963364DEST_PATH_IMAGE054
和
Figure 512157DEST_PATH_IMAGE055
，整个局部区域的重构像素与原始像素尽可能的接近，即两者局部区域的像素差的能量和
Figure 662516DEST_PATH_IMAGE056
最小，公式为：
Figure DEST_PATH_IMAGE058A
其中，参数
Figure 113570DEST_PATH_IMAGE059
和
Figure 374787DEST_PATH_IMAGE060
分别表示第k个局部区域的线性斜率和偏差。
8.根据权利要求6所述的管道检测全景拍摄处理方法，其特征在于，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，
所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；
所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；
所述感知视觉特征提取模块的输出视觉特征
Figure 778086DEST_PATH_IMAGE061
，表示为：
Figure 99346DEST_PATH_IMAGE062
Figure 853676DEST_PATH_IMAGE063
其中，
Figure 673512DEST_PATH_IMAGE064
代表目标检测识别模块中第s个摄像头目标U的视觉特征，
Figure 259214DEST_PATH_IMAGE065
表示视觉特征
Figure 689059DEST_PATH_IMAGE064
经过三个卷积模块后的视觉输出，ConvB表示一个卷积操作；
Figure 727422DEST_PATH_IMAGE066
表示S形函数Sigmoid, Relu表示线性修正单元激活函数，FC 表示全连接操作，GAP表示全局平均池化操作，
Figure 268125DEST_PATH_IMAGE067
表示通道级相乘；
所述空间坐标变换模块对视觉特征
Figure 973912DEST_PATH_IMAGE068
进行空间坐标提取，输出空间坐标参数
Figure 309079DEST_PATH_IMAGE069
可以表示为：
Figure 100317DEST_PATH_IMAGE070
其中，FC是全连接操作，Relu表示线性修正单元激活函数, CMRB1 、CMRB2、CMRB3表示3个卷积-池化-激活模块；
所述空间坐标变换模块对空间坐标参数
Figure 241449DEST_PATH_IMAGE071
进行坐标映射和像素采集，完成目标U的坐标到对应变形目标V的坐标变换
Figure 739426DEST_PATH_IMAGE072
，表示为：
Figure DEST_PATH_IMAGE073
其中，Map表示坐标映射函数，Sample表示像素采样函数。
CN202210418233.8A 2022-04-21 2022-04-21 一种管道检测全景拍摄处理***及方法 Active CN114529808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210418233.8A CN114529808B (zh) 2022-04-21 2022-04-21 一种管道检测全景拍摄处理***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210418233.8A CN114529808B (zh) 2022-04-21 2022-04-21 一种管道检测全景拍摄处理***及方法

Publications (2)

Publication Number Publication Date
CN114529808A CN114529808A (zh) 2022-05-24
CN114529808B true CN114529808B (zh) 2022-07-19

Family

ID=81627869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210418233.8A Active CN114529808B (zh) 2022-04-21 2022-04-21 一种管道检测全景拍摄处理***及方法

Country Status (1)

Country Link
CN (1) CN114529808B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827480B (zh) * 2022-06-29 2022-11-15 武汉中仪物联技术股份有限公司 管道内壁全景展开图采集方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860398A (zh) * 2020-07-28 2020-10-30 河北师范大学 遥感图像目标检测方法、***及终端设备
CN112734640A (zh) * 2020-12-30 2021-04-30 山东大学 隧道围岩图像采集装置、处理***及全景图像拼接方法
CN113989741A (zh) * 2021-10-29 2022-01-28 西安热工研究院有限公司 一种注意力机制和Faster RCNN相结合的核电站厂区遮挡行人检测方法
WO2022047828A1 (zh) * 2020-09-07 2022-03-10 南京翱翔信息物理融合创新研究院有限公司 一种工业增强现实组合定位***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205785B (zh) * 2015-10-09 2019-03-19 济南东朔微电子有限公司 一种可定位的大型车辆运行管理***及其运行方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860398A (zh) * 2020-07-28 2020-10-30 河北师范大学 遥感图像目标检测方法、***及终端设备
WO2022047828A1 (zh) * 2020-09-07 2022-03-10 南京翱翔信息物理融合创新研究院有限公司 一种工业增强现实组合定位***
CN112734640A (zh) * 2020-12-30 2021-04-30 山东大学 隧道围岩图像采集装置、处理***及全景图像拼接方法
CN113989741A (zh) * 2021-10-29 2022-01-28 西安热工研究院有限公司 一种注意力机制和Faster RCNN相结合的核电站厂区遮挡行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于主动式全景视觉的管道形貌缺陷检测***;汤一平等;《红外与激光工程》;20161125(第11期);183-189 *

Also Published As

Publication number Publication date
CN114529808A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN108918539B (zh) 一种隧道结构表观病害检测装置及方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN108769578B (zh) 一种基于多路摄像头的实时全景成像***及方法
CN111192198B (zh) 一种基于管道机器人的管道全景扫描方法
WO2020110576A1 (ja) 情報処理装置
CN110145692B (zh) 污水管道cctv检测***及方法
CN105578027A (zh) 一种拍照方法及装置
KR102170235B1 (ko) 상하수관로 상태 정보 분석 및 모델링 방법
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及***
CN103150716B (zh) 红外图像拼接方法
CN114529808B (zh) 一种管道检测全景拍摄处理***及方法
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控***及存储介质
JP7387261B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114742797A (zh) 排水管道内壁全景图像的缺陷检测方法和图像采集机器人
CN111476314B (zh) 一种融合光流算法与深度学习的模糊视频检测方法
CN115578315A (zh) 一种基于无人机图像的桥梁应变近景摄影测量方法
CN111667470A (zh) 一种基于数字图像的工业管道探伤内壁检测方法
CN112348775A (zh) 基于车载环视的路面坑塘检测***及方法
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN117496319A (zh) 基于未配准双模态图像融合的全天候目标检测***及方法
CN117214172A (zh) 长身管圆柱体内壁缺陷检测方法、装置及存储介质
CN112037192A (zh) 一种城镇燃气公用管道安装过程埋深信息采集方法
CN103873773A (zh) 基于主辅协同双光路设计的全向成像方法
CN116342693A (zh) 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法
CN116132636A (zh) 煤矿综采工作面视频拼接方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant