CN110097504A - 一种用于隧道巡检机器人的图像视觉采集*** - Google Patents
一种用于隧道巡检机器人的图像视觉采集*** Download PDFInfo
- Publication number
- CN110097504A CN110097504A CN201910395186.8A CN201910395186A CN110097504A CN 110097504 A CN110097504 A CN 110097504A CN 201910395186 A CN201910395186 A CN 201910395186A CN 110097504 A CN110097504 A CN 110097504A
- Authority
- CN
- China
- Prior art keywords
- image
- subsystem
- tunnel
- detection device
- intensity value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000010191 image analysis Methods 0.000 claims abstract description 11
- 238000013500 data storage Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000012546 transfer Methods 0.000 claims abstract description 6
- 230000005855 radiation Effects 0.000 claims abstract description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000011282 treatment Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种用于隧道巡检机器人的图像视觉采集***，属于隧道病害检测技术领域，包括检测装置、数据采集子***、图像分析***，图像分析***包括图像数据处理子***和数据存储传输子***，检测装置用于采集裂缝和渗漏水的图像，检测装置将采集到的图像传递至数据采集子***，数据采集子***对采集到多个图像进行拼接，数据采集子***将拼接后的衬砌图像和热辐射图像经由数据存储传输子***存储和传输至图像数据处理子***。本发明利用图像融合***，将待拼接图像转换到同一坐标系中，使拼接过程更为简单，拼接效果更好，对图像进行拼接使得多个相机得到的隧道图像能够进行变换和缩放，拼接成一幅局部断面图像，可以提高后续的检测效率。
Description
技术领域
本发明属于隧道病害检测技术领域，涉及一种用于隧道巡检机器人的图像视觉采集***。
背景技术
在目前的隧道图像采集的过程中，往往会有多个相机得到的检测图像，这些检测图像存在平移变换的问题以及隧道拱壁的景深问题，需要对检测图像进行融合，而目前的融合图像在融合的过程中较为复杂，而且融合的效果不好，影响后续的裂缝检测的工作效率。
发明内容
有鉴于此，本发明的目的在于提供一种用于隧道巡检机器人的图像视觉采集***。
为达到上述目的，本发明提供如下技术方案：
本发明提供了一种用于隧道巡检机器人的图像视觉采集***，包括检测装置、数据采集子***、图像分析***，所述图像分析***包括图像数据处理子***和数据存储传输子***，所述检测装置用于采集裂缝和渗漏水的图像，所述检测装置将采集到的图像传递至数据采集子***，所述数据采集子***对采集到多个图像进行拼接，所述数据采集子***将拼接后的衬砌图像和热辐射图像经由数据存储传输子***存储和传输至图像数据处理子***，所述图像数据处理子***为后台高性能处理计算机***，由高速存储磁盘存储图像数据，并按图像分析识别标准完成病害识别。
作为本发明的一种优选技术方案，所述检测装置由提供光照的照明装置、光学镜头、CCD线阵传感器和红外热传感器构成。
作为本发明的一种优选技术方案，所述数据采集子***包括配准***和图像融合***，所述检测装置获得的隧道图像包含有多个重复区域，所述数据采集子***在将含有多个重叠区域的隧道图像拼接为一幅局部断面图像的过程中，所述配准***用于对图像进行配准，所述图像融合***用于将配准后的图像进行融合。
作为本发明的一种优选技术方案，所述配准***通过Hessian矩阵提取特征点，然后采用特征点圆形领域进行特征描述，使用Haar小波响应为每个特征点建立描述符，同时计算领域内归一化的灰度差分及二阶梯度，形成新的特征描述符，采用最小欧式距离准则进行特征点匹配，并采用RANSAC算法剔除误配点，从而完成配准。
作为本发明的一种优选技术方案，所述图像融合***将重叠区域第一行的每个像素点(x，y)标记一条拼接缝的起点，并计算每个点的强度值。搜索扩展，每个拼接缝的起点强度值向下一行扩展搜索，一致搜索到最后一行。那每一条拼接缝的当前点分别和下一行中与这个点相邻的3个像素点(x，y)的强度值相加，找到最小强度值所对应的下一行中的像素点，该像素点(x，y)就是3个像素中找到的扩展方向，把拼接缝的强度值修改为最小强度值，把当前点修改成最小强度值对应下一行中的像素点(x，y)，然后逐渐向下搜索，直到最后一行。选择最佳拼接缝。从所有的拼接缝中选择强度值最小的作为最佳拼接缝。在最优拼接缝为中心，在宽度为九个像素点中，进行加权平均融合，完成拼接，其公式为：
其中，w1和w2分别为待拼接图像重叠区域中对应的像素的权重，满足w1+w2＝1,0＜w1,w2＜1，f1(x，y)、f2(x，y)均表示像素坐标点。
本发明的有益效果在于：
本发明利用图像融合***，将待拼接图像转换到同一坐标系中，使拼接过程更为简单，拼接效果更好，对图像进行拼接使得多个相机得到的隧道图像能够进行变换和缩放，拼接成一幅局部断面图像，可以提高后续的检测效率。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明的整体结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
请参阅图1，为一种用于隧道巡检机器人的图像视觉采集***，包括检测装置、数据采集子***、图像分析***，所述图像分析***包括图像数据处理子***和数据存储传输子***，所述检测装置用于采集裂缝和渗漏水的图像，所述检测装置将采集到的图像传递至数据采集子***，所述数据采集子***对采集到多个图像进行拼接，所述数据采集子***将拼接后的衬砌图像和热辐射图像经由数据存储传输子***存储和传输至图像数据处理子***，所述图像数据处理子***为后台高性能处理计算机***，由高速存储磁盘存储图像数据，并按图像分析识别标准完成病害识别。
检测装置由提供光照的照明装置、光学镜头、CCD线阵传感器和红外热传感器构成，分别实现对裂缝和渗漏水的测量，形成衬砌图像和热辐射图像。
图像拼接：对于隧道图像，特别是本文图像采集***中多个相机得到的隧道图像，图像之间只存在平移变换、不存在旋转变换或者只存在微弱旋转变换、不存在图像缩放问题，只需要考虑隧道拱壁的景深问题，将含有重叠区域的隧道图像拼接为一幅局部断面图像，为后续的长裂缝检测工作做准备，整个拼接过程主要包含图像配准和图像融合两个部分。
采用基于圆形领域的改进SURF算法，首先通过Hessian矩阵提取特征点，然后采用特征点圆形领域进行特征描述，使用Haar小波响应为每个特征点建立描述符，同时计算领域内归一化的灰度差分及二阶梯度，形成新的特征描述符，采用最小欧式距离准则进行特征点匹配，并采用RANSAC算法剔除误配点，进一步提高算法的匹配精度。
经过图像配准后，可以确定输入图像的重合区域的对应点关系，利用基于动态规划思想的改进最优接缝优化算法用于图像快速拼接，然后利用加权平均算法进行融合。
将重叠区域第一行的每个像素点标记一条拼接缝的起点，并计算每个点的强度值。搜索扩展，每个拼接缝的起点强度值向下一行扩展搜索，一致搜索到最后一行。那每一条拼接缝的当前点分别和下一行中与这个点相邻的3个像素点的强度值相加，找到最小强度值所对应的下一行中的像素点，该像素点就是3个像素中找到的扩展方向，把拼接缝的强度值修改为最小强度值，把当前点修改成最小强度值对应下一行中的像素点，然后逐渐向下搜索，直到最后一行。选择最佳拼接缝。从所有的拼接缝中选择强度值最小的作为最佳拼接缝。在最优拼接缝为中心，在宽度为九个像素点中，进行加权平均融合，完成拼接。加权融合算法描述如下：
利用单应性矩阵，将待拼接图像转换到同一坐标系中，利用如下所示公式的加权平滑算法进行融合，这种方法相对简单，而融合效果好。
其中w1和w2分别为待拼接图像重叠区域中对应的像素的权重，满足w1+w2＝1,0＜w1,w2＜1。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种用于隧道巡检机器人的图像视觉采集***，其特征在于：包括检测装置、数据采集子***、图像分析***，所述图像分析***包括图像数据处理子***和数据存储传输子***，所述检测装置用于采集裂缝和渗漏水的图像，所述检测装置将采集到的图像传递至数据采集子***，所述数据采集子***对采集到多个图像进行拼接，所述数据采集子***将拼接后的衬砌图像和热辐射图像经由数据存储传输子***存储和传输至图像数据处理子***，所述图像数据处理子***为后台高性能处理计算机***，由高速存储磁盘存储图像数据，并按图像分析识别标准完成病害识别。
2.根据权利要求1所述的一种用于隧道巡检机器人的图像视觉采集***，其特征在于：所述检测装置由提供光照的照明装置、光学镜头、CCD线阵传感器和红外热传感器构成。
3.根据权利要求1所述的一种用于隧道巡检机器人的图像视觉采集***，其特征在于：所述数据采集子***包括配准***和图像融合***，所述检测装置获得的隧道图像包含有多个重复区域，所述数据采集子***在将含有多个重叠区域的隧道图像拼接为一幅局部断面图像的过程中，所述配准***用于对图像进行配准，所述图像融合***用于将配准后的图像进行融合。
4.根据权利要求3所述的一种用于隧道巡检机器人的图像视觉采集***，其特征在于：所述配准***通过Hessian矩阵提取特征点，然后采用特征点圆形领域进行特征描述，使用Haar小波响应为每个特征点建立描述符，同时计算领域内归一化的灰度差分及二阶梯度，形成新的特征描述符，采用最小欧式距离准则进行特征点匹配，并采用RANSAC算法剔除误配点，从而完成配准。
5.根据权利要求3所述的一种用于隧道巡检机器人的图像视觉采集***，其特征在于：所述图像融合***将重叠区域第一行的每个像素点(x，y)标记一条拼接缝的起点，并计算每个点的强度值。搜索扩展，每个拼接缝的起点强度值向下一行扩展搜索，一致搜索到最后一行。那每一条拼接缝的当前点分别和下一行中与这个点相邻的3个像素点(x，y)的强度值相加，找到最小强度值所对应的下一行中的像素点，该像素点(x，y)就是3个像素中找到的扩展方向，把拼接缝的强度值修改为最小强度值，把当前点修改成最小强度值对应下一行中的像素点(x，y)，然后逐渐向下搜索，直到最后一行。选择最佳拼接缝。从所有的拼接缝中选择强度值最小的作为最佳拼接缝。在最优拼接缝为中心，在宽度为九个像素点中，进行加权平均融合，完成拼接，其公式为：
其中，w1和w2分别为待拼接图像重叠区域中对应的像素的权重，满足w1+w2＝1,0＜w1,w2＜1，f1(x，y)、f2(x，y)均表示像素坐标点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910395186.8A CN110097504A (zh) | 2019-05-13 | 2019-05-13 | 一种用于隧道巡检机器人的图像视觉采集*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910395186.8A CN110097504A (zh) | 2019-05-13 | 2019-05-13 | 一种用于隧道巡检机器人的图像视觉采集*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110097504A true CN110097504A (zh) | 2019-08-06 |
Family
ID=67447801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910395186.8A Pending CN110097504A (zh) | 2019-05-13 | 2019-05-13 | 一种用于隧道巡检机器人的图像视觉采集*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097504A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415344A (zh) * | 2020-03-19 | 2020-07-14 | 北京城建勘测设计研究院有限责任公司 | 一种马蹄形隧道的病害检测方法及装置 |
| CN112767353A (zh) * | 2021-01-19 | 2021-05-07 | 中国科学院武汉岩土力学研究所 | 隧道衬砌裂缝病害评价方法及设备 |
| CN113960049A (zh) * | 2021-10-19 | 2022-01-21 | 中南大学 | 一种隧道表面病害检测装置及检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550995A (zh) * | 2016-01-27 | 2016-05-04 | 武汉武大卓越科技有限责任公司 | 隧道影像拼接方法及*** |
| CN106910159A (zh) * | 2016-10-12 | 2017-06-30 | 王玲 | 视频拼接方法及装置 |
| CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
| CN108592876A (zh) * | 2018-04-24 | 2018-09-28 | 招商局重庆交通科研设计院有限公司 | 基于激光扫描成像原理的隧道外观病害检测机器人 |
| CN109029277A (zh) * | 2018-06-27 | 2018-12-18 | 常州沃翌智能科技有限公司 | 一种隧道形变监测***及方法 |
-
2019
- 2019-05-13 CN CN201910395186.8A patent/CN110097504A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550995A (zh) * | 2016-01-27 | 2016-05-04 | 武汉武大卓越科技有限责任公司 | 隧道影像拼接方法及*** |
| CN106910159A (zh) * | 2016-10-12 | 2017-06-30 | 王玲 | 视频拼接方法及装置 |
| CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
| CN108592876A (zh) * | 2018-04-24 | 2018-09-28 | 招商局重庆交通科研设计院有限公司 | 基于激光扫描成像原理的隧道外观病害检测机器人 |
| CN109029277A (zh) * | 2018-06-27 | 2018-12-18 | 常州沃翌智能科技有限公司 | 一种隧道形变监测***及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 瞿中 等: "一种消除图像拼接缝和鬼影的快速拼接算法", 《计算机科学》 * |
| 董强 等: "用于遥感图像拼接的改进SURF算法", 《吉林大学学报(工学版)》 * |
| 高泰: "隧道裂缝图像采集与检测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415344A (zh) * | 2020-03-19 | 2020-07-14 | 北京城建勘测设计研究院有限责任公司 | 一种马蹄形隧道的病害检测方法及装置 |
| CN112767353A (zh) * | 2021-01-19 | 2021-05-07 | 中国科学院武汉岩土力学研究所 | 隧道衬砌裂缝病害评价方法及设备 |
| CN113960049A (zh) * | 2021-10-19 | 2022-01-21 | 中南大学 | 一种隧道表面病害检测装置及检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097504A (zh) | 一种用于隧道巡检机器人的图像视觉采集*** | |
| CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
| CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
| CN105100640B (zh) | 一种局部配准并行视频拼接方法及*** | |
| CN104685513B (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| CN106296661B (zh) | 一种适用于光场相机的标定预处理方法 | |
| CN107907048A (zh) | 一种基于线结构光扫描的双目立体视觉三维测量方法 | |
| CN103258321A (zh) | 一种图像拼接方法 | |
| CN110110793B (zh) | 基于双流卷积神经网络的双目图像快速目标检测方法 | |
| CN109685078A (zh) | 基于自动标注的红外图像识别方法 | |
| CN106952225A (zh) | 一种面向森林防火的全景拼接方法 | |
| CN106875419A (zh) | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 | |
| CN105447817B (zh) | 一种基于边缘轮廓的热轧中间坯平面图像拼接方法 | |
| US20180300954A1 (en) | Method and device for seeing through an obstruction based on smart glasses, and computer-readable storage medium | |
| CN103903237A (zh) | 一种前扫声纳图像序列拼接方法 | |
| CN114495068B (zh) | 基于人机交互和深度学习的路面健康检测方法 | |
| CN106709894A (zh) | 一种图像实时拼接方法及*** | |
| CN112164001A (zh) | 一种数字显微镜图像快速拼接融合方法 | |
| Ruan et al. | Image stitching algorithm based on SURF and wavelet transform | |
| CN115063477A (zh) | 红外可见光双通道同步成像实时配准融合采集方法及装置 | |
| JPH05215547A (ja) | ステレオ画像間対応点決定方法 | |
| CN109740405A (zh) | 一种非对齐相似车辆前窗差异信息检测方法 | |
| CN109448033A (zh) | 一种基于brisk算法的图像配准方法 | |
| CN115100556A (zh) | 基于图像分割与融合的增强现实的方法、装置及电子设备 | |
| CN110631556B (zh) | 一种异构立体视觉***的测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190806 |