CN110689512A - 一种孔内全景视频环状图像快速拼接融合成图方法 - Google Patents

一种孔内全景视频环状图像快速拼接融合成图方法 Download PDF

Info

Publication number
CN110689512A
CN110689512A CN201910903069.8A CN201910903069A CN110689512A CN 110689512 A CN110689512 A CN 110689512A CN 201910903069 A CN201910903069 A CN 201910903069A CN 110689512 A CN110689512 A CN 110689512A
Authority
CN
China
Prior art keywords
image
narrow
band
offset
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910903069.8A
Other languages
English (en)
Other versions
CN110689512B (zh
Inventor
邹先坚
王川婴
宋欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Rock and Soil Mechanics of CAS
Original Assignee
Wuhan Institute of Rock and Soil Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Rock and Soil Mechanics of CAS filed Critical Wuhan Institute of Rock and Soil Mechanics of CAS
Priority to CN201910903069.8A priority Critical patent/CN110689512B/zh
Publication of CN110689512A publication Critical patent/CN110689512A/zh
Application granted granted Critical
Publication of CN110689512B publication Critical patent/CN110689512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种孔内全景视频环状图像快速拼接融合成图方法,获得帧窄带状图像,获得方位角数据和深度数据;特征检测与匹配;确定窄带状图像的宽度实际偏移和高度实际偏移;对窄带状图像进行融合拼接;本发明不依靠辅助的物理罗盘指南针或电子罗盘及深度编码器;本发明操作简单易行,能够实现拼接出图过程的智能化和自动化分析处理,极大的减轻工作人员的负担,提高了工作效率,拼接融合图像在清晰度和准确性上远远高于原始的扫描线出图方法。

Description

一种孔内全景视频环状图像快速拼接融合成图方法
技术领域
本发明属于岩土工程地质勘探与图像信息处理的交叉领域,具体涉及一种孔内全景视频环状图像快速拼接融合成图方法。
背景技术
在岩土工程、地质工程、水电工程、石油开发和地质灾害防治工程等方面,常常需要了解岩体结构的稳定性特征,而岩体中存在的诸如节理、断层、软弱面、层面等结构面,是决定实践工程稳定性的重要因素。数字式全景钻孔摄像***通过孔内摄像技术可以获得钻孔内部结构面的高精度全景视频图像,并且这些全景视频图像精确记录了孔内岩体结构面的特征。在工程实践当中,孔内全景视频图像结构面的准确识别与结构面特征参数的快速提取对于勘探、工程设计与施工等具有重要的实际工程意义。
目前,对于孔内全景钻孔图像的分析处理基本上还处于传统意义上扫描线图像方法,即完全依靠指南针的方位角和编码器的深度信息来不断的生成每一帧视频图像的扫描线,然后把每一帧图像所生成的扫描线依次堆累起来形成对应的钻孔图像。这种方法存在缺陷主要如下:(1)传统方法的扫描线本身携带的数据量有限,现场实际勘察录制视频图像很难保证以非常慢的放线速度匀速进行,从而导致视频图像时快时慢,扫描线无法做到在放线过快时而记录更多的图像行数数据,进而导致最终得到的钻孔图像严重变形,时伸时缩,图像质量差;(2) 扫描线成图的方法,完全依靠指南针和编码器的数据,而实际情况下,指南针和编码器都存在一定的物理惰性并且也容易出错,而这种情况下,扫描线方法无法进行自我修改并找到正确的位置和分析;(3)扫描线方法的软件实现后,无法做到自适应和智能化处理,严重依懒与人工手动处理,这对于多个孔或深孔的视频图像数据来说,需要好几天甚至几个星期来进行专门的,耗时耗力,迫切需要进行孔内视频图像的智能化和自动化分析处理。
因此,针对以上问题,本发明开展了新的了一种孔内视频图像快速拼接融合成图方法,旨在解决孔内全景视频图像的智能化匹配图像数据和图像数据的自动化拼接融合,解决完全依赖于指南针或电子罗盘的方式,并实现孔内全景视频图像的智能化拼接融合和实时快速出图,为工程科研人员减负,提高工作效率,为实际钻孔勘察过程提供了极大的便利,极大的改善了深部岩体结构孔内摄像勘察的实时性和高效性。
发明内容
本发明目的在于针对现有技术存在的上述缺陷,提供一种孔内全景视频环状图像快速拼接融合成图方法。自动化程度高、可靠性强,利用孔内全景视频的钻孔图像的窄带状图像的固有特征来进行相邻两帧图像的拼接融合,然后以此类推,从而实现孔内全景视频图像中几千、几万帧窄带状图像的连续拼接融合,最终快速形成工程所需的融合拼接图像。该发明极大提高了钻孔勘察及其图像数据分析过程的工作效率和准确性。
为解决上述技术问题,本发明采用如下的技术方案:
一种孔内全景视频环状图像快速拼接融合成图方法,包括以下步骤:
步骤1、通过孔内全景视频获得的各帧钻孔图像获得对应的各帧窄带状图像,获得各帧钻孔图像中指南针或电子罗盘的方位角数据Azimuth和深度编码器的深度数据Depth;
步骤2、特征检测与匹配,具体包括以下步骤:
步骤2.1、依次取三张相邻帧窄带状图像,分别定义为第一窄带状图像Img1、第二窄带状图像Img2和第三窄带状图像Img3;第一差图像ImgA为第二窄带状图像Img2和第一窄带状图像Img1的差值,即ImgA=Img2-Img1;第二差图像 ImgB为第三窄带状图像Img3和第二窄带状图像Img2的差值,
步骤2.2、将第一差图像ImgA转化为第一灰度图像GrayA,将第二差图像 ImgB转化为第二灰度图像GrayB,
步骤2.3、检测第一灰度图像GrayA中的第一张灰度图像特征点和第一张灰度图像特征描述算子,检测第二灰度图像GrayB中的第二张灰度图像特征点和第二张灰度图像特征描述算子,
步骤2.4、根据第一张灰度图像特征描述算子和第二张灰度图像特征描述算子计算各个第一张灰度图像特征点到各个第二张灰度图像特征点的汉明距离,
步骤2.5、最小汉明距离为最优匹配距离,最优匹配距离对应的第一张灰度图像特征点和第二张灰度图像特征点称为最优特征匹配点对,分别记为Ma和Mb;次最小汉明距离作为次优匹配距离,次优匹配距离对应的第一张灰度图像特征点和第二张灰度图像特征点称为次优特征匹配点对,分别记为Ma’和Mb’;
步骤2.6、最优特征匹配点对和次优特征匹配点对的均值作为平均特征匹配点对,
根据最优特征匹配点对或者平均特征匹配点对对应的第一张灰度图像特征点和第二张灰度图像特征点确定第二窄带状图像Img2和第三窄带状图像Img3 上对应匹配像素点,
计算第二窄带状图像Img2的匹配像素点相对于第三窄带状图像Img3上的匹配像素点在宽度方向上的宽度匹配偏移,以及高度方向上的高度匹配偏移,
步骤3、根据方位角数据Azimuth和深度编码器的深度数据Depth计算窄带状图像的方位像素测量偏移和深度像素测量偏移,确定窄带状图像的宽度实际偏移和高度实际偏移,
步骤4、根据宽度实际偏移和高度实际偏移对当前帧窄带状图像与下一帧窄带状图像进行融合拼接。
如上所述的步骤1包括以下步骤:
识别钻孔图像的中心O(x,y)和钻孔图像内的钻孔孔壁环状图像的最大半径Rmax和最小半径Rmin,其中x和y分别为钻孔图像的横坐标和纵坐标,
在钻孔孔壁环状图像上,在半径为Rmin~Rmax的各个圆上分别采集W个像素点,每个圆上采集的W个像素点构成对应的像素行,根据各个像素行生成窄带状图像,窄带状图像最上一行至最下一行对应的半径从大到小,窄带状图像的宽度为W,高度为H,H=Rmax-Rmin。
如上所述的步骤3包括以下步骤:
步骤3.1、获得各帧窄带状图像的方位角数据Azimuth和深度数据Depth,计算当前帧窄带状图像的方位角数值Azimuthi与下一帧窄带状图像的方位角数值Azimuthi+1的差值作为当前帧窄带状图像的方位角测量偏移ΔAzimuthi,i为窄带状图像的帧数,
计算当前帧窄带状图像的深度数据Depthi与下一帧窄带状图像的深度数据Depthi+1的差值作为当前帧窄带状图像的深度测量偏移ΔDepthi
通过当前帧窄带状图像的方位角测量偏移ΔAzimuthi和当前帧窄带状图像的深度测量偏移ΔDepthi计算方位像素测量偏移和深度像素测量偏移,
步骤3.2、若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值小于W/4时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为宽度匹配偏移;若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值大于等于W/4且小于W时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为方位像素测量偏移;若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值大于等于W时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为W,
若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值小于第一高度像素阈值时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为高度匹配偏移;若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值大于等于第一高度像素阈值且小于第二高度像素阈值时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为深度像素测量偏移;若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值大于等于第二高度像素阈值时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为H。
如上所述的步骤3.1中的各帧窄带状图像的方位角数据Azimuth和深度数据Depth均经过平滑处理。
如上所述的步骤4包括以下步骤:
根据宽度实际偏移循环平移当前帧窄带状图像,矫正当前帧窄带状图像与下一帧窄带状图像在宽度方向上的偏移,并将循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分进行加权融合,循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分的像素高度为高度实际偏移,
获得各个帧窄带状图像的拼接后的融合拼接图像,并将融合拼接图像按照设定的深度长度分割为多张融合拼接子图像。
自当前帧窄带状图像到下一帧窄带状图像的方向,循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分第一加权系数依次减小,第二加权系数依次增大,第一加权系数加上第二加权系数为1。
一种孔内全景视频环状图像快速拼接融合成图方法,还包括步骤5:对步骤 4形成的多张融合拼接子图像,对每张融合拼接子图像进行图像增强和长宽像素尺寸转化。
一种孔内全景视频环状图像快速拼接融合成图方法,还包括步骤6:标注每张融合拼接子图像的方位角数据Azimuth和深度数据Depth,分别以正东,正南,正西,正北四个方向生成钻孔柱状图。
相关概念定义与注释:
(1)本发明中所述结构面是地质学上的概念。
(2)本发明中所述的钻孔图像等同于钻孔孔壁图像,等同于全景孔壁图像,等同于孔内全景孔壁图像。
(3)本发明中所述的钻孔图像分为高清和标清两种;这两张视频图像本质上是没有区别,除了视频图像质量有高低、清晰度有差异和视频数据量有大小之分外,200万高清视频中的方位角信息采用的是电子罗盘,50万高清视频中的方位角信息采用的是物理罗盘指南针。
本发明与现有技术相比,具有以下优点和有益效果:
1、本发明不依靠辅助的物理罗盘指南针或电子罗盘及深度编码器,来进行孔内钻孔图像的连续拼接融合。抛弃了完全依靠指南针和电子罗盘的扫描线方法。
2、本发明操作简单易行,能够实现拼接出图过程的智能化和自动化分析处理,极大的减轻工作人员的负担,提高了工作效率。
3、本发明可以避免因为严重深度编码器和理罗盘指南针或电子罗盘的竖直而产生伸缩变形的钻孔图像,图像质量差并且清晰度低。本发明是根据每帧窄带状图像的固定特定进行自动匹配数据,实现连续拼接,形成无差别的高质量原始图像。
4、本发明最终形成的拼接图像质量远远高于传统的扫描线方法,效果图如图1所示。图1(a)为采用本发明和原扫描线方法分别对同一个钻孔视频进行处理后,所形成的钻孔图像中某一区域的本发明原图效果图和扫描线方法原图效果图的对比图,其中左图为本发明原图效果图,右图为扫描线方法原图效果图;图1(b)、图1(c)、图1(d)分别为图1(a)中同一个崩落石块、同一个孔洞、同一个岩石裂纹的放大图的比对图,由图可知,在同一位置,采用同样的放大倍数进行观看对比后,本发明所述的图像匹配融合方法所得的拼接融合图像在清晰度和准确性上远远高于原始的扫描线出图方法。
5、本发明自动化程度高,便于实现全自动化处理,便于进行编程化处理,简化了操作过程,极大地提高了工作效率。
附图说明
图1(a)为采用本发明和原扫描线方法分别对同一个钻孔视频进行处理后,所形成的钻孔图像中某一区域的本发明原图效果图和扫描线方法原图效果图的对比图,其中左图为本发明原图效果图,右图为扫描线方法原图效果图;
图1(b)为在本发明原图效果图和扫描线方法原图效果图中同一个崩落石块的放大图的比对图,其中,左图为本发明原图效果图中崩落石块的放大图,右图为扫描线方法原图效果图中同一个崩落石块的放大图;
图1(c)为在本发明原图效果图和扫描线方法原图效果图中同一个孔洞的放大图的比对图,其中,左图为本发明原图效果图中孔洞的放大图,右图为扫描线方法原图效果图中同一孔洞的放大图;
图1(d)为在本发明原图效果图和扫描线方法原图效果图中同一个岩石裂纹的放大图的比对图,其中,左图为本发明原图效果图中岩石裂纹的放大图,右图为扫描线方法原图效果图中同一岩石裂纹的放大图;
图2为200万高清的孔内全景视频的基本信息采集的示意图。
图3(a)为第一灰度图像和第二灰度图像上的第一张灰度图像特征点和第二张灰度图像特征点的比对图;图中,上面一幅图为第一灰度图像的第一张灰度图像特征点的示意图,下面一幅图为第二灰度图像的第二张灰度图像特征点的示意图。
图3(b)为第一张灰度图像特征点和第二张灰度图像特征点分别在当前帧窄带状图像和下一帧当前帧窄带状图像上的位置以及关联图。
图4为当前帧窄带状图像和下一帧当前窄带状图像上的最优特征匹配点对的示意图。
图5为前帧窄带状图像和下一帧窄带状图像直接拼接的图像和和加权融合拼接的图像的效果比对图;其中,左图为是直接拼接的图像,右图为加权融合拼接后的图像。
图6为实施例中的4360张窄带状图像最终所形成2张融合拼接子图像。
图7为经过灰度拉伸和灰度均衡化的融合拼接子图像。
图8为融合拼接子图像的钻孔柱状图,其中,(a)和(b)分别为其中一幅融合拼接子图像和对应的钻孔柱状图,(c)和(d)分别为另一幅融合拼接子图像和对应的钻孔柱状图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:针对200万像素高清孔内全景视频,并携带电子罗盘的情况
一种孔内全景视频环状图像快速拼接融合成图方法,在已经获取孔内全景视频录像前提下的具体步骤如下,并以实测钻孔视频图像数据为例,进行详细的具体实施方案说明。
针对200万高清孔内全景视频,并携带电子罗盘的情况,一种孔内全景视频环状图像快速拼接融合成图方法,其主要步骤是:
步骤1、窄带状图像采集
针对获取的200万高清的孔内全景视频获得的钻孔图像,首先利用霍夫圆监测方法(比如OpenCV中的HoughCircles()函数)来自动识别钻孔图像的中心O (x,y)和钻孔图像内的钻孔孔壁环状图像的最大半径Rmax和最小半径Rmin,,其中x和y分别为钻孔图像的横坐标和纵坐标,识别钻孔图像中指南针或电子罗盘的方位角数据Azimuth和深度编码器的深度数据Depth,如图2所示。图中的孔内全景视频为200高清钻孔摄像设备所录制,为中科院岩土所研制的产品。
为了保证即将生成的窄带状图像尽量最大有效,故设置钻孔孔壁环状图像的有效范围为H=Rmax-Rmin,H为窄带状图像的高度;
在钻孔孔壁环状图像上,以中心O(x,y)为圆心,按照顺时针(或逆时针) 以设定圆心角在以中心O(x,y)为圆心,半径为Rmin~Rmax的各个圆上分别采集W个像素点。每个圆上采集的W个像素点构成对应的像素行,根据各个像素行生成窄带状图像,窄带状图像最上一行至最下一行对应的半径从大到小。
窄带状图像的宽度为W,高度为H,窄带状图像的高度和宽度均为像素数值。
获得孔内全景视频的各帧钻孔图像中的钻孔孔壁环状图像对应的窄带状图像,各个窄带状图像的获得过程中的钻孔方位角和像素点的采集方向(顺时针或逆时针)均相同。
步骤2、特征检测与匹配数据生成
针对形成的4360张窄带状图像,为了兼顾图像特征检测与特征匹配的准确性和时效性,本发明主要采用了ORB特征和BRIEF特征描述算子来快速检测窄带状图像中的特征点,并进行特征匹配。
由于孔内全景视频的每一帧的钻孔图像形成的窄带状图像比较窄,孔壁岩石大部分区域基本相同,大部分区域基本上无特别的角点拐点,并且图像噪声非常严重,孔壁水流泥沙形成的干扰图像信号比较强烈,本发明针对钻孔孔壁图像本身的特征,因此采用基于ORB特征和BRIEF特征描述算子原理的差图像快速检测匹配方法来实现窄带状图像中的特征检测与匹配。本发明提出的差图像快速检测匹配方法的主要步骤如下:
步骤2.1、依次取三张相邻帧窄带状图像,分别定义为第一窄带状图像Img1、第二窄带状图像Img2和第三窄带状图像Img3;第一差图像ImgA为第二窄带状图像Img2和第一窄带状图像Img1的差值,即ImgA=Img2-Img1;第二差图像 ImgB为第三窄带状图像Img3和第二窄带状图像Img2的差值,即 ImgB=Img3-Img2。取差值图像能够很好的消除图像本身的固有误差。
步骤2.2、将第一差图像ImgA转化为第一灰度图像GrayA,将第二差图像ImgB转化为第二灰度图像GrayB。采用灰度图像进行匹配能提供运行速度和精度。
步骤2.3、利用ORB算法检测第一灰度图像GrayA中的第一张灰度图像特征点和第一张灰度图像特征描述算子(BRIEF特征描述算子),利用ORB算法检测第二灰度图像GrayB中的第二张灰度图像特征点和第二张灰度图像特征描述算子(BRIEF特征描述算子)。在第一灰度图像GrayA和第二灰度图像GrayB 中都可以快速的检测多个特征点。
本发明所采用的ORB特征和BRIEF特征描述算子所得到特征点,在钻孔视频图像质量较高或出图速度要求较低的情况下也可以采用SURF、SIFT、FAST、 Harris特征检测与特征匹配方法来加以实现。类似方法可参考相关图像特征检测与特征匹配等方法,如,OpenCV中特征检测和特征匹配方法-Jack_Sarah的博客-CSDN博客https://blog.csdn.net/Jack_Sarah/article/details/79548334。由于ORB 方法运行速度相对较快相对稳定本,故发明首选ORB方法来获取本发明中每帧窄带状钻孔图像特征点。在视频图像比较清晰,不要求实时出效果的情况下,可以采用SURF和SIFT等特征检测与特征匹配方法来实现更加稳定和准确的特征点检测匹配。
步骤2.4、使用汉明距离(Hamming),根据第一张灰度图像特征描述算子和第二张灰度图像特征描述算子计算各个第一张灰度图像特征点到各个第二张灰度图像特征点的汉明距离。
步骤2.5、最小汉明距离为最优匹配距离,最优匹配距离对应的第一张灰度图像特征点和第二张灰度图像特征点称为最优特征匹配点对(分别记为Ma和 Mb);次最小汉明距离作为次优匹配距离,次优匹配距离对应的第一张灰度图像特征点和第二张灰度图像特征点称为次优特征匹配点对(Ma’和Mb’);
其余的特征点对,即可认为是错误的。
步骤2.6、在钻孔图像的质量比较好的情况下,直接采用最优特征匹配点对 (Ma和Mb)来表达第一灰度图像GrayA和第二灰度图像GrayB的图像匹配结果;在钻孔图像质量较差,形成的窄带状图像效果很不理想的情况下,采用最优特征匹配点对(Ma和Mb)和次优特征匹配点对(Ma’和Mb’)的均值作为平均特征匹配点对,表达第一灰度图像GrayA和第二灰度图像GrayB的图像匹配结果。最终的匹配效果如图4所示。
本发明针对窄带状图像的特殊性(窄带状图像比较窄,纵向匹配尺度范围小而横向匹配范围大,局部范围具有很强的连续性并且图像特征同质化严重)和专用性(只针对步骤(1)获得的窄带状图像),由于钻孔孔壁成像的噪声干扰大、一定范围内岩石孔壁结构相近相同,并且存在大量的不同尺度旋转和亮度变化,针对两帧相邻的窄带状图像进行大量匹配的结果表明:采用最小的特征匹配距离来描述相邻两帧窄带状图像的上下左右移动情况是一种方便快捷的最优方法。
根据最优特征匹配点对或者平均特征匹配点对对应的第一张灰度图像特征点和第二张灰度图像特征点确定第二窄带状图像Img2和第三窄带状图像Img3 上对应匹配像素点。
由于第一张灰度图像特征点是对应第一灰度图像GrayA,第一灰度图像GrayA对应第一窄带状图像Img1和第二窄带状图像Img2,所以可以通过第一张灰度图像特征点获取对应的第二窄带状图像Img2上对应的匹配像素点,同理,可以通过第二张灰度图像特征点确定第三窄带状图像Img3上对应匹配像素点。
计算第二窄带状图像Img2的匹配像素点相对于第三窄带状图像Img3上的匹配像素点在宽度方向上的宽度匹配偏移,以及高度方向上的高度匹配偏移。
通过上述步骤,可以获取孔内全景视频除第一帧需要丢弃的钻孔图像之外,每一帧的钻孔图像对应的窄带状图像相对于下一帧的钻孔图像的窄带状图像的匹配像素点在宽度方向上的宽度匹配偏移以及高度方向上的高度匹配偏移,并记录在特点文件mData_N.txt中。
步骤3、根据方位角数据Azimuth和深度编码器的深度数据Depth计算方位像素测量偏移和深度像素测量偏移,确定宽度实际偏移和高度实际偏移。
步骤3.1、根据步骤1得到的采集信息文件中,获得孔内全景视频中自第二帧钻孔图像对应的每一帧窄带状图像的方位角数据Azimuth和深度数据Depth,首先把方位角数据Azimuth和深度数据Depth组成数据阵列,并采用平滑滤波方法对该数据阵列进行平滑滤波处理,剔除方位角数据Azimuth和深度数据Depth 中的异常值,并使最终得到的方位角数据Azimuth和深度数据Depth中每个相邻数据之间相对平滑过渡。该步骤的目的是剔除采集信息文件中的异常数值,并使每组数据之间能够相对平滑的波动过渡。
然后,计算当前帧窄带状图像的方位角数值Azimuthi与下一帧窄带状图像的方位角数值Azimuthi+1的差值作为当前帧窄带状图像的方位角测量偏移ΔAzimuthi,i为窄带状图像的帧数,
计算当前帧窄带状图像的深度数据Depthi与下一帧窄带状图像的深度数据Depthi+1的差值作为当前帧窄带状图像的深度测量偏移ΔDepthi,i为窄带状图像的帧数,
由于同一个钻孔视频图像中得到的窄带状图像的宽度都为一个定值W,也就是窄带状图像的宽度,故当前帧窄带状图像的方位角测量偏移ΔAzimuthi对应的方位像素测量偏移为Δwi=ΔAzimuthi*W/360=(Azimuthi+1-Azimuthi)*W/360。
另外,根据编码器的精度和勘察孔一般放线行走速度72米/小时,可以得出当前帧窄带状图像的深度测量偏移ΔDepthi对应的深度像素测量偏移为Δhi=ΔDepthi*k。
k为高清钻孔摄像的放线像素点速度,一般可以取值2000像素点/每米。
步骤3.2、若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值小于W/4时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为宽度匹配偏移;若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值大于等于W/4且小于W时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为方位像素测量偏移;若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值大于等于W时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为W。
若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值小于第一高度像素阈值(第一高度像素阈值小于H,优选0.5H)时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为高度匹配偏移;若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值大于等于第一高度像素阈值且小于第二高度像素阈值(优选的,第二高度像素阈值取值为H)时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为深度像素测量偏移;若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值大于等于第二高度像素阈值(H)时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为H。
据此达到匹配数据和记录数据互相对比矫正优中取优的效果,从而进一步提高匹配数据的正确性和最终图像数据准确率。
步骤4、窄带状图像快速拼接融合
根据宽度实际偏移和高度实际偏移对当前帧窄带状图像与下一帧窄带状图像进行拼接,具体为:
根据宽度实际偏移循环平移当前帧窄带状图像,矫正当前帧窄带状图像与下一帧窄带状图像在宽度方向上的偏移,并将循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分进行加权融合,循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分的像素高度为高度实际偏移。加权融合是指将循环平移后的当前帧窄带状图像上的像素点乘以第一加权系数与下一帧窄带状图像对应的像素点乘以第二加权系数之和。
自当前帧窄带状图像到下一帧窄带状图像的方向,循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分第一加权系数依次减小,第二加权系数依次增大,第一加权系数加上第二加权系数为1。
根据以上方式获得各个帧窄带状图像(除孔内全景视频中自第一帧钻孔图像对应的帧窄带状图像)的拼接获得融合拼接图像。
未做加权融合的图像(左图)和融合拼接图像(右图)部分区域放大后的效果对比图如图5所示。
在这个过程中,由于钻孔较深,视频图像数据很长很大,为了防止生成的图像过长而无法保存出图观看,融合拼接图像按照设定的深度长度分割为多张融合拼接子图像进行保存,本实施例中,针对本实例的4360张窄带状图像所对应的实际钻孔勘察深度为56.2米到59.3米,设定的深度长度为2米,最终形成2张融合拼接子图像,如图6所示。
步骤5、拼接图像优化处理
针对步骤4形成的多张融合拼接子图像,对每张融合拼接子图像进行图像增强,图像增强处理包括灰度拉伸和灰度均衡化,其中一张融合拼接子图像的处理效果如图7所示。图像灰度拉伸的目的是为了防止图像过暗或过亮,针对各张融合拼接子图像进行统一的灰度均衡化处理(图像直方图均衡化图像增强),使得像素过渡平缓。
另外,为了防止融合拼接子图像过大或过长,对图像增强处理后的融合拼接子图像进行长宽像素尺寸转化。使图像更加方便观看理解且符合审美观。本发明采用接近黄金比例尺的长宽比尺寸0.618来进行横纵比像素的缩放。
步骤6、拼接图像信息标注与柱状图生成
标注每张融合拼接子图像的方位角数据Azimuth和深度数据Depth,即进行深度刻度标注和东南西北(N-E-S-W-N)方位标识。如此同时,为了方便工程应用,根据东南西北方位角信息,分别以正东,正南,正西,正北四个方向生成钻孔岩心图,也就是钻孔柱状图。以高清视频图像为例,进行信息标注和柱状图生成之后某一处的最终效果图如图8所示。
到此为止,本发明所述方法的具体实现步骤和细节过程描述完毕,本发明实现了孔内全景视频图像的快速匹配融合成图过程,为实际钻孔勘察过程提供了极大的便利。本发明所属方法也能够实现大量高清视频图像数据的快递拼接融合成图,极大的改善了深部岩体结构孔内摄像勘察的实时性和高效性。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,包括以下步骤:
步骤1、通过孔内全景视频获得的各帧钻孔图像获得对应的各帧窄带状图像,获得各帧钻孔图像中指南针或电子罗盘的方位角数据Azimuth和深度编码器的深度数据Depth;
步骤2、特征检测与匹配,具体包括以下步骤:
步骤2.1、依次取三张相邻帧窄带状图像,分别定义为第一窄带状图像Img1、第二窄带状图像Img2和第三窄带状图像Img3;第一差图像ImgA为第二窄带状图像Img2和第一窄带状图像Img1的差值,即ImgA=Img2-Img1;第二差图像ImgB为第三窄带状图像Img3和第二窄带状图像Img2的差值,
步骤2.2、将第一差图像ImgA转化为第一灰度图像GrayA,将第二差图像ImgB转化为第二灰度图像GrayB,
步骤2.3、检测第一灰度图像GrayA中的第一张灰度图像特征点和第一张灰度图像特征描述算子,检测第二灰度图像GrayB中的第二张灰度图像特征点和第二张灰度图像特征描述算子,
步骤2.4、根据第一张灰度图像特征描述算子和第二张灰度图像特征描述算子计算各个第一张灰度图像特征点到各个第二张灰度图像特征点的汉明距离,
步骤2.5、最小汉明距离为最优匹配距离,最优匹配距离对应的第一张灰度图像特征点和第二张灰度图像特征点称为最优特征匹配点对,分别记为Ma和Mb;次最小汉明距离作为次优匹配距离,次优匹配距离对应的第一张灰度图像特征点和第二张灰度图像特征点称为次优特征匹配点对,分别记为Ma’和Mb’;
步骤2.6、最优特征匹配点对和次优特征匹配点对的均值作为平均特征匹配点对,
根据最优特征匹配点对或者平均特征匹配点对对应的第一张灰度图像特征点和第二张灰度图像特征点确定第二窄带状图像Img2和第三窄带状图像Img3上对应匹配像素点,
计算第二窄带状图像Img2的匹配像素点相对于第三窄带状图像Img3上的匹配像素点在宽度方向上的宽度匹配偏移,以及高度方向上的高度匹配偏移,
步骤3、根据方位角数据Azimuth和深度编码器的深度数据Depth计算窄带状图像的方位像素测量偏移和深度像素测量偏移,确定窄带状图像的宽度实际偏移和高度实际偏移,
步骤4、根据宽度实际偏移和高度实际偏移对当前帧窄带状图像与下一帧窄带状图像进行融合拼接。
2.根据权利要求1所述的一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,步骤1包括以下步骤:
识别钻孔图像的中心O(x,y)和钻孔图像内的钻孔孔壁环状图像的最大半径Rmax和最小半径Rmin,其中x和y分别为钻孔图像的横坐标和纵坐标,
在钻孔孔壁环状图像上,在半径为Rmin~Rmax的各个圆上分别采集W个像素点,每个圆上采集的W个像素点构成对应的像素行,根据各个像素行生成窄带状图像,窄带状图像最上一行至最下一行对应的半径从大到小,窄带状图像的宽度为W,高度为H,H=Rmax-Rmin。
3.根据权利要求1所述的一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,步骤3包括以下步骤:
步骤3.1、获得各帧窄带状图像的方位角数据Azimuth和深度数据Depth,计算当前帧窄带状图像的方位角数值Azimuthi与下一帧窄带状图像的方位角数值Azimuthi+1的差值作为当前帧窄带状图像的方位角测量偏移ΔAzimuthi,i为窄带状图像的帧数,
计算当前帧窄带状图像的深度数据Depthi与下一帧窄带状图像的深度数据Depthi+1的差值作为当前帧窄带状图像的深度测量偏移ΔDepthi
通过当前帧窄带状图像的方位角测量偏移ΔAzimuthi和当前帧窄带状图像的深度测量偏移ΔDepthi计算方位像素测量偏移和深度像素测量偏移,
步骤3.2、若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值小于W/4时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为宽度匹配偏移;若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值大于等于W/4且小于W时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为方位像素测量偏移;若当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度匹配偏移的绝对值大于等于W时,当前帧窄带状图像相对于下一帧窄带状图像在宽度方向上的宽度实际偏移为W,
若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值小于第一高度像素阈值时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为高度匹配偏移;若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值大于等于第一高度像素阈值且小于第二高度像素阈值时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为深度像素测量偏移;若当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度匹配偏移的绝对值大于等于第二高度像素阈值时,当前帧窄带状图像相对于下一帧窄带状图像在高度方向上的高度实际偏移为H。
4.根据权利要求3所述的一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,步骤3.1中的各帧窄带状图像的方位角数据Azimuth和深度数据Depth均经过平滑处理。
5.根据权利要求1所述的一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,所述的步骤4包括以下步骤:
根据宽度实际偏移循环平移当前帧窄带状图像,矫正当前帧窄带状图像与下一帧窄带状图像在宽度方向上的偏移,并将循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分进行加权融合,循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分的像素高度为高度实际偏移,
获得各个帧窄带状图像的拼接后的融合拼接图像,并将融合拼接图像按照设定的深度长度分割为多张融合拼接子图像。
6.根据权利要求5所述的一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,自当前帧窄带状图像到下一帧窄带状图像的方向,循环平移后的当前帧窄带状图像与下一帧窄带状图像在高度方向重叠的部分第一加权系数依次减小,第二加权系数依次增大,第一加权系数加上第二加权系数为1。
7.根据权利要求5所述的一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,还包括步骤5:对步骤4形成的多张融合拼接子图像,对每张融合拼接子图像进行图像增强和长宽像素尺寸转化。
8.根据权利要求7所述的一种孔内全景视频环状图像快速拼接融合成图方法,其特征在于,还包括步骤6:标注每张融合拼接子图像的方位角数据Azimuth和深度数据Depth,分别以正东,正南,正西,正北四个方向生成钻孔柱状图。
CN201910903069.8A 2019-09-24 2019-09-24 一种孔内全景视频环状图像快速拼接融合成图方法 Active CN110689512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910903069.8A CN110689512B (zh) 2019-09-24 2019-09-24 一种孔内全景视频环状图像快速拼接融合成图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910903069.8A CN110689512B (zh) 2019-09-24 2019-09-24 一种孔内全景视频环状图像快速拼接融合成图方法

Publications (2)

Publication Number Publication Date
CN110689512A true CN110689512A (zh) 2020-01-14
CN110689512B CN110689512B (zh) 2022-03-08

Family

ID=69110040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910903069.8A Active CN110689512B (zh) 2019-09-24 2019-09-24 一种孔内全景视频环状图像快速拼接融合成图方法

Country Status (1)

Country Link
CN (1) CN110689512B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077488A (zh) * 2021-04-02 2021-07-06 昆明理工大学 一种河流表面流速检测方法和装置
CN114511048A (zh) * 2022-04-20 2022-05-17 深圳市海清视讯科技有限公司 图像处理方法、装置、设备及***
CN114584747A (zh) * 2022-03-04 2022-06-03 大连海事大学 一种360°环幕无缝投影软矫正方法
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN115861588A (zh) * 2022-12-26 2023-03-28 贵州大学 一种煤矿断层识别方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750860B1 (en) * 1998-12-28 2004-06-15 Microsoft Corporation Rendering with concentric mosaics
CN103517041A (zh) * 2013-09-29 2014-01-15 北京理工大学 基于多相机旋转扫描的实时全景监控方法和装置
CN105957015A (zh) * 2016-06-15 2016-09-21 武汉理工大学 一种螺纹桶内壁图像360度全景拼接方法及***
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视***中的图像拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750860B1 (en) * 1998-12-28 2004-06-15 Microsoft Corporation Rendering with concentric mosaics
CN103517041A (zh) * 2013-09-29 2014-01-15 北京理工大学 基于多相机旋转扫描的实时全景监控方法和装置
CN105957015A (zh) * 2016-06-15 2016-09-21 武汉理工大学 一种螺纹桶内壁图像360度全景拼接方法及***
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视***中的图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUANYING WANG ET AL.: "A system for measuring borehole diametric deformation based on mechanical contact and micro-optical imaging", 《MEASUREMENT》 *
郑轩: "基于全景相机组的立体视觉***设计与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077488A (zh) * 2021-04-02 2021-07-06 昆明理工大学 一种河流表面流速检测方法和装置
CN113077488B (zh) * 2021-04-02 2022-07-01 昆明理工大学 一种河流表面流速检测方法和装置
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN114972019B (zh) * 2021-04-14 2024-05-24 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN114584747A (zh) * 2022-03-04 2022-06-03 大连海事大学 一种360°环幕无缝投影软矫正方法
CN114584747B (zh) * 2022-03-04 2023-10-31 大连海事大学 一种360°环幕无缝投影软矫正方法
CN114511048A (zh) * 2022-04-20 2022-05-17 深圳市海清视讯科技有限公司 图像处理方法、装置、设备及***
CN115861588A (zh) * 2022-12-26 2023-03-28 贵州大学 一种煤矿断层识别方法及***

Also Published As

Publication number Publication date
CN110689512B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN110689512B (zh) 一种孔内全景视频环状图像快速拼接融合成图方法
CN106485751B (zh) 应用于基桩检测中的无人机摄影成像及数据处理方法及***
CN103440629B (zh) 激光标记自动跟踪的视频引伸计的数字图像处理方法
CN107807387A (zh) 基于神经网络的地震初至波走时获取方法
CN103149087A (zh) 一种基于随动视窗与数字图像的非接触式实时应变测量方法
CN113689401A (zh) 一种直拉硅单晶炉晶棒直径检测方法及其装置
CN113610060B (zh) 一种结构体裂缝亚像素检测方法
CN117570881B (zh) 一种国土资源调查用土地面积测量***及测量方法
US20160307062A1 (en) Method and device for determining regions to be detected on display motherboard
CN106296678B (zh) 基于钻孔光学成像技术的rqd分析方法
CN113689451A (zh) 一种碳板边界提取方法、装置、存储介质和电子设备
CN113569647A (zh) 一种基于ais的船舶高精度坐标映射方法
Zou et al. The fast formation of high-precision panoramic image for the processing of borehole camera video of deep rock mass structures
CN104156977A (zh) 基于多线列时差扫描扩展采样的点目标运动速度探测方法
CN112161581B (zh) 一种考虑管片端面偏角的机器视觉盾尾间隙动态测量方法
CN113850868A (zh) 一种波浪爬高图像识别方法
CN110728691B (zh) 一种基于多时相水边线的海岸线自动判别方法
CN117232396A (zh) 一种高速生产线产品质量视觉检测***及方法
CN112116644A (zh) 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN113807238B (zh) 一种河道水面漂浮物面积的视觉测量方法
CN108898080A (zh) 一种基于山脊线邻域评价模型的裂缝连接方法
CN110533698B (zh) 一种基于视觉检测的基坑施工桩检测控制方法
CN108734707B (zh) 一种基于红外线激光和3d相机的手机喇叭泡棉有无检测方法
CN112164118A (zh) 一种地理图像处理***及方法
CN111724340A (zh) 农田地头边界线视觉检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant