CN117593349A - 图像变形监测方法、装置、设备及存储介质 - Google Patents
图像变形监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117593349A CN117593349A CN202311583771.3A CN202311583771A CN117593349A CN 117593349 A CN117593349 A CN 117593349A CN 202311583771 A CN202311583771 A CN 202311583771A CN 117593349 A CN117593349 A CN 117593349A
- Authority
- CN
- China
- Prior art keywords
- image
- determining
- monitoring
- displacement
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000006073 displacement reaction Methods 0.000 claims abstract description 80
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 230000002776 aggregation Effects 0.000 claims abstract description 24
- 238000004220 aggregation Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000012806 monitoring device Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理领域，尤其涉及一种图像变形监测方法、装置、设备及存储介质。所述方法包括：通过双目相机分别采集包括监测目标的监测图像，所述监测图像包括第一图像和第二图像；确定所述第一图像和所述第二图像之间的汉明距离，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，根据代价聚合结果确定监测图像的深度信息；通过归一化互相关准则确定位移初始值，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值。可以对监测目标进行高精度的深度和平面位移的监测，有利于提升监测目标形变的监测精度。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种图像变形监测方法、装置、设备及存储介质。
背景技术
在现代化城市的建设与发展中，建筑、桥梁等目标结构物的稳定性及安全性至关重要。这些结构物在长期使用过程中，由于各种自然因素、人为因素等的影响，均有可能产生形变。而这种形变如果超过设计范围，就可能对结构物的安全性造成威胁，甚至引发灾难性后果。因此，对这类结构物进行定期的形变监测具有极其重要的意义。
尽管当前已有不少学者针对基于图像的变形监测算法展开研究，但这些方法大多只关注单像素匹配，并未考虑到周围像素的整体变化，以及物体深度方向上的位移，不利于进一步提升目标结构物的监测精度。
发明内容
有鉴于此，本申请实施例提供了一种图像变形监测方法、装置、设备及存储介质，以解决现有技术中的变形监测方法不利于进一步提升目标结构物的监测精度的问题。
本申请实施例的第一方面提供了一种图像变形监测方法，所述方法包括：
通过双目相机分别采集包括监测目标的监测图像，所述监测图像包括第一图像和第二图像；
确定所述第一图像和所述第二图像之间的汉明距离，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，根据代价聚合结果确定监测图像的深度信息；
通过归一化互相关准则确定位移初始值，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值。
结合第一方面，在第一方面的第一种可能实现方式中，确定所述第一图像和所西安市第二图像之间的汉明距离，包括：
对所述第一图像和所述第二图像进行普查变换，确定所述第一图像和所述第二图像的普查变换结果；
根据所述普查变换结果计算所述第一图像和所述第二图像的汉明距离。
结合第一方面，在第一方面的第二种可能实现方式中，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，包括：
确定所述监测图像的全局能量函数；
以全局能量函数最小为优化目标，确定优化后的代价矩阵。
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，根据代价聚合结果确定监测图像的深度信息，包括：
根据所述第一图像和所述第二图像的代价矩阵，确定所述第一图像和所述第二图像的像素的最优视差；
根据所述最优视差和所述最优视差的相邻视差进行曲线拟合，根据曲线的极值点确定最终视差；
根据所述最终视差确定所述监测图像的深度信息。
结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，在根据代价聚合结果确定监测图像的深度信息之前，所述方法还包括：
对所述双目相机进行标定，确定所述双目相机的标定参数；
根据所述最终视差确定所述监测图像的深度信息，包括：
根据所述标定参数和所述最终视差，确定所述监测图像的深度信息。
结合第一方面，在第一方面的第五种可能实现方式中，通过归一化互相关准则确定位移初始值，包括：
对所述第一图像和所述第二图像进行子区划分；
计算所述第一图像和所述第二图像中所有子区的归一化互相关值，根据所述归一化互相关值最高的子区的像素位移，确定所述位移初始值。
结合第一方面的第五种可能实现方式，在第一方面的第六种可能实现方式中，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值，包括：
根据所述位移初始值确定参考图像；
对所述参考图像和当前图像进行b样条插值，得到插值后的灰度图像；
通过逆合成高斯牛顿法对插值后的灰度图像的子区进行迭代计算，确定所述监测图像的平面位移值。
本申请实施例的第二方面提供了一种图像变形监测装置，所述装置包括：
图像采集单元，用于通过双目相机分别采集包括监测目标的监测图像，所述监测图像包括第一图像和第二图像；
深度信息确定单元，用于确定所述第一图像和所述第二图像之间的汉明距离，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，根据代价聚合结果确定监测图像的深度信息；
平面位移值确定单元，用于通过归一化互相关准则确定位移初始值，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值。
本申请实施例的第三方面提供了图像变形监测设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例通过双目相机采集包括监测目标的监测图像，计算监测图像中的第一图像和第二图像之间的汉明距离，基于汉明距离进行代价聚合，确定监测图像的深度信息，通过归一化互相关准确确定位移初始值，结合迭代算法确定监测图像的平面位移值，从而可以对监测目标进行高精度的深度和平面位移的监测，有利于提升监测目标形变的监测精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像变形监测方法的实现流程示意图；
图2是本申请实施例提供的一种确定汉明距离的过程示意图；
图3是本申请实施例提供的一种迭代优化过程示意图；
图4是本申请实施例提供的一种实验场景示意图；
图5是本申请实施例提供的一种实验数据对比示意图；
图6是本申请实施例提供的一种图像变形监测装置的示意图；
图7是本申请实施例提供的图像变形监测设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
为了能够监测目标结构物的稳定性和安全性，在结构物的使用过程中，需要监测结构物是否产生形变，以及判断所产生的形变是否超过设计范围。目前对结构物进行监测时，通常针对单像素匹配，没有考虑到周围像素的整体变化。同时大多只能计算平面位移，并未考虑物体深度方上的位移，不利于提升结构物的监测精度。
基于此，本申请实施例提出了一种图像变形监测方法，如图1所示，该方法包括：
在S101中，通过双目相机分别采集包括监测目标的监测图像，所述监测图像包括第一图像和第二图像。
在双目相机固定安装后，可以先对双目相机进行标定和校准。比如，可以采用张正友标定算法，对单个相机的焦距f和畸变参数进行标定。在此基础上，进一步对双目相机进行校准。
基于标定和校准后的双目相机，比如可以为第一相机和第二相机，分别采集监测图像。第一相机采集得到第一图像，第二相机采集得到第二图像。可以基于第一相机和第二相机所采集的图像，结合相机的标定参数，确定图像中的像素点与相机的距离，从而得到监测目标与相机的距离。
在S102中，确定所述第一图像和所述第二图像之间的汉明距离，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，根据代价聚合结果确定监测图像的深度信息。
根据第一图像和第二图像确定监测图像的深度信息时，可以基于双目视觉的半全局立体匹配方法进行同名点匹配。立体匹配的步骤可以包括代价计算、代价聚合和视差计算。
其中，代价计算过程中，可以采用组合计算的方法计算代价值，具体计算步骤为对首先像素进行普查变换(Census transform)，确定第一图像(左影像)和第二图像(右影像)的普查变换结果，然后根据普查变换结果计算变换后第一图像和第二图像的像素的汉明(Hamming)距离值作为最终代价值。
普查变换公式如式1所示：
其中，Cs为普查变换结果，I(u,v)为窗口中心像素处的灰度值。为比特位的逐位连接运算，ξ运算规则由公式2定义。
接下来计算汉明距离，本申请汉明距离计算，即计算两个代价矩阵对应位置处的二进制字符串在对应位置不同字符的个数，汉明距离计算公式如式3所示，为：
C(u,v,d)＝Hamming(Cleft(u,v),Cright(u-d,v) (3)
其中，C(u,v,d)为汉明距离，u，v分别为图像中的像素的横坐标和纵坐标，d为两像素间距，Cleft表示第一图像，即左图像的代价值、Cright表示第二图像，即右图像的代价值，hamming表示进行汉明计算。
如图2所示，第一图像和第二图像经过普查变换后，得到普查变换后的第一图像矩阵和第二图像矩阵，根据第一图像矩阵和第二图像矩阵计算得到第一图像与第二图像的汉明距离。
代价聚合的目的是寻找第一图像和第二图像中的每个像素的最优代价值，使得第一图像和第二图像的全局能量函数最小。
本申请实施例中的全局能量函数可以如式4所示：
其中，E(D)表示全局能量函数计算的能量值，C(,)为匹配代价，T[]返回0或1，成立返回1，不成立返回0。公式的第一项是数据项，表示当视差图为D时，所有像素的匹配代价的累加，p表示当前视差图的像素，q表示像素p的邻域像素，Dp表示像素p的视差，Dq表示像素q的视差，第二项和第三项是平滑项，表示对像素p的Np邻域内的所有像素q进行惩罚。P1，P2为惩罚系数，其中第二项惩罚力度较小；第三项惩罚力度较大(P2>P1)。较小的惩罚项可以让算法能够适应视差变化小的情形，如倾斜的平面或者连续的曲面，较大的惩罚项可以让算法正确处理视差非连续情况。
为了使能量函数得到最优解，可以采用较为高效的能量最优策略，包括如图像分割方法、置信度传播方法或合作优化方法等算法使能量函数得到最优解。
在可能的实现方式中，本申请可以采用基于单方向动态规划的代价聚合方法，像素p沿着某条路径r的路径代价计算方法如式5所示：
公式里Lr表示当前优化的路径；Lr(p-r,d)表示这条像素p沿着路径r的路径上的相邻点视差为d时候的代价聚合值；公式右侧的第一项是该像素原始代价；公式右侧的第二项是平滑项，公式右侧的第三项是为了保证新的路径代价值Lr不超过一定数值上限。C(p,d)表示表示表示当前像素p的匹配代价，i为正整数，P1、P2分别表示第二项和第三项的惩罚项，表示像素p沿着路径r的路径上的相邻视点为i所有代价值的最小值。
代价聚合后，可以得到了优化后的代价矩阵。
根据代价计算的原理，第一图像和第二图像的像素之间的代价值越小，说明两像素相关度越高，因此本申请可以采用WTA(英文全称为Winner Take All，中文全称为赢家通吃)算法，即第一图像中的某个像素在第二图像的匹配范围内的像素视差对应的代价值中，选择最小代价值所对应的视差作为最优视差。为了使视差计算达到亚像素精度，本申请可以采用二次曲线内插的方法，对最优视差的代价值以及前后两个相邻的视差的代价值进行二次曲线拟合，拟合的曲线的极值点所对应的视差值，即为最终视差值。在计算视差后，需要计算每个像素对应的深度信息，通过视差计算深度的计算公式可以如式6所示：
根据相机成像原理，深度Z可根据XR-XT(第一图像与第二图像的像素的视差)，f(相机焦距)，B(两相机中心距)求得。获得深度图后在感兴趣区域(ROI)内计算目标区域的深度平均值，比较位移前后目标深度值的差值作为目标垂直摄影平面的位移。
在S103中，通过归一化互相关准则确定位移初始值，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值。
本申请可以基于高斯牛顿迭代法进行平面位移计算，迭代计算需要获得位移初始值，因此要进行位移初始值计算。
本申请可以基于相关函数获得整像素的位移初始值，相关函数是比较两者之间的像素灰度值，本申请可以使用相关函数中的归一化互相关准则进行计算，公式如式7所示：
式中f和g分别是参考图和当前图的函数表示，代表每一坐标的灰度值，fm和gm分别是最终参考图和当前图子区的平均灰度值，定义为：
式中n(S)是第一图像和第二图像所划分的子区S中的像素数，i，j，表示初始参考图子区中的x和y坐标、/>表示当前图中的x和y坐标、n(S)分别表示子区S中的像素数，Ccc表示归一化互相关准则。
式7在Ccc接近1时表示匹配良好。对参考影像(或参考图像)和当前影像(或当前图像)中所有的子区进行归一化互相关计算，选取匹配度最高的子区计算其像素位移，并以此作为位移初始值。
在计算整像素位移初始值后，为了在高斯牛顿迭代中获得亚像素精度，本申请对参考图和当前图像进行五N次b样条插值(比如可以进行3-7次b样条插值)。b样条插值的主要目的可用b样条基样条的线性组合来近似图像的灰度，b样条插值可以表示为：
g(x)＝∑k∈Zc(k)βn(x-k) (10)
其中c(k)为整数k处的b样条系数值，βn(x-k)表示x-k处的b样条核值，g(x)表示x处的插补信号值。n是b样条核，本申请将b设为5(五次核)，Z是整数的集合。b样条核的方程为
本申请通过对式11做离散傅立叶变换，求得b样条系数，利用一维b样条系数值插值灰度值，得到插值后的灰度图像。
在计算位移初始值并插值后，本申请可以基于子区匹配算法迭代获得精确的形变向量p。本申请不同于传统的图像位移检测算法的单像素匹配，只考虑了平面刚***移，在工程应用中会造成位移计算不准确。鉴于物***移的不规律性和复杂性，同时考虑到了形变后测量区域会产生剪切和放大的情况，因此本申请通过对图像变形子区的迭代匹配，综合考虑了图像子区中多像素的位移，计算位移相较于单像素匹配更准确。本申请通过图像子区进行逆合成高斯牛顿法(英文全称为Inverse compositional Gauss-Newton method)迭代，对变形前后的子区进行精准匹配，从而获取子区精确位移。迭代使用函数CLS，CLS可以是归一化最小二乘准则，如式12所示：
其中，CLS被定义为接受单个参数p的函数。本申请使用迭代方程是通过CLS在p0附近的二阶泰勒级数展开得到，如式13。
式中p0包含初始的形变参数，通过确定Δp的导数在式中何处为零向量来计算Δp的值。其中，是CLs在p0处的梯度，/>是CLs在p0处的黑塞(hessian)矩阵。通过对式13求导求Δp的显式解，同时使用p0+Δp的来接近要求的解，如图3所示，通过不断迭代，直到找到足够接近的解。本申请使用的迭代优化方程为牛顿-拉夫逊迭代式，如式13，简化后得到式15。
上式可通过hessian矩阵近似，然后成为高斯牛顿(Gauss-Newton)迭代公式。在通过高斯牛顿法对全图位移进行迭代计算后就完成了平面位移的计算。在量测每个像素对应的真实距离后，即可获取ROI(英文全称为Region of Interest，中文全称为感兴趣区域)区域内标靶或被摄物体的平面位移值。
为了验证本申请实施例所示的图像变形检测算法，提供了如图4所示的验证场景。如图4所示，该验证场景采用可变基线同帧双目相机(CCD照相机)，为了监测更远距离的物体，加装了可变焦镜头。其中左摄像头用于DIC(数字图像相关法)算法监测物体XY方向上的位移，双目摄像头用于测量z方向上的位移。本实验中的监测标靶采用定制三轴位移标靶，标靶可通过旋钮在滑轨上三轴自由调节，并配有制动螺丝。标靶滑轨上标有游标卡尺刻度，读数精度0.1mm。使用时先将刻度调节至预设位置并记录，然后锁紧制动螺丝，待图像变形监测***和全站仪采集数据完成后重复上述步骤。在测量时可在标靶上粘贴位移监测标靶或者散斑图像。通过计算得到如图5所示的精度验证结果。从图5可知，X轴位移差值和Y轴位移差值具有非常高的精度，而且能够有效的获取Z轴位移差值，可以更为可靠的对结构物进行安全监测。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图6为本申请实施例提供的一种图像变形监测装置的示意图。如图6所示，该装置包括：
图像采集单元601，用于通过双目相机分别采集包括监测目标的监测图像，所述监测图像包括第一图像和第二图像；
深度信息确定单元602，用于确定所述第一图像和所述第二图像之间的汉明距离，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，根据代价聚合结果确定监测图像的深度信息；
平面位移值确定单元603，用于通过归一化互相关准则确定位移初始值，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值。
在可能的实现方式中，深度信息确定单元包括：
变换子单元，用于对所述第一图像和所述第二图像进行普查变换，确定所述第一图像和所述第二图像的普查变换结果；
距离确定子单元，用于根据所述普查变换结果计算所述第一图像和所述第二图像的汉明距离。
在可能的实现方式中，所述深度信息确定单元包括：
全局能量函数确定子单元，用于确定所述监测图像的全局能量函数；
代价矩阵优化子单元，用于以全局能量函数最小为优化目标，确定优化后的代价矩阵。
在可能的实现方式中，所述深度信息确定单元包括：
最优视差确定单元，用于根据所述第一图像和所述第二图像的代价矩阵，确定所述第一图像和所述第二图像的像素的最优视差；
最终视差确定子单元，用于根据所述最优视差和所述最优视差的相邻视差进行曲线拟合，根据曲线的极值点确定最终视差；
深度信息确定子单元，用于根据所述最终视差确定所述监测图像的深度信息。
在可能的实现方式中，所述装置包括：
标定单元，用于对所述双目相机进行标定，确定所述双目相机的标定参数；
所述深度信息确定子单元用于根据所述标定参数和所述最终视差，确定所述监测图像的深度信息。
在可能的实现方式中，所述平面位移值确定单元包括：
子区划分子单元，用于对所述第一图像和所述第二图像进行子区划分；
位移初始值确定子单元，用于计算所述第一图像和所述第二图像中所有子区的归一化互相关值，根据所述归一化互相关值最高的子区的像素位移，确定所述位移初始值。
在可能的实现方式中，所述平面位移值确定单元包括：
参考图像确定子单元，用于根据所述位移初始值确定参考图像；
插值子单元，用于对所述参考图像和当前图像进行b样条插值，得到插值后的灰度图像；
迭代子单元，用于通过逆合成高斯牛顿法对插值后的灰度图像的子区进行迭代计算，确定所述监测图像的平面位移值。
图6所示的图像变形监测装置，与图1所示的变形监测方法对应。
图7是本申请实施例提供的图像变形监测设备的示意图。如图7所示，该实施例的图像变形监测设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如图像变形监测程序。所述处理器70执行所述计算机程序72时实现上述各个图像变形监测方法实施例中的步骤。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述图像变形监测设备7中的执行过程。
所述图像变形监测设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像变形监测设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是图像变形监测设备7的示例，并不构成对图像变形监测设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像变形监测设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述图像变形监测设备7的内部存储单元，例如图像变形监测设备7的硬盘或内存。所述存储器71也可以是所述图像变形监测设备7的外部存储设备，例如所述图像变形监测设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述图像变形监测设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述图像变形监测设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像变形监测方法，其特征在于，所述方法包括：
通过双目相机分别采集包括监测目标的监测图像，所述监测图像包括第一图像和第二图像；
确定所述第一图像和所述第二图像之间的汉明距离，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，根据代价聚合结果确定监测图像的深度信息；
通过归一化互相关准则确定位移初始值，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值。
2.根据权利要求1所述的方法，其特征在于，确定所述第一图像和所西安市第二图像之间的汉明距离，包括：
对所述第一图像和所述第二图像进行普查变换，确定所述第一图像和所述第二图像的普查变换结果；
根据所述普查变换结果计算所述第一图像和所述第二图像的汉明距离。
3.根据权利要求1所述的方法，其特征在于，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，包括：
确定所述监测图像的全局能量函数；
以全局能量函数最小为优化目标，确定优化后的代价矩阵。
4.根据权利要求3所述的方法，其特征在于，根据代价聚合结果确定监测图像的深度信息，包括：
根据所述第一图像和所述第二图像的代价矩阵，确定所述第一图像和所述第二图像的像素的最优视差；
根据所述最优视差和所述最优视差的相邻视差进行曲线拟合，根据曲线的极值点确定最终视差；
根据所述最终视差确定所述监测图像的深度信息。
5.根据权利要求4所述的方法，其特征在于，在根据代价聚合结果确定监测图像的深度信息之前，所述方法还包括：
对所述双目相机进行标定，确定所述双目相机的标定参数；
根据所述最终视差确定所述监测图像的深度信息，包括：
根据所述标定参数和所述最终视差，确定所述监测图像的深度信息。
6.根据权利要求1所述的方法，其特征在于，通过归一化互相关准则确定位移初始值，包括：
对所述第一图像和所述第二图像进行子区划分；
计算所述第一图像和所述第二图像中所有子区的归一化互相关值，根据所述归一化互相关值最高的子区的像素位移，确定所述位移初始值。
7.根据权利要求6所述的方法，其特征在于，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值，包括：
根据所述位移初始值确定参考图像；
对所述参考图像和当前图像进行b样条插值，得到插值后的灰度图像；
通过逆合成高斯牛顿法对插值后的灰度图像的子区进行迭代计算，确定所述监测图像的平面位移值。
8.一种图像变形监测装置，其特征在于，所述装置包括：
图像采集单元，用于通过双目相机分别采集包括监测目标的监测图像，所述监测图像包括第一图像和第二图像；
深度信息确定单元，用于确定所述第一图像和所述第二图像之间的汉明距离，根据所述汉明距离对所述第一图像和所述第二图像进行代价聚合，根据代价聚合结果确定监测图像的深度信息；
平面位移值确定单元，用于通过归一化互相关准则确定位移初始值，根据所述位移初始值和迭代算法，对所述监测图像进行迭代计算，确定所述监测图像的平面位移值。
9.一种图像变形监测设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311583771.3A CN117593349A (zh) | 2023-11-24 | 2023-11-24 | 图像变形监测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311583771.3A CN117593349A (zh) | 2023-11-24 | 2023-11-24 | 图像变形监测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117593349A true CN117593349A (zh) | 2024-02-23 |
Family
ID=89911149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311583771.3A Pending CN117593349A (zh) | 2023-11-24 | 2023-11-24 | 图像变形监测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593349A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114267155A (zh) * | 2021-11-05 | 2022-04-01 | 国能大渡河革什扎水电开发有限公司 | 一种基于视频识别技术的地质灾害监测预警*** |
| CN115063599A (zh) * | 2022-06-16 | 2022-09-16 | 昆明理工大学 | 一种应用于中小型水库大坝监测的小波光流估计与图像相关变形识别方法 |
| CN115100153A (zh) * | 2022-06-29 | 2022-09-23 | 武汉工程大学 | 基于双目匹配的管内检测方法、装置、电子设备及介质 |
-
2023
- 2023-11-24 CN CN202311583771.3A patent/CN117593349A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114267155A (zh) * | 2021-11-05 | 2022-04-01 | 国能大渡河革什扎水电开发有限公司 | 一种基于视频识别技术的地质灾害监测预警*** |
| CN115063599A (zh) * | 2022-06-16 | 2022-09-16 | 昆明理工大学 | 一种应用于中小型水库大坝监测的小波光流估计与图像相关变形识别方法 |
| CN115100153A (zh) * | 2022-06-29 | 2022-09-23 | 武汉工程大学 | 基于双目匹配的管内检测方法、装置、电子设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 三木视觉: "2D-DIC 二维数字图像相关法原理介绍——以开源算法Ncorr为例", pages 1 - 5, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/146775568> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
| CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| CN107230225B (zh) | 三维重建的方法和装置 | |
| JP4382797B2 (ja) | 対応点探索方法および３次元位置計測方法 | |
| CN112927280B (zh) | 深度图像的获取方法及装置、单目散斑结构光*** | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| CN110345875B (zh) | 标定及测距方法、装置、电子设备及计算机可读存储介质 | |
| CN112927306B (zh) | 拍摄装置的标定方法、装置及终端设备 | |
| US11651581B2 (en) | System and method for correspondence map determination | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| CN112085771A (zh) | 图像配准方法、装置、终端设备及计算机可读存储介质 | |
| Mei et al. | Radial lens distortion correction using cascaded one-parameter division model | |
| CN111476812A (zh) | 地图分割方法、装置、位姿估计方法和设备终端 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| Douterloigne et al. | On the accuracy of 3D landscapes from UAV image data | |
| CN112102378B (zh) | 图像配准方法、装置、终端设备及计算机可读存储介质 | |
| CN113838069A (zh) | 基于平面度约束的点云分割方法和*** | |
| CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
| CN109902695B (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
| CN110470216B (zh) | 一种三镜头高精度视觉测量方法及装置 | |
| CN117058008A (zh) | 遥感影像几何与辐射一体化校正方法、装置、设备及介质 | |
| Tjahjadi | Photogrammetric area-based least square image matching for surface reconstruction | |
| US10453206B2 (en) | Method, apparatus for shape estimation, and non-transitory computer-readable storage medium | |
| CN117593349A (zh) | 图像变形监测方法、装置、设备及存储介质 | |
| KR20200082854A (ko) | 스테레오 영상의 정합 방법 및 이를 수행하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |