CN112907748B - 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法 - Google Patents

一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法 Download PDF

Info

Publication number
CN112907748B
CN112907748B CN202110345048.6A CN202110345048A CN112907748B CN 112907748 B CN112907748 B CN 112907748B CN 202110345048 A CN202110345048 A CN 202110345048A CN 112907748 B CN112907748 B CN 112907748B
Authority
CN
China
Prior art keywords
equal
image
depth image
shear wave
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110345048.6A
Other languages
English (en)
Other versions
CN112907748A (zh
Inventor
闫涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangbai Technology Transfer Shanxi Co ltd
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202110345048.6A priority Critical patent/CN112907748B/zh
Publication of CN112907748A publication Critical patent/CN112907748A/zh
Application granted granted Critical
Publication of CN112907748B publication Critical patent/CN112907748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法。包括：步骤1，采集待测场景的图像序列；步骤2，设置非降采样剪切波变换与聚类算法的参数；步骤3，运用非降采样剪切波变换将图像序列变换为多个不同尺度与方向的高频系数；步骤4，所有高频系数映射为多幅深度图像；步骤5，分别将每幅深度图像的灰度共生矩阵的对比度、相关性、能量、逆方差和熵五维向量作为深度图像的纹理特征；步骤6，运用K均值聚类算法得到K个聚类结果；步骤7，选择不同聚类结果中深度图像平均梯度最小的类；步骤8，计算平均梯度最小类中深度图像的均值得到待测场景的三维形貌重建结果。本发明能够根据场景实现最优的三维形貌重建结果。

Description

一种基于非降采样剪切波变换与深度图像纹理特征聚类的三 维形貌重建方法
技术领域
本发明属于三维重建领域，具体涉及一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法。
背景技术
基于图像聚焦信息测量待测场景三维形貌的方法普遍具有硬件设备依赖性低、三维重建算法易于并行、重建***可移植性强等优势，已被广泛应用于微细制造领域的零件缺陷检测与移动成像设备的智能变焦等领域。
现阶段基于图像聚焦信息的三维形貌重建方法主要集中在图像聚焦评价指标的设计与形貌重建算法的构建两方面。图像聚焦评价指标作为三维形貌重建方法的核心环节，其对图像聚焦信息提取的准确性直接决定三维重建结果的好坏，典型的图像聚焦评价指标可以分为空间域和频率域两大类，其中空间域方法主要利用时域变换方法从图像像素的层面确定当前像素点是否处于聚焦区域范围，然后通过聚合全部聚焦像素的位置信息得到待测场景的三维形貌重建结果，此类指标可以大体分为拉普拉斯变换、梯度变换以及统计量估计三大类；频率域类方法则首先将图像变换为高低频分量，然后通过挖掘高低频分量与深度图像间的关联关系得到三维形貌重建结果，这类方法主要包括傅里叶变换和小波变换两大类。而形貌重建算法主要用于克服图像序列的采样间隔给重建结果带来的非连续性影响，主要代表性方法为高斯拟合。
通过了解研究现状，我们认为该领域方法主要面临以下挑战：现有的三维形貌重建方法通常仅能对单一场景进行三维重建，无法适用于其他场景的三维重建任务，即不同场景三维形貌重建效果的好坏取决于三维形貌重建方法中图像聚焦评价指标选择的准确性。因此，如何提出一种场景自适应的图像聚焦评价指标是三维形貌重建领域面临的一个重要难题。
综上可知，我们认为如何根据场景中图像特性选择图像聚焦评价指标是解决上述问题的关键。本专利引入非降采样剪切波变换克服传统三维形貌重建方法的聚焦评价指标的单一性问题，通过非降采样剪切波变换可以得到覆盖图像中任意方向与尺度的多个图像聚焦评价指标，基于上述评价指标得到不同尺度与方向的多个深度图像，然后提出一种基于深度图像纹理特征的聚类方法得到表征待测场景的最优三维重建结果。
发明内容
为克服上述技术中存在的问题，本发明的目的是提供一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法。
本发明所采取的技术方案是：一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法，包括以下步骤：
步骤1，等间隔调节相机与待测场景间的距离获取待测场景不同景深的图像序列
Figure BDA0003000546680000021
其中i代表图像数其取值范围是1≤i≤N，(x,y)表示图像序列的坐标位置其范围为0≤x,y≤M-1；
步骤2，将非降采样剪切波变换的最大分解尺度设置为J，最大方向数设置为L，设置非降采样剪切波变换的滤波器，在聚类算法中设置聚类个数K，距离度量标准为欧式距离；
步骤3，对步骤1中的图像序列
Figure BDA0003000546680000022
进行非降采样剪切波变换(NSST)，如式(1)所示，每幅图像可以得到J×L个不同尺度与方向的高频分解系数；
Figure BDA0003000546680000023
其中j代表尺度数其取值范围是1≤j≤J，l代表方向数其取值范围是1≤l≤L，
Figure BDA0003000546680000024
表示第i幅图像在尺度j和方向l的高频分解系数，ihigh表示高频系数
Figure BDA0003000546680000025
的下标其取值范围为1≤ihigh≤N，NSST表示非降采样剪切波变换；
步骤4，按照式(2)将J×L个不同尺度与方向的高频系数
Figure BDA0003000546680000026
映射为J×L个不同尺度与方向的深度图像
Figure BDA0003000546680000027
Figure BDA0003000546680000028
其中ihigh表示第i幅图像对应的第ihigh个高频系数其取值范围是1≤ihigh≤N，
Figure BDA0003000546680000029
表示求解高频系数下标ihigh的函数，abs(·)表示绝对值函数；
步骤5，计算每幅深度图像
Figure BDA0003000546680000031
的灰度共生矩阵，并根据式(3)将灰度共生矩阵的对比度rCon、相关性rCor、能量rEne、逆方差rHom和熵rEnt作为深度图像的五维特征向量，J×L幅深度图像共得到J×L个五维特征向量；
Figure BDA0003000546680000032
其中GLCM(·)表示灰度共生矩阵的计算函数，Vj,l(·)表示第j个尺度l个方向的深度图像的特征向量；
步骤6，对步骤5得到的J×L个五维特征向量根据式(4)的K均值聚类算法进行聚类，得到K个聚类结果{C1,C2,…,CK}；
Figure BDA0003000546680000033
其中Kmeans(·)表示K均值聚类算法，类C1共包含
Figure BDA0003000546680000034
个深度图像集合
Figure BDA0003000546680000035
依此类推，类CK共包含
Figure BDA0003000546680000036
个深度图像集合
Figure BDA0003000546680000037
Figure BDA0003000546680000038
步骤7，计算步骤6中得到的所有深度图像类中的平均梯度，并按照式(5)选择平均梯度最小的类Cs作为最终的深度图像类；
Figure BDA0003000546680000039
其中
Figure BDA00030005466800000310
表示求解深度图像类下标m的函数，m的取值范围为1≤m≤K，Gradient(·)为梯度函数，s为平均梯度最小类的序号；
步骤8，根据式(6)计算步骤7得到的平均梯度最小类Cs中所有图像的平均值，得到待测场景最终的三维形貌重建结果
Figure BDA00030005466800000311
Figure BDA00030005466800000312
其中
Figure BDA0003000546680000041
为平均梯度最小类Cs中深度图像的数量。
本发明的方法能够根据不同待测场景得到适合场景的最佳三维形貌重建结果。
附图说明
图1是一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法的流程图；
图2是一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法的示意图。
具体实施方式
如图1、图2所示，本实施例所述一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法，包括以下步骤：
步骤1，等间隔调节相机与待测场景间的距离获取待测场景不同景深的图像序列
Figure BDA0003000546680000042
其中i代表图像数其取值范围是1≤i≤N，(x,y)表示图像序列的坐标位置其范围为0≤x,y≤M-1；
步骤2，将非降采样剪切波变换的最大分解尺度设置为J，最大方向数设置为L，设置非降采样剪切波变换的滤波器，在聚类算法中设置聚类个数K，距离度量标准为欧式距离；
步骤3，对步骤1中的图像序列
Figure BDA0003000546680000043
进行非降采样剪切波变换(NSST)，如式(1)所示，每幅图像可以得到J×L个不同尺度与方向的高频分解系数；
Figure BDA0003000546680000044
其中j代表尺度数其取值范围是1≤j≤J，l代表方向数其取值范围是1≤l≤L，
Figure BDA0003000546680000045
表示第i幅图像在尺度j和方向l的高频分解系数，ihigh表示高频系数
Figure BDA0003000546680000046
的下标其取值范围为1≤ihigh≤N，NSST表示非降采样剪切波变换；
步骤4，按照式(2)将J×L个不同尺度与方向的高频系数
Figure BDA0003000546680000047
映射为J×L个不同尺度与方向的深度图像
Figure BDA0003000546680000048
Figure BDA0003000546680000049
其中ihigh表示第i幅图像对应的第ihigh个高频系数其取值范围是1≤ihigh≤N，
Figure BDA0003000546680000051
表示求解高频系数下标ihigh的函数，abs(·)表示绝对值函数；
步骤5，计算每幅深度图像
Figure BDA0003000546680000052
的灰度共生矩阵，并根据式(3)将灰度共生矩阵的对比度rCon、相关性rCor、能量rEne、逆方差rHom和熵rEnt作为深度图像的五维特征向量，J×L幅深度图像共得到J×L个五维特征向量；
Figure BDA0003000546680000053
其中GLCM(·)表示灰度共生矩阵的计算函数，Vj,l(·)表示第j个尺度l个方向的深度图像的特征向量；
步骤6，对步骤5得到的J×L个五维特征向量根据式(4)的K均值聚类算法进行聚类，得到K个聚类结果{C1,C2,…,CK}；
Figure BDA0003000546680000054
其中Kmeans(·)表示K均值聚类算法，类C1共包含
Figure BDA0003000546680000055
个深度图像集合
Figure BDA0003000546680000056
依此类推，类CK共包含
Figure BDA0003000546680000057
个深度图像集合
Figure BDA0003000546680000058
Figure BDA0003000546680000059
步骤7，计算步骤6中得到的所有深度图像类中的平均梯度，并按照式(5)选择平均梯度最小的类Cs作为最终的深度图像类；
Figure BDA00030005466800000510
其中
Figure BDA00030005466800000511
表示求解深度图像类下标m的函数，m的取值范围为1≤m≤K，Gradient(·)为梯度函数，s为平均梯度最小类的序号；
步骤8，根据式(6)计算步骤7得到的平均梯度最小类Cs中所有图像的平均值，得到待测场景最终的三维形貌重建结果
Figure BDA00030005466800000512
Figure BDA0003000546680000061
其中
Figure BDA0003000546680000062
为平均梯度最小类Cs中深度图像的数量。

Claims (1)

1.一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法，其特征包括以下步骤：
(1)等间隔调节相机与待测场景间的距离获取待测场景不同景深的图像序列
Figure FDA0003632912610000011
其中i代表图像数其取值范围是1≤i≤N，(x,y)表示图像序列的坐标位置其范围为0≤x,y≤M-1；
(2)将非降采样剪切波变换的最大分解尺度设置为J，最大方向数设置为L，设置非降采样剪切波变换的滤波器，在聚类算法中设置聚类个数K，距离度量标准为欧式距离；
(3)对步骤1中的图像序列
Figure FDA0003632912610000012
进行非降采样剪切波变换NSST，如式(1)所示，每幅图像可以得到J×L个不同尺度与方向的高频分解系数；
Figure FDA0003632912610000013
其中j代表尺度数其取值范围是1≤j≤J，l代表方向数其取值范围是1≤l≤L，
Figure FDA0003632912610000014
表示第i幅图像在尺度j和方向l的高频分解系数，ihigh表示高频系数
Figure FDA0003632912610000015
的下标其取值范围为1≤ihigh≤N，NSST表示非降采样剪切波变换；
(4)按照式(2)将J×L个不同尺度与方向的高频系数
Figure FDA0003632912610000016
映射为J×L个不同尺度与方向的深度图像
Figure FDA0003632912610000017
Figure FDA0003632912610000018
其中ihigh表示第i幅图像对应的第ihigh个高频系数其取值范围是1≤ihigh≤N，
Figure FDA0003632912610000019
表示求解高频系数下标ihigh的函数，abs(·)表示绝对值函数；
(5)计算每幅深度图像
Figure FDA00036329126100000110
的灰度共生矩阵，并根据式(3)将灰度共生矩阵的对比度rCon、相关性rCor、能量rEne、逆方差rHom和熵rEnt作为深度图像的五维特征向量，J×L幅深度图像共得到J×L个五维特征向量；
Figure FDA00036329126100000111
其中GLCM(·)表示灰度共生矩阵的计算函数，Vj,l(·)表示第j个尺度l个方向的深度图像的特征向量；
(6)对步骤5得到的J×L个五维特征向量根据式(4)的K均值聚类算法进行聚类，得到K个聚类结果{C1,C2,L,CK}；
Figure FDA0003632912610000021
其中Kmeans(·)表示K均值聚类算法，类C1共包含
Figure FDA0003632912610000023
个深度图像集合
Figure FDA0003632912610000024
依此类推，类CK共包含
Figure FDA0003632912610000025
个深度图像集合
Figure FDA0003632912610000026
Figure FDA0003632912610000027
(7)计算步骤6中得到的所有深度图像类中的平均梯度，并按照式(5)选择平均梯度最小的类Cs作为最终的深度图像类；
Figure FDA0003632912610000028
其中
Figure FDA0003632912610000029
表示求解深度图像类下标m的函数，m的取值范围为1≤m≤K，Gradient(·)为梯度函数，s为平均梯度最小类的序号；
(8)根据式(6)计算步骤7得到的平均梯度最小类Cs中所有图像的平均值，得到待测场景最终的三维形貌重建结果
Figure FDA00036329126100000210
Figure FDA00036329126100000211
其中
Figure FDA00036329126100000212
为平均梯度最小类Cs中深度图像的数量。
CN202110345048.6A 2021-03-31 2021-03-31 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法 Active CN112907748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110345048.6A CN112907748B (zh) 2021-03-31 2021-03-31 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110345048.6A CN112907748B (zh) 2021-03-31 2021-03-31 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法

Publications (2)

Publication Number Publication Date
CN112907748A CN112907748A (zh) 2021-06-04
CN112907748B true CN112907748B (zh) 2022-07-19

Family

ID=76109565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110345048.6A Active CN112907748B (zh) 2021-03-31 2021-03-31 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法

Country Status (1)

Country Link
CN (1) CN112907748B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971717A (zh) * 2021-10-25 2022-01-25 杭州图谱光电科技有限公司 一种基于马尔科夫随机场约束的显微三维重建方法
CN116012607B (zh) * 2022-01-27 2023-09-01 华南理工大学 图像弱纹理特征提取方法及装置、设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354804A (zh) * 2015-10-23 2016-02-24 广州高清视信数码科技股份有限公司 一种基于最大化自相似性质的图像超分辨率重建方法
CN106228601A (zh) * 2016-07-21 2016-12-14 山东大学 基于小波变换的多尺度锥束ct图像快速三维重建方法
CN107240073A (zh) * 2017-05-12 2017-10-10 杭州电子科技大学 一种基于梯度融合与聚类的三维视频图像修复方法
CN108038905A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于超像素的目标重建方法
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与***
US10405005B1 (en) * 2018-11-28 2019-09-03 Sherman McDermott Methods and systems for video compression based on dynamic vector wave compression
CN112489196A (zh) * 2020-11-30 2021-03-12 太原理工大学 一种多尺度三维频域变换的颗粒物三维形貌重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354804A (zh) * 2015-10-23 2016-02-24 广州高清视信数码科技股份有限公司 一种基于最大化自相似性质的图像超分辨率重建方法
CN106228601A (zh) * 2016-07-21 2016-12-14 山东大学 基于小波变换的多尺度锥束ct图像快速三维重建方法
CN107240073A (zh) * 2017-05-12 2017-10-10 杭州电子科技大学 一种基于梯度融合与聚类的三维视频图像修复方法
CN108038905A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于超像素的目标重建方法
US10405005B1 (en) * 2018-11-28 2019-09-03 Sherman McDermott Methods and systems for video compression based on dynamic vector wave compression
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与***
CN112489196A (zh) * 2020-11-30 2021-03-12 太原理工大学 一种多尺度三维频域变换的颗粒物三维形貌重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Three-dimensional Video Inpainting Combined with Gradient Fusion and Cluster";Lai Yili等;《Journal of Computer Aided Design & Computer Graphics》;20180331;第30卷(第3期);477-484 *
"医学图像中血管的三维重建的研究与应用";胡泽龙;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20160215(第02期);I138-1716 *

Also Published As

Publication number Publication date
CN112907748A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112907748B (zh) 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法
Starovoytov et al. Comparative analysis of the SSIM index and the pearson coefficient as a criterion for image similarity
CN104933678B (zh) 一种基于像素强度的图像超分辨率重建方法
CN110135438B (zh) 一种基于梯度幅值预运算的改进surf算法
CN113259288B (zh) 基于特征融合与轻量化混合模型的水声调制方式识别方法
CN110070574B (zh) 一种基于改进PSMNet的双目视觉立体匹配方法
CN112308873B (zh) 多尺度Gabor小波PCA融合图像边缘检测方法
CN112070717B (zh) 基于图像处理的输电线路覆冰厚度检测方法
CN112598711B (zh) 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN110516525A (zh) 基于gan和svm的sar图像目标识别方法
CN104268833A (zh) 基于平移不变剪切波变换的图像融合新方法
CN113033602B (zh) 一种基于张量低秩稀疏表示的图像聚类方法
CN111260776B (zh) 一种自适应正态分析的三维形貌重建方法
Jin et al. Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment.
CN108428221A (zh) 一种基于shearlet变换的邻域双变量阈值去噪方法
CN110223331B (zh) 一种大脑mr医学图像配准方法
CN114331989A (zh) 基于点特征直方图测地距离的全参考3d点云质量评估方法
JP3507083B2 (ja) 高次相関および多入力情報統合用の多項式フィルタ
Wu et al. Research on crack detection algorithm of asphalt pavement
CN109447952B (zh) 一种基于Gabor差分盒加权维数的半参考型图像质量评价方法
CN112348255A (zh) 基于小波时频图像化的超短期风电功率预测方法
CN112489196B (zh) 一种多尺度三维频域变换的颗粒物三维形貌重建方法
CN116167947A (zh) 一种基于噪声水平估计的图像降噪方法
CN102298768A (zh) 基于稀疏样本的高分辨率图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231120

Address after: East Area, 6th Floor, Qilian Building, No. 200 Nanzhonghuan Street, Xiaodian District, Taiyuan City, Shanxi Province, 030000

Patentee after: Chuangbai technology transfer (Shanxi) Co.,Ltd.

Address before: 030006, No. 92, Hollywood Road, Xiaodian District, Shanxi, Taiyuan

Patentee before: SHANXI University

TR01 Transfer of patent right