CN114897734B - 一种基于梯度方向先验的被测目标图像复原方法 - Google Patents

一种基于梯度方向先验的被测目标图像复原方法 Download PDF

Info

Publication number
CN114897734B
CN114897734B CN202210546674.6A CN202210546674A CN114897734B CN 114897734 B CN114897734 B CN 114897734B CN 202210546674 A CN202210546674 A CN 202210546674A CN 114897734 B CN114897734 B CN 114897734B
Authority
CN
China
Prior art keywords
image
measured target
gradient direction
restoration
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210546674.6A
Other languages
English (en)
Other versions
CN114897734A (zh
Inventor
王建林
郭永奇
周新杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202210546674.6A priority Critical patent/CN114897734B/zh
Publication of CN114897734A publication Critical patent/CN114897734A/zh
Application granted granted Critical
Publication of CN114897734B publication Critical patent/CN114897734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于梯度方向先验的被测目标图像复原方法，首先设定被测目标的位姿参数范围，在参数范围内渲染被测目标模型获得模板图像，构建被测目标模板集；然后以梯度方向为特征，通过相似度函数获取最佳匹配模板，并以最佳匹配模板的梯度方向特征和待复原图像的梯度方向特征构建梯度方向先验项，利用交叉迭代的方式估计模糊核和清晰潜像；最后将基于hyper‑Laplacian的非盲复原获得的复原图像作为引导图像，通过引导滤波基于L0正则化的非盲复原获得复原图像实现被测目标图像复原。本发明充分考虑了被测目标图像的特点，以梯度方向先验约束图像复原，模糊核估计更准确，以估计的模糊核为基础，通过引导滤波抑制了振铃效应，提高了图像复原的质量。

Description

一种基于梯度方向先验的被测目标图像复原方法
技术领域
本发明涉及一种图像复原方法，属于机器视觉技术领域，尤其涉及一种基于梯度方向先验的被测目标图像复原方法。
背景技术
机器视觉已被广泛应用于智能制造中被测目标的非接触测量，成像***离焦、成像***与被测目标的相对运动会造成被测目标图像模糊退化，制约着被测目标的高精度测量。
基于边缘选择的图像复原方法选择局部的显著边缘特征，全局优化能力差；基于统计先验知识的图像复原方法在极大后验估计(maximum aposteriori，MAP)的框架中利用局部平滑、块先验等，迭代寻优实现图像复原，但计算量极大，在噪声干扰时误差较大；基于稀疏通道先验的图像复原方法利用稀疏通道的约束实现图像复原，暗通道稀疏先验、极通道稀疏先验、显著通道稀疏先验等取得了较好的效果。然而，被测目标通常是无纹理的光滑目标，图像中包含镜面高光，镜面高光的非线性会导致解模糊图像产生严重的振铃效应，给图像的模糊复原造成困难。
考虑被测目标的三维模型是先验信息，OpenGL能够利用被测目标的三维模型渲染被测目标模板图像，仿真被测目标的成像过程，仿真的被测目标模板图像与真实的被测目标图像的梯度方向分布是一致的，利用仿真图像和真实图像构建梯度方向稀疏先验项，利用梯度方向先验约束估计模糊核，建立基于梯度方向先验的被测目标图像复原算法，提高图像复原的质量。
发明内容
本发明以被测目标图像复原为目的：首先设定被测目标的位姿参数范围，在参数范围内渲染被测目标模型获得被测目标模板图像，构建被测目标模板图像数据集；然后以梯度方向为特征，通过相似度函数获取待复原的被测目标图像的最佳匹配被测目标模板，并以最佳匹配被测目标模板图像的梯度方向特征和待复原的被测目标图像的梯度方向特征构建梯度方向稀疏先验项，利用交叉迭代的方式估计模糊核和过程清晰潜像；最后将基于L0正则化非盲复原获得的复原图像作为引导图像，通过引导滤波基于hyper-Laplacian非盲复原获得的复原图像实现被测目标图像复原。基于梯度方向先验的被测目标图像复原流程如图1所示。
本发明采用的技术方案为一种基于梯度方向先验的被测目标图像复原方法，该方法具体包括以下步骤：
步骤一：设定被测目标的位姿参数范围，建立虚拟成像坐标系，在参数范围内以固定间隔确定被测目标模板图像的位姿参数，以位姿参数渲染获得以面片法向量颜色编码的被测目标模板图像，渲染的被测目标模板图像构成被测目标模板图像数据集；
步骤二：以被测目标模板图像数据集为输入，被测目标模板图像按照渲染参数进行分层，构建被测目标模板图像分层树；采用梯度方向为特征，通过相似度函数在被测目标模板图像分层树中匹配待复原被测目标图像，获取最佳匹配被测目标模板图像，并以最佳匹配被测目标模板图像的梯度方向特征和待复原图像的梯度方向特征构建梯度方向稀疏先验项，利用交叉迭代的方式估计模糊核和清晰潜像；
步骤三：将基于hyper-Laplacian非盲复原获得的被测目标复原图像I1作为引导图像，通过引导滤波基于L0正则化非盲复原获得的被测目标复原图像I2，获得被测目标复原图像I3。
具体而言，步骤一包括如下步骤：
建立如图2所示的球形坐标系，被测目标位于球形坐标系中心，虚拟摄像机位于球形表面，视点位置用位姿参数表示，λ为虚拟摄像机和原点连线与XOY平面的夹角，/>为虚拟摄像机和原点连线与XOZ平面的夹角，γ为虚拟摄像机绕光轴的旋转角，d为虚拟摄像机与原点的距离。
设定被测目标的位姿参数范围，以实际使用的摄像机的内参Kc设定虚拟摄像机的参数，根据不同平面法向量对不同平面进行颜色渲染，使得相邻的平面的颜色不同，表征被测目标的结构特性，在参数范围内以固定间隔确定被测目标模板图像的位姿参数pi，以位姿参数渲染获得以面片法向量颜色编码的被测目标模板图像Ti，渲染的被测目标模板图像构成被测目标模板图像数据集T；
步骤二包括如下步骤：
为加速被测目标模板匹配的速度，考虑参数越接近的被测目标模板图像越相似，以被测目标模板图像数据集为输入，被测目标模板图像按照渲染参数进行分层，构建被测目标模板图像分层树。设第i个模板图像Ti的渲染参数为模板图像视为四维空间中的一个点，将空间中相邻的点划分为一类，中心点为上一层模板图像树的模板图像，将其下采样，再将空间中相邻的点划分为一类，中心点为上一层模板图像树的模板，直至最上层模板中特征点少于50个，实现被测目标模板图像分层树Tr构建，如图3所示。
采用差分算子Sobel在图像的RGB三通道中计算梯度，选择梯度幅值最大的梯度的方向作为梯度方向特征。
式中，x＝[x,y]为像素坐标，Q(x)为梯度方向，qy和qx为梯度幅值最大的通道的y方向梯度和x方向梯度。
被测目标模板匹配的相似度函数为
式中，<·>表示点乘，tj为被测目标模板图像的第j个像素的梯度方向，sj为待复原被测目标图像的第j个像素的梯度方向，n为像素的数量。
在获得最佳匹配被测目标模板图像后，构建梯度方向先验项
D(I)＝sin(OS-OT) (3)
式中，D(I)为梯度方向先验项，OS和OT为待复原被测目标图像和被测目标模板图像的梯度方向。
将梯度方向先验引入MAP框架，模糊核和过程清晰潜像估计表示为
式中，为卷积运算，I,K,B为清晰图像、模糊核、模糊图像，/>为图像I的梯度，第一项、第二项和第四项为残差、模糊核和梯度的约束项，第三项D(I)为梯度方向先验，γ,σ,λ为权重系数。
引入辅助变量d和g，清晰潜像估计表示为
辅助变量d和g为
式中，α,β,γ,σ为权重系数。
其解析解为
式中，F(·)和F-1(·)表示傅里叶变换和傅里叶逆变换，表示F(·)的共轭，和/>表示x方向和y方向的梯度。
模糊核估计表示为
式中，为模糊核的梯度。
其解析解为
通过多尺度的迭代，实现过程清晰潜像和模糊核的估计。
步骤三包括如下步骤：
在步骤二估计的模糊核的基础上，利用基于hyper-Laplacian先验非盲复原所得被测目标复原图像I1保留了更多细节，但是振铃效应略强，而基于L0正则化非盲复原所得被测目标复原图像I2包含更少的细节和振铃效应。因此，以基于L0正则化的非盲复原所得被测目标复原图像I1为引导图像，通过引导滤波基于hyper-Laplacian先验的非盲复原所得被测目标复原图像I2，获得最终的被测目标复原图像I3。
本发明的优点：充分考虑了被测目标图像的特点，以梯度方向先验约束图像复原，模糊核估计更准确，以估计的模糊核为基础，通过引导滤波抑制被测目标图像的振铃效应，提高了被测目标图像复原的质量。
附图说明
图1是本发明所述的一种基于梯度方向先验的被测目标图像复原方法流程图。
图2是被测目标图像渲染的球形坐标系。
图3是被测目标模板图像分层树。
图4是被测目标图像。
(a)Bracket (b)Connector (c)Flange
(d)HingeBase (e)L-Holder (f)PoleClamp
(g)SideClamp (h)Stopper (i)T-Holder
图5是模糊核。
图6是被测目标模板图像量化梯度方向分布。
图7是不同复原方法结果的箱型图。(a)模糊核的SSIM；(b)复原图像的PSNR。
具体实施方式
下面结合实例及附图对本发明作进一步的描述，需要说明的是，实施例并不限定本发明要求保护的范围。
实施例
实施例采用公开的被测目标图像和模糊核仿真72幅模糊的被测目标图像，图像集中包含9种不同的金属被测目标，参数范围为-60°≤λ≤60°， -180°≤γ≤180°，660mm≤d≤800mm，图像分辨率为640×480，如图4所示，模糊核集中包含8种不同类型的模糊核，如图5所示。
实施例的计算机配置Intel(R)core i7-8750H，16G RAM。实施例在Windows10***MATLAB R2018b平台上进行。
选择估计模糊核的结构相似度(Structural Similarity Image Measurement，SSIM)和复原图像的峰值信噪比(Peak Signal To Noise Ratio，PSNR)表征本方法的效果。
设定OpenGL投影的参数范围为-60°≤λ≤60°，-180°≤γ≤180°，660mm≤d≤800mm，虚拟摄像机的内参和真实摄像机相同，为
载入三维模型，在参数范围内以Δλ为10°，为10°，Δγ为12°，Δd为30mm渲染以法向量颜色编码的38025个被测目标模板图像。
按照渲染被测目标模板图像的位姿参数，构建被测目标模板图像分层树，分层树的第二层有3000个模板，分辨率为320×240，第三层有288个模板，分辨率为160×120，第四层有32个模板，分辨率为80×60。
以Sobel算子提取被测目标模板图像的梯度方向特征，量化梯度分布如图6所示，以梯度方向特征为基础，利用相似度函数从上至下遍历分层树，获取最佳匹配被测目标模板图像，构建梯度方向先验，估计模糊核和过程清晰潜像。
Bracket被测目标图像在不同模糊核下的仿真图像的复原结果如表1所示。
表1 Bracket被测目标图像在不同模糊核下的仿真图像的复原结果
不同图像在不同模糊核下图像的复原平均结果如表2所示
表2不同被测目标图像在不同模糊核下的仿真图像的复原结果
基于暗通道稀疏先验的图像复原方法(DCP)，基于极通道稀疏先验的图像复原方法(SCP)，基于显著通道稀疏先验的图像复原方法(ECP)和本发明方法(Ours)的图像复原结果箱型图如图7所示。
上述实验结果表明：采用本发明所述方法进行被测目标图像复原，模糊核的结构相似度高，复原图像的峰值信噪比高，有效提高了被测目标图像复原的质量。

Claims (2)

1.一种基于梯度方向先验的被测目标图像复原方法，其特征在于：该方法具体包括以下步骤：
步骤一：建立球形坐标系，被测目标位于球形坐标系中心，虚拟摄像机位于球形表面，视点位置用位姿参数表示，λ为虚拟相机和原点连线与XOY平面的夹角，/>为虚拟相机和原点连线与XOZ平面的夹角，γ为虚拟相机绕光轴的旋转角，d为虚拟相机与原点的距离；设定被测目标的位姿参数范围，以实际使用的摄像机的内参Kc设定虚拟摄像机的参数，根据不同平面法向量对不同平面进行颜色渲染，使得相邻的平面的颜色不同，表征被测目标的结构特性，在参数范围内以固定间隔确定被测目标模板图像的位姿参数pi，以位姿参数渲染获得以面片法向量颜色编码的被测目标模板图像Ti，渲染的被测目标模板图像构成被测目标模板图像数据集T；
步骤二：以被测目标模板图像数据集为输入，被测目标模板图像按照渲染参数进行分层，构建被测目标模板图像分层树；采用梯度方向为特征，通过相似度函数在被测目标模板图像分层树中匹配待复原被测目标图像，获取最佳匹配被测目标模板图像，并以最佳匹配被测目标模板图像的梯度方向特征和待复原图像的梯度方向特征构建梯度方向稀疏先验项，利用交叉迭代的方式估计模糊核和清晰潜像；
步骤三：将基于hyper-Laplacian非盲复原获得的被测目标复原图像I1作为引导图像，通过引导滤波基于L0正则化非盲复原获得的被测目标复原图像I2，获得被测目标复原图像I3；
步骤二包括如下步骤，
为加速被测目标模板匹配的速度，考虑参数越接近的被测目标模板图像越相似，以被测目标模板图像数据集为输入，被测目标模板图像按照渲染参数进行分层，构建被测目标模板图像分层树；设第i个模板图像Ti的渲染参数为模板图像视为四维空间中的一个点，将空间中相邻的点划分为一类，中心点为上一层模板图像树的模板图像，将其下采样，再将空间中相邻的点划分为一类，中心点为上一层模板图像树的模板，直至最上层模板中特征点少于50个，实现被测目标模板图像分层树Tr构建；
采用差分算子Sobel在图像的RGB三通道中计算梯度，选择梯度幅值最大的梯度的方向作为梯度方向特征；
式中，x＝[x,y]为像素坐标，Q(x)为梯度方向，qy和qx为梯度幅值最大的通道的y方向梯度和x方向梯度；
被测目标模板匹配的相似度函数为
式中，<·>表示点乘，tj为被测目标模板图像的第j个像素的梯度方向，sj为待复原被测目标图像的第j个像素的梯度方向，n为像素的数量；
在获得最佳匹配被测目标模板图像后，构建梯度方向先验项
D(I)＝sin(OS-OT) (3)
式中，D(I)为梯度方向先验项，OS和OT为待复原被测目标图像和被测目标模板图像的梯度方向；
将梯度方向先验引入MAP框架，模糊核和过程清晰潜像估计表示为
式中，为卷积运算，I,K,B为清晰图像、模糊核、模糊图像，/>为图像I的梯度，第一项、第二项和第四项为残差、模糊核和梯度的约束项，第三项D(I)为梯度方向先验，γ,σ,λ为权重系数；
引入辅助变量d和g，清晰潜像估计表示为
辅助变量d和g为
式中，α,β,γ,σ为权重系数；
其解析解为
式中，F(·)和F-1(·)表示傅里叶变换和傅里叶逆变换，表示F(·)的共轭， 和/>表示x方向和y方向的梯度；
模糊核估计表示为：
式中，为模糊核的梯度；
其解析解为
通过多尺度的迭代，实现过程清晰潜像和模糊核的估计。
2.根据权利要求1所述的一种基于梯度方向先验的被测目标图像复原方法，其特征在于：步骤三包括如下步骤，
步骤二中估计模糊核后，以基于L0正则化的非盲复原所得被测目标复原图像I1为引导图像，通过引导滤波基于hyper-Laplacian先验的非盲复原所得被测目标复原图像I2，获得最终的被测目标复原图像I3。
CN202210546674.6A 2022-05-18 2022-05-18 一种基于梯度方向先验的被测目标图像复原方法 Active CN114897734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210546674.6A CN114897734B (zh) 2022-05-18 2022-05-18 一种基于梯度方向先验的被测目标图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210546674.6A CN114897734B (zh) 2022-05-18 2022-05-18 一种基于梯度方向先验的被测目标图像复原方法

Publications (2)

Publication Number Publication Date
CN114897734A CN114897734A (zh) 2022-08-12
CN114897734B true CN114897734B (zh) 2024-05-28

Family

ID=82724774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210546674.6A Active CN114897734B (zh) 2022-05-18 2022-05-18 一种基于梯度方向先验的被测目标图像复原方法

Country Status (1)

Country Link
CN (1) CN114897734B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920220A (zh) * 2017-02-24 2017-07-04 西北工业大学 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
CN109919871A (zh) * 2019-03-05 2019-06-21 重庆大学 基于图像和模糊核混合约束的模糊核估计方法
WO2019174068A1 (zh) * 2018-03-15 2019-09-19 华中科技大学 基于距离加权稀疏表达先验的图像复原与匹配一体化方法
CN112819723A (zh) * 2021-02-05 2021-05-18 河海大学 一种高能x射线图像盲复原方法及***
CN114418883A (zh) * 2022-01-18 2022-04-29 北京工业大学 一种基于深度先验的盲图像去模糊方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976332B (zh) * 2016-05-03 2019-03-01 北京大学深圳研究生院 基于图像中亮条纹信息的图像去模糊方法
CN107292842B (zh) * 2017-06-15 2020-08-07 北京大学深圳研究生院 基于先验约束和离群值抑制的图像去模糊方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920220A (zh) * 2017-02-24 2017-07-04 西北工业大学 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
WO2019174068A1 (zh) * 2018-03-15 2019-09-19 华中科技大学 基于距离加权稀疏表达先验的图像复原与匹配一体化方法
CN109919871A (zh) * 2019-03-05 2019-06-21 重庆大学 基于图像和模糊核混合约束的模糊核估计方法
CN112819723A (zh) * 2021-02-05 2021-05-18 河海大学 一种高能x射线图像盲复原方法及***
CN114418883A (zh) * 2022-01-18 2022-04-29 北京工业大学 一种基于深度先验的盲图像去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于边缘和梯度分布先验模型的运动消模糊;寇杰;韩维强;傅景能;;电子设计工程;20170320(第06期);全文 *
稀疏正则化模糊图像盲复原模型仿真;陈红;;计算机仿真;20191215(第12期);全文 *

Also Published As

Publication number Publication date
CN114897734A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Zhou et al. R-msfm: Recurrent multi-scale feature modulation for monocular depth estimating
Heber et al. Neural epi-volume networks for shape from light field
CN112233181B (zh) 6d位姿识别的方法、装置及计算机存储介质
CN105657402B (zh) 一种深度图恢复方法
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及***
CN109242959B (zh) 三维场景重建方法及***
CN110796616B (zh) 基于范数约束和自适应加权梯度的湍流退化图像恢复方法
CN116222381A (zh) 电极涂层尺寸测量方法和装置
Krauss et al. Deterministic guided lidar depth map completion
CN112365516B (zh) 一种增强现实中虚实遮挡处理方法
CN113223074A (zh) 一种水下激光条纹中心提取方法
CN114897734B (zh) 一种基于梯度方向先验的被测目标图像复原方法
CN117196954A (zh) 一种面向飞机蒙皮的弱纹理曲面图像拼接方法和装置
CN116523790A (zh) 一种sar图像去噪优化方法、***和存储介质
CN113781375B (zh) 一种基于多曝光融合的车载视觉增强方法
Yi et al. Attention-model guided image enhancement for robotic vision applications
CN115082463A (zh) 基于图像数据的发电机端盖视觉检测方法
CN111127587B (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法
CN109360174B (zh) 基于相机位姿的三维场景重建方法及***
CN110223250B (zh) 基于单应变换的sar几何校正方法
Li et al. Quantitative evaluation for dehazing algorithms on synthetic outdoor hazy dataset
Zhao et al. Nonuniform illumination correction for underwater images through a pseudo-siamese network
CN115937011B (zh) 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备
CN113963052B (zh) 一种基于双目视觉的大型浮空器体积实时监测方法
CN109360234B (zh) 基于总体不确定度的三维场景重建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant