CN111311515B - 一种错误区域自动检测的深度图像快速迭代修复方法 - Google Patents

一种错误区域自动检测的深度图像快速迭代修复方法 Download PDF

Info

Publication number
CN111311515B
CN111311515B CN202010090629.5A CN202010090629A CN111311515B CN 111311515 B CN111311515 B CN 111311515B CN 202010090629 A CN202010090629 A CN 202010090629A CN 111311515 B CN111311515 B CN 111311515B
Authority
CN
China
Prior art keywords
image
edge
binary
point
repaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010090629.5A
Other languages
English (en)
Other versions
CN111311515A (zh
Inventor
闫涛
胡治国
姬张建
宋艳涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202010090629.5A priority Critical patent/CN111311515B/zh
Publication of CN111311515A publication Critical patent/CN111311515A/zh
Application granted granted Critical
Publication of CN111311515B publication Critical patent/CN111311515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种错误区域自动检测的深度图像快速迭代修复方法。包括：步骤1，利用Canny算法对待修复的深度图像进行边缘提取得到边缘图像；步骤2，如果算法是第一次迭代，则采用OTSU算法计算边缘图像的二值化阈值，利用该二值化阈值得到边缘图像的二值化图像，然后根据该阈值计算最小百分比与增量百分比；否则采用当前迭代数的百分比二值化方法得到边缘图像的二值化图像；步骤3，将二值化图像作为掩模，采用快速图像修复算法得到修复结果；步骤4，将修复结果作为待修复图像并重新执行步骤1至步骤3，直到迭代次数到达最大值后得到修复后的深度图像。本发明的方法能够实现深度图像中错误区域的自动标记与快速修复。

Description

一种错误区域自动检测的深度图像快速迭代修复方法
技术领域
本发明属于三维重建领域，具体涉及一种错误区域自动检测的深度图像迭代修复方法。
背景技术
基于图像序列的三维形貌重建属于不适定问题范畴，因为通过分析待重建对象的二维图像序列可以得到不胜枚举的三维重建结果，所以在三维重建结果中必然会出现不同形状和大小的错误深度区域，导致重建结果的精度下降。因此，如何对错误的深度结果进行有效的修复是获得高精度三维形貌重建结果的关键。
现有的深度图像修复方法主要包括基于扩散的方法，基于纹理合成的方法、基于数据驱动的图像修复算法、基于稀疏表示的图像修复算法和基于深度学习的图像修复算法。基于扩散的方法主要利用待修复区域的边缘信息来确定扩散的方向，此类方法适用于缺失区域较小的图像修复问题，当缺失区域较大时，算法修复的结果容易导致模糊现象。基于纹理合成的方法采用图像匹配的方法寻找图像块中最相似的块进行缺失区域填充，此类方法适用于深度图像中规律区域的修复，当缺失区域存在复杂结构时，算法修复效果明显变差。基于数据驱动的图像修复算法主要从大型的外部数据库中查找最相似的图像，进而修复缺失的区域，此类方法对外部数据库的信息的完整性有较大要求，且查询操作的计算量较大，无法实现深度图像的快速修复。基于稀疏表示的图像修复算法旨在借鉴缺失区域和完好区域相同的稀疏性，利用完好区域信息的稀疏表示，重构缺失区域的图像，此类算法的计算复杂度较高，使用场景受限。基于深度学习的图像修复方法主要使用带有特定标签的图像对进行神经网络训练，通过大量数据集的训练得到较好的图像修复结果。此类方法需要的标记数据量大，时间复杂度高。
通过了解研究现状，我们认为该领域的方法存在以下几点不足：①基于扩散的图像修复方法无法适用于缺失区域较大的深度图像修复问题；②基于纹理合成和数据驱动的图像修复方法依赖于完好区域和外部数据库图像块的匹配程度，无法适用于纹理结构复杂区域的图像修复问题；③基于稀疏表示与深度学习的方法计算复杂度较高，无法适用于深度图像的快速修复问题。如何建立一个高精度的深度图像快速修复方法是当前面临的一个难题。
综上所述，我们认为深度图像中错误深度信息与周围真实深度信息存在较大差异，因此如果能够准确标定错误深度信息的边缘位置，利用周围真实深度信息进行修复，然后再利用百分比二值化方法重新确定新的错误深度信息边缘位置，最终实现深度图像的快速迭代修复。本专利通过分析深度图像具有的一致性连续性特征定位错误深度信息边缘位置，采用快速图像修复算法实现当前检测得到的错误深度边缘信息进行迭代修复，提出了缺失区域自动检测的深度图像迭代修复方法。
发明内容
为克服上述技术中存在的问题，本发明的目的是提供一种错误区域自动检测的深度图像快速迭代修复方法。
本发明所采取的技术方案是：一种错误区域自动检测的深度图像快速迭代修复方法，包括以下步骤：
步骤1，设置迭代总数N与最大百分比PMax；
步骤2，利用Canny算法对待修复的深度图像Iunrepaired进行边缘提取得到边缘图像Iedge；
步骤3，如果是第一次迭代，则采用OTSU算法计算步骤1得到的边缘图像Iedge的二值化阈值TOTSU，并利用该阈值根据式(1)得到边缘图像Iedge的二值化图像Ibinary；
Figure GDA0004145178950000021
其中：Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值，然后利用二值化阈值TOTSU根据式(2)计算百分比最小值PMin，结合最大百分比PMax根据式(3)计算增量百分比PStep，
Figure GDA0004145178950000022
Figure GDA0004145178950000023
其中：ri为第i级灰度值，h(ri)为边缘图像Iedge中灰度值为ri的像素个数，N为迭代总数；
步骤4，如果迭代数大于1，根据式(4)计算当前迭代数n的二值化阈值TCurrent，
Figure GDA0004145178950000031
并根据式(5)得到边缘图像Iedge的二值化图像Ibinary，
Figure GDA0004145178950000032
其中：Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值；
步骤5，将步骤3或者步骤4得到的二值化图像Ibinary作为掩模区域，根据快速图像修复的计算方法得到修复结果Irepaired，并将Irepaired作为下一轮的待修复图像执行步骤2至步骤4，直到当前迭代次数n达到迭代总数N，得到修复后的深度图像Ifinal；
所述的快速图像修复的计算方法，假设p点为待修复位置的像素，以p点为中心选择一块已知像素点的邻域A(ε)，通过公式(6)计算邻域中所有像素点到p点的加权积分和，得到待修复p点的新像素值。
Figure GDA0004145178950000033
其中：r点是邻域A(ε)中的一点，I(r)为r点的像素值，▽I(r)为r点的梯度值，I(p)为p点的新像素值，w(p,r)作为权重系数用来表征r点对p点的影响程度。
本发明的方法能够实现深度图像中错误区域的自动标记与快速修复。
附图说明
图1是一种错误区域自动检测的深度图像快速迭代修复方法的整体流程图；
图2是一种错误区域自动检测的深度图像快速迭代修复方法的框架示意图；
图3是金属样本的待修复深度图像示意图；
图4是金属样本在第三次迭代后得到的边缘图像示意图；
图5是金属样本在第三次迭代后得到的二值化图像示意图；
图6是金属样本在第三次修复后的图像示意图；
图7是金属样本最终修复后的深度图像示意图。
实验结果表明，本发明方法能够实现深度图像中错误区域的自动标记与快速修复。
具体实例方式
如图1、图2所示，本实施例所述一种错误区域自动检测的深度图像快速迭代修复方法，包括以下步骤：
步骤1，设置迭代总数N与最大百分比PMax；
步骤2，利用Canny算法对待修复的深度图像Iunrepaired进行边缘提取得到边缘图像Iedge；
步骤3，如果是第一次迭代，则采用OTSU算法计算步骤1得到的边缘图像Iedge的二值化阈值TOTSU，并利用该阈值根据式(1)得到边缘图像Iedge的二值化图像Ibinary；
Figure GDA0004145178950000041
其中：Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值，然后利用二值化阈值TOTSU根据式(2)计算百分比最小值PMin，结合最大百分比PMax根据式(3)计算增量百分比PStep，
Figure GDA0004145178950000042
Figure GDA0004145178950000043
其中：ri为第i级灰度值，h(ri)为边缘图像Iedge中灰度值为ri的像素个数，N为迭代总数；
步骤4，如果迭代数大于1，根据式(4)计算当前迭代数n的二值化阈值TCurrent，
Figure GDA0004145178950000044
并根据式(5)得到边缘图像Iedge的二值化图像Ibinary，
Figure GDA0004145178950000051
其中：Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值；
步骤5，将步骤3或者步骤4得到的二值化图像Ibinary作为掩模区域，根据快速图像修复的计算方法得到修复结果Irepaired，并将Irepaired作为下一轮的待修复图像执行步骤2至步骤4，直到当前迭代次数n达到迭代总数N，得到修复后的深度图像Ifinal；
所述的快速图像修复的计算方法，假设p点为待修复位置的像素，以p点为中心选择一块已知像素点的邻域A(ε)，通过公式(6)计算邻域中所有像素点到p点的加权积分和，得到待修复p点的新像素值。
Figure GDA0004145178950000052
其中：r点是邻域A(ε)中的一点，I(r)为r点的像素值，
Figure GDA0004145178950000053
为r点的梯度值，I(p)为p点的新像素值，w(p,r)作为权重系数用来表征r点对p点的影响程度。
本发明以金属样本为实例对象，其深度图像如图3所示，其关键性步骤如下：
步骤1所述方法得到第三次迭代的待修复深度图像的边缘图像如图4所示。
步骤2和步骤3所述方法，得到第三次迭代的边缘图像的二值化图像如图5所示。
步骤4所述方法，得到第三次迭代的修复图像如图6所示。
步骤5所述方法，当前迭代数达到10(迭代最大值设置为10)，得到修复后的深度图像如图7所示。
实验结果表明本方法能够实现深度图像中错误区域的自动标记与快速修复。

Claims (1)

1.一种错误区域自动检测的深度图像快速迭代修复方法，其特征包括以下步骤：
步骤1，设置迭代总数N与最大百分比PMax；
步骤2，利用Canny算法对待修复的深度图像Iunrepaired进行边缘提取得到边缘图像Iedge；
步骤3，如果是第一次迭代，则采用OTSU算法计算步骤1得到的边缘图像Iedge的二值化阈值TOTSU，并利用该阈值根据式(1)得到边缘图像Iedge的二值化图像Ibinary；
Figure FDA0004145178940000011
其中：Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值，然后利用二值化阈值TOTSU根据式(2)计算百分比最小值PMin，结合最大百分比PMax根据式(3)计算增量百分比PStep，
Figure FDA0004145178940000012
Figure FDA0004145178940000013
其中：ri为第i级灰度值，h(ri)为边缘图像Iedge中灰度值为ri的像素个数，N为迭代总数；
步骤4，如果迭代数大于1，根据式(4)计算当前迭代数n的二值化阈值TCurrent，
Figure FDA0004145178940000014
并根据式(5)得到边缘图像Iedge的二值化图像Ibinary，
Figure FDA0004145178940000015
其中：Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值；
步骤5，将步骤3或者步骤4得到的二值化图像Ibinary作为掩模区域，根据快速图像修复的计算方法得到修复结果Irepaired，并将Irepaired作为下一轮的待修复图像执行步骤2至步骤4，直到当前迭代次数n达到迭代总数N，得到修复后的深度图像Ifinal；
所述快速图像修复的计算方法，假设p点为待修复位置的像素，以p点为中心选择一块已知像素点的邻域A(ε)，通过公式(6)计算邻域中所有像素点到p点的加权积分和，得到待修复p点的新像素值；
Figure FDA0004145178940000021
其中：r点是邻域A(ε)中的一点，I(r)为r点的像素值，
Figure FDA0004145178940000022
为r点的梯度值，I(p)为p点的新像素值，w(p,r)作为权重系数用来表征r点对p点的影响程度。/>
CN202010090629.5A 2020-02-13 2020-02-13 一种错误区域自动检测的深度图像快速迭代修复方法 Active CN111311515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090629.5A CN111311515B (zh) 2020-02-13 2020-02-13 一种错误区域自动检测的深度图像快速迭代修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090629.5A CN111311515B (zh) 2020-02-13 2020-02-13 一种错误区域自动检测的深度图像快速迭代修复方法

Publications (2)

Publication Number Publication Date
CN111311515A CN111311515A (zh) 2020-06-19
CN111311515B true CN111311515B (zh) 2023-05-30

Family

ID=71159954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090629.5A Active CN111311515B (zh) 2020-02-13 2020-02-13 一种错误区域自动检测的深度图像快速迭代修复方法

Country Status (1)

Country Link
CN (1) CN111311515B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421334B (zh) * 2021-07-06 2022-05-20 山西大学 一种基于深度学习的多聚焦图像三维重建方法
CN113570524B (zh) * 2021-08-06 2023-09-22 山西大学 一种用于高反光噪声深度图像的修复方法
CN114494072A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001009820A2 (en) * 1999-07-28 2001-02-08 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
CN107909648A (zh) * 2017-11-28 2018-04-13 山西大学 一种基于多景深图像融合的三维重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571950B (zh) * 2009-03-25 2011-10-12 湖南大学 基于各向同性扩散和稀疏表示的图像修复方法
CN106504201A (zh) * 2016-09-23 2017-03-15 湖北大学 一种基于多尺度k近邻的随机查找快速图像修复***及方法
CN106327451A (zh) * 2016-11-28 2017-01-11 玉溪师范学院 一种古生物化石的图像修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001009820A2 (en) * 1999-07-28 2001-02-08 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
CN107909648A (zh) * 2017-11-28 2018-04-13 山西大学 一种基于多景深图像融合的三维重建方法

Also Published As

Publication number Publication date
CN111311515A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
Ali et al. Structural crack detection using deep convolutional neural networks
CN112232391B (zh) 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN111311515B (zh) 一种错误区域自动检测的深度图像快速迭代修复方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN109741347B (zh) 一种基于卷积神经网络的迭代学习的图像分割方法
CN108492281B (zh) 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法
CN110059768B (zh) 用于街景理解的融合点与区域特征的语义分割方法及***
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN109978032B (zh) 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
CN110969088A (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112017157B (zh) 一种光学元件激光损伤阈值测试中损伤点识别方法
CN108629762B (zh) 一种骨龄评测模型减少干扰特征的图像预处理方法及***
CN112837320B (zh) 一种基于并行空洞卷积的遥感影像语义分割方法
CN115797216B (zh) 一种基于自编码网络的碑文文字修复模型及修复方法
CN116630971B (zh) 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN111754538A (zh) Usb表面缺陷检测的阈值分割方法
CN115527072A (zh) 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法
Li et al. Pixel-level detection and measurement of concrete crack using faster region-based convolutional neural network and morphological feature extraction
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN116129280B (zh) 一种遥感影像雪检测的方法
CN107184224B (zh) 一种基于双模态极限学习机的肺结节诊断方法
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN116912144A (zh) 一种基于大律算法与通道注意力机制的数据增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant