CN111311515B - 一种错误区域自动检测的深度图像快速迭代修复方法 - Google Patents
一种错误区域自动检测的深度图像快速迭代修复方法 Download PDFInfo
- Publication number
- CN111311515B CN111311515B CN202010090629.5A CN202010090629A CN111311515B CN 111311515 B CN111311515 B CN 111311515B CN 202010090629 A CN202010090629 A CN 202010090629A CN 111311515 B CN111311515 B CN 111311515B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- binary
- point
- repaired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 title claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000002184 metal Substances 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种错误区域自动检测的深度图像快速迭代修复方法。包括:步骤1,利用Canny算法对待修复的深度图像进行边缘提取得到边缘图像;步骤2,如果算法是第一次迭代,则采用OTSU算法计算边缘图像的二值化阈值,利用该二值化阈值得到边缘图像的二值化图像,然后根据该阈值计算最小百分比与增量百分比;否则采用当前迭代数的百分比二值化方法得到边缘图像的二值化图像;步骤3,将二值化图像作为掩模,采用快速图像修复算法得到修复结果;步骤4,将修复结果作为待修复图像并重新执行步骤1至步骤3,直到迭代次数到达最大值后得到修复后的深度图像。本发明的方法能够实现深度图像中错误区域的自动标记与快速修复。
Description
技术领域
本发明属于三维重建领域,具体涉及一种错误区域自动检测的深度图像迭代修复方法。
背景技术
基于图像序列的三维形貌重建属于不适定问题范畴,因为通过分析待重建对象的二维图像序列可以得到不胜枚举的三维重建结果,所以在三维重建结果中必然会出现不同形状和大小的错误深度区域,导致重建结果的精度下降。因此,如何对错误的深度结果进行有效的修复是获得高精度三维形貌重建结果的关键。
现有的深度图像修复方法主要包括基于扩散的方法,基于纹理合成的方法、基于数据驱动的图像修复算法、基于稀疏表示的图像修复算法和基于深度学习的图像修复算法。基于扩散的方法主要利用待修复区域的边缘信息来确定扩散的方向,此类方法适用于缺失区域较小的图像修复问题,当缺失区域较大时,算法修复的结果容易导致模糊现象。基于纹理合成的方法采用图像匹配的方法寻找图像块中最相似的块进行缺失区域填充,此类方法适用于深度图像中规律区域的修复,当缺失区域存在复杂结构时,算法修复效果明显变差。基于数据驱动的图像修复算法主要从大型的外部数据库中查找最相似的图像,进而修复缺失的区域,此类方法对外部数据库的信息的完整性有较大要求,且查询操作的计算量较大,无法实现深度图像的快速修复。基于稀疏表示的图像修复算法旨在借鉴缺失区域和完好区域相同的稀疏性,利用完好区域信息的稀疏表示,重构缺失区域的图像,此类算法的计算复杂度较高,使用场景受限。基于深度学习的图像修复方法主要使用带有特定标签的图像对进行神经网络训练,通过大量数据集的训练得到较好的图像修复结果。此类方法需要的标记数据量大,时间复杂度高。
通过了解研究现状,我们认为该领域的方法存在以下几点不足:①基于扩散的图像修复方法无法适用于缺失区域较大的深度图像修复问题;②基于纹理合成和数据驱动的图像修复方法依赖于完好区域和外部数据库图像块的匹配程度,无法适用于纹理结构复杂区域的图像修复问题;③基于稀疏表示与深度学习的方法计算复杂度较高,无法适用于深度图像的快速修复问题。如何建立一个高精度的深度图像快速修复方法是当前面临的一个难题。
综上所述,我们认为深度图像中错误深度信息与周围真实深度信息存在较大差异,因此如果能够准确标定错误深度信息的边缘位置,利用周围真实深度信息进行修复,然后再利用百分比二值化方法重新确定新的错误深度信息边缘位置,最终实现深度图像的快速迭代修复。本专利通过分析深度图像具有的一致性连续性特征定位错误深度信息边缘位置,采用快速图像修复算法实现当前检测得到的错误深度边缘信息进行迭代修复,提出了缺失区域自动检测的深度图像迭代修复方法。
发明内容
为克服上述技术中存在的问题,本发明的目的是提供一种错误区域自动检测的深度图像快速迭代修复方法。
本发明所采取的技术方案是:一种错误区域自动检测的深度图像快速迭代修复方法,包括以下步骤:
步骤1,设置迭代总数N与最大百分比PMax;
步骤2,利用Canny算法对待修复的深度图像Iunrepaired进行边缘提取得到边缘图像Iedge;
步骤3,如果是第一次迭代,则采用OTSU算法计算步骤1得到的边缘图像Iedge的二值化阈值TOTSU,并利用该阈值根据式(1)得到边缘图像Iedge的二值化图像Ibinary;
其中:Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值,然后利用二值化阈值TOTSU根据式(2)计算百分比最小值PMin,结合最大百分比PMax根据式(3)计算增量百分比PStep,
其中:ri为第i级灰度值,h(ri)为边缘图像Iedge中灰度值为ri的像素个数,N为迭代总数;
步骤4,如果迭代数大于1,根据式(4)计算当前迭代数n的二值化阈值TCurrent,
并根据式(5)得到边缘图像Iedge的二值化图像Ibinary,
其中:Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值;
步骤5,将步骤3或者步骤4得到的二值化图像Ibinary作为掩模区域,根据快速图像修复的计算方法得到修复结果Irepaired,并将Irepaired作为下一轮的待修复图像执行步骤2至步骤4,直到当前迭代次数n达到迭代总数N,得到修复后的深度图像Ifinal;
所述的快速图像修复的计算方法,假设p点为待修复位置的像素,以p点为中心选择一块已知像素点的邻域A(ε),通过公式(6)计算邻域中所有像素点到p点的加权积分和,得到待修复p点的新像素值。
其中:r点是邻域A(ε)中的一点,I(r)为r点的像素值,▽I(r)为r点的梯度值,I(p)为p点的新像素值,w(p,r)作为权重系数用来表征r点对p点的影响程度。
本发明的方法能够实现深度图像中错误区域的自动标记与快速修复。
附图说明
图1是一种错误区域自动检测的深度图像快速迭代修复方法的整体流程图;
图2是一种错误区域自动检测的深度图像快速迭代修复方法的框架示意图;
图3是金属样本的待修复深度图像示意图;
图4是金属样本在第三次迭代后得到的边缘图像示意图;
图5是金属样本在第三次迭代后得到的二值化图像示意图;
图6是金属样本在第三次修复后的图像示意图;
图7是金属样本最终修复后的深度图像示意图。
实验结果表明,本发明方法能够实现深度图像中错误区域的自动标记与快速修复。
具体实例方式
如图1、图2所示,本实施例所述一种错误区域自动检测的深度图像快速迭代修复方法,包括以下步骤:
步骤1,设置迭代总数N与最大百分比PMax;
步骤2,利用Canny算法对待修复的深度图像Iunrepaired进行边缘提取得到边缘图像Iedge;
步骤3,如果是第一次迭代,则采用OTSU算法计算步骤1得到的边缘图像Iedge的二值化阈值TOTSU,并利用该阈值根据式(1)得到边缘图像Iedge的二值化图像Ibinary;
其中:Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值,然后利用二值化阈值TOTSU根据式(2)计算百分比最小值PMin,结合最大百分比PMax根据式(3)计算增量百分比PStep,
其中:ri为第i级灰度值,h(ri)为边缘图像Iedge中灰度值为ri的像素个数,N为迭代总数;
步骤4,如果迭代数大于1,根据式(4)计算当前迭代数n的二值化阈值TCurrent,
并根据式(5)得到边缘图像Iedge的二值化图像Ibinary,
其中:Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值;
步骤5,将步骤3或者步骤4得到的二值化图像Ibinary作为掩模区域,根据快速图像修复的计算方法得到修复结果Irepaired,并将Irepaired作为下一轮的待修复图像执行步骤2至步骤4,直到当前迭代次数n达到迭代总数N,得到修复后的深度图像Ifinal;
所述的快速图像修复的计算方法,假设p点为待修复位置的像素,以p点为中心选择一块已知像素点的邻域A(ε),通过公式(6)计算邻域中所有像素点到p点的加权积分和,得到待修复p点的新像素值。
本发明以金属样本为实例对象,其深度图像如图3所示,其关键性步骤如下:
步骤1所述方法得到第三次迭代的待修复深度图像的边缘图像如图4所示。
步骤2和步骤3所述方法,得到第三次迭代的边缘图像的二值化图像如图5所示。
步骤4所述方法,得到第三次迭代的修复图像如图6所示。
步骤5所述方法,当前迭代数达到10(迭代最大值设置为10),得到修复后的深度图像如图7所示。
实验结果表明本方法能够实现深度图像中错误区域的自动标记与快速修复。
Claims (1)
1.一种错误区域自动检测的深度图像快速迭代修复方法,其特征包括以下步骤:
步骤1,设置迭代总数N与最大百分比PMax;
步骤2,利用Canny算法对待修复的深度图像Iunrepaired进行边缘提取得到边缘图像Iedge;
步骤3,如果是第一次迭代,则采用OTSU算法计算步骤1得到的边缘图像Iedge的二值化阈值TOTSU,并利用该阈值根据式(1)得到边缘图像Iedge的二值化图像Ibinary;
其中:Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值,然后利用二值化阈值TOTSU根据式(2)计算百分比最小值PMin,结合最大百分比PMax根据式(3)计算增量百分比PStep,
其中:ri为第i级灰度值,h(ri)为边缘图像Iedge中灰度值为ri的像素个数,N为迭代总数;
步骤4,如果迭代数大于1,根据式(4)计算当前迭代数n的二值化阈值TCurrent,
并根据式(5)得到边缘图像Iedge的二值化图像Ibinary,
其中:Iedge(x,y)与Ibinary(x,y)分别表示边缘图像Iedge与二值化图像Ibinary在(x,y)位置的像素值;
步骤5,将步骤3或者步骤4得到的二值化图像Ibinary作为掩模区域,根据快速图像修复的计算方法得到修复结果Irepaired,并将Irepaired作为下一轮的待修复图像执行步骤2至步骤4,直到当前迭代次数n达到迭代总数N,得到修复后的深度图像Ifinal;
所述快速图像修复的计算方法,假设p点为待修复位置的像素,以p点为中心选择一块已知像素点的邻域A(ε),通过公式(6)计算邻域中所有像素点到p点的加权积分和,得到待修复p点的新像素值;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010090629.5A CN111311515B (zh) | 2020-02-13 | 2020-02-13 | 一种错误区域自动检测的深度图像快速迭代修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010090629.5A CN111311515B (zh) | 2020-02-13 | 2020-02-13 | 一种错误区域自动检测的深度图像快速迭代修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311515A CN111311515A (zh) | 2020-06-19 |
CN111311515B true CN111311515B (zh) | 2023-05-30 |
Family
ID=71159954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010090629.5A Active CN111311515B (zh) | 2020-02-13 | 2020-02-13 | 一种错误区域自动检测的深度图像快速迭代修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311515B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113421334B (zh) * | 2021-07-06 | 2022-05-20 | 山西大学 | 一种基于深度学习的多聚焦图像三维重建方法 |
CN113570524B (zh) * | 2021-08-06 | 2023-09-22 | 山西大学 | 一种用于高反光噪声深度图像的修复方法 |
CN114494072A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001009820A2 (en) * | 1999-07-28 | 2001-02-08 | Intelligent Reasoning Systems, Inc. | System and method for dynamic image recognition |
CN107909648A (zh) * | 2017-11-28 | 2018-04-13 | 山西大学 | 一种基于多景深图像融合的三维重建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571950B (zh) * | 2009-03-25 | 2011-10-12 | 湖南大学 | 基于各向同性扩散和稀疏表示的图像修复方法 |
CN106504201A (zh) * | 2016-09-23 | 2017-03-15 | 湖北大学 | 一种基于多尺度k近邻的随机查找快速图像修复***及方法 |
CN106327451A (zh) * | 2016-11-28 | 2017-01-11 | 玉溪师范学院 | 一种古生物化石的图像修复方法 |
-
2020
- 2020-02-13 CN CN202010090629.5A patent/CN111311515B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001009820A2 (en) * | 1999-07-28 | 2001-02-08 | Intelligent Reasoning Systems, Inc. | System and method for dynamic image recognition |
CN107909648A (zh) * | 2017-11-28 | 2018-04-13 | 山西大学 | 一种基于多景深图像融合的三维重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111311515A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ali et al. | Structural crack detection using deep convolutional neural networks | |
CN112232391B (zh) | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 | |
CN111311515B (zh) | 一种错误区域自动检测的深度图像快速迭代修复方法 | |
CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
CN109741347B (zh) | 一种基于卷积神经网络的迭代学习的图像分割方法 | |
CN108492281B (zh) | 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 | |
CN110059768B (zh) | 用于街景理解的融合点与区域特征的语义分割方法及*** | |
CN111611874B (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
CN109978032B (zh) | 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法 | |
CN110969088A (zh) | 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法 | |
CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
CN112017157B (zh) | 一种光学元件激光损伤阈值测试中损伤点识别方法 | |
CN108629762B (zh) | 一种骨龄评测模型减少干扰特征的图像预处理方法及*** | |
CN112837320B (zh) | 一种基于并行空洞卷积的遥感影像语义分割方法 | |
CN115797216B (zh) | 一种基于自编码网络的碑文文字修复模型及修复方法 | |
CN116630971B (zh) | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 | |
CN115457044B (zh) | 基于类激活映射的路面裂缝分割方法 | |
CN111754538A (zh) | Usb表面缺陷检测的阈值分割方法 | |
CN115527072A (zh) | 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法 | |
Li et al. | Pixel-level detection and measurement of concrete crack using faster region-based convolutional neural network and morphological feature extraction | |
Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
CN107184224B (zh) | 一种基于双模态极限学习机的肺结节诊断方法 | |
CN111291712B (zh) | 基于插值的cn和胶囊网络的森林火灾识别方法及装置 | |
CN116912144A (zh) | 一种基于大律算法与通道注意力机制的数据增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |