CN111696116B - 一种应用相机阵列实现图像遮挡物移除方法 - Google Patents
一种应用相机阵列实现图像遮挡物移除方法 Download PDFInfo
- Publication number
- CN111696116B CN111696116B CN202010360941.1A CN202010360941A CN111696116B CN 111696116 B CN111696116 B CN 111696116B CN 202010360941 A CN202010360941 A CN 202010360941A CN 111696116 B CN111696116 B CN 111696116B
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- depth
- camera array
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000003491 array Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，且公开了一种应用相机阵列实现图像遮挡物移除方法，包括以下步骤：S1：获取子图像阵列：利用相机阵列对目标物体进行拍摄，进而获取多个图像阵列；S2：数字重焦距：对S1步骤中获取到的图像阵列，根据遮挡物与目标物体深度上的不同，选择合适的深度重聚焦；S3：重构图像：对S2步骤中得到的信息，采用几何特征连续迭代选择效果最佳的倾斜因子，得到重构图像；S4：遮挡物的标记和移除：对S3步骤中的重构图像，采用最小误差法选择合理的阈值进行遮挡区域的分割。该应用相机阵列实现图像遮挡物移除方法不需要目标物与遮挡物之间存在有较为明显的深度区别，本算法应用范围更广，实用性更强的好处。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种应用相机阵列实现图像遮挡物移除方法。
背景技术
多数传统相机设备采集数据时仅可以记录场景的二维信息，当目标物前出现遮挡时，单视角成像设备则不能有效的去除遮挡物带来的影响，造成信息的丢失。多视角的合成孔径技术可以同时记录空间中光线的四维信息，包括方向信息与角度信息。相机阵列法以斯坦福大学提出的128台相机阵列为代表，相机采用不同的排列方式，获得多种不同角度的子图像阵列，同时利用相机阵列的景深特点，通过数字重聚焦技术与合成孔径技术可实现类似“透视”的效果相机阵列相比传统相机多记录两个维度的信息，为后续有效地移除遮挡物，获得高还原度的目标信息提供了理论基础。
近些年来，去遮挡物算法被国内外众多学者广泛研究，并提出了具有很高参考价值的理论。刘严羊硕提出的一种先利用EPI的边缘特征估计景深范围，再进行光场重建的算法。此方法需要遮挡物与目标物存在明显不同的深度特性，否则影响遮挡物的识别与移除；张世辉提出的一种利用随机森林检测深度图像中遮挡物的方法。其方法是基于机器学习思想，在图像检测时需要选择通用性较好的夹角特性；钱文彤提出的一种利用微透镜阵列相机的去遮挡物算法。此算法使用阈值作为分割的主要参数，对于灰度分布差异较大的遮挡物的分割还有待加强；陈先锋提出的一种基于先验信息的去遮挡物算法。该方法对遮挡区域具有低敏感度，对于非遮挡区域具有高敏感度的特性；刘润兴提出的一种聚焦式光场去混叠的方法移除遮挡。此方法对图像合成有较为良好的改善，但其方法计算量大，实时性还有待提高。
而当前众多学者提出的遮挡物移除算法大多着重于遮挡物移除的完全性和精确性，忽略了重构图像的质量，不利于图像细节部分的还原。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种应用相机阵列实现图像遮挡物移除方法，具备不需要目标物与遮挡物之间存在有较为明显的深度区别，本算法应用范围更广，实用性更强的好处，解决了现有方法的计算量大，实时性还有待提高，同时忽略了重构图像的质量，不利于图像细节部分还原的问题。
(二)技术方案
为实现上述一种应用相机阵列实现图像遮挡物移除方法，具备不需要目标物与遮挡物之间存在有较为明显的深度区别，本算法应用范围更广，实用性更强的好处，本发明提供如下技术方案：一种应用相机阵列实现图像遮挡物移除方法，包括以下步骤：
S1：获取子图像阵列：利用相机阵列对目标物体进行拍摄，进而获取多个图像阵列；
S2：数字重焦距：对所述S1步骤中获取到的图像阵列，根据遮挡物与目标物体深度上的不同，选择合适的深度重聚焦；
S3：重构图像：对所述S2步骤中得到的信息，采用几何特征连续迭代选择效果最佳的倾斜因子，得到重构图像；
S4：遮挡物的标记和移除：对所述S3步骤中的重构图像，采用最小误差法选择合理的阈值进行遮挡区域的分割；然后移除遮挡区域像素；
S5：目标物图像恢复：移除遮挡区域的像素后，即可使得目标物图像恢复。
优选的，所述S2步骤中的光场数字重聚焦技术可以做到先利用阵列相机采集信息，再根据目标物与遮挡物的深度特性进行数据重聚焦，利用相机的景深特性可以有效的突出目标物的细节信息，减小障碍物带来的影响。
优选的，所述S3步骤中的重构图像在面对动态的目标物时可采用连续多次拍摄的方式来复现目标物。
优选的，所述S4步骤中遮挡物的标记和移除应用了一种自适应最小误差阈值分割算法。
优选的，所述S5步骤中目标物图像恢复为应用相机阵列采集数据后进行图像重构，移除目标图像前被标记的图像，并用重构图像进行还原。
(三)有益效果
与现有技术相比，本发明提供了一种应用相机阵列实现图像遮挡物移除方法，具备以下有益效果：
该应用相机阵列实现图像遮挡物移除方法，不需要目标物与遮挡物之间存在有较为明显的深度区别，本算法应用范围更广，实用性更强。
附图说明
图1为本发明提出的一种应用相机阵列实现图像遮挡物移除方法的算法流程图；
图2为本发明提出的一种应用相机阵列实现图像遮挡物移除方法中光场重聚焦算法与参数示意图；
图3为本发明提出的一种应用相机阵列实现图像遮挡物移除方法中图像阵列处理示意图的算法流程示意图；
图4为本发明提出的一种应用相机阵列实现图像遮挡物移除方法中的应用相机阵列采集数据后进行图像重构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，一种应用相机阵列实现图像遮挡物移除方法，包括以下步骤：
S1：获取子图像阵列：利用相机阵列对目标物体进行拍摄，进而获取多个图像阵列；
S2：数字重焦距：对所述S1步骤中获取到的图像阵列，根据遮挡物与目标物体深度上的不同，选择合适的深度重聚焦；
S3：重构图像：对所述S2步骤中得到的信息，采用几何特征连续迭代选择效果最佳的倾斜因子，得到重构图像；
S4：遮挡物的标记和移除：对所述S3步骤中的重构图像，采用最小误差法选择合理的阈值进行遮挡区域的分割；然后移除遮挡区域像素；
S5：目标物图像恢复：移除遮挡区域的像素后，即可使得目标物图像恢复。
所述S2步骤中的光场数字重聚焦技术可以做到先利用阵列相机采集信息，再根据目标物与遮挡物的深度特性进行数据重聚焦，利用相机的景深特性可以有效的突出目标物的细节信息，减小障碍物带来的影响，这里将光场成像***中的光线用四维光场函数L(u，v，x，y)表征，其中u-v面是光学***主平面，x-y面是探测器所在平面，L(u，v，x，y)代表给定光线的光辐射量，下标F代表上述两平面间的距离，像面上接受到的辐射量可表示为其中，θ为光线L(u，v，x，y)与u-v面法线的夹角，A(u，v)为光瞳函数，引入近轴近似后可将公式简化为在此基础上通过积分求解可以得到一幅数字图像如图2所示。
所述S3步骤中的重构图像在面对动态的目标物时可采用连续多次拍摄的方式来复现目标物，如图3所示为阵列型相机子图像阵列合成示意图，选取中心图像并使其它图形根据几何关系进行平移。根据几何关系选择合适的倾斜因子重构图像，当子图像经过联合位移后，选择不同倾斜因子的状态会有所不同，导致重构图像出现轮廓不清晰的情况，然后使用多次迭代寻找重构效果最好的倾斜因子。
所述S4步骤中遮挡物的标记和移除应用了一种自适应最小误差阈值分割算法。
所述S5步骤中目标物图像恢复为应用相机阵列采集数据后进行图像重构，移除目标图像前被标记的图像，并用重构图像进行还原，由于多视角采集光场数据的方式，为后续图像的还原提供大量的数据基础。遮挡物移除后，将遮挡物区域与重构图像阵列中的对应区域进行比较，选择遮挡程度低，清晰度高，还原度高的对应图像进行还原，如图4所示。
综上所述，该应用相机阵列实现图像遮挡物移除方法，不需要目标物与遮挡物之间存在有较为明显的深度区别，本算法应用范围更广，实用性更强。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种应用相机阵列实现图像遮挡物移除方法，其特征在于：包括以下步骤：S1：获取子图像阵列：利用相机阵列对目标物体进行拍摄，进而获取多个图像阵列；
S2：数字重焦距：对所述S1步骤中获取到的图像阵列，根据遮挡物与目标物体深度上的不同，选择合适的深度重聚焦；
S3：重构图像：对所述S2步骤中得到的信息，采用几何特征连续迭代选择效果最佳的倾斜因子，得到重构图像；即：选取中心图像并使其它图像根据几何关系进行平移，根据几何关系选择合适的倾斜因子重构图像，当子图像经过联合位移后，选择不同倾斜因子的状态会有所不同，导致重构图像出现轮廓不清晰的情况，然后使用多次迭代寻找重构效果最好的倾斜因子，得到重构图像；
S4：遮挡物的标记和移除：对所述S3步骤中的重构图像，采用最小误差法选择合理的阈值进行遮挡区域的分割；然后移除遮挡区域像素；
S5：目标物图像恢复：移除遮挡区域的像素后，即可使得目标物图像恢复。
2.根据权利要求1所述的一种应用相机阵列实现图像遮挡物移除方法，其特征在于：所述 S2 步骤中的重聚焦具体为：先利用阵列相机采集信息，再根据目标物与遮挡物的深度特性进行数据重聚焦，利用相机的景深特性可以有效的突出目标物的细节信息，减小障碍物带来的影响。
3.根据权利要求1所述的一种应用相机阵列实现图像遮挡物移除方法，其特征在于：所述S3步骤中的重构图像在面对动态的目标物时可采用连续多次拍摄的方式来复现目标物。
4.根据权利要求1所述的一种应用相机阵列实现图像遮挡物移除方法，其特征在于：所述S4步骤中遮挡物的标记和移除应用自适应最小误差阈值分割算法。
5.根据权利要求1所述的一种应用相机阵列实现图像遮挡物移除方法，其特征在于：所述S5步骤中目标物图像恢复为应用相机阵列采集数据后进行图像重构，移除目标图像前被标记的图像，并用重构图像进行还原。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010360941.1A CN111696116B (zh) | 2020-04-30 | 2020-04-30 | 一种应用相机阵列实现图像遮挡物移除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010360941.1A CN111696116B (zh) | 2020-04-30 | 2020-04-30 | 一种应用相机阵列实现图像遮挡物移除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111696116A CN111696116A (zh) | 2020-09-22 |
| CN111696116B true CN111696116B (zh) | 2024-07-12 |
Family
ID=72476846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010360941.1A Active CN111696116B (zh) | 2020-04-30 | 2020-04-30 | 一种应用相机阵列实现图像遮挡物移除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111696116B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114935574A (zh) * | 2022-05-17 | 2022-08-23 | 河北同光半导体股份有限公司 | 高纯碳化硅晶体包裹的检测方法及装置 |
| CN118155176A (zh) * | 2024-05-09 | 2024-06-07 | 江苏智搬机器人科技有限公司 | 一种基于机器视觉的搬运机器人自动控制方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198475A (zh) * | 2013-03-08 | 2013-07-10 | 西北工业大学 | 基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法 |
| CN107403423A (zh) * | 2017-08-02 | 2017-11-28 | 清华大学深圳研究生院 | 一种光场相机的合成孔径去遮挡方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2302589B1 (en) * | 2009-09-01 | 2012-12-05 | Fondazione Bruno Kessler | Method for efficient target detection from images robust to occlusion |
| US9373183B2 (en) * | 2012-11-15 | 2016-06-21 | Honeywell International Inc. | Removing an occlusion from an image |
| CN109883391B (zh) * | 2019-03-20 | 2021-09-24 | 北京环境特性研究所 | 基于微透镜阵列数字成像的单目测距方法 |
-
2020
- 2020-04-30 CN CN202010360941.1A patent/CN111696116B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198475A (zh) * | 2013-03-08 | 2013-07-10 | 西北工业大学 | 基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法 |
| CN107403423A (zh) * | 2017-08-02 | 2017-11-28 | 清华大学深圳研究生院 | 一种光场相机的合成孔径去遮挡方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111696116A (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108074218B (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
| CN107995424B (zh) | 基于深度图的光场全聚焦图像生成方法 | |
| US8582820B2 (en) | Coded aperture camera with adaptive image processing | |
| US20110157387A1 (en) | Method and apparatus for generating image data | |
| CN111696116B (zh) | 一种应用相机阵列实现图像遮挡物移除方法 | |
| US20130113881A1 (en) | Reducing Disparity and Depth Ambiguity in Three-Dimensional (3D) Images | |
| US8836765B2 (en) | Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture | |
| CN110866874B (zh) | 基于频域的去除光场重建图像中的周期噪声的方法 | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN109714530B (zh) | 一种航空相机图像调焦方法 | |
| US10726067B2 (en) | Method and apparatus for data retrieval in a lightfield database | |
| CN107911599B (zh) | 一种红外图像全局自动对焦方法及装置 | |
| CN112866675B (zh) | 深度图生成方法和装置、电子设备、计算机可读存储介质 | |
| Xu et al. | Real-time stereo vision system at nighttime with noise reduction using simplified non-local matching cost | |
| CN108615221B (zh) | 基于剪切二维极线平面图的光场角度超分辨率方法及装置 | |
| US11416972B2 (en) | System and method for reflection removal using dual-pixel sensor | |
| CN108364345B (zh) | 基于像素标记和合成孔径成像的遮挡目标三维重建方法 | |
| Li et al. | Perspective-consistent multifocus multiview 3D reconstruction of small objects | |
| CN112866510B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN111127379B (zh) | 光场相机2.0的渲染方法及电子设备 | |
| CN112866655B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US20160307303A1 (en) | Image capture device | |
| US9800796B1 (en) | Apparatus and method for low dynamic range and high dynamic range image alignment | |
| Schwarz et al. | Depth map upscaling through edge-weighted optimization | |
| CN112950698A (zh) | 基于双目散焦图像的深度估计方法、装置、介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240617 Address after: 211135 300 Chi Hui Road, Qilin science and Technology Innovation Park, Nanjing, Jiangsu Applicant after: Jiangsu orange Zhiyun Information Technology Co.,Ltd. Country or region after: China Address before: 100070, Building 9, Wulixi District, Xinhua Street, Fengtai District, Beijing, 1201 Applicant before: Yang Moxuan Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |