CN110910442A - 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 - Google Patents
一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 Download PDFInfo
- Publication number
- CN110910442A CN110910442A CN201911197574.1A CN201911197574A CN110910442A CN 110910442 A CN110910442 A CN 110910442A CN 201911197574 A CN201911197574 A CN 201911197574A CN 110910442 A CN110910442 A CN 110910442A
- Authority
- CN
- China
- Prior art keywords
- image
- machine vision
- kernel
- moving object
- speed moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000003708 edge detection Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 241000276498 Pollachius virens Species 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 claims 1
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于kernel‑free图像复原的高速移动对象机器视觉尺寸检测方法，包括：搭建深度学习神经网络F拟合图像复原过程；制作清晰‑模糊图像对(xi,yi)作为数据集，用损失函数评价复原图像与清晰图像xi相似性并反向传播误差优化F，完成训练获取最优F；获取高速移动对象运动模糊图像，由F获取复原图像；在完成相机标定下，复原图像通过主流机器视觉尺寸检测流程，获取感兴趣目标尺寸检测结果。本发明应用于动态成像下机器视觉尺寸检测，无需额外估算模糊核，依托大量数据集，应用神经网络直接学习低质量模糊图像至高质量清晰图像映射关系，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象机器视觉尺寸检测。
Description
技术领域
本发明涉及机器视觉尺寸检测领域，尤其涉及一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法。
背景技术
工业检测是产品生产过程关键环节，其检测结果是控制生产过程重要指标，其中工件尺寸检测是工业生产中质量保证基础手段之一。常用接触式测量精度高、稳定性好，但同时存在着操作复杂、耗时间长、检测不全面、机器价格昂贵的问题。随着机器视觉发展，人们尝试用相机拍摄目标图像，通过将其转化为数字信号传输到计算机中对目标图像进行处理，机器视觉技术凭借其非接触、高精度、高效率、检测范围大、成本相对较低的优势逐渐被重视。随着生产效率要求不断提高，尺寸检测往往需要在动态成像条件下进行。在传统相机不能够捕获高速移动对象的情况下，相机与目标相对运动在图像原本锐利的边缘形成拖影，阻碍尺寸检测信息获取。虽然现有尺寸检测技术对运动模糊具有一定鲁棒性，然而要满足高速移动对象机器视觉尺寸检测还有一定差距。高速相机虽从硬件层面上可以防范运动模糊现象，但仍然存在成本高、自动化程度低、组合装置不可变等缺点。
图像复原倒推图像退化过程，根据已有低质量图像获取原始高质量图像。近年来深度学习神经网络应用于低层视觉领域，通过卷积层等一系列操作拟合传统图像复原模型。kernel-free图像复原无需额外估算相机目标相对运动轨迹(模糊核)，挖掘大量模糊图像关键特征并学习其至清晰图像的映射关系。通过kernel-free图像复原，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象机器视觉尺寸检测。
发明内容
为解决上述存在的问题与缺陷，本发明提供一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，该方法应用于动态成像条件下的机器视觉尺寸检测，无需额外估算模糊核，依托大量数据集，应用神经网络直接学习低质量模糊图像至高质量清晰图像映射关系，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象机器视觉尺寸检测。
本发明的目的通过以下的技术方案来实现：
一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，该方法包括：
A搭建深度学习神经网络F拟合图像复原过程；
B制作清晰-模糊图像对(xi,yi)作为数据集，应用损失函数loss评价复原图像
与清晰图像xi相似性并反向传播误差优化F，完成训练获取最优F；其中yi表示模糊图像，xi表示yi对应清晰图像，Θ表示深度学习神经网络参数集；
C获取高速移动对象运动模糊图像，并由F获取复原图像；
D在完成相机标定的条件下，复原图像通过主流机器视觉尺寸检测流程，获取感兴趣目标尺寸检测结果。
本发明有益效果是：
应用于动态成像条件下的机器视觉尺寸检测，无需额外估算模糊核，依托大量数据集，应用神经网络直接学习低质量模糊图像至高质量清晰图像映射关系，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象机器视觉尺寸检测。
附图说明
图1是本发明所述的基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法流程框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述。
本发明是基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，如图1所示，该方法包括如下步骤：
步骤10、搭建深度学习神经网络F拟合图像复原过程。
所述深度学习神经网络F呈U形状，由编码器与解码器组成，其中编码器由“(卷积层+3×残差块)+2×(卷积层(步长2)+3×残差块)”组成，解码器由“(卷积层+3×残差块)+2×(卷积层+反卷积层+3×残差块)”组成，卷积核大小为5×5，编码器特征图尺寸为输入图像1/16，解码器则通过上采样残差块全分辨率输出图像；此外，解码器与编码器对应特征图引入跳跃连接(skip connection)，输入与输出则引入残差连接(residual connection)。
F采用多尺度循环结构，尺度层数设为3，当前粗尺度网络输出中间复原图像经过上采样后，与下层细尺度模糊图像共同作为下层细尺度网络输入。
步骤20、制作大量清晰-模糊图像对(xi,yi)作为数据集，应用损失函数loss评价复原图像
与清晰图像xi相似性并反向传播误差优化F，完成训练获取最优F；其中yi表示模糊图像，xi表示yi对应清晰图像，Θ表示深度学习神经网络参数集。
所述清晰-模糊图像对(xi,yi)从GOPPRO、Kohler、BSD500数据集选择清晰图像xi，合成低质量模糊图像yi退化因素除工业检测常出现的直线运动模糊外(方向为[0，90°]，尺度为[2％，10％])，还包括HSV色彩空间饱和(放大系数为[0.5，1.5])与高斯随机噪声(噪声水平为[2％，5％])。
所述损失函数包括两部分，第一部分为各尺度均方差损失，第二部分为各尺度感知损失，即复原图像与清晰图像VGG-19第15层特征图欧式距离，两部分损失通过加权求和1：0.01构成总损失函数。
训练时批尺寸设为2，优化算法选择Adam，其参数β1、β2分别设为0.9、0.999，初始学习率设为1e-4，每迭代200k次下降50％，一般迭代2000k次可达收敛。
步骤30、获取高速移动对象运动模糊图像，并由F获取复原图像；
步骤40、在完成相机标定的条件下，复原图像通过主流机器视觉尺寸检测流程，获取感兴趣目标尺寸检测结果。
所述主流机器视觉尺寸检测流程包括畸变矫正、滤波去噪、边缘检测，边缘拟合，其中边缘检测包括粗边缘检测与细边缘检测。粗边缘检测算法选用HED，并由三次样条插值细化HED粗边缘。
上述方式应用于动态成像条件下的机器视觉尺寸检测，无需额外估算模糊核，依托大量数据集，应用神经网络直接学习低质量模糊图像至高质量清晰图像映射关系，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象机器视觉尺寸检测。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (7)
1.一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，其特征在于，所述方法包括：
A搭建深度学习神经网络F拟合图像复原过程；
B制作清晰-模糊图像对(xi,yi)作为数据集，应用损失函数评价复原图像
与清晰图像xi相似性并反向传播误差优化F，完成训练获取最优F；其中yi表示模糊图像，xi表示yi对应清晰图像，Θ表示深度学习神经网络参数集；
C获取高速移动对象运动模糊图像，并由F获取复原图像；
D在完成相机标定的条件下，复原图像通过主流机器视觉尺寸检测流程，获取感兴趣目标尺寸检测结果。
2.如权利要求1所述的基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，其特征在于，所述kernel-free图像复原无需额外估算模糊核，应用神经网络直接学习低质量模糊图像至高质量清晰图像映射关系，是一种盲图像复原方法。
3.如权利要求1所述的基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，其特征在于，所述步骤A中，所述深度学习神经网络F呈U形状，并由编码器与解码器组成，其中编码器由卷积层和残差块组成，解码器由反卷积层和残差块组成；编码器特征图尺寸为输入图像1/16，解码器则通过上采样残差块全分辨率输出图像；此外，解码器与编码器对应特征图引入跳跃连接(skip connection)，输入与输出则引入残差连接(residualconnection)。
4.如权利要求1所述的基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，其特征在于，所述步骤A中，所述深度学习神经网络F采用多尺度循环结构，当前粗尺度网络输出中间复原图像经过上采样后，与下层细尺度模糊图像共同作为下层细尺度网络输入。
5.如权利要求1所述的基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，其特征在于，所述步骤B中，清晰-模糊图像对(xi,yi)从GOPPRO、Kohler、BSD500数据集选择清晰图像xi，合成低质量模糊图像yi退化因素除工业检测常出现的直线运动模糊外，还包括HSV色彩空间饱和与高斯随机噪声。
6.如权利要求1所述的基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，其特征在于，所述步骤B中，损失函数包括两部分，第一部分为各尺度均方差损失，第二部分为各尺度感知损失，即复原图像与清晰图像VGG-19特征图欧式距离，两部分损失通过加权求和构成总损失函数。
7.如权利要求1所述的基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，其特征在于，所述步骤D中，主流机器视觉尺寸检测流程包括畸变矫正、滤波去噪、边缘检测，边缘拟合，其中边缘检测包括粗边缘检测与细边缘检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911197574.1A CN110910442B (zh) | 2019-11-29 | 2019-11-29 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911197574.1A CN110910442B (zh) | 2019-11-29 | 2019-11-29 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110910442A true CN110910442A (zh) | 2020-03-24 |
| CN110910442B CN110910442B (zh) | 2023-09-29 |
Family
ID=69820480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911197574.1A Active CN110910442B (zh) | 2019-11-29 | 2019-11-29 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910442B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117232396A (zh) * | 2023-11-15 | 2023-12-15 | 湖南睿图智能科技有限公司 | 一种高速生产线产品质量视觉检测***及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846820A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市唯特视科技有限公司 | 一种基于尺度递归网络的深度图像去模糊方法 |
| CN109118438A (zh) * | 2018-06-29 | 2019-01-01 | 上海航天控制技术研究所 | 一种基于生成对抗网络的高斯模糊图像复原方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
-
2019
- 2019-11-29 CN CN201911197574.1A patent/CN110910442B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118438A (zh) * | 2018-06-29 | 2019-01-01 | 上海航天控制技术研究所 | 一种基于生成对抗网络的高斯模糊图像复原方法 |
| CN108846820A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市唯特视科技有限公司 | 一种基于尺度递归网络的深度图像去模糊方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘畅: "基于匹配定位的目标尺寸测量算法" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117232396A (zh) * | 2023-11-15 | 2023-12-15 | 湖南睿图智能科技有限公司 | 一种高速生产线产品质量视觉检测***及方法 |
| CN117232396B (zh) * | 2023-11-15 | 2024-02-06 | 湖南睿图智能科技有限公司 | 一种高速生产线产品质量视觉检测***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110910442B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
| CN107507208B (zh) | 一种基于轮廓上曲率估计的图像特征点提取方法 | |
| CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
| CN108564549B (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
| CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
| CN111325762B (zh) | 基于密集连接解码网络的轮廓检测方法 | |
| CN109872326B (zh) | 基于深度强化网络跳跃连接的轮廓检测方法 | |
| CN106530254A (zh) | 一种基于小波阈值函数与改进中值滤波融合的抑制图像混合噪声算法 | |
| CN110648316A (zh) | 一种基于深度学习的钢卷端面边缘检测算法 | |
| CN115131444A (zh) | 一种基于单目视觉点胶平台的标定方法 | |
| CN112017130B (zh) | 基于自适应各向异性全变分正则化的图像复原方法 | |
| Ma et al. | Local low-rank and sparse representation for hyperspectral image denoising | |
| CN116012260A (zh) | 一种基于深度Retinex的低光图像增强方法 | |
| CN109949334B (zh) | 基于深度强化网络残差连接的轮廓检测方法 | |
| CN109767407B (zh) | 一种去雾过程中大气透射率图像的二次估计方法 | |
| CN113421210B (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN110910442B (zh) | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 | |
| CN111539885B (zh) | 一种基于多尺度网络的图像增强去雾方法 | |
| CN108537810B (zh) | 一种改进的Zernike矩亚像素边缘检测方法 | |
| CN116523790A (zh) | 一种sar图像去噪优化方法、***和存储介质 | |
| CN113066023B (zh) | 一种基于自校准卷积神经网络的sar图像去斑方法 | |
| CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 | |
| CN108492264A (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| CN110084762B (zh) | 一种深度学习逆卷积模型异常值处理方法 | |
| CN113689346A (zh) | 一种基于对比学习的紧凑深度学习去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |