CN111260561A - 一种可用于掩模版缺陷检测的快速多图拼接方法 - Google Patents
一种可用于掩模版缺陷检测的快速多图拼接方法 Download PDFInfo
- Publication number
- CN111260561A CN111260561A CN202010099560.2A CN202010099560A CN111260561A CN 111260561 A CN111260561 A CN 111260561A CN 202010099560 A CN202010099560 A CN 202010099560A CN 111260561 A CN111260561 A CN 111260561A
- Authority
- CN
- China
- Prior art keywords
- image
- splicing
- images
- region
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000007547 defect Effects 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种可用于掩模版缺陷检测的快速多图拼接方法，在掩模图像采集中，精密工件台呈横向纵向平移的工作模式，相邻两幅图像存在大量重复特征和横纵向的偏移。在掩模图像拼接过程中，针对掩模图像大数据量，单元重复，旋转尺度变化小等特征，根据步距预设图像重叠区域作为ROI区域，确定前后两幅图像的对应关系按照顺序拼接两幅图像后，将此图像作为原图，后一张图像作为待匹配图像，重新划定ROI区域，每次拼接只对固定数据量的ROI区域和后一张图像进行变换处理，避免了因图像数量增加所导致的速度降低和数据溢出等问题，大幅提高了拼接速度，避免了特征匹配重复图形误匹配的问题，拼接效果良好。
Description
技术领域
本发明属于缺陷检测中图像处理技术领域，具体涉及一种可用于掩模版缺陷检测的快速多图拼接方法。
背景技术
随着计算机技术和图像处理技术逐步深入应用到掩模检测***中，计算机视觉检测方法已成为当前自动化掩模检查的主流方式。掩模版通常面积较大，而为了保证检测精度，相机的视场较小，掩模图像的全景图拼接就成为了缺陷检测中必不可少的图像处理环节。在掩模图像采集***中，精密工件台呈横向纵向平移的工作模式，相邻两幅图像存在横向和纵向的偏移。针对掩模图像大数据量，单元重复，旋转尺度变化小等特征。
掩模图像拼接指的是将同一幅场景的多幅相互重叠的掩模版区域图像拼接成一幅全景图像的过程。在现实环境中，由于图像采集设备的限制，想要获得一幅场景的全景图像是不可能的，为了能够获得同一幅场景的完整景象，人们尝试了很多不同的方法，人们考虑采用图像拼接的方法，对采集到的图像，采取适当的匹配算法，利用软件自动完成对多幅图像的无缝拼接，以生成全视角的高清晰的图像。全景图像拼接模型的提出为图像拼接的进一步跨越式的发展提供了有效工具，在使用变换矩阵的情况下，可以更全面的展现图片的真实特征，为图像拼接提供更全面的数据。在这种方法的基础上，提高计算速度成为后期研究者的重要研究内容。基于特征点匹配的图像拼接算法是目前图像拼接算法的研究热门。由于基于特征的图像拼接算法具有一系列的优势，因此国际上有许多针对此类特征的算法的研究。不过由于该算法的数学计算量大，这也是该算法本身所固有的缺点，因此影响了该算法的整体速度。
图像拼接技术经过了长时间的发展取得了很大的进步，但是图像拼接技术仍然存在一些难点和不足，图像拼接技术的难点主要在于以下几个因素：1)图像拼接技术的各种方法中，通常都有一定的限制条件和特定的应用场景。2)如何保证所采取的融合方法能够使得融合后的图像消除两幅原始图像之间的差异，也是图像拼接算法领域内一个值得加强的课题。3)匹配信息的提取和匹配效率的问题。
数十幅图像拼接不同于两幅或四幅图像拼接，随着拼接图像数量的增加，一是待处理数据量增大，可能导致数据溢出。二是对应特征关系更难确定，容易出现误匹配。三是拼接耗时越来越长。在发明中，为避免上述问题，提出可用于掩模版多图像拼接的算法，根据步距预设图像重叠区域作为ROI区域，确定前后两幅图像的对应关系按照顺序拼接两幅图像后，将此图像作为原图，后一张图像作为待匹配图像，重新划定ROI区域，每次拼接只对固定数据量的ROI区域和后一张图像进行变换处理，避免了因图像数量增加所导致的一系列问题。
发明内容
本发明设计了一种可用于掩模版缺陷检测的快速多图拼接方法，此方法具有速度快、拼接缝小、误匹配几率小的优点，具有广泛的应用前景。
为了达成上述目的，本发明提供的技术方案为：一种可用于掩模版缺陷检测的快速多图拼接方法，所述方法包括步骤：
步骤S1：横纵Z字形步进扫描采集掩模图像；
步骤S2：对图像进行降噪预处理，根据步进距离预设相邻两幅图像的ROI区域，对预设区域通过模板粗精匹配，确定偏移量，从而获得相邻两图重叠区域；
步骤S3：图像融合，使用均值或中值等方法融合偏移重叠区域，非重叠区域图像移动至重叠区域两侧，完成相邻图像拼接；
步骤S4：以步骤S3中的图像为原始图像，依次选取后幅图像为相邻图像，重复步骤S2、S3，全景拼接。
其中，根据步进距离预设ROI区域，再对固定小区域模板匹配确定实际偏移距离。融合处理的区域为小数据量的重叠区域，非重叠区域做拼接处理。
其中，连续处理的原始图像为步骤S3中的拼接完成图像，重新选取的ROI区域为上述图像与相邻图像的重叠区域。
本发明的基本原理：一种可用于掩模版缺陷检测的快速多图拼接方法，通过工件台和相机显微镜头的相对移动，步进扫描采集掩模二维图像；对相邻图像进行拼接处理，拼接原理基于模板匹配算法确定偏移距离，融合方法为渐进均值等。模板匹配为在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置；模板匹配一般的算法思想：通过滑动模板图像，就是将模板图像块一次移动一个像素，在每一个位置，都进行一次度量计算来表明它是“好”或“坏”地与那个位置匹配。匹配的度量标准包括以下几种：平方差匹配、归一化平方差匹配、相关匹配、归一化相关匹配、相关系数匹配、归一化相关系数匹配等；循环拼接相邻图像，拼接图像数量增加，ROI区域不变，单次图像处理数据量不变。
本发明与现有技术相比的优点在于：
(1)该方法与特征点方法相比，由于本方法为模板匹配判定重叠区域，因此对重叠区域面积要求小，处理数据量更少，可适用于高速拼接。
(2)该方法与特征点方法相比，采用预设ROI区域，避免了多重复图形引起的误匹配问题。
(3)该方法与自适应模型拼接方法相比，简化了拼接步骤和处理数据量，适用于二维图像的高速拼接。
(4)该方法同时速度快、拼接缝小、误匹配几率小等优点。
附图说明
图1为扫描运动示意图，其中：1为CCD相机，2为掩模版图形，3为对准标记，4为掩模版。
图2为本发明所公开的一种可用于掩模版缺陷检测的快速多图拼接方法流程图。
图3为模板匹配原理示意图，其中：31为模板区域，32为待匹配区域，33、34为相邻两幅图像的重叠区域，35、36为相邻两幅图像。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚明白，以下结合具体事例，并参照附图，对本发明进一步详细说明。
本发明一种可用于掩模版缺陷检测的快速多图拼接方法，利用的图像扫描采集***运动示意图如图1所示，使用CCD相机1扫描掩模图形2，每次横向扫描之前通过对准标记3进行校准，工件台承载掩模版4进行Z字形步进运动，相机和光源静止，减少同组二维图像的光照差异。
如图2所示，本发明所公开的一种可用于掩模版缺陷检测的快速多图拼接方法，具体实施步骤如下：
步骤S1：横纵Z字形步进扫描采集掩模图像；
步骤S2：对图像进行降噪预处理，根据步进距离预设相邻两幅图像的ROI区域，对预设区域通过模板粗精匹配，确定偏移量，从而获得相邻两图重叠区域。
步骤S3：图像融合，使用均值或中值等方法融合偏移重叠区域，非重叠区域图像移动至重叠区域两侧，完成相邻图像拼接；
步骤S4：以步骤S3中的图像为原始图像，依次选取后幅图像为相邻图像，重复步骤S2、S3，全景拼接。
其中，根据步进距离预设ROI区域，再对固定小区域模板匹配确定实际偏移距离。融合处理的区域为小数据量的重叠区域，非重叠区域做拼接处理。
其中，连续处理的原始图像为步骤S3中的拼接完成图像，重新选取的ROI区域为上述图像与相邻图像的重叠区域。
其中，模板匹配度量以相关系数方法为例。这类方法将模板对其均值的相对值与图像对其均值的相关值进行匹配，1表示完美匹配，-1表示糟糕的匹配，0表示没有任何相关性。
其中：T表示模板图像，I表示待匹配图像，模板图像的宽为w高为h，R表示匹配结果，R(x，y)代表R坐标(x，y)处的像素值，T(x'，y')和I(x'，y')都代表相应坐标处的像素值。
然后根据步距预设图像重叠区域作为ROI区域，确定前后两幅图像的对应关系按照顺序拼接两幅图像后，将此图像作为原图，后一张图像作为待匹配图像，重新划定ROI区域，每次拼接只对固定数据量的ROI区域和后一张图像进行变换处理，避免了因图像数量增加所导致的一系列问题，完成掩模图像拼接。
Claims (5)
1.一种可用于掩模版缺陷检测的快速多图拼接方法，其特征是：所述方法包括如下步骤：
步骤S1：横纵Z字形步进扫描采集掩模图像；
步骤S2：对图像进行降噪预处理，根据步进距离预设相邻两幅图像的ROI区域，对预设区域通过模板粗精匹配，确定偏移量，从而获得相邻两图重叠区域；
步骤S3：图像融合，使用均值或中值等方法融合偏移重叠区域，非重叠区域图像移动至重叠区域两侧，完成相邻图像拼接；
步骤S4：以步骤S3中的图像为原始图像，依次选取后幅图像为相邻图像，重复步骤S2、S3，全景拼接。
2.根据权利要求1所述的可用于掩模版缺陷检测的快速多图拼接方法，其特征是：步骤S2中根据步进距离预设ROI区域，再对固定小区域模板匹配确定实际偏移距离。
3.根据权利要求1所述的可用于掩模版缺陷检测的快速多图拼接方法，其特征是：步骤S3中融合处理的区域为小数据量的重叠区域，非重叠区域做拼接处理。
4.根据权利要求1所述的可用于掩模版缺陷检测的快速多图拼接方法，其特征是：步骤S4中连续处理的原始图像为步骤S3中的拼接完成图像，重新选取的ROI区域为上述图像与相邻图像的重叠区域。
5.根据权利要求1或2或3所述的可用于掩模版缺陷检测的快速多图拼接方法，其特征是：该方法属于图像拼接算法的一种，基于模板匹配算法原理，对大数据量的多重复图形图像进行快速拼接，也适用于各类平面图像拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099560.2A CN111260561A (zh) | 2020-02-18 | 2020-02-18 | 一种可用于掩模版缺陷检测的快速多图拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099560.2A CN111260561A (zh) | 2020-02-18 | 2020-02-18 | 一种可用于掩模版缺陷检测的快速多图拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111260561A true CN111260561A (zh) | 2020-06-09 |
Family
ID=70947284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010099560.2A Pending CN111260561A (zh) | 2020-02-18 | 2020-02-18 | 一种可用于掩模版缺陷检测的快速多图拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260561A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967187A (zh) * | 2021-02-25 | 2021-06-15 | 深圳海翼智新科技有限公司 | 用于目标检测的方法和装置 |
| CN113744133A (zh) * | 2021-09-13 | 2021-12-03 | 烟台艾睿光电科技有限公司 | 一种图像拼接方法、装置、设备及计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335950A (zh) * | 2014-05-28 | 2016-02-17 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| CN106296587A (zh) * | 2016-08-19 | 2017-01-04 | 广东工业大学 | 轮胎模具图像的拼接方法 |
| CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
| CN107153848A (zh) * | 2017-06-15 | 2017-09-12 | 南京工程学院 | 基于OpenCV的仪表图像自动识别方法 |
| CN108537833A (zh) * | 2018-04-18 | 2018-09-14 | 昆明物理研究所 | 一种红外图像快速拼接方法 |
| CN108734655A (zh) * | 2017-04-14 | 2018-11-02 | 中国科学院苏州纳米技术与纳米仿生研究所 | 空中多节点实时侦查的方法及*** |
| CN109166075A (zh) * | 2018-06-20 | 2019-01-08 | 南京理工大学 | 一种针对小重合区域图像拼接方法 |
| CN110031478A (zh) * | 2019-04-18 | 2019-07-19 | 中国科学院光电技术研究所 | 一种基于超振荡透镜的超分辨缺陷检测装置及检测方法 |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN110600106A (zh) * | 2019-08-28 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
-
2020
- 2020-02-18 CN CN202010099560.2A patent/CN111260561A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335950A (zh) * | 2014-05-28 | 2016-02-17 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| CN106296587A (zh) * | 2016-08-19 | 2017-01-04 | 广东工业大学 | 轮胎模具图像的拼接方法 |
| CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
| CN108734655A (zh) * | 2017-04-14 | 2018-11-02 | 中国科学院苏州纳米技术与纳米仿生研究所 | 空中多节点实时侦查的方法及*** |
| CN107153848A (zh) * | 2017-06-15 | 2017-09-12 | 南京工程学院 | 基于OpenCV的仪表图像自动识别方法 |
| CN108537833A (zh) * | 2018-04-18 | 2018-09-14 | 昆明物理研究所 | 一种红外图像快速拼接方法 |
| CN109166075A (zh) * | 2018-06-20 | 2019-01-08 | 南京理工大学 | 一种针对小重合区域图像拼接方法 |
| CN110031478A (zh) * | 2019-04-18 | 2019-07-19 | 中国科学院光电技术研究所 | 一种基于超振荡透镜的超分辨缺陷检测装置及检测方法 |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN110600106A (zh) * | 2019-08-28 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 张卫国;李景妹;: "改进的基于纹理特征的图像配准算法" * |
| 张卫国;李景妹;: "改进的基于纹理特征的图像配准算法", 《计算机工程与应用》, no. 06, pages 2 * |
| 张红民: "基于模板匹配的彩色图像自动拼接方法", no. 07 * |
| 章毓晋;: "中国图像工程:2007", no. 05 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967187A (zh) * | 2021-02-25 | 2021-06-15 | 深圳海翼智新科技有限公司 | 用于目标检测的方法和装置 |
| CN112967187B (zh) * | 2021-02-25 | 2024-05-31 | 深圳海翼智新科技有限公司 | 用于目标检测的方法和装置 |
| CN113744133A (zh) * | 2021-09-13 | 2021-12-03 | 烟台艾睿光电科技有限公司 | 一种图像拼接方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2507174C (en) | Method of registering and aligning multiple images | |
| US7019713B2 (en) | Methods and measurement engine for aligning multi-projector display systems | |
| CN110782394A (zh) | 全景视频快速拼接方法及*** | |
| US20080232715A1 (en) | Image processing apparatus | |
| CN115170669B (zh) | 基于边缘特征点集配准的识别定位方法及***、存储介质 | |
| CN112116576A (zh) | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 | |
| CN112837257A (zh) | 一种基于机器视觉的曲面标签拼接检测方法 | |
| CN111899164B (zh) | 一种针对多焦段场景的图像拼接方法 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| CN111260561A (zh) | 一种可用于掩模版缺陷检测的快速多图拼接方法 | |
| CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
| CN113538583A (zh) | 一种工件在机床上位置的精准定位方法及视觉*** | |
| CN109035170A (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
| CN112149495B (zh) | 一种基于视差追踪的视频关键帧提取方法 | |
| CN114289332A (zh) | 工件分拣的视觉识别与定位方法、装置及分拣*** | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、***及存储介质 | |
| CN111915485A (zh) | 一种特征点稀疏工件图像的快速拼接方法及*** | |
| CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
| CN115619623A (zh) | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 | |
| CN114998106A (zh) | 一种显微子图像拼接方法及其大批量图像的拼接方法 | |
| US9305235B1 (en) | System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths | |
| CN111583388A (zh) | 一种三维扫描***的扫描方法及设备 | |
| CN116132610A (zh) | 一种综采面视频拼接方法及*** | |
| CN112037273B (zh) | 深度信息获取方法、装置、可读存储介质及计算机设备 | |
| CN113095104A (zh) | 一种缺损二维码定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200609 |
|
| WD01 | Invention patent application deemed withdrawn after publication |