CN112017218A - 一种图像配准方法、装置、电子设备及存储介质 - Google Patents

一种图像配准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112017218A
CN112017218A CN202010941346.7A CN202010941346A CN112017218A CN 112017218 A CN112017218 A CN 112017218A CN 202010941346 A CN202010941346 A CN 202010941346A CN 112017218 A CN112017218 A CN 112017218A
Authority
CN
China
Prior art keywords
registered
image
target
images
numerical value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010941346.7A
Other languages
English (en)
Inventor
方吉庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010941346.7A priority Critical patent/CN112017218A/zh
Publication of CN112017218A publication Critical patent/CN112017218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供的一种图像配准方法、装置、电子设备及存储介质，可以获取待配准图像集；对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；对各二值化图像进行连通域检测，得到一个或多个连通域；对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标；基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。从而可以通过获取上述多张待配准图像的待配准目标的至少四个点的坐标，并根据该至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的清晰度更高的图像，从而便于对图像中的细节进行识别。

Description

一种图像配准方法、装置、电子设备及存储介质
技术领域
本发明涉及信息技术领域，特别是涉及一种图像配准方法、装置、电子设备及存储介质。
背景技术
目前，通过摄像头进行图像的采集和抓拍已经有着普遍的应用。例如，通过交通摄像头对行驶过程中的车辆进行抓拍，便于对违章行为进行监督和记录。
然而，在通过交通摄像头进行图像的采集和抓拍时，由于被抓拍目标和天气等原因，往往会出现抓拍不清楚，照片模糊等情况，从而给抓拍的照片的识别造成困难。
发明内容
本发明实施例的目的在于提供一种图像配准方法、装置、电子设备及存储介质，以实现通过多张图片生成一张清晰度更高的图片图像。具体技术方案如下：
本申请实施例的第一方面，提供了一种图像配准方法，包括：
获取待配准图像集，其中，待配准图像集包括至少两张待配准图像，各待配准图像中均包括同一待配准目标；
对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；
对各二值化图像进行连通域检测，得到一个或多个连通域；
对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标，其中，待配准目标的位置坐标包括待配准目标中至少四个点的坐标；
基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
可选的，对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像，包括：
对待配准图像集中的各待配准图像进行灰度化处理，得到多张灰度图像；
通过最大类间差法OTSU分别计算各灰度图像的灰度阈值；
针对每一个灰度图像，将该灰度图像中灰度值大于该灰度图像灰度阈值的像素设置为第一灰度值，将该灰度图像中灰度值不大于该灰度图像灰度阈值的像素设置为第二灰度值，从而得到多张二值化图像。
可选的，对各二值化图像进行连通域检测，得到一个或多个连通域，包括：
对各二值化图像进行连通域检测，为二值化图像中的每一像素点标记一个数值，其中，同一连通域的像素点的数值相等；
通过预设规则为二值化图像中的每一像素点的数值进行重新标记，得到各像素点的重新标记后的数值；
根据各像素点的重新标记后的数值，将相同数值的像素点划分为同一连通域，得到一个或多个连通域。
可选的，预设规则，包括：
针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点的数值均为第二数值；
当第一数值与第二数值相等时，对任一像素点的数值不进行重新标记；
当第一数值与第二数值不相等时，对任一像素点的数值重新标记为第二数值。
可选的，预设规则，包括：
针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点中，各像素点的数值不完全相同时；
选取与任一像素点的相邻的多个像素点中，各像素点的数值最小的数值，作为目标数值；
将任一像素点的数值标记为目标数值。
可选的，对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标，包括：
对各连通域进行待配准目标的识别，得到各二值化图像中的待配准目标的二值图；
对各待配准图像中的待配准目标的二值图投影，得到各连通域的待配准目标的位置坐标。
可选的，基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像，包括：
基于待配准目标的至少四个点的坐标，计算得到各待配准图像之间的单应性矩阵；
根据各待配准图像之间的单应性矩阵，得到各待配准图像之间的映射关系；
根据各待配准图像之间的映射关系，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
本申请实施例的第二方面，提供了一种图像配准装置，包括：
图像获取模块，用于获取待配准图像集，其中，待配准图像集包括至少两张待配准图像，各待配准图像中均包括同一待配准目标；
二值化处理模块，用于对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；
连通域检测模块，用于对各二值化图像进行连通域检测，得到一个或多个连通域；
目标检测模块，用于对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标，其中，待配准目标的位置坐标包括待配准目标中至少四个点的坐标；
图像融合模块，用于基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
可选的，二值化处理模块，包括：
对待配准图像集中的各待配准图像进行灰度化处理，得到多张灰度图像；
通过最大类间差法OTSU分别计算各灰度图像的灰度阈值；
针对每一个灰度图像，将该灰度图像中灰度值大于该灰度图像灰度阈值的像素设置为第一灰度值，将该灰度图像中灰度值不大于该灰度图像灰度阈值的像素设置为第二灰度值，从而得到多张二值化图像。
可选的，连通域检测模块，包括：
数值标记子模块，用于对各二值化图像进行连通域检测，为二值化图像中的每一像素点标记一个数值，其中，同一连通域的像素点的数值相等；
重新标记子模块，用于通过预设规则为二值化图像中的每一像素点的数值进行重新标记，得到各像素点的重新标记后的数值；
连通域划分子模块，用于根据各像素点的重新标记后的数值，将相同数值的像素点划分为同一连通域，得到一个或多个连通域。
可选的，预设规则，包括：
针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点的数值均为第二数值；
当第一数值与第二数值相等时，对任一像素点的数值不进行重新标记；
当第一数值与第二数值不相等时，对任一像素点的数值重新标记为第二数值。
可选的，预设规则，包括：
针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点中，各像素点的数值不完全相同时；
选取与任一像素点的相邻的多个像素点中，各像素点的数值最小的数值，作为目标数值；
将任一像素点的数值标记为目标数值。
可选的，目标检测模块，包括：
目标识别子模块，用于对各连通域进行待配准目标的识别，得到各二值化图像中的待配准目标的二值图；
坐标获取子模块，用于对各待配准图像中的待配准目标的二值图投影，得到各连通域的待配准目标的位置坐标。
可选的，图像融合模块，包括：
矩阵获取子模块，用于基于待配准目标的至少四个点的坐标，计算得到各待配准图像之间的单应性矩阵；
关系获取子模块，用于根据各待配准图像之间的单应性矩阵，得到各待配准图像之间的映射关系；
图像融合子模块，用于根据各待配准图像之间的映射关系，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的图像配准方法。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的图像配准方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像配准方法。
本发明实施例有益效果：
本发明实施例提供的一种图像配准方法、装置、电子设备及存储介质，可以获取待配准图像集；对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；对各二值化图像进行连通域检测，得到一个或多个连通域；对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标；基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。从而可以通过获取上述多张待配准图像的待配准目标的至少四个点的坐标，并根据该至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的清晰度更高的图像，从而便于对图像中的细节进行识别。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例的图像配准方法的一种流程图；
图2为本申请实施例的各待配准图像进行二值化处理一种流程图；
图3为本申请实施例的连通域检测的一种流程图；
图4为本申请实施例的待配准目标的检测的一种流程图；
图5为本申请实施例的各待配准图像进行配准及融合的一种流程图；
图6为本申请实施例的图像配准装置的一种示意图；
图7为本申请实施例的一种电子设备。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本申请所涉及的技术用语进行解释：
连通域：即连通区域(Connected Component)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域，对应的英文为Region或Blob。
图像配准：将不同时间、不同设备或不同条件(位姿、气候和角度等)获取的两幅或多幅图像进行匹配或叠加的过程。
投影直方图：投影直方图是将一个变量的不同等级的相对频数用矩形块标绘的图表，在本发明专利中主要是将梯度图像做水平方向和垂直方向投影直方图。
本申请实施例的第一方面，提供了一种图像配准方法，包括：
获取待配准图像集，其中，待配准图像集包括至少两张待配准图像，各待配准图像中均包括同一待配准目标；
对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；
对各二值化图像进行连通域检测，得到一个或多个连通域；
对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标，其中，待配准目标的位置坐标包括待配准目标中至少四个点的坐标；
基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
可见，通过本申请实施例的图像配准方法，可以通过获取上述多张待配准图像的待配准目标的至少四个点的坐标，并根据该至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的清晰度更高的图像，从而便于对图像中的细节进行识别。
以下进行详细说明，首先对本申请实施例的一种应用场景进行介绍。当针对某一目标获取到多张图片时，可能出现图像中某些细节不清楚等问题。这种情况下，可以对所获得的多张图片进行配准和融合，得到融合后的图像，然后根据融合后的图像进行图像中细节的识别。举例而言：
当交通摄像头拍到某一车辆的多张可见光或红外光图片，需要对驾驶员或车牌等图像中的细节进行识别时。可以选取两张可见光图像，或一张可见光图像和一张红外光图像等，然后对所选取的图像进行配准和融合，得到具有更高清晰度的图像，然后根据融合后的图像进行驾驶员或车牌等图像中的细节进行识别。
参见图1，图1为本申请实施例的图像配准方法的一种流程图，包括：
步骤S11，获取待配准图像集。
其中，待配准图像集包括至少两张待配准图像，各待配准图像中均包括同一待配准目标，待配准图像可以是可见光图像，也可以是红外光图像等。例如，通过交通摄像头针对某一汽车驾驶员进行抓拍时，连续抓拍到至少两张针对该汽车前车窗的图片，则在该汽车前车窗的图片中，待配准目标可以为汽车前车窗。再比如，当通过交通摄像头针对某一汽车的前后车牌进行抓拍时，连续抓拍到至少两张针对该汽车前后车牌的图片，待配准目标为该汽车前后车牌。
本申请实施例针对的是智能终端中的待配准图像，因此可以通过智能终端来执行，具体的，该智能终端可以为智能摄像机、硬盘录像机、电脑或服务器等。
步骤S12，对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像。
其中，对上述待配准图像进行二值化处理，可以为先对该待配准图像进行灰度化，将待配准图像中的每一个像素点设置为0到255之间的某一数值，然后通过假设将该图像区分为背景和前景，计算得到该待配准图像的灰度阈值，通过灰度阈值将上述待配准图像中各个像素点的数值进行重新标记。例如，可以将小于灰度阈值的像素点标记为0，大于灰度阈值的像素点标记为255。其中，二值化具体处理方式可以参见相关技术中的二值化方法，例如，OTSU(最大类间差法)二值化处理。
步骤S13，对各二值化图像进行连通域检测，得到一个或多个连通域。
其中，分别对每个二值化图像进行连通域检测。例如，可以通过两遍扫描法，将上述二值化图像中大于灰度阈值的像素点标记为1，将小于灰度阈值的像素点标记为0，从而为对上述二值化图像中的每一像素点标记一个数值，根据所标记的数值进行和像素点之间相邻的关系进行连通域的检测，得到上述二值化图像中的一个或多个连通域。
步骤S14，对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标。
其中，待配准目标的位置坐标包括待配准目标中至少四个点的坐标。对各连通域进行待配准目标的检测，可以为根据待配准目标的形状，对上述各连通域进行待配准目标的检测，得到一个或多个连通域中的待配准目标的图像，进而得到待配准目标的图像在上述待配准图像中的至少四个点的位置坐标。
例如，当对交通摄像头拍到的多张某一汽车前车窗的图片进行配准时，待配准目标为汽车前车窗，待配准目标的坐标可以是汽车前车窗的四个顶点的坐标。再比如，当对交通摄像头拍到的多张汽车前后车牌的图片进行配准时，待配准目标为汽车前后车牌，待配准目标的坐标可以是汽车前后车牌的四个顶点的坐标。
步骤S15，基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，可以为根据多个待配准图像中各待配准图像的至少四个点的坐标的对应关系，将待配准图像集中的各待配准图像进行配准。例如，待配准目标的四个点的坐标包括待配准目标的上下左右四个点的坐标，则以一个待配准图像的上下左右四个点为基准，将其他待配准图像的上下左右四个点，分别与基准待配准图像的上下左右四个点进行配准，并对将各配准后的图像进行融合，得到融合后的图像。
例如，根据汽车前车窗的四个顶点的坐标，对多张汽车前车窗的图片进行配准和融合，得到融合后具有更高清晰度的汽车前车窗图片。再比如，根据汽车前后车牌的四个顶点的坐标，对汽车前后车牌的进行融合，得到融合后具有更高清晰度的汽车前后车牌的图片。
可见，通过本申请实施例的图像配准方法，可以通过获取上述多张待配准图像的待配准目标的至少四个点的坐标，并根据该至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的清晰度更高的图像，从而便于对图像中的细节进行识别。
可选的，参见图2，步骤S12对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像，包括：
步骤S121，对待配准图像集中的各待配准图像进行灰度化处理，得到多张灰度图像。
其中，对待配准图像进行灰度化处理，可以通过多种方式实现，例如，可以通过Gamma校正，对待配准图像集中的各待配准图像进行灰度化处理，得到各待配准图像对应的灰度图像，从而得到多张灰度图像。灰度化处理可以将待配准图像中的每一个像素点设置为0到255之间的某一数值。
步骤S122，通过OTSU算法分别计算各灰度图像的灰度阈值。
OTSU算法的假设是存在阈值Th将图像所有像素分为两类C1(小于TH)和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG。同时像素被分为C1和C2类的概率分别为p1、p2。因此就有：
p1*m1+p2*m2＝mG
p1+p2＝1
类方差的表达式为：
σ2＝p1(m1-mG)2+p2(m2-mG)2
从而得到：
σ2＝p1*p2(m1-m2)2
使得上式方差最大时，求得的均值mG就是阈值TH，公式中：
Figure BDA0002673743500000101
Figure BDA0002673743500000102
Figure BDA0002673743500000103
其中，L为总灰度级数，i是像素点的个数。
步骤S123，针对每一个灰度图像，将该灰度图像中灰度值大于该灰度图像灰度阈值的像素设置为第一灰度值，将该灰度图像中灰度值不大于该灰度图像灰度阈值的像素设置为第二灰度值，从而得到多张二值化图像。
通过将该灰度图像中灰度值大于该灰度图像灰度阈值的像素设置为第一灰度值，例如，设置为255，将该灰度图像中灰度值不大于该灰度图像灰度阈值的像素设置为第二灰度值，例如设置为0。从而便于对二值化图像进行连通域的检查。
可选的，参见图3，步骤S13对各二值化图像进行连通域检测，得到一个或多个连通域，包括：
步骤S131，对各二值化图像进行连通域检测，为二值化图像中的每一像素点标记一个数值。
例如，对二值化图像进行扫描，给各个有效像素点设置一个label值，例如，将上述二值化图像中大于灰度阈值的像素点标记为1，将小于灰度阈值的像素点标记为0。
或通过如下规则进行设置：
1)针对某一像素点，当该像素的左相邻像素点和上相邻像素点的lable为无效值时，即未设置lable时，将该像素点设置为一个新的label值，label++；
2)针对某一像素点，当该像素点的左相邻像素点或者上相邻像素点有一个为有效值时，将该像素的label值设置为与有效值的像素点的label相同；
3)针对某一像素点，当该像素点的左相邻像素点和上相邻像素点都是有效值时，将该像素的label值设置为与其中较小的label值相同。
步骤S132，通过预设规则对二值化图像中的每一像素点的数值进行重新标记，得到各像素点的重新标记后的数值。
在实际使用过程中，通过预设规则对二值化图像中的每一像素点的数值进行重新标记，可以为将属于同一个连通区域但具有不同值的label标记为相同的leble，也就是记录它们之间的相等关系。
步骤S133，根据各像素点的重新标记后的数值，将相同数值的像素点划分为同一连通域，得到一个或多个连通域。
在实际使用过程中，根据各像素点的重新标记后的数值，将相同数值的像素点划分为同一连通域，例如，可以通过将上述记录的相等关系的像素点归为一个连通区域并赋予一个相同的label。
可见，通过本申请实施例的连通域检测检测方法，不但可以对各二值化图像进行连通域检测，还可以将属于同一连通域的像素点进行进行连通域的重新划分，得到一个或多个连通域。
可选的，预设规则，包括：针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点的数值均为第二数值；当第一数值与第二数值相等时，对任一像素点的数值不进行重新标记；当第一数值与第二数值不相等时，对任一像素点的数值重新标记为第二数值。
可选的，预设规则，包括：针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点中，各像素点的数值不完全相同时；选取与任一像素点的相邻的多个像素点中，各像素点的数值最小的数值，作为目标数值；将任一像素点的数值标记为目标数值。
例如，通过上述方法扫描图像：
(1)第一次扫描：
访问当前像素B(x,y)，如果B(x,y)＝＝1：
如果B(x,y)的领域中像素值都为0，则赋予B(x,y)一个新的label：
label+＝1，B(x,y)＝label；
如果B(x,y)的领域中有像素值>1的像素Neighbors：
1)将Neighbors中的最小值赋予给B(x,y):
B(x,y)＝min{Neighbors}
2)记录Neighbors中各个值(label)之间的相等关系，即这些值(label)同属同一个连通区域；
labelSet[i]＝{label_m,..,label_n}，labelSet[i]中的所有label都属于同一个连通区域(注：这里可以有多种实现方式，只要能够记录这些具有相等关系的label之间的关系即可)
(2)第二次扫描：
访问当前像素B(x,y)，如果B(x,y)>1：
找到与label＝B(x,y)同属相等关系的一个最小label值，赋予给B(x,y)；
完成扫描后，图像中具有相同label值的像素就组成了同一个连通区域。
可见，通过本申请实施例的预设规则，可以进行像素点所属的连通域的判断，将属于同一连通域的像素点进行进行连通域的重新划分，得到一个或多个连通域。
可选的，参见图4，步骤S14对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标，包括：
步骤S141，对各连通域进行待配准目标的识别，得到各二值化图像中的待配准目标的二值图。
其中，对各连通域进行待配准目标的识别，可以依据待配准目标形状等，进行识别，得到各二值化图像中的待配准目标的二值图。例如，当待配准目标为汽车前车窗时，可以识别各连通域中形状为梯形的连通域，得到汽车前车窗对应的二值图，再比如，当待配准目标为汽车前后车牌时，可以识别各连通域中形状为矩形的连通域，得到汽车车牌对应的二值图。
步骤S142，对各待配准图像中的待配准目标的二值图投影，得到各连通域的待配准目标的位置坐标。
对各待配准图像中的待配准目标的二值图投影，可以对待配准目标的二值图进行水平直方图投影，得到竖直方向的坐标，再对改二值图进行统计得到水平坐标。
例如，上述待配准目标的位置坐标包括四个点的坐标，待配准目标是汽车车窗。则得到水平投影直方图之后，统计w/2列像素的变换值，则发生两次跳变的位置为车窗的上下坐标y1和y2，在连通域二值图中统计(y1+y2)/2行处像素值的变化规律，根据像素值由白到黑的变化得到车窗左右轮廓的x坐标，x1和x2。根据这四个坐标得到车窗所在平面的四个顶点坐标P1(x1,y1)、P2(x1,y2)、P3(x2,y1)和P4(x4,y4)。
可见，通过本申请实施例的对各连通域进行待配准目标的检测的方法，可以对各连通域进行待配准目标的识别和投影，得到各连通域的待配准目标的位置坐标，从而便于根据待配准目标的位置坐标进行待配准图像的配准和融合，得到融合后的图像。
可选的，参见图5，步骤S15基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像，包括：
步骤S151，基于待配准目标的至少四个点的坐标，计算得到各待配准图像之间的单应性矩阵。
例如，待配准目标为汽车车窗，待配准图像集包括两张同一汽车的照片，得到车窗区域的4个顶点坐标P1～P4，然后根据前一帧四个点中某一点坐标为(uf,vf)和后一帧四个点中某一点坐标为(us,vs)，计算得到前一映射到后一帧的单应性矩阵H；
Figure BDA0002673743500000141
步骤S152，根据各待配准图像之间的单应性矩阵，得到各待配准图像之间的映射关系。
根据上述举例，待配准目标为汽车车窗，根据各待配准图像之间的单应性矩阵H对两张图像进行映射
Figure BDA0002673743500000142
有
Figure BDA0002673743500000143
Figure BDA0002673743500000144
步骤S153，根据各待配准图像之间的映射关系，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
可见，通过本申请实施例的基于待配准目标的至少四个点的坐标，计算得到各待配准图像之间的单应性矩阵，从而得到各待配准图像之间的映射关系，根据各待配准图像之间的映射关系，对待配准图像集中的各待配准图像进行配准及融合，从而可以对多张待配准图像进行配准和融合，从而便于得到相比于待配准图像清晰度更高的图像，从而便于对待配准图像中的细节进行识别。
参见图6，本申请实施例的第二方面，提供了一种图像配准装置，包括：
图像获取模块601，用于获取待配准图像集，其中，待配准图像集包括至少两张待配准图像，各待配准图像中均包括同一待配准目标；
二值化处理模块602，用于对待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；
连通域检测模块603，用于对各二值化图像进行连通域检测，得到一个或多个连通域；
目标检测模块604，用于对各连通域进行待配准目标的检测，得到各连通域的待配准目标的位置坐标，其中，待配准目标的位置坐标包括待配准目标中至少四个点的坐标；
图像融合模块605，用于基于待配准目标的至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
可选的，二值化处理模块602，包括：
对待配准图像集中的各待配准图像进行灰度化处理，得到多张灰度图像；
通过最大类间差法OTSU分别计算各灰度图像的灰度阈值；
针对每一个灰度图像，将该灰度图像中灰度值大于该灰度图像灰度阈值的像素设置为第一灰度值，将该灰度图像中灰度值不大于该灰度图像灰度阈值的像素设置为第二灰度值，从而得到多张二值化图像。
可选的，连通域检测模块603，包括：
数值标记子模块，用于对各二值化图像进行连通域检测，为二值化图像中的每一像素点标记一个数值，其中，同一连通域的像素点的数值相等；
重新标记子模块，用于通过预设规则为二值化图像中的每一像素点的数值进行重新标记，得到各像素点的重新标记后的数值；
连通域划分子模块，用于根据各像素点的重新标记后的数值，将相同数值的像素点划分为同一连通域，得到一个或多个连通域。
可选的，预设规则，包括：
针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点的数值均为第二数值；
当第一数值与第二数值相等时，对任一像素点的数值不进行重新标记；
当第一数值与第二数值不相等时，对任一像素点的数值重新标记为第二数值。
可选的，预设规则，包括：
针对任一像素点，任一像素点的数值为第一数值，与任一像素点相邻的多个像素点中，各像素点的数值不完全相同时；
选取与任一像素点的相邻的多个像素点中，各像素点的数值最小的数值，作为目标数值；
将任一像素点的数值标记为目标数值。
可选的，目标检测模块604，包括：
目标识别子模块，用于对各连通域进行待配准目标的识别，得到各二值化图像中的待配准目标的二值图；
坐标获取子模块，用于对各待配准图像中的待配准目标的二值图投影，得到各连通域的待配准目标的位置坐标。
可选的，图像融合模块605，包括：
矩阵获取子模块，用于基于待配准目标的至少四个点的坐标，计算得到各待配准图像之间的单应性矩阵；
关系获取子模块，用于根据各待配准图像之间的单应性矩阵，得到各待配准图像之间的映射关系；
图像融合子模块，用于根据各待配准图像之间的映射关系，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的图像。
可见，通过本申请实施例的图像配准装置，可以通过获取上述多张待配准图像的待配准目标的至少四个点的坐标，并根据该至少四个点的坐标，对待配准图像集中的各待配准图像进行配准及融合，得到融合后的清晰度更高的图像，从而便于对图像中的细节进行识别。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述任一图像配准方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像配准方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像配准方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种图像配准方法，其特征在于，包括：
获取待配准图像集，其中，所述待配准图像集包括至少两张待配准图像，各所述待配准图像中均包括同一待配准目标；
对所述待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；
对各所述二值化图像进行连通域检测，得到一个或多个连通域；
对各所述连通域进行待配准目标的检测，得到各所述连通域的待配准目标的位置坐标，其中，所述待配准目标的位置坐标包括所述待配准目标中至少四个点的坐标；
基于所述待配准目标的至少四个点的坐标，对所述待配准图像集中的各所述待配准图像进行配准及融合，得到融合后的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像，包括：
对所述待配准图像集中的各待配准图像进行灰度化处理，得到多张灰度图像；
通过最大类间差法OTSU分别计算各所述灰度图像的灰度阈值；
针对每一个灰度图像，将该灰度图像中灰度值大于该灰度图像灰度阈值的像素设置为第一灰度值，将该灰度图像中灰度值不大于该灰度图像灰度阈值的像素设置为第二灰度值，从而得到多张二值化图像。
3.根据权利要求1所述的方法，其特征在于，所述对各所述二值化图像进行连通域检测，得到一个或多个连通域，包括：
对各所述二值化图像进行连通域检测，为所述二值化图像中的每一像素点标记一个数值，其中，同一连通域的像素点的数值相等；
通过预设规则为所述二值化图像中的每一像素点的数值进行重新标记，得到各像素点的重新标记后的数值；
根据所述各像素点的重新标记后的数值，将相同数值的像素点划分为同一连通域，得到一个或多个连通域。
4.根据权利要求3所述的方法，其特征在于，所述预设规则，包括：
针对任一像素点，所述任一像素点的数值为第一数值，与所述任一像素点相邻的多个像素点的数值均为第二数值；
当所述第一数值与所述第二数值相等时，对所述任一像素点的数值不进行重新标记；
当所述第一数值与所述第二数值不相等时，对所述任一像素点的数值重新标记为第二数值。
5.根据权利要求3或4所述的方法，其特征在于，所述预设规则，包括：
针对任一像素点，所述任一像素点的数值为第一数值，与所述任一像素点相邻的多个像素点中，各像素点的数值不完全相同时；
选取所述与所述任一像素点的相邻的多个像素点中，各像素点的数值最小的数值，作为目标数值；
将所述任一像素点的数值标记为所述目标数值。
6.根据权利要求1所述的方法，其特征在于，所述对各所述连通域进行待配准目标的检测，得到各所述连通域的待配准目标的位置坐标，包括：
对各所述连通域进行待配准目标的识别，得到各所述二值化图像中的所述待配准目标的二值图；
对各所述待配准图像中的所述待配准目标的二值图投影，得到各所述连通域的待配准目标的位置坐标。
7.根据权利要求1所述的方法，其特征在于，所述基于所述待配准目标的至少四个点的坐标，对所述待配准图像集中的各所述待配准图像进行配准及融合，得到融合后的图像，包括：
基于所述待配准目标的至少四个点的坐标，计算得到各所述待配准图像之间的单应性矩阵；
根据各所述待配准图像之间的单应性矩阵，得到各所述待配准图像之间的映射关系；
根据各所述待配准图像之间的映射关系，对所述待配准图像集中的各所述待配准图像进行配准及融合，得到融合后的图像。
8.一种图像配准装置，其特征在于，包括：
图像获取模块，用于获取待配准图像集，其中，所述待配准图像集包括至少两张待配准图像，各所述待配准图像中均包括同一待配准目标；
二值化处理模块，用于对所述待配准图像集中的各待配准图像进行二值化处理，得到多张二值化图像；
连通域检测模块，用于对各所述二值化图像进行连通域检测，得到一个或多个连通域；
目标检测模块，用于对各所述连通域进行待配准目标的检测，得到各所述连通域的待配准目标的位置坐标，其中，所述待配准目标的位置坐标包括所述待配准目标中至少四个点的坐标；
图像融合模块，用于基于所述待配准目标的至少四个点的坐标，对所述待配准图像集中的各所述待配准图像进行配准及融合，得到融合后的图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202010941346.7A 2020-09-09 2020-09-09 一种图像配准方法、装置、电子设备及存储介质 Pending CN112017218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010941346.7A CN112017218A (zh) 2020-09-09 2020-09-09 一种图像配准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010941346.7A CN112017218A (zh) 2020-09-09 2020-09-09 一种图像配准方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112017218A true CN112017218A (zh) 2020-12-01

Family

ID=73522131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010941346.7A Pending CN112017218A (zh) 2020-09-09 2020-09-09 一种图像配准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112017218A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668676A (zh) * 2020-12-12 2021-04-16 浙江大华技术股份有限公司 包裹的安检图像处理方法、电子装置和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097344A (zh) * 2016-06-15 2016-11-09 武汉理工大学 一种检测轮胎橡胶中几何形杂质的图像处理方法及***
CN107833238A (zh) * 2017-11-14 2018-03-23 京东方科技集团股份有限公司 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置
CN108345888A (zh) * 2018-02-11 2018-07-31 浙江华睿科技有限公司 一种连通域提取方法及装置
CN108510455A (zh) * 2018-03-27 2018-09-07 长春理工大学 一种激光照射器图像融合方法及***
CN109166077A (zh) * 2018-08-17 2019-01-08 广州视源电子科技股份有限公司 图像对齐方法、装置、可读存储介质及计算机设备
CN109191415A (zh) * 2018-08-22 2019-01-11 成都纵横自动化技术股份有限公司 图像融合方法、装置及电子设备
CN109509200A (zh) * 2018-12-26 2019-03-22 深圳市繁维医疗科技有限公司 基于轮廓提取的棋盘格角点检测方法、装置以及计算机可读存储介质
CN110189368A (zh) * 2019-05-31 2019-08-30 努比亚技术有限公司 图像配准方法、移动终端及计算机可读存储介质
CN110971841A (zh) * 2019-12-09 2020-04-07 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111213178A (zh) * 2019-03-29 2020-05-29 深圳市大疆创新科技有限公司 连通域处理方法、数据处理设备及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097344A (zh) * 2016-06-15 2016-11-09 武汉理工大学 一种检测轮胎橡胶中几何形杂质的图像处理方法及***
CN107833238A (zh) * 2017-11-14 2018-03-23 京东方科技集团股份有限公司 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置
CN108345888A (zh) * 2018-02-11 2018-07-31 浙江华睿科技有限公司 一种连通域提取方法及装置
CN108510455A (zh) * 2018-03-27 2018-09-07 长春理工大学 一种激光照射器图像融合方法及***
CN109166077A (zh) * 2018-08-17 2019-01-08 广州视源电子科技股份有限公司 图像对齐方法、装置、可读存储介质及计算机设备
CN109191415A (zh) * 2018-08-22 2019-01-11 成都纵横自动化技术股份有限公司 图像融合方法、装置及电子设备
CN109509200A (zh) * 2018-12-26 2019-03-22 深圳市繁维医疗科技有限公司 基于轮廓提取的棋盘格角点检测方法、装置以及计算机可读存储介质
CN111213178A (zh) * 2019-03-29 2020-05-29 深圳市大疆创新科技有限公司 连通域处理方法、数据处理设备及计算机可读存储介质
CN110189368A (zh) * 2019-05-31 2019-08-30 努比亚技术有限公司 图像配准方法、移动终端及计算机可读存储介质
CN110971841A (zh) * 2019-12-09 2020-04-07 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高梦珠: "基于图像配准的车标识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 411 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668676A (zh) * 2020-12-12 2021-04-16 浙江大华技术股份有限公司 包裹的安检图像处理方法、电子装置和存储介质

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
Luvizon et al. A video-based system for vehicle speed measurement in urban roadways
Pun et al. Multi-scale noise estimation for image splicing forgery detection
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
Moghadam et al. Fast vanishing-point detection in unstructured environments
TWI409718B (zh) 移動中車輛之車牌定位方法
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN105092598A (zh) 一种基于连通域的大幅面pcb板缺陷快速识别方法及***
Paunwala et al. A novel multiple license plate extraction technique for complex background in Indian traffic conditions
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
WO2023185234A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN114155285B (zh) 基于灰度直方图的图像配准方法
CN112132892B (zh) 目标位置标注方法、装置及设备
CN113505643B (zh) 违章目标物检测方法及相关装置
CN114821274A (zh) 一种用于识别分合指示牌的状态的方法和设备
CN112017218A (zh) 一种图像配准方法、装置、电子设备及存储介质
CN110765875B (zh) 交通目标的边界检测方法、设备及装置
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
US7440636B2 (en) Method and apparatus for image processing
Powell et al. Automated road distress detection
Lin et al. Vision-based patient identification recognition based on image content analysis and support vector machine for medical information system
CN111695374A (zh) 监控视角中斑马线区域的分割方法、***、介质及设备
Ghosh et al. A vehicle number plate recognition system using region-of-interest based filtering method
CN114724119A (zh) 车道线提取方法、检测设备及存储介质
CN111027560B (zh) 文本检测方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination