CN114298902A - 一种图像对齐方法、装置、电子设备和存储介质 - Google Patents
一种图像对齐方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114298902A CN114298902A CN202111459872.0A CN202111459872A CN114298902A CN 114298902 A CN114298902 A CN 114298902A CN 202111459872 A CN202111459872 A CN 202111459872A CN 114298902 A CN114298902 A CN 114298902A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- target
- feature
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 239000011159 matrix material Substances 0.000 claims abstract description 67
- 238000013507 mapping Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像对齐方法、装置、电子设备和存储介质,应用于图像处理技术领域,解决现有技术中由于特征点不明显从而造成图像对齐精度不高的问题,该方法包括:获取第一图像和第二图像,从第一图像的第一感兴趣区域提取多个第一特征点,以及从第二图像的第二感兴趣区域提取多个第二特征点;将多个第一特征点与多个第二特征点进行特征匹配,确定多个第一特征点中至少一个第一目标特征点的坐标,以及确定多个第二特征点中至少一个第二目标特征点的坐标;计算用于像素映射的第一单应性矩阵;基于第一单应性矩阵将第一感兴趣区域内的每个像素点的像素值映射到第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像对齐方法、装置、电子设备和存储介质。
背景技术
图像对齐在图像融合、图像拼接以及计算机视觉等方面发挥重要作用,它是将不同时间或不同角度的两幅或多幅图像进行对齐,以确定图像间空间位置、强度等之间的映射关系,从而将极短时间内连续拍摄的多帧图像融合成一帧图像。现有技术中基于特征的图像对齐方法首先找到两张图片中的特征点并进行特征匹配,然后计算单应性矩阵统一变换图像中的像素点坐标进行图像对齐,但实际操作过程中,由于图像拍摄过程存在光照、景深、角度等不确定因素,导致需要处理的图像难以提取明显的特征点,从而使得该方法的场景适应性差,图像对齐的精度低。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种图像对齐方法、装置、电子设备和存储介质。
本申请实施例提供了一种图像对齐方法,该方法包括:
获取第一图像和第二图像,第一图像为基于第二图像进行全局图像对齐处理后的第一图像;
从第一图像的第一感兴趣区域提取多个第一特征点,以及从第二图像的第二感兴趣区域提取多个第二特征点;第一感兴趣区域与第二感兴趣区域的大小相同,且在不同图像中的位置对应;
将多个第一特征点与多个第二特征点进行特征匹配,确定多个第一特征点中至少一个第一目标特征点的坐标,以及确定多个第二特征点中至少一个第二目标特征点的坐标,至少一个第一目标特征点与至少一个第二目标特征点匹配;
根据至少一个第一目标特征点的坐标,以及至少一个第二目标特征点的坐标,计算用于像素映射的第一单应性矩阵;
基于第一单应性矩阵将第一感兴趣区域内的每个像素点的像素值映射到第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
在一个实施例中,获取第一图像,包括:
获取第二图像的直方图,并确定第二图像中每个像素点的像素值;
根据第二图像中每个像素点的像素值,设置第三图像中像素位置对应的像素点的像素值;
根据第二图像中每个像素点的像素值,以及设置后的第三图像中每个像素点的像素值,提取第三图像中的至少一个第一角点,以及提取第二图像中的至少一个第二角点;
将至少一个第一角点和至少一个第二角点进行特征匹配,确定至少一个第一角点中的第一目标角点,以及至少一个第二角点中的第二目标角点,第一目标角点与第二目标角点匹配
根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵;
基于第二单应性矩阵,将第三图像内每个像素点的像素值映射到第二图像的对应像素点中,得到全局图像对齐后的第一图像。
在一个实施例中,至少一次特征匹配的次数为多次,将至少一个第一角点和至少一个第二角点进行特征匹配,包括:
将至少一个第一角点和至少一个第二角点,以N个角点为单位,进行一次特征匹配;
将至少一个第一角点和至少一个第二角点,以M个角点为单位,进行再一次特征匹配;
其中,N为大于M的正整数。
在一个实施例中,根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵,包括:
若第一目标角点的数量大于或等于预设数量,则根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵;
方法还包括:
若第一目标角点的数量小于预设数量,则从第三图像提取多个第一ORB特征点,以及从第二图像中提取多个第二ORB特征点;
将多个第一ORB特征点与多个第二ORB特征点进行特征匹配,确定多个第一ORB特征点中至少一个第一目标ORB特征点的坐标,以及确定多个第二ORB特征点中至少一个第二目标ORB特征点的坐标,至少一个第一目标ORB特征点与至少一个第二目标ORB特征点匹配;
根据至少一个第一目标ORB特征点的坐标,以及至少一个第二目标ORB特征点的坐标,计算第二单应性矩阵。
在一些实施例中,从第一图像的第一感兴趣区域提取多个第一特征点,以及从第二图像的第二感兴趣区域提取多个第二特征点,包括:
对第一感兴趣区域和第二感兴趣区域进行目标对象检测;
从第一感兴趣区域确定第一目标对象图,以及从第二感兴趣区域确定第二目标对象图;
从第一目标对象图中提取多个第一特征点,以及从第二目标对象中提取多个第二特征点。
在一些实施例中,从第一目标对象图中提取多个第一特征点,以及从第二目标对象中提取多个第二特征点,包括:
识别第一目标对象图和第二目标对象图中是否包含目标对象;
若第一目标对象图和第二目标对象图中包含目标对象,则从第一目标对象图中提取多个第一ECC特征点,以及从第二目标对象图中提取多个第二ECC特征点。
在一些实施例中,从第一感兴趣区域确定第一目标对象图,以及从第二感兴趣区域确定第二目标对象图之后,还包括:
获取第二目标对象图的直方图,并确定第二目标对象图中每个像素点的像素值;
根据第二目标对象图中每个像素点的像素值,设置第一目标对象图中像素位置对应的像素点的像素值。
本申请实施例提供了一种图像对齐装置,该装置包括:
获取模块,用于获取第一图像和第二图像,第一图像为基于第二图像进行全局图像对齐处理后的第一图像;
提取模块,用于从第一图像的第一感兴趣区域提取多个第一特征点,以及从第二图像的第二感兴趣区域提取多个第二特征点;第一感兴趣区域与第二感兴趣区域的大小相同,且在不同图像中的位置对应;
特征匹配模块,用于将多个第一特征点与多个第二特征点进行特征匹配,确定多个第一特征点中至少一个第一目标特征点的坐标,以及确定多个第二特征点中至少一个第二目标特征点的坐标,至少一个第一目标特征点与至少一个第二目标特征点匹配;
计算模块,用于根据至少一个第一目标特征点的坐标,以及至少一个第二目标特征点的坐标,计算用于像素映射的第一单应性矩阵;
映射模块,用于基于第一单应性矩阵将第一感兴趣区域内的每个像素点的像素值映射到第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
在一个实施例中,获取模块,具体用于获取第二图像的直方图,并确定第二图像中每个像素点的像素值;
根据第二图像中每个像素点的像素值,设置第三图像中像素位置对应的像素点的像素值;
根据第二图像中每个像素点的像素值,以及设置后的第三图像中每个像素点的像素值,提取第三图像中的至少一个第一角点,以及提取第二图像中的至少一个第二角点;
将至少一个第一角点和至少一个第二角点进行特征匹配,确定至少一个第一角点中的第一目标角点,以及至少一个第二角点中的第二目标角点,第一目标角点与第二目标角点匹配
根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵;
基于第二单应性矩阵,将第三图像内每个像素点的像素值映射到第二图像的对应像素点中,得到全局图像对齐后的第一图像。
在一个实施例中,获取模块,具体用于将至少一个第一角点和至少一个第二角点,以N个角点为单位,进行一次特征匹配;
将至少一个第一角点和至少一个第二角点,以M个角点为单位,进行再一次特征匹配;
其中,N为大于M的正整数。
在一个实施例中,获取模块,具体用于若第一目标角点的数量大于或等于预设数量,则根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵;
获取模块,还用于若第一目标角点的数量小于预设数量,则从第三图像提取多个第一ORB特征点,以及从第二图像中提取多个第二ORB特征点;
将多个第一ORB特征点与多个第二ORB特征点进行特征匹配,确定多个第一ORB特征点中至少一个第一目标ORB特征点的坐标,以及确定多个第二ORB特征点中至少一个第二目标ORB特征点的坐标,至少一个第一目标ORB特征点与至少一个第二目标ORB特征点匹配;
根据至少一个第一目标ORB特征点的坐标,以及至少一个第二目标ORB特征点的坐标,计算第二单应性矩阵。
在一些实施例中,提取模块,具体用于对第一感兴趣区域和第二感兴趣区域进行目标对象检测;
从第一感兴趣区域确定第一目标对象图,以及从第二感兴趣区域确定第二目标对象图;
从第一目标对象图中提取多个第一特征点,以及从第二目标对象中提取多个第二特征点。
在一些实施例中,提取模块,具体用于识别第一目标对象图和第二目标对象图中是否包含目标对象;
若第一目标对象图和第二目标对象图中包含目标对象,则从第一目标对象图中提取多个第一ECC特征点,以及从第二目标对象图中提取多个第二ECC特征点。
在一些实施例中,提取模块,具体用于获取第二目标对象图的直方图,并确定第二目标对象图中每个像素点的像素值;
根据第二目标对象图中每个像素点的像素值,设置第一目标对象图中像素位置对应的像素点的像素值。
本申请实施例提供了一种电子设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现本申请任意实施例所提供的图像对齐方法的步骤。
本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本申请任意实施例所提供的图像对齐方法的步骤。
本申请实施例提供的技术方案与现有技术相比具有如下优点:本申请首先对待处理图像进行全局图像对齐,然后从待处理图像中的第一感兴趣区域以及参考图像中的第二感兴趣区域提取特征点进行特征匹配,得到匹配的特征点的坐标,从而计算单应性矩阵,以根据该单应性矩阵将第一感兴趣区域映射到第二感兴趣区域实现待处理图像的局部对齐,通过对齐待处理图像中所有感兴趣区域来实现待处理图像的精准对齐,减少了图像拍摄过程中不确定因素的影响,能够提取出更多特征点来进行图像对齐,适用于多种场景,提高了图像对齐的精确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例中一种图像对齐方法的应用场景图一;
图2为本申请一个实施例中一种图像对齐方法的流程示意图一;
图3为本申请一个实施例中一种图像对齐方法的应用场景图二;
图4为本申请一个实施例中提取感兴趣区域的示意图;
图5为本申请一个实施例中另一种图像对齐方法的流程示意图二;
图6为本申请一个实施例中再一种图像对齐方法的流程示意图三;
图7为本申请一个实施例中一种图像对齐装置的结构框图;
图8为本申请一个实施例中电子设备的内部结构图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面将对本申请的方案进行进一步描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但本申请还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本申请的一部分实施例,而不是全部的实施例。
现有技术中基于特征的图像对齐方法首先找到两张图片中的特征点并进行特征匹配,然后计算单应性矩阵统一变换图像中的像素点坐标进行图像对齐,但实际操作过程中,由于图像拍摄过程存在光照、景深、角度等不确定因素,导致需要处理的图像时间戳明显,景深比较明显,亮度差异大,视场差大,图像空域变化大从而难以提取明显的特征点,从而使得该方法的场景适应性差,图像对齐的精度低。
为解决上述问题,本申请首先对待处理图像进行全局图像对齐,然后从待处理图像中的第一感兴趣区域以及参考图像中的第二感兴趣区域提取特征点进行特征匹配,得到匹配的特征点的坐标,从而计算单应性矩阵,以根据该单应性矩阵将第一感兴趣区域映射到第二感兴趣区域实现待处理图像的局部对齐,通过对齐待处理图像中所有感兴趣区域来实现待处理图像的精准对齐,减少了图像拍摄过程中不确定因素的影响,能够提取出更多特征点来进行图像对齐,适用于多种场景,提高了图像对齐的精确度。
本申请提供的图像对齐方法,可以应用于如图1所示的应用环境中。该图像对齐方法应用于图像对齐***中。该图像对齐***包括终端102与服务器104。其中,终端102与服务器104通过网络进行通信。具体的,该图像对齐方法应用于终端102,终端102通过对待处理图像进行全局图像对齐,然后从待处理图像中的第一感兴趣区域以及参考图像中的第二感兴趣区域提取特征点进行特征匹配,得到匹配的特征点的坐标,从而计算单应性矩阵,以根据该单应性矩阵将第一感兴趣区域映射到第二感兴趣区域实现待处理图像的局部对齐,通过对齐待处理图像中所有感兴趣区域来实现待处理图像的精准对齐。
另外,该图像对齐方法应用于服务器104,服务器104接收终端102发送的待处理图像106,通过上述图像对齐方法将图像进行精准对齐,然后服务器104将精准对齐后的图像108返回至终端102。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,提供了一种图像对齐方法。本申请主要以该方法应用于图1中的终端102来举例说明。
S202,获取第一图像和第二图像。
其中,第一图像是以第二图像作为参考图像对第三图像进行全局图像对齐处理后得到的图像;第三图像是从作为对比设备的终端设备中获取的图像,是需要进行全局图像对齐处理的图像;第二图像是从作为参***的终端设备中获取的图像;第二图像和第三图像为相同场景不同角度的图像,或者是相同场景不同时刻的图像。
在一些实施例中,在获取第一图像之前,从不同的终端设备中获取第二图像和第三图像。其中,第二图像为参考图像,第三图像为需要进行图像全局对齐处理的待处理图像。
示例性的,如图3所示,图中包括的设备有手机301、手机303服务器305;图像包括第二图像302、第三图像304、第一图像306。首先从作为参考机的手机301获取第二图像302,从作为对比机的手机304中获取第三图像304,由服务器305以第二图像302为参考图像对第三图像进行全局图像对齐处理得到第一图像306。
下述将对以第二图像作为参考图像,对第三图像进行全局图像处理得到第一图像的过程进行介绍。
在一些实施例中,从不同的终端设备中获取第二图像和第三图像之后,再获取第二图像的直方图,由于直方图表示图像的每个亮度级别的像素数量,展示了像素在图像中的分布情况,直观的体现图片的明暗程度,所以可以根据第二图像的直方图确定第二图像中每个像素点的像素值;然后根据第二图像中每个像素点的像素值,采用直方图均衡法、直方图规定化等方式设置第三图像中像素位置对应的像素点的像素值,以根据第二图像调整第三图像的亮度,使得第三图像中像素位置对应的像素点的像素值设置为与第二图像中相应像素位置对应的像素点的像素值相同,从而使得第三图像的亮度与第一图像的亮度相同,以便于从两张图片中提取特征点。
在一些实施例中,可通过平滑去噪、光照均衡化处理等方法调整第三图像的亮度,包括但不限于上述方法,本申请对此不做限定。
进一步,根据第二图像中每个像素点的像素值,以及设置后的第三图像中每个像素点的像素值,提取亮度调整后的第三图像中的至少一个角点,并提取第二图像中至少一个角点,将提取到的两张图像的角点进行匹配。
其中,角点是在某些属性上强度最大或者最小的孤立点、线段的终点,或者是曲线上局部曲率最大的点,用于描述图像中的拐角,边界点等信息。本申请中通过哈里斯(Harris)角点检测法提取角点,需要说明的是,Harris角点检测法基本思想是使用一个固定窗口在图像上进行任意方向上的滑动,比较滑动前与滑动后两种情况下,窗口中的像素灰度变化程度,如果存在任意方向上的滑动,都有着较大灰度变化,则认为该窗口中存在角点。通过Harris角点检测法提取角点,提高了对噪声的鲁棒性,提升了角点检测的效率和稳定性。
在一些实施例中,在角点匹配的过程中,将提取到的第三图像中的角点和第二图像中的角点进行至少一次特征匹配,先在尺度较小图像较模糊的情况下,对N个角点为单位进行特征匹配,得到角点的粗匹配结果,然后增大尺度对M个角点为单位进行特征匹配,直到尺度变换至原图大小,完成图像的精确匹配,其中,N为大于M的正整数。
示例性的,在角点匹配的过程中先以10个角点为单位进行粗匹配,然后增大尺度,以4个角点为单位进行精确匹配。
通过至少一次的特征匹配,实现对第三图像和第二图像的粗匹配和精确匹配,降低了误匹配率,提高了匹配的精确度。
在一些实施例中,在精确匹配得到匹配的角点后,可选的,若第一目标角点的数量大于或等于预设数量,则根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵。其中,第二单应性矩阵是用于对第三图像进行全局图像处理的单应性矩阵。
若第一目标角点的数量小于预设数量,则利用FAST(features from acceleratedsegment test)算法以及特征点邻域算法从第三图像提取多个第一定向快速旋转(Oriented Fast and Rotated Brief,ORB)特征点,以及从第二图像中提取多个第二ORB特征点,然后将多个第一ORB特征点与多个第二ORB特征点进行特征匹配,确定多个第一ORB特征点中至少一个第一目标ORB特征点的坐标,以及确定多个第二ORB特征点中至少一个第二目标ORB特征点的坐标,至少一个第一目标ORB特征点与至少一个第二目标ORB特征点匹配,然后,根据至少一个第一目标ORB特征点的坐标,以及至少一个第二目标ORB特征点的坐标,计算第二单应性矩阵。
通过ORB特征匹配,提取ORB特征点进行特征匹配,确定匹配的ORB特征点,得到ORB特征点对应的坐标,从而计算单应性矩阵,提高了特征匹配的准确度和效率。
可选的,本申请使用随机抽样一致算法计算单应性矩阵并进行迭代更新,剔除误匹配点,确定最优单应性矩阵。
通过对第三图像进行亮度调整,解决待处理图像和参考图像存在亮度差异的问题,提高了特征匹配过程的便捷性;将第三图像与第二图像进行多次的特征点匹配,降低了误匹配率,提高了匹配的精确度;通过随机一致算法迭代计算最优单应性矩阵,从而得到全局图像对齐后的第一图像,实现了更好的图像全局对齐的效果。
S204,从第一图像的第一感兴趣区域提取多个第一特征点,以及从第二图像的第二感兴趣区域提取多个第二特征点;
其中,第一感兴趣区域与第二感兴趣区域的大小相同,且在不同图像中的位置对应。第一感兴趣区域根据默认尺寸从第一图像中提取,默认尺寸根据用户的经验值设置,例如默认尺寸为A×A,单位为像素或厘米,相应的,第二感兴趣区域的提取原理跟第一感兴趣区域的提取原理相同,本申请在此不做赘述。
如图4所示,图4为从图像中提取感兴趣区域的示意图,在设置一个尺寸为A×A的窗口402,从图像401左上角开始提取,得到尺寸为A×A的感兴趣区域403。
需要说明的是,本申请中根据默认尺寸或预设尺寸遍历图像,可以得到图像的多个感兴趣区域。多个感兴趣区域拼接组合即为提取感兴趣区域前的原始图像。
在一些实施例中,根据默认尺寸提取全局图像对齐处理后的第一图像中的第三感兴趣区域,以及第二图像中的相应尺寸的第四感兴趣区域。由于根据默认尺寸选取感兴趣区域可能存在该感兴趣区域较小、特征点较少的情况,用户需要设置预设尺寸,本申请实施例中提供一种实施方式,首先判断第三感兴趣区域和第四感兴趣区域是否小于预设尺寸,若第三感兴趣区域和第四感兴趣区域小于预设尺寸,则扩展第三感兴趣区域得到第一感兴趣区域,扩展第四感兴趣区域得到第二感兴趣区域,可选的,从感兴趣区域的边界进行扩大,以得到更大尺寸的感兴趣区域便于提取特征点。
在一些实施例中,由于图像中的景物与背景存在明显的景深差异,所以将图像中的景物作为目标对象进行检测,首先对第一感兴趣区域和第二感兴趣区域进行目标对象检测,从第一感兴趣区域中确定第一目标对象图,以及从第二感兴趣区域中确定第二目标对象图;然后识别第一感兴趣区域和第二感兴趣区域是否包含目标对象;
在检测到第一感兴趣区域和第二感兴趣区域中存在目标对象的情况下,对第一目标对象图和第二目标对象图进行特征提取,从第一目标对象图中提取多个第一特征点,以及从第二目标对象图中提取多个第二特征点。第一特征点为第一角点,第二特征点为第二角点,或者,第一特征点为第一ECC特征点,第二特征点为第二ECC特征点。
在一些实施例中,图像中的景物可以是植物、动物、建筑等其他图像处理领域比较关注的对象,下述将在图像中的景物是人的情况下对局部对齐过程进行介绍。
在一些实施例中,对第一感兴趣区域和第二感兴趣区域进行人像检测;人像检测后得到第一感兴趣区域的第一人像掩膜以及第二感兴趣区域的人像掩膜;根据第一人像掩膜和第二人像掩膜,从第一感兴趣区域确定第一人像图,以及从第二感兴趣区域确定第二人像图,然后从第一人像图中提取多个第一特征点,以及从第二人像中提取多个第二特征点。将人像作为图像中的重点信息,通过深度学习算法对从图像中提取的感兴趣区域进行人像检测,抠出人像图,以根据人像图中的人像特征点实现图像对齐。
在一些实施例中,在从第一感兴趣区域确定第一人像图,以及从第二感兴趣区域确定第二人像图之后,需要进一步验证人像图中是否包含人像,本申请实施例中提供一种实施方式:识别第一人像图和第二人像图中是否包含人像;若第一人像图和第二人像图中包含人像,则从第一人像图中提取多个第一特征点,以及从第二人像中提取多个第二特征点,由于验证得到第一人像图像和第二人像图中包含人像,且人像中的特征点明显、数量多,为提高特征匹配的效率,可选的,第一特征点为第一角点,第二特征点为第二角点。以特征点为角点,保证在特征点数量多且明显的情况下,提高了特征匹配的速度,提升了特征匹配的可靠度。
在一些实施例中,若第一人像图和第二人像图中包含人像,在对提取到的角点进行特征匹配之后,得到的匹配的角点数量小于预设数量,则根据第一人像图计算第一熵相关系数(Entropy Corrleation Coefficient,ECC),然后从第一人像图中提取多个第一ECC特征点,以及从第二人像图中提取多个第二ECC特征点。在识别确定人像图中包含人像的情况下,为避免特征匹配后用于计算单应性矩阵的角点数量过少,需要根据ECC特征匹配法在保证对比度和亮度的光度失真不变的情况下,提取ECC特征点,以在图像中包含人像的基础上,更好的进行特征匹配,以计算精确度更高的单应性矩阵,从而提升了图像对齐的准确度,实现了更好的图像对齐效果。在一些实施例中,在从第一感兴趣区域确定第一人像图,以及从第二感兴趣区域确定第二人像图之后,可选的,获取第二人像图的直方图,并确定第二人像图中每个像素点的像素值;根据第二人像图中每个像素点的像素值,设置第一人像图中像素位置对应的像素点的像素值。在确定图像中的人像图之后,根据参考图像中提取的人像图的直方图调整待处理图像中人像图的亮度,以减少亮度差异对特征点提取的影响,提高特征匹配的准确度,从而提升图像对齐的精确度。在检测到第一感兴趣区域和第二感兴趣区域中不存在目标对象的情况下,则首先获取第二感兴趣区域的直方图,确定第二感兴趣区域中每个像素点的像素值,从而据此设置第一感兴趣区域中每个像素点的像素值,以将第二感兴趣区域作为参考调整第一感兴趣区域的亮度,进一步的从第一感兴趣区域提取至少一个角点,以及从第二感兴趣区域提取至少一个角点,将提取到的第一感兴趣区域和第二感兴趣区域的角点进行匹配,然后计算第一单应性矩阵,以将该第一单应性矩阵用于图像对齐处理。
在一些实施例中,在上述提取到的第一感兴趣区域和第二感兴趣区域的角点小于预设数量的情况下,由于第一感兴趣区域和第二感兴趣区域不存在目标对象角点数量少,为了避免匹配的角点小于预设数量时计算得到第一单应性矩阵误差过大,不利于图像对齐,本公开实施例提供一种实施方式,首先从调整亮度后的第一感兴趣区域提取ECC特征点,以及从第二感兴趣区域提取ECC特征点,ECC特征点是是特征匹配精确度高的特征点,以使得第一感兴趣区域和第二ECC特征点没有明显的目标对象情况下,进行精确的特征匹配,实现了在图像中不存在明显的景物时,通过提取ECC特征点进行特征匹配,提高了图像对齐的准确度,得到更好的图像对齐效果。
上述实施例,通过在第一图像中进行目标对象检测获取目标对象图从而提取特征点,其中,在目标对象图中包含目标对象的情况下,以角点作为特征点进行提取,为保证特征匹配的准确度,以ECC特征点作为特征点进行提取;在目标对象图中不包含目标对象的情况下,根据作为参考的感兴趣区域进行亮度调整,提取感兴趣区域的角点,以用于后续至少一次的特征匹配。针对图像中是否包含目标对象的情况分别进行处理,保证提取到的特征点的准确度,以用于后续的特征点匹配,从而提升了图像对齐的精确性。
S206,将多个第一特征点与多个第二特征点进行特征匹配,确定多个第一特征点中至少一个第一目标特征点的坐标,以及确定多个第二特征点中至少一个第二目标特征点的坐标。
其中,至少一个第一目标特征点与至少一个第二目标特征点匹配。
在一些实施例中,本申请根据上述检测到目标对象后提取到的角点进行特征匹配。
在一些实施例中,确定的目标特征点的数量为达到计算单应性矩阵所需的3对以上。
在一些实施例中,在角点的数量未达到计算单应性矩阵所需的3对,则本申请根据上述步骤提取到ECC特征点进行特征匹配,特征匹配的方法包括但不限于加速稳健特征(Speeded Up Robust Feature,SURF)、尺度不变特征转换(ScaleInvariant FeatureTransform,SIFT)、加速分割测试获得特征(Features from Accelerated Segment Test,FAST),本申请对此不做限定。
在一些实施例中,本申请根据上述未检测到目标对象后提取到的角点进行特征匹配,进行与全局图像对齐处理过程中相同的至少一次特征匹配,先在尺度较小图像较模糊的情况下,对N个角点为单位进行特征匹配,得到角点的粗匹配结果,然后增大尺度对M个角点为单位进行特征匹配,直到尺度变换至原图大小,完成图像的精确匹配,其中,N为大于M的正整数。
S208,根据至少一个第一目标特征点的坐标,以及至少一个第二目标特征点的坐标,计算用于像素映射的第一单应性矩阵。
在一些实施例中,在识别第一目标对象图中包含目标对象以及第二目标对象图中包含目标对象之后,确定至少一个目标特征点的坐标以及至少一个第二目标特征点的坐标,其中,该至少一个第一目标特征点为至少一个第一ECC目标特征点,至少一个第二目标特征点为至少一个第二ECC目标特征点通过ECC特征匹配法确定。
在一些实施例中,在识别第一目标对象图中包含目标对象以及第二目标对象图中未包含目标对象之后,根据感兴趣区域Harris角点检测并进行特征匹配所确定的目标角点坐标,使用随机抽样一致算法计算单应性矩阵并进行迭代更新,剔除误匹配点,确定最优单应性矩阵。
S210,基于第一单应性矩阵将第一感兴趣区域内的每个像素点的像素值映射到第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
在一些实施例中,剪切图像对齐后的第一感兴趣区域并输出。若第一感兴趣区域是扩展的感兴趣区域后,则根据扩展后的感兴趣区域的尺寸进行剪切,并输出扩展后的感兴趣区域。
在一些实施例中,从第一图像和第二图像中,进行多次提取感兴趣区域,再执行S204~S210的步骤,直至将第一图像中每个感兴趣区域都进行图像对齐,然后输出第一图像所有图像对齐处理后的感兴趣区域,以得到完整的图像对齐后的第一图像。通过将第一图像划分为多个感兴趣区域,对这些感兴趣区域均进行上述图像对齐操作,来实现精确图像对齐,提高了图像对齐的精准度。
综上,本申请首先对待处理图像进行全局图像对齐,然后从待处理图像中的第一感兴趣区域以及参考图像中的第二感兴趣区域提取特征点进行特征匹配,得到匹配的特征点的坐标,从而计算单应性矩阵,以根据该单应性矩阵将第一感兴趣区域映射到第二感兴趣区域实现待处理图像的局部对齐,通过对齐待处理图像中所有感兴趣区域来实现待处理图像的精准对齐,减少了图像拍摄过程中不确定因素的影响,能够提取出更多特征点来进行图像对齐,适用于多种场景,提高了图像对齐的精确度。
图5是本公开实施例提供的另一种图像对齐方法的流程示意图。本实施例是在上述实施例的基础上进一步扩展与优化,其中,S202的一种可能的实现方式如下:
S502,获取第二图像的直方图,并确定第二图像中每个像素点的像素值。
S504,根据第二图像中每个像素点的像素值,设置第三图像中像素位置对应的像素点的像素值。
S506,根据第二图像中每个像素点的像素值,以及设置后的第三图像中每个像素点的像素值,提取第三图像中的至少一个第一角点,以及提取第二图像中的至少一个第二角点。
S508,将至少一个第一角点和至少一个第二角点,以N个角点为单位,进行一次特征匹配。
S510,将至少一个第一角点和至少一个第二角点,以M个角点为单位,进行再一次特征匹配。
其中,N为大于M的正整数。
S512,确定至少一个第一角点中的第一目标角点,以及至少一个第二角点中的第二目标角点。
S514,根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵;
S516,基于第二单应性矩阵,将第三图像内每个像素点的像素值映射到第二图像的对应像素点中,得到全局图像对齐后的第一图像。
通过对第三图像进行亮度调整得到第一图像,解决待处理图像和参考图像存在亮度差异的问题,提高了特征匹配过程的便捷性;通过随机一致算法迭代计算最优单应性矩阵,从而得到全局图像对齐后的第一图像,实现了更好的图像全局对齐的效果;将第三图像与第二图像进行多次的特征点匹配,降低了误匹配率,提高了匹配的精确度。
图6是本公开实施例提供的再一种图像对齐方法的流程示意图。本实施例是在上述实施例的基础上进一步扩展与优化,其中,S205的一种可能的实现方式如下:
S602,对第一感兴趣区域和第二感兴趣区域进行目标对象检测。
S604,从第一感兴趣区域确定第一目标对象图,以及从第二感兴趣区域确定第二目标对象图。
S606,获取第二目标对象图的直方图,并确定第二目标对象图中每个像素点的像素值。
S608,根据第二目标对象图中每个像素点的像素值,设置第一目标对象图中像素位置对应的像素点的像素值。
S610,识别第一目标对象图和第二目标对象图中是否包含目标对象。
S612,若第一目标对象图和第二目标对象图中包含目标对象,则从第一目标对象图中提取多个第一ECC特征点,以及从第二目标对象图中提取多个第二ECC特征点。
通过对图像的感兴趣区域进行目标对象检测,得到目标对象图,并调整待处理图像对应的目标对象图的亮度,确定感兴趣区域中是否包含目标对象这一重要信息,然后提取目标对象相关的ECC特征点,从而提取出用于图像对齐的明显的特征点,减少了图像拍摄过程中其他干扰因素的影响,提高了图像对齐的精度。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图7所示,本申请实施例提供了一种图像对齐装置,包括:获取模块702、提取模块704、特征匹配模块706、计算模块708和映射模块710,其中:
获取模块702,用于获取第一图像和第二图像,第一图像为基于第二图像进行全局图像对齐处理后的第一图像;
提取模块704,用于从第一图像的第一感兴趣区域提取多个第一特征点,以及从第二图像的第二感兴趣区域提取多个第二特征点;第一感兴趣区域与第二感兴趣区域的大小相同,且在不同图像中的位置对应;
特征匹配模块706,用于将多个第一特征点与多个第二特征点进行特征匹配,确定多个第一特征点中至少一个第一目标特征点的坐标,以及确定多个第二特征点中至少一个第二目标特征点的坐标,至少一个第一目标特征点与至少一个第二目标特征点匹配;
计算模块708,用于根据至少一个第一目标特征点的坐标,以及至少一个第二目标特征点的坐标,计算用于像素映射的第一单应性矩阵;
映射模块710,用于基于第一单应性矩阵将第一感兴趣区域内的每个像素点的像素值映射到第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
在一个实施例中,获取模块702,具体用于获取第二图像的直方图,并确定第二图像中每个像素点的像素值;
根据第二图像中每个像素点的像素值,设置第三图像中像素位置对应的像素点的像素值;
根据第二图像中每个像素点的像素值,以及设置后的第三图像中每个像素点的像素值,提取第三图像中的至少一个第一角点,以及提取第二图像中的至少一个第二角点;
将至少一个第一角点和至少一个第二角点进行特征匹配,确定至少一个第一角点中的第一目标角点,以及至少一个第二角点中的第二目标角点,第一目标角点与第二目标角点匹配
根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵;
基于第二单应性矩阵,将第三图像内每个像素点的像素值映射到第二图像的对应像素点中,得到全局图像对齐后的第一图像。
在一个实施例中,获取模块,具体用于将至少一个第一角点和至少一个第二角点,以N个角点为单位,进行一次特征匹配;
将至少一个第一角点和至少一个第二角点,以M个角点为单位,进行再一次特征匹配;
其中,N为大于M的正整数。
在一个实施例中,获取模块602,具体用于若第一目标角点的数量大于或等于预设数量,则根据第一目标角点的坐标与第二目标角点的坐标,计算第二单应性矩阵;
获取模块702,还用于若第一目标角点的数量小于预设数量,则从第三图像提取多个第一ORB特征点,以及从第二图像中提取多个第二ORB特征点;
将多个第一ORB特征点与多个第二ORB特征点进行特征匹配,确定多个第一ORB特征点中至少一个第一目标ORB特征点的坐标,以及确定多个第二ORB特征点中至少一个第二目标ORB特征点的坐标,至少一个第一目标ORB特征点与至少一个第二目标ORB特征点匹配;
根据至少一个第一目标ORB特征点的坐标,以及至少一个第二目标ORB特征点的坐标,计算第二单应性矩阵。
在一些实施例中,提取模块704,具体用于对第一感兴趣区域和第二感兴趣区域进行目标对象检测;
从第一感兴趣区域确定第一目标对象图,以及从第二感兴趣区域确定第二目标对象图;
从第一目标对象图中提取多个第一特征点,以及从第二目标对象中提取多个第二特征点。
在一些实施例中,提取模块704,具体用于识别第一目标对象图和第二目标对象图中是否包含目标对象;
若第一目标对象图和第二目标对象图中包含目标对象,则从第一目标对象图中提取多个第一ECC特征点,以及从第二目标对象图中提取多个第二ECC特征点。
在一些实施例中,提取模块704,具体用于获取第二目标对象图的直方图,并确定第二目标对象图中每个像素点的像素值;
根据第二目标对象图中每个像素点的像素值,设置第一目标对象图中像素位置对应的像素点的像素值。
本申请首先对待处理图像进行全局图像对齐,然后从待处理图像中的第一感兴趣区域以及参考图像中的第二感兴趣区域提取特征点进行特征匹配,得到匹配的特征点的坐标,从而计算单应性矩阵,以根据该单应性矩阵将第一感兴趣区域映射到第二感兴趣区域实现待处理图像的局部对齐,通过对齐待处理图像中所有感兴趣区域来实现待处理图像的精准对齐,减少了图像拍摄过程中不确定因素的影响,能够提取出更多特征点来进行图像对齐,适用于多种场景,提高了图像对齐的精确度。
关于图像对齐装置的具体限定可以参见上文中对于图像对齐方法的限定,在此不再赘述。上述图像对齐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
值得注意的是,上述图像对齐装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图8所示。该电子设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种XXX方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像对齐装置可以实现为一种计算机程序的形式,计算机程序可在如图8所示的电子设备上运行。电子设备的存储器中可存储组成该图像对齐装置的各个程序模块,比如,图7所示的获取模块702、提取模块704、特征匹配模块706、计算模块708和映射模块710。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像对齐方法中的步骤。
例如,图8所示的电子设备可以通过如图7所示的图像对齐装置中的获取模块702执行获取第一图像和第二图像,第一图像为基于第二图像进行全局图像对齐处理后的第一图像。电子设备可通过提取模块704执行从第一图像的第一感兴趣区域提取多个第一特征点,以及从第二图像的第二感兴趣区域提取多个第二特征点;第一感兴趣区域与第二感兴趣区域的大小相同,且在不同图像中的位置对应。电子设备可通过特征匹配模块706执行将多个第一特征点与多个第二特征点进行特征匹配,确定多个第一特征点中至少一个第一目标特征点的坐标,以及确定多个第二特征点中至少一个第二目标特征点的坐标,至少一个第一目标特征点与至少一个第二目标特征点匹配。电子设备可通过计算模块708根据至少一个第一目标特征点的坐标,以及至少一个第二目标特征点的坐标,计算用于像素映射的第一单应性矩阵。电子设备可通过映射模块710执行基于第一单应性矩阵将第一感兴趣区域内的每个像素点的像素值映射到第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
综上,本申请首先对待处理图像进行全局图像对齐,然后从待处理图像中的第一感兴趣区域以及参考图像中的第二感兴趣区域提取特征点进行特征匹配,得到匹配的特征点的坐标,从而计算单应性矩阵,以根据该单应性矩阵将第一感兴趣区域映射到第二感兴趣区域实现待处理图像的局部对齐,通过对齐待处理图像中所有感兴趣区域来实现待处理图像的精准对齐,减少了图像拍摄过程中不确定因素的影响,能够提取出更多特征点来进行图像对齐,适用于多种场景,提高了图像对齐的精确度。
在一个实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
通过对齐待处理图像中所有感兴趣区域来实现待处理图像的精准对齐,减少了图像拍摄过程中不确定因素的影响,能够提取出更多特征点来进行图像对齐,适用于多种场景,提高了图像对齐的精确度。
其中,该计算机可读存储介质可以为只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像对齐方法,其特征在于,包括:
获取第一图像和第二图像,所述第一图像为基于所述第二图像进行全局图像对齐处理后的第一图像;
从所述第一图像的第一感兴趣区域提取多个第一特征点,以及从所述第二图像的第二感兴趣区域提取多个第二特征点;所述第一感兴趣区域与所述第二感兴趣区域的大小相同,且在不同图像中的位置对应;
将所述多个第一特征点与所述多个第二特征点进行特征匹配,确定所述多个第一特征点中至少一个第一目标特征点的坐标,以及确定所述多个第二特征点中至少一个第二目标特征点的坐标,所述至少一个第一目标特征点与所述至少一个第二目标特征点匹配;
根据所述至少一个第一目标特征点的坐标,以及所述至少一个第二目标特征点的坐标,计算用于像素映射的第一单应性矩阵;
基于所述第一单应性矩阵将所述第一感兴趣区域内的每个像素点的像素值映射到所述第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
2.根据权利要求1所述的方法,其特征在于,所述获取第一图像,包括:
获取第二图像的直方图,并确定所述第二图像中每个像素点的像素值;
根据所述第二图像中每个像素点的像素值,设置第三图像中像素位置对应的像素点的像素值;
根据所述第二图像中每个像素点的像素值,以及设置后的第三图像中每个像素点的像素值,提取所述第三图像中的至少一个第一角点,以及提取所述第二图像中的至少一个第二角点;
将所述至少一个第一角点和所述至少一个第二角点进行特征匹配,确定所述至少一个第一角点中的第一目标角点,以及所述至少一个第二角点中的第二目标角点,所述第一目标角点与所述第二目标角点匹配
根据所述第一目标角点的坐标与所述第二目标角点的坐标,计算第二单应性矩阵;
基于所述第二单应性矩阵,将所述第三图像内每个像素点的像素值映射到所述第二图像的对应像素点中,得到全局图像对齐后的第一图像。
3.根据权利要求2所述的方法,其特征在于,所述至少一次特征匹配的次数为多次,所述将所述至少一个第一角点和所述至少一个第二角点进行特征匹配,包括:
将所述至少一个第一角点和所述至少一个第二角点,以N个角点为单位,进行一次特征匹配;
将所述至少一个第一角点和所述至少一个第二角点,以M个角点为单位,进行再一次特征匹配;
其中,N为大于M的正整数。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一目标角点的坐标与所述第二目标角点的坐标,计算第二单应性矩阵,包括:
若所述第一目标角点的数量大于或等于预设数量,则根据所述第一目标角点的坐标与所述第二目标角点的坐标,计算所述第二单应性矩阵;
所述方法还包括:
若所述第一目标角点的数量小于预设数量,则从所述第三图像提取多个第一定向快速旋转ORB特征点,以及从所述第二图像中提取多个第二ORB特征点;
将所述多个第一ORB特征点与所述多个第二ORB特征点进行特征匹配,确定所述多个第一ORB特征点中至少一个第一目标ORB特征点的坐标,以及确定所述多个第二ORB特征点中至少一个第二目标ORB特征点的坐标,所述至少一个第一目标ORB特征点与所述至少一个第二目标ORB特征点匹配;
根据所述至少一个第一目标ORB特征点的坐标,以及所述至少一个第二目标ORB特征点的坐标,计算所述第二单应性矩阵。
5.根据权利要求1所述的方法,其特征在于,所述从所述第一图像的第一感兴趣区域提取多个第一特征点,以及从所述第二图像的第二感兴趣区域提取多个第二特征点,包括:
对所述第一感兴趣区域和所述第二感兴趣区域进行目标对象检测;
从所述第一感兴趣区域确定第一目标对象图,以及从所述第二感兴趣区域确定第二目标对象图;
从所述第一目标对象图中提取多个第一特征点,以及从所述第二目标对象图中提取多个第二特征点。
6.根据权利要求5所述的方法,其特征在于,所述第一特征点为第一熵相关系数ECC特征点,所述第二特征点为第二ECC特征点,所述从所述第一目标对象图中提取多个第一特征点,以及从所述第二目标对象图中提取多个第二特征点,包括:
识别所述第一目标对象图和所述第二目标对象图中是否包含目标对象;
若所述第一目标对象图和所述第二目标对象图中包含目标对象则从所述第一目标对象图中提取多个所述第一ECC特征点,以及从所述第二目标对象图中提取多个所述第二ECC特征点。
7.根据权利要求5所述的方法,其特征在于,所述从所述第一感兴趣区域确定第一目标对象图,以及从所述第二感兴趣区域确定第二目标对象图之后,还包括:
获取所述第二目标对象图的直方图,并确定所述第二目标对象图中每个像素点的像素值;
根据所述第二目标对象图中每个像素点的像素值,设置所述第一目标对象图中像素位置对应的像素点的像素值。
8.一种图像对齐装置,其特征在于,包括:
获取模块,用于获取第一图像和第二图像,所述第一图像为基于所述第二图像进行全局图像对齐处理后的第一图像;
提取模块,用于从所述第一图像的第一感兴趣区域提取多个第一特征点,以及从所述第二图像的第二感兴趣区域提取多个第二特征点;所述第一感兴趣区域与所述第二感兴趣区域的大小相同,且在不同图像中的位置对应;
特征匹配模块,用于将所述多个第一特征点与所述多个第二特征点进行特征匹配,确定所述多个第一特征点中至少一个第一目标特征点的坐标,以及确定所述多个第二特征点中至少一个第二目标特征点的坐标,所述至少一个第一目标特征点与所述至少一个第二目标特征点匹配;
计算模块,用于根据所述至少一个第一目标特征点的坐标,以及所述至少一个第二目标特征点的坐标,计算用于像素映射的第一单应性矩阵;
映射模块,用于基于所述第一单应性矩阵将所述第一感兴趣区域内的每个像素点的像素值映射到所述第二感兴趣区域的对应像素点中,以得到图像对齐后的第一感兴趣区域。
9.一种电子设备,其特征在于,包括:处理器,存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的一种图像对齐方法。
10.一种计算机可读存储介质,其特征在于,包括:所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种图像对齐方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111459872.0A CN114298902A (zh) | 2021-12-02 | 2021-12-02 | 一种图像对齐方法、装置、电子设备和存储介质 |
PCT/CN2022/100804 WO2023098045A1 (zh) | 2021-12-02 | 2022-06-23 | 图像对齐方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111459872.0A CN114298902A (zh) | 2021-12-02 | 2021-12-02 | 一种图像对齐方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114298902A true CN114298902A (zh) | 2022-04-08 |
Family
ID=80964942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111459872.0A Pending CN114298902A (zh) | 2021-12-02 | 2021-12-02 | 一种图像对齐方法、装置、电子设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114298902A (zh) |
WO (1) | WO2023098045A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998097A (zh) * | 2022-07-21 | 2022-09-02 | 深圳思谋信息科技有限公司 | 图像对齐方法、装置、计算机设备和存储介质 |
WO2023098045A1 (zh) * | 2021-12-02 | 2023-06-08 | 上海闻泰信息技术有限公司 | 图像对齐方法、装置、计算机设备和存储介质 |
CN116309760A (zh) * | 2023-05-26 | 2023-06-23 | 安徽高哲信息技术有限公司 | 谷物的图像对齐方法及谷物检测设备 |
WO2023206475A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京小米移动软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8705890B2 (en) * | 2011-05-02 | 2014-04-22 | Los Alamos National Security, Llc | Image alignment |
CN104376548B (zh) * | 2014-11-07 | 2017-11-03 | 中国电子科技集团公司第二十八研究所 | 一种基于改进型surf算法的图像快速拼接方法 |
CN110610457A (zh) * | 2018-06-14 | 2019-12-24 | 杭州海康威视数字技术股份有限公司 | 全景图像拼接方法、装置以及*** |
CN109886878B (zh) * | 2019-03-20 | 2020-11-03 | 中南大学 | 一种基于由粗到精配准的红外图像拼接方法 |
CN114298902A (zh) * | 2021-12-02 | 2022-04-08 | 上海闻泰信息技术有限公司 | 一种图像对齐方法、装置、电子设备和存储介质 |
-
2021
- 2021-12-02 CN CN202111459872.0A patent/CN114298902A/zh active Pending
-
2022
- 2022-06-23 WO PCT/CN2022/100804 patent/WO2023098045A1/zh unknown
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023098045A1 (zh) * | 2021-12-02 | 2023-06-08 | 上海闻泰信息技术有限公司 | 图像对齐方法、装置、计算机设备和存储介质 |
WO2023206475A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京小米移动软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114998097A (zh) * | 2022-07-21 | 2022-09-02 | 深圳思谋信息科技有限公司 | 图像对齐方法、装置、计算机设备和存储介质 |
CN116309760A (zh) * | 2023-05-26 | 2023-06-23 | 安徽高哲信息技术有限公司 | 谷物的图像对齐方法及谷物检测设备 |
CN116309760B (zh) * | 2023-05-26 | 2023-09-19 | 安徽高哲信息技术有限公司 | 谷物的图像对齐方法及谷物检测设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023098045A1 (zh) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114298902A (zh) | 一种图像对齐方法、装置、电子设备和存储介质 | |
US9275281B2 (en) | Mobile image capture, processing, and electronic form generation | |
KR101722803B1 (ko) | 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스 | |
JP2020507850A (ja) | 画像内の物体の姿の確定方法、装置、設備及び記憶媒体 | |
JP2017520050A (ja) | 局所的適応ヒストグラム平坦化 | |
CN107613202B (zh) | 一种拍摄方法及移动终端 | |
CN106296570B (zh) | 图像处理方法及装置 | |
CN109691080B (zh) | 拍摄图像方法、装置和终端 | |
US10122912B2 (en) | Device and method for detecting regions in an image | |
WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
US9058655B2 (en) | Region of interest based image registration | |
CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
WO2022160857A1 (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
US10764563B2 (en) | 3D enhanced image correction | |
CN110111364B (zh) | 运动检测方法、装置、电子设备及存储介质 | |
CN112771572B (zh) | 基于用户指定的初始化点的对象跟踪 | |
WO2018184255A1 (zh) | 图像校正的方法和装置 | |
KR101176743B1 (ko) | 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버 | |
EP3234908A1 (en) | Method, apparatus and computer program product for blur estimation | |
CN111199169A (zh) | 图像处理方法和装置 | |
CN109981989B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
CN113838151B (zh) | 相机标定方法、装置、设备及介质 | |
US20180232865A1 (en) | Image processing device, image processing method, and program | |
JP6171660B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP6669390B2 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |