CN111028276A - 图像对齐方法、装置、存储介质及电子设备 - Google Patents

图像对齐方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111028276A
CN111028276A CN201911253884.0A CN201911253884A CN111028276A CN 111028276 A CN111028276 A CN 111028276A CN 201911253884 A CN201911253884 A CN 201911253884A CN 111028276 A CN111028276 A CN 111028276A
Authority
CN
China
Prior art keywords
image
contour
affine transformation
homography matrix
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911253884.0A
Other languages
English (en)
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911253884.0A priority Critical patent/CN111028276A/zh
Publication of CN111028276A publication Critical patent/CN111028276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像对齐方法、装置、存储介质及电子设备,其中,本申请实施例获取同一拍摄场景的第一图像和第二图像;对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像,该方案基于轮廓图像进行特征点对的提取,消除无效信息的干扰,提高了提取到的特征点对的准确率,进而提升图像对齐效果。

Description

图像对齐方法、装置、存储介质及电子设备
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像对齐方法、装置、存储介质及电子设备。
背景技术
随着智能终端技术的不断发展,电子设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数电子设备都内置有摄像头,并且随着移动终端处理能力的增强以及摄像头技术的发展,用户对拍摄的图像质量的要求也越来越高。
为了拍摄出更好效果的图像,会采用一些图像合成处理算法来提升输出图像的质量,例如HDR(High-Dynamic Range,高动态范围)合成算法或者多帧降噪算法等,在应用这些算法时,都需要进行图像对齐处理,但是常规的图像对齐方案检测到的特征点的准确度低,导致图像对齐效果差。
发明内容
本申请实施例提供一种图像对齐方法、装置、存储介质及电子设备,能够提高特征点检测的准确度,提升图像对齐效果。
第一方面,本申请实施例提供一种图像对齐方法,包括:
获取同一拍摄场景的第一图像和第二图像;
对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;
基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;
对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;
根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
第二方面,本申请实施例还提供一种图像对齐装置,包括:
图像获取模块,用于获取同一拍摄场景的第一图像和第二图像;
下采样模块,用于对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;
轮廓检测模块,用于基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;
特征匹配模块,用于对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;
图像对齐模块,用于根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
第三方面,本申请实施例还提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的图像对齐方法。
第四方面,本申请实施例还提供一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的图像对齐方法。
本申请实施例提供的技术方案,获取对同一拍摄场景进行拍摄得到的第一图像和第二图像,分别对第一图像和第二图像进行下采样处理,得到第三图像和第四图像,基于第三图像和轮廓检测算法,得到第一轮廓图像,同时根据第四图像得到第二轮廓图像,对第一轮廓图像和第二轮廓图像进行特征点匹配,得到第一特征点对,基于第一特征点对第二图像进行仿射变换处理,得到与第一图像对齐的第三图像,该方案通过下采样得到的图像提取轮廓信息,基于轮廓图像进行特征点对的提取,能够消除无效信息的干扰,提高了提取到的特征点对的准确率,进而提升图像对齐效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像对齐方法的第一种流程示意图。
图2为本申请实施例提出的图像对齐方法中图像下采样示意图。
图3为本申请实施例提供的图像对齐方法的第二种流程示意图。
图4为本申请实施例提供的图像对齐方法的图像分区示意图。
图5为本申请实施例提供的图像对齐装置的结构示意图。
图6为本申请实施例提供的电子设备的第一种结构示意图。
图7为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像对齐方法,该图像对齐方法的执行主体可以是本申请实施例提供的图像对齐装置,或者集成了该图像对齐装置的电子设备,其中该图像对齐装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1,图1为本申请实施例提供的图像对齐方法的第一种流程示意图。本申请实施例提供的图像对齐方法的具体流程可以如下:
101、获取同一拍摄场景的第一图像和第二图像。
102、对第一图像进行下采样处理,得到第三图像,并对第二图像进行下采样处理,得到第四图像。
本申请实施例的方案可以应用于各种需要图像对齐的场合,例如拍摄HDR图像、录制HDR视频,多帧降噪处理等等。其中,第一图像和第二图像为对同一场景拍摄得到的,例如,电子设备可以接收其他终端发送的对同一拍摄场景进行拍摄得到的第一图像和第二图像。或者,电子设备在拍照模式下,启动摄像头对拍摄场景进行拍摄,得到待处理图像,从待处理图像中确定第一图像和第二图像。下文以拍摄HDR图像为例,对本申请实施例的方案进行详细说明。
其中,在一些实施例中,电子设备可以对拍摄场景进行连续曝光,获取比HDR合成需要的图像帧数更多的图像,然后从这些图像中选择清晰度最好的几帧图像作为待处理图像,其中,将清晰度最高的图像作为参考图像,记为第一图像,将剩余的图像作为待对齐图像,记为第二图像,其中,第一图像可以只有一帧,第二图像可以有一帧或者多帧。
其中,在一些实施例中,多帧待处理图像可以具有不同的曝光参数。在一些实施例中,多帧待处理图像也可以具有相同的曝光参数。例如,电子设备在获取待处理图像时,先根据相机的自动测光***确定正常曝光的曝光参数,然后,在正常曝光的曝光参数的基础上对曝光参数进行调节,增大曝光程度,再进行拍摄,例如,增加1EV(Exposure Values,曝光值,是反映曝光多少的一个量)的曝光量,比如可以通过延长曝光时长增加曝光量。其中,第二图像的具体数量可以根据实际需要设置,本申请对此不做限制。
在得到同一拍摄场景的多帧待处理图像之后,从其中确定一帧图像作为图像对齐的参考图像,将其记为第一图像,将除参考图像之外的其他图像记为第二图像。在一些实施例中,对多帧待处理图像进行清晰度检测,例如,通过边缘信息、梯度信息等检测图像的清晰度,将清晰度最高的一帧图像作为参考图像。
在得到第一图像和第二图像之后,分别对第一图像和第二图像进行下采样处理,得到第三图像和第四图像。其中,第三图像和第四图像的数量不做限制。以第一图像为例,在一些实施例中,可以只进行一次下采样操作。或者,在其他实施例中,还可以按照预设采样倍数进行连续多次下采样得到分辨率依次降低的多帧第三图像。
请参阅图2,图2为本申请实施例提出的图像对齐方法中图像下采样示意图。在一些实施例中,按照预设采样倍数=4,分别对第一图像P10和第二图像P20进行连续两次下采样处理,得到第三图像P11、P12,得到第四图像P21、P22。此处的采样倍数和下采样次数仅为举例说明,在其他实施例中,可以采用其他的采样倍数和下采样次数。
103、基于轮廓检测算法,从第三图像中提取第一轮廓图像,并从第四图像中提取第二轮廓图像。
接下来,根据下采样得到的图像进行图像轮廓的提取。例如,从第三图像P12中提取轮廓信息,构成第一轮廓图像。其中,轮廓信息为图像中物体的轮廓线处的像素值。轮廓图像为仅在轮廓线处有像素值的图像。其中,轮廓检测算法可以是sobel算法,canny算子等。基于同样的处理方式得到第二图像对应的第二轮廓图像。
104、对第一轮廓图像和第二轮廓图像进行特征点匹配,得到第一特征点对。
在得到第一轮廓图像和第二轮廓图像后,按照特征点检测算法,检测轮廓图像中的特征点,并匹配两帧图像中的特征点对。比如,采用harris角点检测算法检测轮廓图像中的角点,对两帧轮廓图像中的角点进行匹配,得到特征点对,记为第一特征点对。又比如,采用SIFT(Scale-invariant feature transform,尺度不变特征变换)特征检测算法,提取特征点,并进行特征点匹配,以得到第一特征点对。
105、根据第一特征点对,对第二图像进行仿射变换处理,以得到与第一图像对齐的第三图像。
在得到第一特征点对之后,可以基于第一轮廓图像与第二轮廓图像中匹配的特征点对,对第二图像中的全部像素点进行仿射变换处理,得到与第一图像对齐的第三图像。例如,基于第一特征点对,计算第二图像相对于第一图像的目标单应性矩阵;基于目标单应性矩阵对第二图像进行仿射变换处理,以得到与第一图像对齐的第三图像。
其中,单应性(Homography)变换用来描述物体在世界坐标系和像素坐标系之间的位置映射关系,对应的变换矩阵称为单应性矩阵。在本申请实施例中,目标单应性矩阵是用来表示物体在第一图像与第二图像之间的位置映射关系,通过将第二图像与第一图像进行图像配准,得到两幅图像匹配的特征点对(两幅图像上表示同一对象的像素点构成一个特征点对),然后基于特征点对在图像上的位置,计算得到单应性矩阵,其中,至少使用三个特征点对计算单应性矩阵。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提供的图像对齐方法,获取对同一拍摄场景进行拍摄得到的第一图像和第二图像,分别对第一图像和第二图像进行下采样处理,得到第三图像和第四图像,基于第三图像和轮廓检测算法,得到第一轮廓图像,同时根据第四图像得到第二轮廓图像,对第一轮廓图像和第二轮廓图像进行特征点匹配,得到第一特征点对,基于第一特征点对第二图像进行仿射变换处理,得到与第一图像对齐的第三图像,该方案通过下采样得到的图像提取轮廓信息,基于轮廓图像进行特征点对的提取,消除无效信息的干扰,提高了提取到的特征点对的准确率,进而提升图像对齐效果。
在一些实施例中,基于第一特征点对,计算第二图像相对于第一图像的目标单应性矩阵,包括:按照特征点筛选算法从第一特征点对中筛选出目标特征点对,根据目标特征点对确定目标单应性矩阵。
例如,从第一特征点对中选择任意三组或三组以上的候选特征点对;基于候选特征点对计算第二图像相对于第一图像的候选单应性矩阵,并基于候选单应性矩阵对第二图像中的特征点作仿射变换处理;根据第一图像中的特征点,判断仿射变换处理得到的特征点的准确度是否大于预设阈值;若否,则返回执行从第一特征点对中选择任意三组或三组以上的候选特征点对;若是,则将候选单应性矩阵作为目标单应性矩阵。
由于匹配得到的特征点对可能存在一定的错误率,为了进一步提高本申请图像对齐的准确度,对特征点进行筛选,随机的从第一特征点对中选择任意三组候选特征点对,计算一个单应性矩阵,利用该单应性矩阵,对第二图像中的全部特征点(104中检测到的特征点)的坐标进行变换,得到这些特征点在第一图像中的坐标,根据计算得到的坐标与第一图像中的特征点的真实坐标,判断仿射变换的准确度,如果准确度达到预设阈值(例如,95%)。则判定该单应性矩阵满足需求,否则,重新随机选择任意三组候选特征点对,重新计算单应性矩阵,并再次判断,直至计算得到的单应性矩阵满足需求。
在一些实施例中,根据第一图像中的特征点,判断仿射变换处理得到的特征点的准确度是否大于预设阈值,包括:计算仿射变换处理得到的特征点与第一图像中对应位置处的特征点之间的坐标差均方值;统计坐标差均方值小于预设值的像素点的数量占第一图像中像素点总数的比例,将比例作为仿射变换处理得到的特征点的准确度;判断准确度是否大于预设阈值。
该实施例中,通过仿射变换处理得到的特征点与第一图像中对应位置处的特征点之间的坐标差均方值的大小来判断仿射变换的准确度,其中,坐标差均方值越小,说明像素点变换的准确度越高,变换准确的像素点数量越多,仿射变换的准确度越高。
在一些实施例中,对第一图像进行下采样处理,得到第三图像,包括:按照预设采样倍数对第一图像进行多次下采样处理,得到分辨率依次降低的多帧第三图像;基于轮廓检测算法,根据第三图像得到第一轮廓图像,包括:对分辨率最低的第三图像进行高斯滤波处理;基于轮廓检测算法,根据经过高斯滤波处理后的第三图像得到第一轮廓图像。才能分辨率最低的下采样图像提取轮廓图像,能够提高图像处理的效率。
或者,在其他实施例中,对第一图像进行下采样处理,得到第三图像,包括:按照预设采样倍数对第一图像进行多次下采样处理,得到分辨率依次降低的多帧第三图像;基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,包括:基于轮廓检测算法提取第一图像的第一轮廓信息,并基于轮廓检测算法分别从多帧第三图像中提取多个第二轮廓信息;合并第一轮廓信息和多个第二轮廓信息,得到第一图像对应的第一轮廓图像。
该实施例中,根据原始图像和下采样得到的图像进行图像轮廓的提取,能够提取到更多更有效的轮廓信息。请参阅图2,以第一图像为例,先对第一图像P10、其对应的第三图像P11、P12进行高斯滤波处理,消除图像的噪声和非纹理区域对检测的影响。其中,对于图像来说,高斯滤波的原理如下:利用高斯核(例如一个2维的卷积算子)扫描图像中的每一个像素点,以进行加权平均计算,对图像模糊化处理,以去除细节和噪声。例如,采用3x3的高斯核进行滤波,即采用3×3个权值对一像素点本身和其邻域内的其他像素点的像素值进行加权平均计算。然后,采用sobel算法分别从第一图像P10、其对应的第三图像P11、P12中提取轮廓信息,将提取得到的多个轮廓信息合并到同一张图像中,构成与第一图像对应的第一轮廓图像。其中,轮廓信息为图像中物体的轮廓线处的像素值。轮廓图像为仅在轮廓线处有像素值的图像。其中,合并轮廓信息时,将下采样得到的图像中的轮廓像素点还原到其在原始图像中的位置。例如,第三图像P11的第一行第一列的像素点为轮廓像素点,其在第一图像P10中的位置为第二行第二列,那么在第一轮廓图像中,该像素点的位置需要还原到第二行第二列。
在一些实施例中,对第一图像进行下采样处理,得到第三图像,并对第二图像进行下采样处理,得到第四图像之前,还包括:统计第一图像的各像素点的亮度,以获取第一图像的第一亮度分布,并统计第二图像的各像素点的亮度,以获取第二图像的第二亮度分布;根据所述第一亮度分布调整所述第二亮度分布,并基于调整后的第二亮度分布调整所述第二图像的亮度,得到亮度与所述第一图像对齐的第二图像。
该实施例中,使用直方图均衡算法对第一图像和第二图像的亮度进行调整,将两张图片的亮度分布平衡在同一水平,这样可以有效防止图像由于过亮或过暗导致的纹理不清晰。其中,本申请实施例中的亮度分布可以表示为亮度分布直方图。先对第一图像和第二图像进行直方图统计,直方图统计采用每16个像素值作为一个等级,对于8比特深度的图像,共分为16个等级。统计全图的像素值,将其统计入这16个等级中,生成图像对应的亮度分布直方图。然后,进行图像直方图均衡处理。
其中,可以以第一图像的第一亮度分布为基准,对第二图像进行直方图均衡处理。当第一图像和第二图像的亮度都较低时,可以对第一图像和第二图像的亮度都进行直方图均衡处理。其处理结果都是将两张图像的亮度分布平衡在同一水平。
根据前面实施例所描述的方法,以下将举例作进一步详细说明。
请参阅图3,图3为本发明实施例提供的图像对齐方法的第二流程示意图。方法包括:
201、获取同一拍摄场景的第一图像和第二图像。
电子设备可以对拍摄场景进行连续曝光,获取比HDR合成需要的图像帧数更多的图像,然后从这些图像中选择清晰度最好的几帧图像作为待处理图像,其中,将清晰度最高的图像作为参考图像,记为第一图像,将剩余的图像作为待对齐图像,记为第二图像。
例如,电子设备获取5帧待处理图像,分别标记为A、B、C、D、E、F。其中,图像A的清晰度最好,将图像A作为第一图像,将剩余的图像B、C、D、E、F作为第二图像,将他们与图像A进行对齐处理。
202、获取第一图像的第一亮度分布直方图,获取第二图像的第二亮度分布直方图。
先对第一图像和第二图像进行直方图统计,直方图统计采用每16个像素值作为一个等级,对于8比特深度的图像,共分为16个等级。统计全图的像素值,将其统计入这16个等级中,生成图像对应的亮度分布直方图。
203、根据第一亮度分布直方图和第二亮度分布直方图调整第二图像的亮度分布,以得到亮度与第一图像对齐的第二图像。
使用直方图均衡算法基于第一亮度分布直方图对第二亮度直方图进行调整,得到第三亮度分布直方图,基于第三亮度分布直方图调整第二图像的亮度分布,以得到亮度与第一图像对齐的第二图像。基于此,将两张图片的亮度分布平衡在同一水平,这样可以有效防止图像由于过亮或过暗导致的纹理不清晰。
204、对第一图像进行连续多次下采样处理,得到分辨率依次降低的多帧第三图像,并对第二图像进行连续多次下采样处理,得到分辨率依次降低的多帧第四图像。
205、根据分辨率最小的第三图像中得到第一轮廓图像,根据分辨率最低的第四图像得到第二轮廓图像。
在得到第一图像和第二图像之后,分别对第一图像和第二图像进行下采样处理,得到第三图像和第四图像。其中,第三图像和第四图像的数量不做限制。根据下采样得到的图像进行图像轮廓的提取,得到第一轮廓图像和第二轮廓图像。
206、对第一轮廓图像和第二轮廓图像进行特征点匹配,得到第一特征点对。
207、按照特征点筛选算法从第一特征点对中筛选出目标特征点对,根据目标特征点对确定目标单应性矩阵。
在得到第一轮廓图像和第二轮廓图像后,按照特征点检测算法,检测轮廓图像中的特征点,并匹配两帧图像中的特征点对,并根据特征点计算单应性矩阵。具体请参照上述实施例,在此不再赘述。
208、将第二图像分割为多个区域。
接下来以图像B和图像A的对齐为例,请参阅图4,图4为本申请实施例提供的图像对齐方法的图像分区示意图。将图像B分割为M*N个区域,其中,M和N的大小可以根据对图像对齐的准确度来设置。采用将图像分区域的方式,针对不同的区域分别计算图像之间的单应性矩阵,可以提高图像对齐的精确度。
其中,在一些实施例中,对于每个区域也可以按照与目标单应性矩阵相同的方式进行特征点的筛选,再确定筛选出的准确度最高的特征点对对应的单应性矩阵作为该区域最终对应的单应性矩阵。
其中,可以理解的是,第一图像和第二图像的分辨率相同,并且在进行分区域处理时,需要按照同样的方式进行分区,他们的区域数量也是相等的。
209、确定每一区域中符合目标单应性矩阵的第二特征点对,并根据对应的第二特征点对计算第二图像相对于第一图像在每一区域的局部单应性矩阵。
在206中确定出的特征点分布在整个图像中,将图像B划分为多个区域后,这些特征点分布在图像B的各个区域,对于每一个区域都可以根据该区域中的特征点对应的特征点对,计算得到一个单应性矩阵。
该实施例中,针对每一个区域,例如,获取图像B的第一行的第一个区域中符合目标单应性矩阵的至少三个特征点对应的三组特征点对,计算图像B的该区域的局部单应性矩阵。按照这种方式,可以得到每一个区域的局部单应性矩阵。
其中,符合单应性矩阵是指,将第二图像中的特征点K1(属于特征点对K12)按照该单应性矩阵进行变换得到的特征点K1’在第一图像中的位置,与K2(属于特征点对K12)在第一图像中的位置之间的坐标差均方值小于预设值。
210、基于对应的局部单应性矩阵将第二图像的每一区域分别进行仿射变换处理,以得到与第一图像对齐的第三图像。
本申请实施例中,针对每一个区域,以第一图像作为基准图像,计算第二图像相对于第一图像的一个局部单应性矩阵,按照这样的方式,对于图像A来说,每一区域上都有一个与该区域对应的一个局部单应性矩阵。然后根据各区域对应的局部单应性矩阵进行仿射变换,因此,在区域交界处能会出现空洞像素点,此时,可以采用双线性差值的方式对这些空洞像素点进行补充。
由上可知,本发明实施例提出的图像对齐方法,根据直方图均衡,将两张图像的亮度分布匹配,使得两张图的纹理情况显现出来。之后采用多尺度的图像边缘检测方法,在不同图像尺度上提取图像边缘,使得提取出的图像边缘信息更全面、更准确,且对噪声的鲁棒性更强,避免了由于噪点的存在而导致梯度差值图像的特征点检测困难。并且通过特征点筛选和分区域配准,实现更准确的特征点检测和配准,能得到更为准确的单应性矩阵,此外,基于准确的插值处理,得到更精确的对齐图像。将这些匹配精确的对齐图像,可以有效的减少多帧图像合成时产生的鬼影现象,同时减少多帧图像合成时由于超分辨率导致的错误纹理扩展现象。
在一实施例中还提供一种图像对齐装置。请参阅图5,图5为本申请实施例提供的图像对齐装置300的结构示意图。其中该图像对齐装置300应用于电子设备,该图像对齐装置300包括图像获取模块301、下采样模块302、轮廓检测模块303、特征匹配模块304以及图像对齐模块305,如下:
图像获取模块301,用于获取同一拍摄场景的第一图像和第二图像;
下采样模块302,用于对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;
轮廓检测模块303,用于基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;
特征匹配模块304,用于对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;
图像对齐模块305,用于根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
在一些实施例中,图像对齐模块305还用于:
基于所述第一特征点对,计算所述第二图像相对于所述第一图像的目标单应性矩阵;
基于所述目标单应性矩阵对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
在一些实施例中,图像对齐模块305还用于:从所述第一特征点对中选择任意三组或三组以上的候选特征点对;
基于所述候选特征点对计算所述第二图像相对于所述第一图像的候选单应性矩阵,并基于所述候选单应性矩阵对所述第二图像中的特征点作仿射变换处理;
根据所述第一图像中的特征点,判断所述仿射变换处理得到的特征点的准确度是否大于预设阈值;
若否,则返回执行从所述第一特征点对中选择任意三组或三组以上的候选特征点对;
若是,则将所述候选单应性矩阵作为目标单应性矩阵。
在一些实施例中,图像对齐模块305还用于:计算仿射变换处理得到的特征点与所述第一图像中对应位置处的特征点之间的坐标差均方值;
统计所述坐标差均方值小于预设值的像素点的数量占所述第一图像中像素点总数的比例,将所述比例作为所述仿射变换处理得到的特征点的准确度;
判断所述准确度是否大于预设阈值。
在一些实施例中,图像对齐模块305还用于:将所述第二图像分割为多个区域;
确定每一区域中符合所述目标单应性矩阵的特征点对应的第二特征点对,并根据对应的第二特征点对计算所述第二图像在每一区域的局部单应性矩阵;
基于对应的局部单应性矩阵将所述第二图像的每一区域分别进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
在一些实施例中,图像对齐模块305还用于:基于对应的局部单应性矩阵将所述第二图像的每一区域分别进行仿射变换处理;
判断经过所述仿射变换处理的所述第二图像中是否存在空洞像素点;
若是,则基于双线性插值算法对所述空洞像素点进行填补,以得到与所述第一图像对齐的第三图像。
在一些实施例中,下采样模块302还用于:按照预设采样倍数对所述第一图像进行多次下采样处理,得到分辨率依次降低的多帧第三图像;
轮廓检测模块303还用于:对分辨率最低的所述第三图像进行高斯滤波处理;基于轮廓检测算法,根据经过高斯滤波处理后的所述第三图像得到第一轮廓图像。
在一些实施例中,该图像对齐装置300还包括亮度调整模块,该亮度调整模块用于:统计所述第一图像的各像素点的亮度,以获取所述第一图像的第一亮度分布,并统计所述第二图像的各像素点的亮度,以获取所述第二图像的第二亮度分布;根据所述第一亮度分布对所述第一图像作直方图均衡处理,根据所述第二亮度分布对所述第二图像作直方图均衡处理,以得到亮度对齐的第一图像和第二图像。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
应当说明的是,本申请实施例提供的图像对齐装置与上文实施例中的图像对齐方法属于同一构思,在图像对齐装置上可以运行图像对齐方法实施例中提供的任一方法,其具体实现过程详见图像对齐方法实施例,此处不再赘述。
由上可知,本申请实施例提出的图像对齐装置,获取对同一拍摄场景进行拍摄得到的第一图像和第二图像,分别对第一图像和第二图像进行下采样处理,得到第三图像和第四图像,基于第三图像和轮廓检测算法,得到第一轮廓图像,同时根据第四图像得到第二轮廓图像,对第一轮廓图像和第二轮廓图像进行特征点匹配,得到第一特征点对,基于第一特征点对第二图像进行仿射变换处理,得到与第一图像对齐的第三图像,该方案通过下采样得到的图像提取轮廓信息,基于轮廓图像进行特征点对的提取,消除无效信息的干扰,提高了提取到的特征点对的准确率,进而提升图像对齐效果。
本申请实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。请参阅图6,图6为本申请实施例提供的电子设备的第一种结构示意图。电子设备400包括处理器401和存储器402。其中,处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器402内的计算机程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
存储器402可用于存储计算机程序和数据。存储器402存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器401通过调用存储在存储器402的计算机程序,从而执行各种功能应用以及数据处理。
在本实施例中,电子设备400中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现各种功能:
获取同一拍摄场景的第一图像和第二图像;
对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;
基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;
对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;
根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
在一些实施例中,请参阅图7,图7为本申请实施例提供的电子设备的第二种结构示意图。电子设备400还包括:射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409。其中,处理器401分别与射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
射频电路403用于收发射频信号,以通过无线通信与网络设备或其他电子设备进行通信。
显示屏404可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路405与显示屏404电性连接,用于控制显示屏404显示信息。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。其中,音频电路407包括麦克风。所述麦克风与所述处理器401电性连接。所述麦克风用于接收用户输入的语音信息。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源409用于给电子设备400的各个部件供电。在一些实施例中,电源409可以通过电源管理***与处理器401逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出,电子设备400还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本实施例中,电子设备400中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现各种功能:
获取同一拍摄场景的第一图像和第二图像;
对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;
基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;
对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;
根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
由上可知,本申请实施例提供了一种电子设备,所述电子设备获取对同一拍摄场景进行拍摄得到的第一图像和第二图像,分别对第一图像和第二图像进行下采样处理,得到第三图像和第四图像,基于第三图像和轮廓检测算法,得到第一轮廓图像,同时根据第四图像得到第二轮廓图像,对第一轮廓图像和第二轮廓图像进行特征点匹配,得到第一特征点对,基于第一特征点对第二图像进行仿射变换处理,得到与第一图像对齐的第三图像,该方案通过下采样得到的图像提取轮廓信息,基于轮廓图像进行特征点对的提取,消除无效信息的干扰,提高了提取到的特征点对的准确率,进而提升图像对齐效果。
本申请实施例还提供一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,所述计算机执行上述任一实施例所述的图像对齐方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的图像对齐方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像对齐方法,其特征在于,包括:
获取同一拍摄场景的第一图像和第二图像;
对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;
基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;
对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;
根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
2.如权利要求1所述的图像对齐方法,其特征在于,所述根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像,包括:
基于所述第一特征点对,计算所述第二图像相对于所述第一图像的目标单应性矩阵;
基于所述目标单应性矩阵对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
3.如权利要求2所述的图像对齐方法,其特征在于,所述基于所述第一特征点对,计算所述第二图像相对于所述第一图像的目标单应性矩阵,包括:
从所述第一特征点对中选择任意三组或三组以上的候选特征点对;
基于所述候选特征点对计算所述第二图像相对于所述第一图像的候选单应性矩阵,并基于所述候选单应性矩阵对所述第二图像中的特征点作仿射变换处理;
根据所述第一图像中的特征点,判断所述仿射变换处理得到的特征点的准确度是否大于预设阈值;
若否,则返回执行从所述第一特征点对中选择任意三组或三组以上的候选特征点对;
若是,则将所述候选单应性矩阵作为目标单应性矩阵。
4.如权利要求3所述的图像对齐方法,其特征在于,所述根据所述第一图像中的特征点,判断所述仿射变换处理得到的特征点的准确度是否大于预设阈值,包括:
计算仿射变换处理得到的特征点与所述第一图像中对应位置处的特征点之间的坐标差均方值;
统计所述坐标差均方值小于预设值的像素点的数量占所述第一图像中像素点总数的比例,将所述比例作为所述仿射变换处理得到的特征点的准确度;
判断所述准确度是否大于预设阈值。
5.如权利要求2所述的图像对齐方法,其特征在于,所述基于所述目标单应性矩阵对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像,包括:
将所述第二图像分割为多个区域;
确定每一区域中符合所述目标单应性矩阵的特征点对应的第二特征点对,并根据对应的第二特征点对计算所述第二图像在每一区域的局部单应性矩阵;
基于对应的局部单应性矩阵将所述第二图像的每一区域分别进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
6.如权利要求5所述的图像对齐方法,其特征在于,所述基于对应的局部单应性矩阵将所述第二图像的每一区域分别进行仿射变换处理,以得到与所述第一图像对齐的第三图像,包括:
基于对应的局部单应性矩阵将所述第二图像的每一区域分别进行仿射变换处理;
判断经过所述仿射变换处理的所述第二图像中是否存在空洞像素点;
若是,则基于双线性插值算法对所述空洞像素点进行填补,以得到与所述第一图像对齐的第三图像。
7.如权利要求1所述的图像对齐方法,其特征在于,所述对所述第一图像进行下采样处理,得到第三图像,包括:
按照预设采样倍数对所述第一图像进行多次下采样处理,得到分辨率依次降低的多帧第三图像;
所述基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,包括:
对分辨率最低的所述第三图像进行高斯滤波处理;
基于轮廓检测算法,根据经过高斯滤波处理后的所述第三图像得到第一轮廓图像。
8.如权利要求1所述的图像对齐方法,其特征在于,所述对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像之前,还包括:
统计所述第一图像的各像素点的亮度,以获取所述第一图像的第一亮度分布,并统计所述第二图像的各像素点的亮度,以获取所述第二图像的第二亮度分布;
根据所述第一亮度分布调整所述第二亮度分布,并基于调整后的第二亮度分布调整所述第二图像的亮度,得到亮度与所述第一图像对齐的第二图像。
9.一种图像对齐装置,其特征在于,包括:
图像获取模块,用于获取同一拍摄场景的第一图像和第二图像;
下采样模块,用于对所述第一图像进行下采样处理,得到第三图像,并对所述第二图像进行下采样处理,得到第四图像;
轮廓检测模块,用于基于轮廓检测算法,从所述第三图像中提取第一轮廓图像,并从所述第四图像中提取第二轮廓图像;
特征匹配模块,用于对所述第一轮廓图像和所述第二轮廓图像进行特征点匹配,得到第一特征点对;
图像对齐模块,用于根据所述第一特征点对,对所述第二图像进行仿射变换处理,以得到与所述第一图像对齐的第三图像。
10.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至8任一项所述的图像对齐方法。
11.一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至8任一项所述的图像对齐方法。
CN201911253884.0A 2019-12-09 2019-12-09 图像对齐方法、装置、存储介质及电子设备 Pending CN111028276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911253884.0A CN111028276A (zh) 2019-12-09 2019-12-09 图像对齐方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911253884.0A CN111028276A (zh) 2019-12-09 2019-12-09 图像对齐方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN111028276A true CN111028276A (zh) 2020-04-17

Family

ID=70208324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911253884.0A Pending CN111028276A (zh) 2019-12-09 2019-12-09 图像对齐方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111028276A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639655A (zh) * 2020-05-20 2020-09-08 北京百度网讯科技有限公司 图像局部信息生成方法、装置、电子设备和存储介质
CN112201000A (zh) * 2020-10-10 2021-01-08 广东省构建工程建设有限公司 一种应用于施工阶段的火灾动态监测***及方法
CN114390206A (zh) * 2022-02-10 2022-04-22 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN114821030A (zh) * 2022-04-11 2022-07-29 苏州振旺光电有限公司 行星图像处理方法、***以及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262958A (zh) * 2015-10-15 2016-01-20 电子科技大学 一种虚拟视点的全景特写拼接***及其方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107454330A (zh) * 2017-08-24 2017-12-08 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108154526A (zh) * 2016-12-06 2018-06-12 奥多比公司 突发模式图像的图像对准
CN109166077A (zh) * 2018-08-17 2019-01-08 广州视源电子科技股份有限公司 图像对齐方法、装置、可读存储介质及计算机设备
CN109785371A (zh) * 2018-12-19 2019-05-21 昆明理工大学 一种基于归一化互相关和sift的太阳图像配准方法
CN109816619A (zh) * 2019-01-28 2019-05-28 努比亚技术有限公司 图像融合方法、装置、终端及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262958A (zh) * 2015-10-15 2016-01-20 电子科技大学 一种虚拟视点的全景特写拼接***及其方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN108154526A (zh) * 2016-12-06 2018-06-12 奥多比公司 突发模式图像的图像对准
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107454330A (zh) * 2017-08-24 2017-12-08 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN109166077A (zh) * 2018-08-17 2019-01-08 广州视源电子科技股份有限公司 图像对齐方法、装置、可读存储介质及计算机设备
CN109785371A (zh) * 2018-12-19 2019-05-21 昆明理工大学 一种基于归一化互相关和sift的太阳图像配准方法
CN109816619A (zh) * 2019-01-28 2019-05-28 努比亚技术有限公司 图像融合方法、装置、终端及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
祁曦 等: "结合SIFT 和 Delaunay 三角网的遥感 图像配准算法", 计算机***应用, pages 163 - 164 *
祁曦 等: "结合SIFT和Delaunay三角网的遥感图像配准算法", pages 163 - 164 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639655A (zh) * 2020-05-20 2020-09-08 北京百度网讯科技有限公司 图像局部信息生成方法、装置、电子设备和存储介质
CN111639655B (zh) * 2020-05-20 2023-10-13 北京百度网讯科技有限公司 图像局部信息生成方法、装置、电子设备和存储介质
CN112201000A (zh) * 2020-10-10 2021-01-08 广东省构建工程建设有限公司 一种应用于施工阶段的火灾动态监测***及方法
CN114390206A (zh) * 2022-02-10 2022-04-22 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN114821030A (zh) * 2022-04-11 2022-07-29 苏州振旺光电有限公司 行星图像处理方法、***以及装置

Similar Documents

Publication Publication Date Title
WO2020192483A1 (zh) 图像显示方法和设备
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
US10853927B2 (en) Image fusion architecture
US11138709B2 (en) Image fusion processing module
US9058655B2 (en) Region of interest based image registration
US10880455B2 (en) High dynamic range color conversion using selective interpolation
US11024006B2 (en) Tagging clipped pixels for pyramid processing in image signal processor
CN110796600B (zh) 一种图像超分重建方法、图像超分重建装置及电子设备
CN110930329B (zh) 星空图像处理方法及装置
CN112602088B (zh) 提高弱光图像的质量的方法、***和计算机可读介质
CN113992861A (zh) 一种图像处理方法及图像处理装置
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN110728705B (zh) 图像处理方法、装置、存储介质及电子设备
CN114096994A (zh) 图像对齐方法及装置、电子设备、存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
US20240205363A1 (en) Sliding Window for Image Keypoint Detection and Descriptor Generation
CN108932703B (zh) 图片处理方法、图片处理装置及终端设备
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
CN108805883B (zh) 一种图像分割方法、图像分割装置及电子设备
US20230016350A1 (en) Configurable keypoint descriptor generation
CN108763491B (zh) 图片处理方法、装置及终端设备
US11810266B2 (en) Pattern radius adjustment for keypoint descriptor generation
CN115439386A (zh) 图像融合方法、装置、电子设备和存储介质
CN111754411B (zh) 图像降噪方法、图像降噪装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination