CN114170576A - 重复图像的检测方法及装置 - Google Patents
重复图像的检测方法及装置 Download PDFInfo
- Publication number
- CN114170576A CN114170576A CN202111493220.9A CN202111493220A CN114170576A CN 114170576 A CN114170576 A CN 114170576A CN 202111493220 A CN202111493220 A CN 202111493220A CN 114170576 A CN114170576 A CN 114170576A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- feature point
- point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种重复图像的检测方法及装置,该重复图像的检测方法包括:获取待检测图像和参考图像;获取待检测图像中各个第一特征点与参考图像的匹配强度;判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,第一特征点位于对应的预设范围内;若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点;基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。本申请能够提高重复图像检测的准确率。
Description
技术领域
本申请主要涉及图像处理技术领域,具体涉及一种重复图像的检测方法及装置。
背景技术
在自动驾驶,地图生产,智慧交通等应用中,往往需要将前端相机采集的信息上传到云端进行处理,一种方式就是从视频中抽取合适的图像,然后上传到云端进行智能分析。但如果将重复图像传入云端存储将会增大运单处理量,因此需要识别出重复图像。现有技术中,识别重复图像的方法主要采用常规的特征点匹配方法,但这种方法提取的特征点有聚集性,在空间分布并不均匀,该特性会导致最后的特征点对也具有聚集性,极大的影响后续相似度的计算,导致重复图像检测的准确率较低。
也即,现有技术中重复图像检测的准确率较低。
发明内容
本申请提供一种重复图像的检测方法及装置,旨在解决现有技术中重复图像检测的准确率较低的问题。
第一方面,本申请提供一种重复图像的检测方法,所述重复图像的检测方法包括:
获取待检测图像和参考图像;
获取待检测图像中各个第一特征点与所述参考图像的匹配强度;
判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,所述第一特征点位于对应的预设范围内;
若所述第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到所述待检测图像上的多个待检测特征点;
基于所述待检测图像上的多个待检测特征点检测所述待检测图像和所述参考图像,得到检测结果。
可选地,所述获取待检测图像中各个第一特征点与所述参考图像的匹配强度,包括:
对所述待检测图像和所述参考图像进行特征点提取,得到所述待检测图像中的多个第一特征点和所述参考图像中的多个第二特征点;
分别将各个第一特征点确定为第一目标特征点;
计算所述第一目标特征点与各个第二特征点的相似度;
按相似度从大到小对各个第二特征点排序,并将排序后的前两个第二特征点分别确定为所述第一目标特征点的第三特征点和第四特征点;
基于所述第三特征点和所述第四特征点确定所述第一目标特征点与所述参考图像的匹配强度,得到各个第一特征点与所述参考图像的匹配强度。
可选地,所述预设范围为圆形范围,所述判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,包括:
分别将所述第一特征点确定为第二目标特征点;
获取所述第二目标特征点的位置和预设半径;
以所述第二目标特征点的位置为预设范围的圆心,以所述预设半径为预设范围的半径,生成所述第二目标特征点对应的预设范围;
判断所述第二目标特征点是否为对应的预设范围内匹配强度最大的特征点。
可选地,所述基于所述待检测图像上的多个待检测特征点检测所述待检测图像和所述参考图像,得到检测结果,包括:
基于所述待检测图像上的多个待检测特征点确定匹配特征点对数量;
判断所述匹配特征点对数量是否大于第一预设值;
若所述匹配特征点对数量大于第一预设值,则确定检测结果为图像重复。
可选地,所述获取待检测图像中各个第一特征点与所述参考图像的匹配强度,包括:
将所述待检测图像划分为多个第一图像区域,将所述参考图像划分为与所述多个第一图像区域对应的多个第二图像区域;
分别对各个第一图像区域与各自对应的第二图像区域进行像素级匹配,得到各个第一图像区域与各自对应的第二图像区域的区域相似度;
根据各个第一图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度;
若所述图像相似度不大于第二预设值,则获取待检测图像中各个第一特征点与所述参考图像的匹配强度。
可选地,所述根据各个第一图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度,包括:
基于区域相似度从大到小对各个第一图像区域进行排序,得到排序后的多个第一图像区域;
将排序后的多个第一图像区域中排序靠前的多个第一图像区域和排序靠后的多个第一图像区域剔除,得到多个第三图像区域;
根据各个第三图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度。
可选地,所述获取待检测图像和参考图像,包括:
获取待检测视频,其中,所述待检测视频是安装于车辆上的相机在车辆移动时拍摄得到的;
从所述待检测视频中提取多个目标图像和各个目标图像拍摄时的车辆移动速度;
若所述目标图像拍摄时的车辆移动速度不大于预设速度,则将所述目标图像确定为所述待检测图像。
第二方面,本申请提供一种重复图像的检测装置,所述重复图像的检测装置包括:
第一获取单元,用于获取待检测图像和参考图像;
第二获取单元,用于获取待检测图像中各个第一特征点与所述参考图像的匹配强度;
判断单元,用于判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,所述第一特征点位于对应的预设范围内;
确定单元,用于若所述第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到所述待检测图像上的多个待检测特征点;
检测单元,用于基于所述待检测图像上的多个待检测特征点检测所述待检测图像和所述参考图像,得到检测结果。
可选地,所述第二获取单元,用于:
对所述待检测图像和所述参考图像进行特征点提取,得到所述待检测图像中的多个第一特征点和所述参考图像中的多个第二特征点;
分别将各个第一特征点确定为第一目标特征点;
计算所述第一目标特征点与各个第二特征点的相似度;
按相似度从大到小对各个第二特征点排序,并将排序后的前两个第二特征点分别确定为所述第一目标特征点的第三特征点和第四特征点;
基于所述第三特征点和所述第四特征点确定所述第一目标特征点与所述参考图像的匹配强度,得到各个第一特征点与所述参考图像的匹配强度。
可选地,所述预设范围为圆形范围,所述判断单元,用于:
分别将所述第一特征点确定为第二目标特征点;
获取所述第二目标特征点的位置和预设半径;
以所述第二目标特征点的位置为预设范围的圆心,以所述预设半径为预设范围的半径,生成所述第二目标特征点对应的预设范围;
判断所述第二目标特征点是否为对应的预设范围内匹配强度最大的特征点。
可选地,所述检测单元,用于:
基于所述待检测图像上的多个待检测特征点确定匹配特征点对数量;
判断所述匹配特征点对数量是否大于第一预设值;
若所述匹配特征点对数量大于第一预设值,则确定检测结果为图像重复。
可选地,所述第二获取单元,用于:
将所述待检测图像划分为多个第一图像区域,将所述参考图像划分为与所述多个第一图像区域对应的多个第二图像区域;
分别对各个第一图像区域与各自对应的第二图像区域进行像素级匹配,得到各个第一图像区域与各自对应的第二图像区域的区域相似度;
根据各个第一图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度;
若所述图像相似度不大于第二预设值,则获取待检测图像中各个第一特征点与所述参考图像的匹配强度。
可选地,所述第二获取单元,用于:
基于区域相似度从大到小对各个第一图像区域进行排序,得到排序后的多个第一图像区域;
将排序后的多个第一图像区域中排序靠前的多个第一图像区域和排序靠后的多个第一图像区域剔除,得到多个第三图像区域;
根据各个第三图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度。
可选地,所述第一获取单元,用于:
获取待检测视频,其中,所述待检测视频是安装于车辆上的相机在车辆移动时拍摄得到的;
从所述待检测视频中提取多个目标图像和各个目标图像拍摄时的车辆移动速度;
若所述目标图像拍摄时的车辆移动速度不大于预设速度,则将所述目标图像确定为所述待检测图像。
第三方面,本申请提供一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现第一方面中任一项所述的重复图像的检测方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行第一方面中任一项所述的重复图像的检测方法中的步骤。
本申请提供一种重复图像的检测方法及装置,该重复图像的检测方法包括:获取待检测图像和参考图像;获取待检测图像中各个第一特征点与参考图像的匹配强度;判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,第一特征点位于对应的预设范围内;若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点;基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。本申请在现有技术中特征点匹配方法提取的特征点有聚集性、在空间分布不均匀,使得最后的特征点对也具有聚集性,导致重复图像检测的准确率较低的情况下,创造性地提出一种重复图像的检测方法,首先获取待检测图像中各个第一特征点和参考图像的匹配强度,在第一特征点为对应预设范围的匹配强度最大的特征点时,将第一特征点确定为待检测特征点进行重复图像检测,一方面待检测特征点为预设范围内匹配强度最高的点,能够更准确代表预设范围内特征点的特性;另一方面能够保证待检测特征点所在预设范围没有其他特征点,从而将特征点均匀化,避免了特征点聚集,能够提高重复图像检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的重复图像的检测***的场景示意图;
图2是本申请实施例中提供的重复图像的检测方法的一个实施例流程示意图;
图3是本申请实施例中提供的重复图像的检测方法的另一个实施例流程示意图;
图4是本申请实施例中提供的重复图像的检测装置的一个实施例结构示意图;
图5是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种重复图像的检测方法及装置,以下分别进行详细说明。
请参阅图1,图1为本申请实施例所提供的重复图像的检测***的场景示意图,该重复图像的检测***可以包括计算机设备100,计算机设备100中集成有重复图像的检测装置。
本申请实施例中,该计算机设备100可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本申请实施例中所描述的计算机设备100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本申请实施例中,上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant,PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等,本实施例不限定计算机设备100的类型。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是本申请方案的一种应用场景,并不构成对本申请方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的计算机设备,例如图1中仅示出1个计算机设备,可以理解的,该重复图像的检测***还可以包括一个或多个可处理数据的其他计算机设备,具体此处不作限定。
另外,如图1所示,该重复图像的检测***还可以包括存储器200,用于存储数据。
需要说明的是,图1所示的重复图像的检测***的场景示意图仅仅是一个示例,本申请实施例描述的重复图像的检测***以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着重复图像的检测***的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
首先,本申请实施例中提供一种重复图像的检测方法,该重复图像的检测方法包括:获取待检测图像和参考图像;获取待检测图像中各个第一特征点与参考图像的匹配强度;判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,第一特征点位于对应的预设范围内;若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点;基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。
如图2所示,图2是本申请实施例中提供的重复图像的检测方法的一个实施例流程示意图,该重复图像的检测方法包括如下步骤S201~S205:
S201、获取待检测图像和参考图像。
本申请实施例中,待检测图像和参考图像可以为任意两张图像。在一个具体的场景中,待检测图像和参考图像为同一待检测视频的两张图像。参考图像也可以为同一待检测视频中待检测图像拍摄之前拍摄的图像,例如,参考图像和待检测图像为同一待检测视频的前后两帧图像,当然,参考图像也可以为缓存在云端的图像。待检测视频可以是安装于车辆上的相机在车辆移动时拍摄得到的。例如,快递小哥的电动车上安装有相机,快递小哥在骑车送快递的过程中,相机对周围环境拍摄得到待检测视频。
在一个具体的实施例中,获取待检测图像和参考图像,可以包括:
(1)获取待检测视频。
其中,待检测视频是安装于车辆上的相机在车辆移动时拍摄得到的。
(2)从待检测视频中提取多个目标图像和各个目标图像拍摄时的车辆移动速度。
其中,可以将待检测视频中的每帧图像均确定为目标图像,也可以每间隔预设帧数从待检测视频获取一帧图像作为目标图像,预设帧数可以根据具体情况设定,例如,2帧,3帧等。具体的,从车辆的速度传感器上读取待检测视频中每帧图像拍摄时的车辆移动速度,根据每帧图像拍摄时的车辆移动速度确定各个目标图像拍摄时的车辆移动速度。
(3)若目标图像拍摄时的车辆移动速度不大于预设速度,则将目标图像确定为待检测图像。
其中,预设速度可以根据具体设定,例如预设速度为10m/s或其他值等,根据具体情况设定即可。若目标图像拍摄时的车辆移动速度大于预设速度,表示此时车辆速度较快,目标图像大概率与参考图像不相似,此时可直接使用目标图像更新参考图像。若目标图像拍摄时的车辆移动速度不大于预设速度,表示此时车辆速度较慢,需要进行检测,则将目标图像确定为待检测图像。
在一个具体的实施例中,为了提高计算速度,将获取的待检测图像和参考图像缩放到一个预设尺寸,该尺寸需保证图像中有足够多的特征点,以确保后续的特征点对求解正常。一般可通过对实际采集的视频,进行统计实验确定,例如,本申请预设尺寸为320x240。
S202、获取待检测图像中各个第一特征点与参考图像的匹配强度。
本申请实施例中,获取待检测图像中各个第一特征点与参考图像的匹配强度,可以包括:
(1)对待检测图像和参考图像进行特征点提取,得到待检测图像中的多个第一特征点和参考图像中的多个第二特征点。
在一个具体的实施例中,使用尺度不变特征转换(SIFT,Scale-invariantfeature transform)算法对待检测图像和参考图像进行特征点提取,得到待检测图像中的多个第一特征点和参考图像中的多个第二特征点。当然,在其他实施例中,还可以使用SURF算法、ORB算法等对待检测图像和参考图像进行特征点提取,得到待检测图像中的多个第一特征点和参考图像中的多个第二特征点。SIFT算法是一种计算机视觉的算法。它用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量。局部影像特征的描述与侦测可以帮助辨识物体,SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性,它们是高度显著而且相对容易撷取,在母数庞大的特征数据库中,很容易辨识物体而且鲜有误认。SIFT特征点的信息量大,适合在海量数据库中快速准确匹配。SIFT算法主要包含以下步骤:构建高斯金字塔尺度空间,在高斯金字塔尺度空间计算极值点,二次曲线插值获得亚像素精度的特征点,去除低对比度点,通过计算Hessian矩阵去除边缘响应点。
(2)分别将各个第一特征点确定为第一目标特征点。
(3)计算第一目标特征点与各个第二特征点的相似度。
本申请实施例中,计算第一目标特征点与各个第二特征点的欧式距离,将第一目标特征点与各个第二特征点的欧式距离确定为第一目标特征点与各个第二特征点的相似度。
在另一个具体的实施例中,对于每一个特征点,都拥有位置、尺度以及方向三个信息。为每个特征点建立一个描述符,用一组向量将这个关键点描述出来,使其不随各种变化而改变,比如光照变化、视角变化等等。这个描述子不但包括特征点,也包含关键点周围对其有贡献的像素点,并且描述符应该有较高的独特性,以便于提高特征点正确匹配的概率。
具体的,使用SIFT算子计算第一目标特征点的描述子和各个第二特征点的描述子,计算第一目标特征点的描述子与第二特征点的描述子之间的欧式距离,将第一目标特征点的描述子与第二特征点的描述子之间的欧式距离确定为第一目标特征点和第二特征点的相似度。其中,SIFT算法是把图像中检测到的特征点用一个128维的特征向量进行描述,因此一幅图像经过SIFT算法后表示为一个128维的特征向量集,该特征向量集具有对图像缩放,平移,旋转不变的特征,对于光照、仿射和投影变换也有一定的不变性,是一种非常优秀的局部特征描述算法。
(4)按相似度从大到小对各个第二特征点排序,并将排序后的前两个第二特征点分别确定为第一目标特征点的第三特征点和第四特征点。
对于待检测图像中第一目标特征点p,其空间坐标可用(x1p,y1p)表示,其描述子为一个d维向量V(p),参考图像中存在第二特征点q,其描述子为向量V(q),点p和点q的相似度Dist(p,q)采用两者的描述子欧式距离来表示。Dist(p,q)=||V(p)-V(q)||。第三特征点为最近邻点,第四特征点为次最近邻点。
(5)基于第三特征点和第四特征点确定第一目标特征点与参考图像的匹配强度,得到各个第一特征点与参考图像的匹配强度。
在一个具体的实施例中,将第一目标特征点与第四特征点的相似度和第一目标特征点与第三特征点的相似度的比值确定为第一特征点与参考图像的匹配强度M(p)。
假设参考图像中存在第三特征点s和第四特征点t,第一目标特征点p与参考图像的匹配强度M(p)=Dist(p,t)/Dist(p,s),即第一目标特征点p与第四特征点t的相似度Dist(p,t)和第一目标特征点p与第三特征点s的相似度的欧式距离Dist(p,s)的比值,比值越大,则第一目标特征点p所形成的特征点对越可靠。优选地,第一目标特征点和参考图像中与第一目标特征点相似度最高的特征点形成特征点对,即第一目标特征点和对应的第三特征点形成特征点对。当然,在其他实施例中,也可以将第一目标特征点与参考图像中的其他一个特征点形成特征点对。
S203、判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点。
其中,第一特征点位于对应的预设范围内。
本申请实施例中,预设范围可以为矩形、椭圆形、三角形、正方形以及圆形等各种形状。第一特征点位于对应的预设范围的形心。预设范围的面积小于待检测图像的面积。
在一个具体实施例中,判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,可以包括:
(1)分别将第一特征点确定为第二目标特征点。
(2)获取第二目标特征点的位置和预设半径。
本申请实施例中,预设半径r可以根据具体情况设定。
(3)以第二目标特征点的位置确定为预设范围的圆心,以预设半径为预设范围的半径,生成第二目标特征点对应的预设范围。
(4)判断第二目标特征点是否为对应的预设范围内匹配强度最大的特征点。
S204、若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点。
当获取待检测图像中每个第一特征点的匹配强度后,对于点p,若在以p为圆心,半径为r的圆内,p的匹配强度M(p)为最大值,则保留点p待检测特征点为待检测特征点以及对应的特征点对,否则去除。
采用S201-S204,我们完成了待检测图像的特征点均匀化和以待检测图像特征点为参考点的特征点对均匀化。
进一步的,获取待检测图像中各个第二特征点与参考图像的匹配强度;判断各个第二特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,第二特征点位于对应的预设范围内;若第二特征点为对应的预设范围内匹配强度最大的特征点,则将第二特征点确定为待检测特征点,得到参考图像上的多个待检测特征点。本申请将待检测图像和参考图像做交换,同样可以得到一组参考图像的特征点和对应的特征点对。最终将合并两种方式下的特征点和特征点对作为该步骤的最终结果。
S205、基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。
在一个具体的实施例中,基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果,可以包括:
(1)基于待检测图像上的多个待检测特征点确定匹配特征点对数量。
本申请实施例中,匹配特征点对数量可以为待检测图像上的多个待检测特征点的数量,也可以为待检测图像上的多个待检测特征点和参考图像上的多个待检测特征点的数量和。
进一步的,待检测特征点和对应的第三特征点组成一组特征点对。获取各个待检测特征点与对应的第三特征点的相对距离;将相对距离小于预设距离的待检测特征点和第三特征点确定为不动特征点对,将不动特征点对的数量确定为匹配特征点对数量。其中,预设距离T可以根据具体情况设定。具体的,不动特征点对满足如公式(1)所示的关系。
(x1i-x2i)2+(y1i-y2i)2<T (1)
其中,x1i和y1i为不动特征点对中待检测特征点的横纵坐标。x2i和y2i为不动特征点对中待检测特征点对应的第三特征点的横纵坐标;T为预设距离。
当T设置为一个较小值时,该公式可以理解为,参考图像中的点与待检测图像中与之对应的点,位置几乎相同。
(2)判断匹配特征点对数量是否大于第一预设值。
其中,第一预设值T2可以根据具体设定。
(3)若匹配特征点对数量大于第一预设值,则确定检测结果为图像重复。
若匹配特征点对数量大于第一预设值T2,说明存在大量不动点,可以认为参考图像相对待检测图像整体未发生位置变化,即在位姿上,既没有旋转也没有平移。则确定检测结果为图像重复。若匹配特征点对数量不大于第一预设值T2,则确定检测结果为图像不相似。
由于特征点对光照具有一定的鲁棒性,同时具备局部特性,所以基于特征点比较的相似度能有效克服光照变化以及画面中移动物体的干扰,提高重复图像检测的准确性。
进一步的,若检测结果为图像不相似,则将参考图像更新为待检测图像。
进一步的,如图3所示,图3是本申请实施例中提供的重复图像的检测方法的另一个实施例流程示意图,该重复图像的检测方法包括如下步骤S301~S308:
S301、获取待检测图像和参考图像。
本申请实施例中,S301的具体步骤可以参阅上一实施例的S201,在此不再赘述。
S302、将待检测图像划分为多个第一图像区域;将参考图像划分为与多个第一图像区域对应的多个第二图像区域。
其中,多个第一图像区域可以以矩阵形式排列。将图像分辨率为mh×nw的待检测图像分为大小为m×n,数量为h x w的多个第一图像区域。同样的,将参考图像分为大小为m×n,数量为h x w的多个第二图像区域考图像。
S303、分别对各个第一图像区域与各自对应的第二图像区域进行像素级匹配,得到各个第一图像区域与各自对应的第二图像区域的区域相似度。
本申请实施例中,使用归一化积相关算法(Normalized Cross Correlation,简称NCC算法)分别对各个第一图像区域与各自对应的第二图像区域进行像素级匹配,得到各个第一图像区域与各自对应的第二图像区域的区域相似度。NCC算法主要基于像素比较,用于评估局部图像块的自相关,同时通过去除均值,能够降低局部光照不均匀对相似度计算的影响。
其中,第k个第一图像区域和对应的第二图像区域的区域相似度s(k)的计算方式如公式(2)所示,
其中,μI和μJ分别表示待检测图像中第k个第一图像区域的像素均值和参考图像中第二图像区域的像素均值,其中,m是第k个第一图像区域的图像宽度,n是第k个第一图像区域的图像高度,(xk,yk)为第k个第一图像区域中的像素点,I表示待检测图像,J表示参考图像,其中,
S304、根据各个第一图像区域对应的区域相似度确定待检测图像与参考图像的图像相似度。
在一个具体的实施例中,将各个第一图像区域对应的区域相似度的平均相似度确定为待检测图像与参考图像的图像相似度。
在另一个具体的实施例中,根据各个第一图像区域对应的区域相似度确定待检测图像与参考图像的图像相似度,可以包括:
(1)基于区域相似度从大到小对各个第一图像区域进行排序,得到排序后的多个第一图像区域。
(2)将排序后的多个第一图像区域中排序靠前的多个第一图像区域和排序靠后的多个第一图像区域剔除,得到多个第三图像区域。
其中,将多个第一图像区域中区域相似度排序靠前的预设比例的第一图像区域和排序靠后的预设比例的第一图像区域剔除,得到多个第三图像区域。其中,预设比例可以为5%、10%等。例如,预设比例为10%。为了减小极少部分局部小块的干扰,计算最终的图像相似度前,本申请对区域相似度s(k)进行排序,去掉最高和最低的10%,然后将剩余图像区域的平均相似度作为整张图像的相似度。
(3)根据各个第三图像区域对应的区域相似度确定待检测图像与参考图像的图像相似度。
具体的,将各个第三图像区域对应的区域相似度的平均相似度确定为待检测图像与参考图像的图像相似度。
S305、若图像相似度不大于第二预设值,则获取待检测图像中各个第一特征点与参考图像的匹配强度。
其中,第二预设值T1可以根据具体情况设定,例如,第二预设值T1为80%。若图像相似度不大于第二预设值,说明两张图像不太相似,但是由于在高帧率的视频流中,相邻帧变化缓慢,图像中几乎每个地方的像素差异不大,通过像素比较的方式可以发现这部分重复图像,但是当时间变长后,可能会发生光照突变,特别是画面中出现小部分运动物体或者整体图像发生微小旋转时,像素间的差异会发生突变,此时基于像素比较的相似度不再适用,此时需要获取待检测图像中各个第一特征点与参考图像的匹配强度进行二次判定。则获取待检测图像中各个第一特征点与参考图像的匹配强度。
本申请实施例中,获取待检测图像中各个第一特征点与参考图像的匹配强度,可以参阅上一实施例的S202,在此不再赘述。
S306、判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点。
本申请实施例中,S306的具体步骤可以参阅上一实施例的S203,在此不再赘述。
S307、若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点。
本申请实施例中,S307的具体步骤可以参阅上一实施例的S204,在此不再赘述。
S308、基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。
本申请实施例中,S308的具体步骤可以参阅上一实施例的S205,在此不再赘述。
为了更好实施本申请实施例中重复图像的检测方法,在重复图像的检测方法基础之上,本申请实施例中还提供一种重复图像的检测装置,如图4所示,重复图像的检测装置400包括:
第一获取单元401,用于获取待检测图像和参考图像;
第二获取单元402,用于获取待检测图像中各个第一特征点与参考图像的匹配强度;
判断单元403,用于判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,第一特征点位于对应的预设范围内;
确定单元404,用于若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点;
检测单元405,用于基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。
可选地,第二获取单元402,用于:
对待检测图像和参考图像进行特征点提取,得到待检测图像中的多个第一特征点和参考图像中的多个第二特征点;
分别将各个第一特征点确定为第一目标特征点;
计算第一目标特征点与各个第二特征点的相似度;
按相似度从大到小对各个第二特征点排序,并将排序后的前两个第二特征点分别确定为第一目标特征点的第三特征点和第四特征点;
基于第三特征点和第四特征点确定第一目标特征点与参考图像的匹配强度,得到各个第一特征点与参考图像的匹配强度。
可选地,预设范围为圆形范围,判断单元403,用于:
分别将第一特征点确定为第二目标特征点;
获取第二目标特征点的位置和预设半径;
以第二目标特征点的位置为预设范围的圆心,以预设半径为预设范围的半径,生成第二目标特征点对应的预设范围;
判断第二目标特征点是否为对应的预设范围内匹配强度最大的特征点。
可选地,检测单元405,用于:
基于待检测图像上的多个待检测特征点确定匹配特征点对数量;
判断匹配特征点对数量是否大于第一预设值;
若匹配特征点对数量大于第一预设值,则确定检测结果为图像重复。
可选地,第二获取单元402,用于:
将待检测图像划分为多个第一图像区域,将参考图像划分为与多个第一图像区域对应的多个第二图像区域;
分别对各个第一图像区域与各自对应的第二图像区域进行像素级匹配,得到各个第一图像区域与各自对应的第二图像区域的区域相似度;
根据各个第一图像区域对应的区域相似度确定待检测图像与参考图像的图像相似度;
若图像相似度不大于第二预设值,则获取待检测图像中各个第一特征点与参考图像的匹配强度。
可选地,第二获取单元402,用于:
基于区域相似度从大到小对各个第一图像区域进行排序,得到排序后的多个第一图像区域;
将排序后的多个第一图像区域中排序靠前的多个第一图像区域和排序靠后的多个第一图像区域剔除,得到多个第三图像区域;
根据各个第三图像区域对应的区域相似度确定待检测图像与参考图像的图像相似度。
可选地,第一获取单元401,用于:
获取待检测视频,其中,待检测视频是安装于车辆上的相机在车辆移动时拍摄得到的;
从待检测视频中提取多个目标图像和各个目标图像拍摄时的车辆移动速度;
若目标图像拍摄时的车辆移动速度不大于预设速度,则将目标图像确定为待检测图像。
本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种重复图像的检测装置,计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行上述重复图像的检测方法实施例中任一实施例中的重复图像的检测方法中的步骤。
如图5所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器501可包括一个或多个处理核心;处理器501可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
计算机设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理***与处理器501逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
获取待检测图像和参考图像;
获取待检测图像中各个第一特征点与参考图像的匹配强度;
判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,第一特征点位于对应的预设范围内;
若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点;
基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种重复图像的检测方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
获取待检测图像和参考图像;
获取待检测图像中各个第一特征点与参考图像的匹配强度;
判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,第一特征点位于对应的预设范围内;
若第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到待检测图像上的多个待检测特征点;
基于待检测图像上的多个待检测特征点检测待检测图像和参考图像,得到检测结果。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种重复图像的检测方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种重复图像的检测方法,其特征在于,包括:
获取待检测图像和参考图像;
获取待检测图像中各个第一特征点与所述参考图像的匹配强度;
判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,所述第一特征点位于对应的预设范围内;
若所述第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到所述待检测图像上的多个待检测特征点;
基于所述待检测图像上的多个待检测特征点检测所述待检测图像和所述参考图像,得到检测结果。
2.根据权利要求1所述的重复图像的检测方法,其特征在于,所述获取待检测图像中各个第一特征点与所述参考图像的匹配强度,包括:
对所述待检测图像和所述参考图像进行特征点提取,得到所述待检测图像中的多个第一特征点和所述参考图像中的多个第二特征点;
分别将各个第一特征点确定为第一目标特征点;
计算所述第一目标特征点与各个第二特征点的相似度;
按相似度从大到小对各个第二特征点排序,并将排序后的前两个第二特征点分别确定为所述第一目标特征点的第三特征点和第四特征点;
基于所述第三特征点和所述第四特征点确定所述第一目标特征点与所述参考图像的匹配强度,得到各个第一特征点与所述参考图像的匹配强度。
3.根据权利要求2所述的重复图像的检测方法,其特征在于,所述预设范围为圆形范围,所述判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,包括:
分别将所述第一特征点确定为第二目标特征点;
获取所述第二目标特征点的位置和预设半径;
以所述第二目标特征点的位置为预设范围的圆心,以所述预设半径为预设范围的半径,生成所述第二目标特征点对应的预设范围;
判断所述第二目标特征点是否为对应的预设范围内匹配强度最大的特征点。
4.根据权利要求1所述的重复图像的检测方法,其特征在于,所述基于所述待检测图像上的多个待检测特征点检测所述待检测图像和所述参考图像,得到检测结果,包括:
基于所述待检测图像上的多个待检测特征点确定匹配特征点对数量;
判断所述匹配特征点对数量是否大于第一预设值;
若所述匹配特征点对数量大于第一预设值,则确定检测结果为图像重复。
5.根据权利要求1所述的重复图像的检测方法,其特征在于,所述获取待检测图像中各个第一特征点与所述参考图像的匹配强度,包括:
将所述待检测图像划分为多个第一图像区域,将所述参考图像划分为与所述多个第一图像区域对应的多个第二图像区域;
分别对各个第一图像区域与各自对应的第二图像区域进行像素级匹配,得到各个第一图像区域与各自对应的第二图像区域的区域相似度;
根据各个第一图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度;
若所述图像相似度不大于第二预设值,则获取待检测图像中各个第一特征点与所述参考图像的匹配强度。
6.根据权利要求5所述的重复图像的检测方法,其特征在于,所述根据各个第一图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度,包括:
基于区域相似度从大到小对各个第一图像区域进行排序,得到排序后的多个第一图像区域;
将排序后的多个第一图像区域中排序靠前的多个第一图像区域和排序靠后的多个第一图像区域剔除,得到多个第三图像区域;
根据各个第三图像区域对应的区域相似度确定所述待检测图像与所述参考图像的图像相似度。
7.根据权利要求1所述的重复图像的检测方法,其特征在于,所述获取待检测图像和参考图像,包括:
获取待检测视频,其中,所述待检测视频是安装于车辆上的相机在车辆移动时拍摄得到的;
从所述待检测视频中提取多个目标图像和各个目标图像拍摄时的车辆移动速度;
若所述目标图像拍摄时的车辆移动速度不大于预设速度,则将所述目标图像确定为所述待检测图像。
8.一种重复图像的检测装置,其特征在于,所述重复图像的检测装置包括:
第一获取单元,用于获取待检测图像和参考图像;
第二获取单元,用于获取待检测图像中各个第一特征点与所述参考图像的匹配强度;
判断单元,用于判断各个第一特征点是否为各自对应的预设范围内匹配强度最大的特征点,其中,所述第一特征点位于对应的预设范围内;
确定单元,用于若所述第一特征点为对应的预设范围内匹配强度最大的特征点,则将第一特征点确定为待检测特征点,得到所述待检测图像上的多个待检测特征点;
检测单元,用于基于所述待检测图像上的多个待检测特征点检测所述待检测图像和所述参考图像,得到检测结果。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现权利要求1至7中任一项所述的重复图像的检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的重复图像的检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111493220.9A CN114170576A (zh) | 2021-12-08 | 2021-12-08 | 重复图像的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111493220.9A CN114170576A (zh) | 2021-12-08 | 2021-12-08 | 重复图像的检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114170576A true CN114170576A (zh) | 2022-03-11 |
Family
ID=80484342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111493220.9A Pending CN114170576A (zh) | 2021-12-08 | 2021-12-08 | 重复图像的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114170576A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310440A (zh) * | 2023-03-16 | 2023-06-23 | 中国华能集团有限公司北京招标分公司 | 一种规则引擎使用方法 |
-
2021
- 2021-12-08 CN CN202111493220.9A patent/CN114170576A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310440A (zh) * | 2023-03-16 | 2023-06-23 | 中国华能集团有限公司北京招标分公司 | 一种规则引擎使用方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11062123B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
CN101650784B (zh) | 一种利用结构上下文特征进行图像匹配的方法 | |
JP2013025799A (ja) | 画像検索方法、システム、及びプログラム | |
CN111047626A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
Li et al. | Image Matching Algorithm based on Feature-point and DAISY Descriptor. | |
CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
CN112651321A (zh) | 档案处理方法、装置及服务器 | |
CN114170576A (zh) | 重复图像的检测方法及装置 | |
WO2021138893A1 (zh) | 车牌识别方法、装置、电子设备及存储介质 | |
CN113326836A (zh) | 车牌识别方法、装置、服务器及存储介质 | |
CN116091998A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
CN113139540B (zh) | 背板检测方法及设备 | |
CN104616302A (zh) | 一种目标实时识别方法 | |
US20210034915A1 (en) | Method and apparatus for object re-identification | |
CN116401326A (zh) | 道路标识的更新方法及装置 | |
Tang et al. | A GMS-guided approach for 2D feature correspondence selection | |
CN113840135A (zh) | 色偏检测方法、装置、设备及存储介质 | |
Bai et al. | Redundancy removal through semantic neighbor selection in visual sensor networks | |
Bowen et al. | New region feature descriptor-based image registration method | |
Mu et al. | Optimal feature selection for saliency seed propagation in low contrast images | |
Chi et al. | Improving RANSAC filtering with matching similarity of local features | |
CN114750147B (zh) | 机器人的空间位姿确定方法、装置和机器人 | |
CN113536839B (zh) | 数据处理方法及装置、实现定位的方法及装置和智能设备 | |
JP2018156544A (ja) | 情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |