CN116229128A - 实体图像的聚类处理方法、装置、电子设备及存储介质 - Google Patents
实体图像的聚类处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116229128A CN116229128A CN202111458493.XA CN202111458493A CN116229128A CN 116229128 A CN116229128 A CN 116229128A CN 202111458493 A CN202111458493 A CN 202111458493A CN 116229128 A CN116229128 A CN 116229128A
- Authority
- CN
- China
- Prior art keywords
- entity
- images
- relationship
- image
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种实体图像的聚类处理方法、装置、电子设备及存储介质。所述方法包括:将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;通过实体三元组中两个实体图像之间的实体关系将共用同一实体的任意两个实体三元组进行拓扑连接,构建至少一个实体关系图谱;依据实体关系图谱中实体图像之间的亲密度,从实体关系图谱中分割出至少一个关系子图谱。采用本申请技术方案,通过计算实体图像之间的相似度对疑似有相同实体的实体图像进行筛选,并在初步筛选构建实体图像基础上将亲密度不足的实体图像剔除,实现了将不同实体对应的实体图像进行聚类分析,提高了聚类分割的准确率。
Description
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种实体图像的聚类处理方法、装置、电子设备及存储介质。
背景技术
随着视频监控行业的快速发展,人脸聚类得到了广泛应用。例如,将人像经过聚类算法或分类算法对同一人的轨迹图片进行聚类建档,然后每个人的人像档案进行徘徊预警、同行判断等数据分析。
相关方案中,人像聚类通常是计算人像中的人脸、人体和步态相似度,并分别与预置人脸权重值、人体权重值、步态权重值相乘然后求和,获得综合相似度,如果综合相似度超过阈值则聚为一类。但是,目前只有人脸识别较为准确,人体和步态识别与比对算法依然还在研究与实验阶段,如果只是基于图像中的人脸、人体以及步态进行聚类分析,会存在一定误差。
发明内容
本发明实施例中提供了一种实体图像的聚类处理方法、装置、电子设备及存储介质,以实现对不同实体图像进行聚类,提高实体图像之间的聚类效果。
第一方面,本发明实施例中提供了一种实体图像的聚类处理方法,该方法包括:
将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
第二方面,本发明实施例中还提供了一种实体图像的聚类处理装置,包括:
图像配置模块,用于将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
关系图谱生成模块,用于将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
关系图谱处理模块,用于依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
第三方面,本发明实施例中还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例中提供的实体图像的聚类处理方法。
第四方面,本发明实施例中还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例中提供的实体图像的聚类处理方法。
本发明实施例中提供了一种实体图像的聚类处理方法,通过将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;然后将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;进而依据实体关系图谱中实体图像之间的亲密度,从实体关系图谱中分割出至少一个关系子图谱。采用本申请技术方案,通过计算实体图像之间的相似度对疑似有相同实体的实体图像进行筛选,进而在初步筛选构建实体图像的基础上将亲密度不足的实体图像剔除,实现了将不同实体对应的实体图像进行聚类分析,提高了聚类分割的准确率,提高了实体图像之间的聚类效果。
上述发明内容仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例中提供的一种实体图像的聚类处理方法的流程图;
图2是本发明实施例中提供的一个实体三元组关系图;
图3是本发明实施例中提供的一个实体关系图谱;
图4是本发明实施例中提供的一个剔除异常拓扑连接后的实体关系图谱;
图5是本发明实施例中提供的另一种实体图像的聚类处理方法的流程图;
图6是本发明实施例中提供的一个符合第二相似度条件的实体关系图谱;
图7是本发明实施例中提供的一个实体关系图谱的最终分割图;
图8是本发明实施例中提供的一种实体图像的聚类处理装置的结构框图;
图9是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本发明实施例中提供的一种实体图像的聚类处理方法的流程图,本实施例的技术方案可适用于根据实体图像之间的相似度与亲密度对批量实体图像进行聚类的情况。该方法可由实体图像的聚类处理装置来执行,该装置可由软件和/或硬件实现,并可集成于具有网络通信功能的电子设备中。如图1所示,本发明实施例中的实体图像的聚类处理方法,可包括以下步骤:
S110、将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组。
实体可以是指通过监控设备进行拍摄的拍摄对象,例如实体可以是人、动物、植物、房屋和汽车等。实体图像可以是指通过监控设备拍摄的包含有实体对象的图像,例如,实体图像可以是人像图像、动物图像、植物图像、房屋图像和汽车图像等,多个实体图像组成一组实体图像序列。以人像图像为例,人像图像中可以包括人脸、人体以及步态等信息。
在本实施例中,疑似有相同实体用于表征两个实体图像中包含有同一个实体的可能,疑似有相同实体可以包括两个实体图像中具有同一个实体和存在一定可能性具有同一个实体;换句话说,通过疑似有相同实体可以表示存在同一个实体的可能性,但是不能百分之百的确定两者一定存在同一个实体。
本实施例中提到的实体关系可以是指实体图像之间的图像联系,例如可以采用实体图像之间的图像间相似度等表示。具体的,在从实体图像序列中筛选出一组疑似具有相同实体的任意两个实体图像后,可以在这两个实体图像之间配置一个实体关系,将配置了实体关系的两个实体图像作为一个实体三元组。以此类推,重复上述疑似有相同实体的任意两个实体图像的筛选以及实体关系的配置过程得到至少两个实体三元组。其中,每一个实体三元组表征了疑似具有相同实体的两个实体图像之间的实体关系组合。
在本实施例的一种可选方案中,将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组,可包括步骤A1-A2:
步骤A1、确定实体图像序列中任意两个实体图像之间的图像间相似度。
步骤A2、将图像间相似度符合第一相似度条件的两个实体图像作为疑似有相同实体的两个实体图像,向两个实体图像配置一个实体关系,得到对应的实体三元组。
其中,第一相似度条件用于筛除不包含相同实体的两个实体图像。
在本实施例中,确定实体图像序列中任意两个实体图像之间的图像间相似度,可以包括:提取实体图像序列中各个实体图像的实体图像特征向量;以及对各个实体图像特征向量进行两两交叉比对,计算任意两个实体图像特征向量之间的图像特征相似度,得到特征相似度矩阵;其中,特征相似度矩阵中每个元素为两个实体图像之间的相似度。例如,根据监控设备采集到的人脸图像集合,利用视觉识别算法得到人脸特征向量集合C={c1,c2,…,ci,…},其中i为大于0的自然数。进而,通过对人脸特征向量集合C进行两两交叉比对计算图像特征相似度,得到特征相似度矩阵其中矩阵中的每个元素为两张人脸图片的相似度。
其中,确定图像间相似度的方法有很多,常见的图像相似度比对方法包括直方图法、图像模板匹配、PSNR峰值信噪比、SSIM结构相似性、感知哈希算法以及尺度不变特征转换算法等。
在本实施例中,第一相似度条件可以通过设置第一相似度阈值s1实现,通过第一相似度阈值s1可以实现人像聚类的初步筛选。其中,对s1的大小不做具体限定,可根据实际应用需求进行灵活设置。第一相似度条件可以是指图像间相似度大于第一相似度阈值s1,用于筛除不包含相同实体的两个实体图像。
在得到实体图像序列中任意两个实体图像之间的图像间相似度后,可将两个实体图像之间的图像间相似度依次与第一相似度条件指示的第一相似度阈值s1进行比较。通过相似度比较可以将低于第一相似度阈值的两个实体图像明确判断为不是同一个实体的实体图像;而高于第一相似度阈值的两个实体图像则无法明确确定,仅仅只能确定疑似是同一个实体的两个实体图像,需要对两个实体图像进行进一步判断。
若相似度矩阵中某个元素大于第一相似度阈值s1,即图像间相似度符合第一相似度条件时,将该元素对应的两个实体图像作为疑似有相同实体的两个实体图像,并通过配置一个实体关系形成一个实体三元组T(ci,cj,sij)。若相似度矩阵中不存在元素大于第一相似度阈值s1,即图像间相似度均不符合第一相似度条件时,说明采集到的实体图像序列均不属于相同实体,无法对实体图像进行聚类,故直接将该组实体图像序列舍弃。
如图2所示的一个实体三元组关系图,其中ci和cj作为定点,表示疑似有相同实体的两个实体图像,sij作为边,表示两个实体图像间的实体关系,每一个实体三元组T(ci,cj,sij)可以形成一个以相似度关系连接的具有两个顶点的实体三元组关系图。对于相似度矩阵中的每个元素均实施上述相似度比较过程,当符合第一相似度条件时,将该元素对应的两个实体图像作为疑似有相同实体的两个实体图像,并向两个实体图像配置一个实体关系,最终可得到至少两个实体三元组,即可对应得到至少两个实体三元组关系图。
S120、将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱。
在本实施例中,将利用第一相似度阈值s1筛选得到的实体三元组关系图通过边进行连接,以此构建实体关系图谱。具体的,通过将实体图像映射成图谱节点,以及将任意两个图谱节点对应实体关系映射为两个图谱节点之间的拓扑连接,从而构建出至少一个实体关系图谱。如图3所示为本发明实施例中提供的一个实体关系图谱,其中,ci表示一个图谱节点,cj表示另一个图谱节点,sij表示两个图谱节点之间的拓扑连接。例如,c1和c9为两个不同的图谱节点,s19为c1和c9之间的拓扑连接。
S130、依据实体关系图谱中实体图像之间的亲密度,从实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
在本实施例中,实体图像之间的亲密度可以表示实体图像之间紧密联系的程度,实体图像之间的亲密度可以是采用一个数值表示。其中,亲密度值越大,表示实体图像之间的联系越紧密,两个实体图像中具有同一个实体的概率越大;相反的,亲密度值越小,表示两个实体图像之间的联系越疏远,两个实体图像具有同一个实体的概率越小。因此,可以依据实体关系图谱中实体图像之间的亲密度,进一步量化判断实体关系图谱中各实体图像具有相同实体的可能性,通过将实体关系图谱中亲密度不足的实体图像,从实体关系图谱中分割出去,从而将实体关系图谱分割成至少一个关系子图谱,并且每个关系子图谱的实体图像对应同一个实体。
根据本发明实施例中提供的实体图像的聚类处理方法,通过设置第一相似度阈值对实体图像进行初步筛选,得到疑似有相同实体的实体图像,进而通过计算实体图像之间的亲密度对疑似有相同实体的实体图像进行了进一步筛选,在初步筛选构建实体图像基础上将亲密度不足的实体图像剔除,实现了将不同实体对应的实体图像进行聚类分析,提高了聚类分割的准确率,提高了实体图像之间的聚类效果。
在上述实施例的基础上,可选地,本实施例中提供的构建至少一个实体关系图谱的过程,还可包括以下步骤B1-B2:
步骤B1、确定实体关系图谱中拓扑连接的两个实体图像之间的时空符合度。
其中,时空符合度通过两个实体图像的实际采集时间差与理论采集时间差之间比值确定。
步骤B2、将构建的实体关系图谱中,时空符合度不满足预设时空符合度条件的两个实体图像之间的拓扑连接删除。
可选地,确定实体关系图谱中通过拓扑连接的两个实体图像之间的时空符合度,可以包括:确定实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差;确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度;将实体的理论出行路线空间距离与理论出行速度之间的比值作为两个实体图像的理论采集时间差;将实际采集时间差与理论采集时间差之间的比值,确定为拓扑连接的两个实体图像的时空符合度。时空符合度是用于表征两个实体图像的实际采集时间差值与理论采集时间差值之间的差异度。
在本实施例中,人在出行时可以采用不同种类的交通方式,例如可以是步行、骑自行车、乘电瓶车,也可以是乘坐公交车或者地铁,且每种出行方式都有一个合理的行驶速度。当判断人的出行方式时,可以通过视觉识别算法进行解析,也可以通过采集设备标签进行分析,例如“地铁口”、“公交站”等标签。
在本实施例中,通过视觉算法和采集设备标签分析出实体关系图谱中任意两个图谱节点之间的出行方式,并根据路网数据计算该出行方式所需要的正常时间,利用公式计算两个图谱节点的时空符合度。其中,ps表示时空符合度,ti表示人像图片ci采集时间,tj表示人像图片cj采集时间,s表示根据路网数据计算出的ci和cj的空间距离,v是根据出行方式与空间距离推测出的ci和cj两点出行速度,ti-tj表示两个实体图像的实际采集时间差值,s/v表示两个实体图像的理论采集时间差值。
在利用公式计算时空符合度时,首先确定实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差ti-tj,然后确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度v,并将实体的理论出行路线空间距离s与理论出行速度v之间的比值s/v作为两个实体图像的理论采集时间差,进而将实际采集时间差与理论采集时间差之间的比值确定为拓扑连接的两个实体图像的时空符合度。
在本实施例中,可以通过设定一个阈值p,剔除实体关系图谱中的异常拓扑连接。剔除异常拓扑连接可以用于将实体关系图谱中被误判为具有同一个实体关系的两个实体图像所对应的图谱节点之间的拓扑连接进行删除。此处对阈值p的大小不做具体限定,可以根据实际应用需求进行灵活设定。将计算得到的时空符合度ps与阈值p进行比较,若ps超过p,例如ps是p的200%,则可以判定对应的拓扑连接为异常拓扑连接;若ps低于p,例如ps是p的50%,则同样可以判定对应的拓扑连接为异常拓扑连接。
通过删除异常拓扑连接,最终可以将实体关系图谱分割成多个关系子图谱,并且每个关系子图谱的实体图像对应同一个实体。如图4所示为本发明实施例中提供的一个剔除异常拓扑连接后的实体关系图谱。示例性的,依据时空符合度ps与阈值p的比较结果判断出s29和s79属于异常拓扑连接,因此将s29和s79删除,从而得到两个关系子图谱,即c2的实体图像对应同一个实体,而其余图谱节点所构成的关系子图谱的实体图像对应另一个实体。
采用上述方式,利用实体关系图谱中拓扑连接的两个实体图像之间的时空符合度排除异常拓扑连接,若时空符合度不满足预设时空符合度条件,将对应的两个实体图像之间的拓扑连接删除,通过删除异常拓扑连接,进一步提高了实体图像的聚类准确性,从而提高了实体图像的聚类效果。
图5是本发明实施例中提供的另一种实体图像的聚类处理方法的流程图,本发明实施例在上述实施例的基础上进行优化,本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图5所示,本发明实施例中的实体图像的聚类处理方法可以包括:
S510、将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组。
S520、将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱。
其中,S510和S520的具体实施过程可参见S110和S120中的详细描述。
S530、若实体关系图谱中存在图像间相似度符合第二相似度条件的两个目标实体图像,则确定目标实体图像与实体关系图谱中剩余实体图像的亲密度。
其中,第二相似度条件用于识别实体关系图谱中是否存在包含同一类实体的两个实体图像。
在本实施例中,通过设置第二相似度阈值s2,并依据实体关系图谱中图像间相似度与第二相似度阈值s2的关系判断是否需要进行亲密度计算。第二相似度条件是指图像间相似度超过第二相似度阈值s2,用于识别实体关系图谱中是否存在包含同一个实体的两个实体图像。
若实体关系图谱中的各图像间相似度均未超过s2,即不符合第二相似度条件时,可以判断出关系图谱中不存在具有相同实体的实体图像,因而不再对实体关系图谱进行亲密度计算;若实体关系图谱中存在两个实体图像间相似度大于s2的拓扑连接,即符合第二相似度条件时,则需要对实体关系图谱进行亲密度计算。将符合第二相似度条件的两个实体图像作为目标实体图像,确定目标实体图像与实体关系图谱中剩余实体图像的亲密度。
如图6所示为本发明实施例中提供的一个符合第二相似度条件的实体关系图谱。示例性的,c1和c9的图像间相似度大于第二相似度阈值s2,即符合第二相似度条件,则可以判断c1和c9是对同一个实体采集的实体图像,并将c1和c9作为目标实体图像。而关于c3、c5、c7和c1、c9是否为同一个实体的实体图像,利用第二相似度条件无法明确判断,因此还需要进一步对亲密度进行计算。
S540、依据目标实体图像与剩余实体图像的亲密度,将实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像进行分割和/或将实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像进行保留。
在本实施例中,依据目标实体图像与剩余实体图像的亲密度,将实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像分割出来,而将将实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像仍然保留。例如,可以设置亲密度阈值Rs,通过将计算出的目标实体图像与剩余实体图像之间的亲密度与亲密度阈值Rs进行比较,并依据比较结果将亲密度小于预设亲密度阈值Rs的剩余实体图像从实体关系图谱中分割出来。如图7所示为本发明实施例中提供一个实体关系图谱的最终分割图。示例性的,经过计算,c2和c7的亲密度小于亲密度阈值Rs,则将亲密度低于Rs的c2和c7从实体关系图谱中删除,最终可以得到三个关系子图谱,分别为c2、c7以及由剩余图谱节点构成的关系子图谱,且三个关系子图谱分别包含一个实体。
S550、依据剩余实体图像在实体关系图谱中的分割和/或保留情况,从实体关系图谱中分割出至少一个关系子图谱。
本发明实施例中提供了另一种实体图像的聚类处理方法,通过设置第二相似度阈值对实体关系图谱中对应的实体图像进行筛选,并依据实体图像之间的亲密度对疑似有相同实体的实体图像进行了进一步筛选,从中将实际具有不相同实体的实体图像剔除,实现了对实体图像的聚类分析,并进一步提高了聚类分割的准确率,提高了实体图像之间的聚类效果。
在本实施例的一种可选方案中,确定目标实体图像与实体关系图谱中剩余实体图像的亲密度,可包括以下步骤C1-C3:
步骤C1、确定实体关系图谱中从目标实体图像到达一个剩余实体图像的至少一条拓扑连接路径以及拓扑连接路径所经过的实体关系。
步骤C2、将拓扑连接路径所经过的实体关系对应的两个实体图像之间的相似度以及拓扑连接路径所经过的实体关系对应的权重进行加权,得到该拓扑连接路径下目标实体图像与该剩余实体图像之间的亲密度。
步骤C3、依据至少一条拓扑连接路径下目标实体图像与该剩余实体图像之间的亲密度确定目标实体图像与实体关系图谱中一个剩余实体图像的亲密度。
在本实施例中,可以通过亲密度公式对亲密度进行计算。亲密度计算公式为:其中,R表示亲密度,i表示两个实体图像间路径的度,例如c1到c9经过拓扑连接s19为1度,c1到c3经过拓扑连接s19和s39为2度。Scorei表示第i度的拓扑连接所占的权重,si表示两个图谱节点间的相似度。以计算c1和c7的亲密度为例,首先需要找到c1到c7的拓扑连接路径以及拓扑连接路径所经过的实体关系。从c1到c7共有四条路径,分别如下:路径1:s15→s35→s73;路径2:s15→s59→s39→s73;路径3:s19→s39→s73;路径4:s19→s59→s35→s73。
设置路径中每个度的权重,此处对每个度的权重不做具体限定,但是需要满足度与权重成反比关系,即度越大时所对应的权重越小。示例性的,将路径每个度的权重设置如表1所示:
表1路径每个度的权重
度 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
权重 | 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | 1 |
根据路径及路径每个度的权重,计算四条路径的亲密度分别如下:
R1=10*s15+9*s35+8*s73
R2=10*s15+9*s59+8*s39+7*s73
R3=10*s19+9*s39+8*s73
R4=10*s19+9*s59+8*s35+7*s73
其中,Ri表示第i条路径的亲密度。利用不同路径的亲密度通过加权求和计算c1到c7的亲密度。此处对于选取哪几条路径以及所选路径在求和时所占权重不做限定,可以根据实际情况进行选择。例如,当路径的度较大时,说明路径需要经过较多的拓扑连接,路径的度所对应的权重很小,此时可以考虑在计算亲密度时直接将该路径舍去,即度较大的路径不参与最终的亲密度计算。
示例性的,选取从c1到c7的全部路径,对各路径下的亲密度直接求和得到c1和c7的亲密度,如下所示:R=R1+R2+R3+R4。按照上述的亲密度计算过程,依次计算c1到c3、c1到c5、c9到c3、c9到c5、c9到c7的亲密度,从而得到目标实体图像c1和c9与剩余实体图像c3、c5和c7之间的亲密度。
采用上述方式,通过设置实体关系图谱中两个实体图像间路径每个度的权重,计算从目标实体图像到一个剩余实体图像至少一条拓扑路径下的实体图像亲密度,并通过将至少一条拓扑路径的亲密度进行加权计算得到从目标实体图像到一个剩余实体图像的亲密度,在计算时可以根据实际需求将度较大的路径舍弃,从而能够通过减小运算量提高运算速度,缩短运算时间,提高运算效率。
图8是本发明实施例中提供的一种实体图像的聚类处理装置的结构框图,本实施例的技术方案可适用于根据实体图像之间的相似度与亲密度对实体图像进行聚类的情况。该装置可由软件和/或硬件实现,并可集成于具有网络通信功能的电子设备中。如图8所示,本发明实施例中的实体图像的聚类处理装置,可以包括以下:图像配置模块810、关系图谱生成模块820和关系图谱处理模块830。其中:
图像配置模块810,用于将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
关系图谱生成模块820,用于将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
关系图谱处理模块830,用于依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
在上述实施例的基础上,可选地,图像配置模块810包括:
确定实体图像序列中任意两个实体图像之间的图像间相似度;
将图像间相似度符合第一相似度条件的两个实体图像作为疑似有相同实体的两个实体图像,向两个实体图像配置一个实体关系,得到对应的实体三元组;
其中,所述第一相似度条件用于筛除不包含相同实体的两个实体图像。
在上述实施例的基础上,可选地,确定实体图像序列中任意两个实体图像之间的图像间相似度,包括:
提取实体图像序列中各个实体图像的实体图像特征向量;
对各个实体图像特征向量进行两两交叉比对,计算任意两个实体图像特征向量之间的图像特征相似度,得到特征相似度矩阵;
其中,所述特征相似度矩阵中每个元素为两个实体图像之间的相似度。
在上述实施例的基础上,可选地,关系图谱生成模块820包括:
确定实体关系图谱中拓扑连接的两个实体图像之间的时空符合度;所述时空符合度通过两个实体图像的实际采集时间差与理论采集时间差之间比值确定;
将构建的实体关系图谱中,时空符合度不满足预设时空符合度条件的两个实体图像之间的拓扑连接删除。
在上述实施例的基础上,可选地,确定实体关系图谱中通过拓扑连接的两个实体图像之间的时空符合度,包括:
确定实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差;
确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度;
将实体的理论出行路线空间距离与理论出行速度之间的比值作为两个实体图像的理论采集时间差;
将所述实际采集时间差与所述理论采集时间差之间的比值,确定为拓扑连接的两个实体图像的时空符合度。
在上述实施例的基础上,可选地,关系图谱处理模块830包括:
若实体关系图谱中存在图像间相似度符合第二相似度条件的两个目标实体图像,则确定目标实体图像与实体关系图谱中剩余实体图像的亲密度;
依据目标实体图像与剩余实体图像的亲密度,将实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像进行分割和/或将实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像进行保留;
依据剩余实体图像在实体关系图谱中的分割和/或保留情况,从所述实体关系图谱中分割出至少一个关系子图谱;
其中,所述第二相似度条件用于识别实体关系图谱中是否存在包含相同实体的两个实体图像。
在上述实施例的基础上,可选地,确定目标实体图像与实体关系图谱中剩余实体图像的亲密度,包括:
确定实体关系图谱中从目标实体图像到达一个剩余实体图像的至少一条拓扑连接路径以及拓扑连接路径所经过的实体关系;
将拓扑连接路径所经过的实体关系对应的两个实体图像之间的相似度以及拓扑连接路径所经过的实体关系对应的权重进行加权,得到该拓扑连接路径下目标实体图像与该剩余实体图像之间的亲密度;
依据至少一条拓扑连接路径下目标实体图像与该剩余实体图像之间的亲密度确定目标实体图像与实体关系图谱中一个剩余实体图像的亲密度。
本发明实施例中所提供的实体图像的聚类处理装置可执行上述本发明任意实施例中所提供的实体图像的聚类处理方法,具备执行该实体图像的聚类处理方法相应的功能和有益效果,详细过程参见前述实施例中实体图像的聚类处理方法的相关操作。
图9是本发明实施例中提供的一种电子设备的结构示意图。如图9所示结构,本发明实施例中提供的电子设备包括:一个或多个处理器910和存储装置920;该电子设备中的处理器910可以是一个或多个,图9中以一个处理器910为例;存储装置920用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器910执行,使得所述一个或多个处理器910实现如本发明实施例中任一项所述的实体图像的聚类处理方法。
该电子设备还可以包括:输入装置930和输出装置940。
该电子设备中的处理器910、存储装置920、输入装置930和输出装置940可以通过总线或其他方式连接,图9中以通过总线连接为例。
该电子设备中的存储装置920作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中所提供的实体图像的聚类处理方法对应的程序指令/模块。处理器910通过运行存储在存储装置920中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中实体图像的聚类处理方法。
存储装置920可包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储装置920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置920可进一步包括相对于处理器910远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置930可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
并且,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器910执行时,程序进行如下操作:
将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
当然,本领域技术人员可以理解,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器910执行时,程序还可以进行本发明任意实施例中所提供的实体图像的聚类处理方法中的相关操作。
本发明实施例中提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时用于执行实体图像的聚类处理方法,该方法包括:
将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
可选的,该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的实体图像的聚类处理方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(RadioFrequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种实体图像的聚类处理方法,其特征在于,所述方法包括:
将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
2.根据权利要求1所述的方法,其特征在于,将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组,包括:
确定实体图像序列中任意两个实体图像之间的图像间相似度;
将图像间相似度符合第一相似度条件的两个实体图像作为疑似有相同实体的两个实体图像,向两个实体图像配置一个实体关系,得到对应的实体三元组;
其中,所述第一相似度条件用于筛除不包含相同实体的两个实体图像。
3.根据权利要求2所述的方法,其特征在于,确定实体图像序列中任意两个实体图像之间的图像间相似度,包括:
提取实体图像序列中各个实体图像的实体图像特征向量;
对各个实体图像特征向量进行两两交叉比对,计算任意两个实体图像特征向量之间的图像特征相似度,得到特征相似度矩阵;
其中,所述特征相似度矩阵中每个元素为两个实体图像之间的相似度。
4.根据权利要求1所述的方法,其特征在于,所述构建至少一个实体关系图谱,还包括:
确定实体关系图谱中拓扑连接的两个实体图像之间的时空符合度;所述时空符合度通过两个实体图像的实际采集时间差与理论采集时间差之间比值确定;
将构建的实体关系图谱中,时空符合度不满足预设时空符合度条件的两个实体图像之间的拓扑连接删除。
5.根据权利要求4所述的方法,其特征在于,确定实体关系图谱中通过拓扑连接的两个实体图像之间的时空符合度,包括:
确定实体关系图谱中通过拓扑连接的两个实体图像的实际采集时间差;
确定拓扑连接的两个实体图像中实体的理论出行路线与理论出行速度;
将实体的理论出行路线空间距离与理论出行速度之间的比值作为两个实体图像的理论采集时间差;
将所述实际采集时间差与所述理论采集时间差之间的比值,确定为拓扑连接的两个实体图像的时空符合度。
6.根据权利要求1所述的方法,其特征在于,依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱,包括:
若实体关系图谱中存在图像间相似度符合第二相似度条件的两个目标实体图像,则确定目标实体图像与实体关系图谱中剩余实体图像的亲密度;
依据目标实体图像与剩余实体图像的亲密度,将实体关系图谱中亲密度不满足预设亲密度阈值的剩余实体图像进行分割和/或将实体关系图谱中亲密度满足预设亲密度阈值的剩余实体图像进行保留;
依据剩余实体图像在实体关系图谱中的分割和/或保留情况,从所述实体关系图谱中分割出至少一个关系子图谱;
其中,所述第二相似度条件用于识别实体关系图谱中是否存在包含相同实体的两个实体图像。
7.根据权利要求6所述的方法,其特征在于,确定目标实体图像与实体关系图谱中剩余实体图像的亲密度,包括:
确定实体关系图谱中从目标实体图像到达一个剩余实体图像的至少一条拓扑连接路径以及拓扑连接路径所经过的实体关系;
将拓扑连接路径所经过的实体关系对应的两个实体图像之间的相似度以及拓扑连接路径所经过的实体关系对应的权重进行加权,得到该拓扑连接路径下目标实体图像与该剩余实体图像之间的亲密度;
依据至少一条拓扑连接路径下目标实体图像与该剩余实体图像之间的亲密度确定目标实体图像与实体关系图谱中一个剩余实体图像的亲密度。
8.一种实体图像的聚类处理装置,其特征在于,所述装置包括:
图像配置模块,用于将实体图像序列中疑似有相同实体的任意两个实体图像配置一个实体关系,得到对应的实体三元组;
关系图谱生成模块,用于将共用同一实体的任意两个实体三元组,通过实体三元组中两个实体图像之间的实体关系进行拓扑连接,构建至少一个实体关系图谱;
关系图谱处理模块,用于依据所述实体关系图谱中实体图像之间的亲密度,从所述实体关系图谱中分割出至少一个关系子图谱;其中,每个关系子图谱的实体图像对应同一个实体。
9.一种电子设备,其特征在于,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现权利要求1-7中任一所述的实体图像的聚类处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-7中任一所述的实体图像的聚类处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111458493.XA CN116229128A (zh) | 2021-12-02 | 2021-12-02 | 实体图像的聚类处理方法、装置、电子设备及存储介质 |
PCT/CN2022/105891 WO2023098091A1 (zh) | 2021-12-02 | 2022-07-15 | 实体图像的聚类处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111458493.XA CN116229128A (zh) | 2021-12-02 | 2021-12-02 | 实体图像的聚类处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116229128A true CN116229128A (zh) | 2023-06-06 |
Family
ID=86577269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111458493.XA Pending CN116229128A (zh) | 2021-12-02 | 2021-12-02 | 实体图像的聚类处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116229128A (zh) |
WO (1) | WO2023098091A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935083A (zh) * | 2023-09-12 | 2023-10-24 | 深圳须弥云图空间科技有限公司 | 一种图像聚类方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800317B (zh) * | 2018-03-19 | 2022-03-11 | 中山大学 | 一种基于图像场景图谱对齐的图像查询回答方法 |
US10679007B2 (en) * | 2018-08-30 | 2020-06-09 | Intelligent Fusion Technology, Inc. | Method and system for pattern discovery and real-time anomaly detection based on knowledge graph |
CN109753570A (zh) * | 2019-01-11 | 2019-05-14 | 中山大学 | 一种基于Horn逻辑与图神经网络的场景图谱向量化方法 |
CN111743574B (zh) * | 2020-07-12 | 2023-04-07 | 西北工业大学 | 乳腺癌超声影像高置信实体关系的知识图谱构建方法 |
CN112966122B (zh) * | 2021-03-03 | 2024-05-10 | 平安科技(深圳)有限公司 | 语料意图识别方法、装置、存储介质及计算机设备 |
-
2021
- 2021-12-02 CN CN202111458493.XA patent/CN116229128A/zh active Pending
-
2022
- 2022-07-15 WO PCT/CN2022/105891 patent/WO2023098091A1/zh unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935083A (zh) * | 2023-09-12 | 2023-10-24 | 深圳须弥云图空间科技有限公司 | 一种图像聚类方法和装置 |
CN116935083B (zh) * | 2023-09-12 | 2023-12-12 | 深圳须弥云图空间科技有限公司 | 一种图像聚类方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2023098091A1 (zh) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
CN111931764B (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
JP2021525409A (ja) | ターゲット検出方法及び装置、機器並びに記憶媒体 | |
CN110889318A (zh) | 利用cnn的车道检测方法和装置 | |
CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
CN113037783B (zh) | 一种异常行为检测方法及*** | |
CN114926766A (zh) | 识别方法及装置、设备、计算机可读存储介质 | |
CN112180903A (zh) | 基于边缘计算的车辆状态实时检测*** | |
CN112749726A (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
CN112101114A (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
CN116229128A (zh) | 实体图像的聚类处理方法、装置、电子设备及存储介质 | |
CN113436223A (zh) | 点云数据的分割方法、装置、计算机设备和存储介质 | |
CN115147618A (zh) | 一种生成显著图的方法、异常对象检测的方法以及装置 | |
CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
CN112819859B (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
CN112200052B (zh) | 轨迹偏移识别、车辆行驶分析方法、装置、设备及介质 | |
CN114267021A (zh) | 对象识别方法和装置、存储介质及电子设备 | |
CN112949731A (zh) | 基于多专家模型的目标检测方法、装置、存储介质及设备 | |
CN112001211A (zh) | 对象检测方法、装置、设备及计算机可读存储介质 | |
CN117197592B (zh) | 一种目标检测模型训练方法、装置、电子设备及介质 | |
JP2020035042A (ja) | データ判定装置、方法、及びプログラム | |
CN118101326B (zh) | 基于改进的MobileNetV3模型的轻量级车联网入侵检测方法 | |
JP2010113732A (ja) | 移動物体認識方法及び装置 | |
CN116863151A (zh) | 基于边缘云架构的图像预测方法、装置、网络设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |