CN115424001A - 场景相似度估计方法、装置、计算机设备和存储介质 - Google Patents

场景相似度估计方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115424001A
CN115424001A CN202211048990.7A CN202211048990A CN115424001A CN 115424001 A CN115424001 A CN 115424001A CN 202211048990 A CN202211048990 A CN 202211048990A CN 115424001 A CN115424001 A CN 115424001A
Authority
CN
China
Prior art keywords
picture
foreground object
similarity
pictures
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211048990.7A
Other languages
English (en)
Inventor
茅天奇
丁拥科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongan Online P&c Insurance Co ltd
Original Assignee
Zhongan Online P&c Insurance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongan Online P&c Insurance Co ltd filed Critical Zhongan Online P&c Insurance Co ltd
Priority to CN202211048990.7A priority Critical patent/CN115424001A/zh
Publication of CN115424001A publication Critical patent/CN115424001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种场景相似度估计方法、装置、计算机设备和存储介质，所述方法包括：从数据库中获取带有前景物体的图片；对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。本申请主要针对线上业务场景，通过分割模型去除遮挡物体，接着对修复后的图像进行场景相似度比较能够有效提升相似度评估的准确性，从而提升金融风控的可靠性。

Description

场景相似度估计方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能的技术领域，特别是涉及一种场景相似度估计方法、装置、计算机设备和存储介质。
背景技术
依托于大数据、云计算、人工智能等新技术的发展，互联网金融业务急剧扩张，金融创新产品不断涌现，诈骗风险也随之而来，因此在线上业务办理时，如何快速准确地识别诈骗团伙是一个关键问题。
现有技术中通过对用户提交的图片(如活体照、人证合一照等)中的场景进行相似度评估来鉴定用户所在场景是否存在风险，然而由于在拍摄场景中用户与摄像头的距离较近，人脸或人体会对图片中的场景产生大量的遮挡，这会对场景相似度评估的准确性带来较大的影响；另一方面由于线上图片的场景种类多样，且图片数量极大，标注图片将耗费巨大的人力成本。
因此，亟需提出一种可以避免图片标注工作、排除人体的干扰、有效地提高金融风控的可靠性的场景相似度估计方法、装置、计算机设备和存储介质。
发明内容
基于此，有必要针对上述技术问题，提供一种能够避免图片标注工作、排除人体的干扰、有效地提高金融风控的可靠性的场景相似度估计方法、装置、计算机设备和存储介质。
一方面，提供一种场景相似度估计方法，所述方法包括：
步骤A：从数据库中获取带有前景物体的图片；
步骤B：对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
步骤C：利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
步骤D：基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
在其中一个实施例中，还包括：利用图片注释工具对所述图片的前景像素进行选区标注。
在其中一个实施例中，还包括：所述去除前景物体遮挡的图片的获取过程包括：利用所述训练好的前景物体语义分割模型自动提取待检测图片中的选区；将所述待检测图片与所述选区同时输入图片修复网络，利用所述图片修复网络去除前景物体，并补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片。
在其中一个实施例中，还包括：所述相似度评估模型的训练过程包括：利用所述训练好的前景物体语义分割模型自动提取数据库中图片的选区，并去除前景物体，补全所述图片中背景像素，得到去除前景物体遮挡的图片；将所述去除前景物体遮挡的图片加入公开场景数据集中，生成新数据集；基于所述新数据集，采用无监督对比学习策略训练预设的相似度评估模型；当评估精度达到预设值时，得到训练好的相似度评估模型。
在其中一个实施例中，还包括：所述基于相似度评估模型计算所述图片与预存图片之间的相似度值包括：分别提取所述去除前景物体遮挡图片和所述预存图片的图片特征，所述图片特征为128维的向量；计算所提取特征向量之间的余弦距离获取所述图片与预存图片之间的相似度值。
在其中一个实施例中，还包括：所述对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片包括：提取所有所述待检测图片的特征向量；根据所述特征向量计算得到相似度矩阵；基于所述相似度矩阵，通过预设的聚类算法和相似度阈值进行聚类，得到聚类好的各类别图片。
在其中一个实施例中，还包括：所述对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片还包括：对聚类好的各类别图片进行判别，若某一类别的图片数量高于预设的单一聚类最大图片数量，则输出所述类别的所有图片。
另一方面，提供了一种场景相似度估计装置，所述装置包括：
图片获取模块，用于从数据库中获取带有前景物体的图片；
模型训练模块，用于对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
图片处理模块，用于利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
图片聚类模块，用于基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤A：从数据库中获取带有前景物体的图片；
步骤B：对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
步骤C：利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
步骤D：基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
步骤A：从数据库中获取带有前景物体的图片；
步骤B：对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
步骤C：利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
步骤D：基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
上述场景相似度估计方法、装置、计算机设备和存储介质，所述方法包括：从数据库中获取带有前景物体的图片；对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片，本申请针对线上业务场景，通过大数据的方式对图像中的场景进行相似度比对，判断线上业务场景是否存在金融诈骗的风险，通过分割模型去除遮挡物体，接着对修复后的图像进行场景相似度比较能够有效提升相似度评估的准确性，从而提升金融风控的可靠性。
附图说明
图1为一个实施例中场景相似度估计方法的应用环境图；
图2为一个实施例中场景相似度估计方法的流程示意图；
图3为一个实施例中场景相似度估计方法的另一流程示意图；
图4为一个实施例中场景相似度估计装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的场景相似度估计方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与设置于服务器104上的数据处理平台进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
实施例1
在一个实施例中，如图2～3所示，提供了一种场景相似度估计方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S1：从数据库中获取带有前景物体的图片。
具体的，统计数据库中遮挡面积较大的前景物体种类，为下一步前景物体去除做准备，其中，在金融风控场景中人体是遮挡面积最大的前景，因此，从数据库中选取有人体遮挡的前景图片，利用图片注释工具(labelme软件)对所述图片的前景像素进行选区(mask)标注。
S2：对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型。
需要说明的是，采用标注好的mask作为label(标签)，训练语义分割模型(如efficientnet-pan)，即前景物体语义分割模型，示例性的，在金融风控场景中训练的是人体语义分割模型，进一步的，当训练次数达到预设值时即可停止训练，得到训练好的前景物体语义分割模型。
S3：利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片。
需要说明的是，所述去除前景物体遮挡的图片的获取过程包括：
利用所述训练好的前景物体语义分割模型自动提取待检测图片中的选区，其中待检测图片可以是实时获取得到的图片；
将所述待检测图片与所述选区同时输入图片修复网络(例如lama网络)，利用所述图片修复网络去除前景物体，并补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片。
其中，在金融风控场景中，将人体的选区与原图一起输入图像修复网络中，即可去除图像中的人体并在原图像上补全背景。
S4：基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
需要说明的是，所述相似度评估模型的训练过程包括：
利用所述训练好的前景物体语义分割模型自动提取数据库中图片的选区，并去除前景物体，补全所述图片中背景像素，得到去除前景物体遮挡的图片，其中，此处的图片为数据库中的有人体遮挡的前景图片；
将所述去除前景物体遮挡的图片加入公开场景数据集(如places365数据集)中，生成新数据集；
基于所述新数据集，采用无监督对比学习策略(如sim-clr)训练预设的相似度评估模型；
当评估精度达到预设值时，得到训练好的相似度评估模型。
进一步的，利用训练好的相似度评估模型分别提取所述去除前景物体遮挡图片和所述预存图片的图片特征，所述图片特征为128维的向量；
计算所提取特征向量之间的余弦距离获取所述图片与预存图片之间的相似度值。
更进一步的，所述对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片包括：
提取应用场景中所有所述待检测图片的特征向量；
根据所述特征向量计算得到相似度矩阵，其中，相似度矩阵由两两特征向量的相似度组成；
基于所述相似度矩阵，通过预设的聚类算法(infomap聚类算法)和相似度阈值进行聚类，示例性的，聚类算法可以是knn算法、k-means算法，得到聚类好的各类别图片。
对聚类好的各类别图片进行判别，若某一类别的图片数量高于预设的单一聚类最大图片数量，则输出所述类别的所有图片，并将所有图片列入高风险的名单中进行进一步审核，相似度高于预设值即为诈骗团伙。
上述场景相似度估计方法中，所述方法包括：从数据库中获取带有前景物体的图片；对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片，本申请针对线上业务场景，通过大数据的方式对图像中的场景进行相似度比对，判断线上业务场景是否存在金融诈骗的风险，通过分割模型去除遮挡物体，接着对修复后的图像进行场景相似度比较能够有效提升相似度评估的准确性，从而提升金融风控的可靠性。
应该理解的是，虽然图2～3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2～3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例2
在一个实施例中，如图4所示，提供了一种场景相似度估计装置，包括：图片获取模块、模型训练模块、图片处理模块和图片聚类模块，其中：
图片获取模块，用于从数据库中获取带有前景物体的图片；
模型训练模块，用于对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
图片处理模块，用于利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
图片聚类模块，用于基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
作为一种较优的实施方式，本发明实施例中，所述模型训练模块具体用于：
利用图片注释工具对所述图片的前景像素进行选区标注。
作为一种较优的实施方式，本发明实施例中，所述图片处理模块具体用于：
利用所述训练好的前景物体语义分割模型自动提取待检测图片中的选区；
将所述待检测图片与所述选区同时输入图片修复网络，利用所述图片修复网络去除前景物体，并补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片。
作为一种较优的实施方式，本发明实施例中，所述图片聚类模块具体用于：
利用所述训练好的前景物体语义分割模型自动提取数据库中图片的选区，并去除前景物体，补全所述图片中背景像素，得到去除前景物体遮挡的图片；
将所述去除前景物体遮挡的图片加入公开场景数据集中，生成新数据集；
基于所述新数据集，采用无监督对比学习策略训练预设的相似度评估模型；
当评估精度达到预设值时，得到训练好的相似度评估模型。
作为一种较优的实施方式，本发明实施例中，所述图片聚类模块具体还用于：
分别提取所述去除前景物体遮挡图片和所述预存图片的图片特征，所述图片特征为128维的向量；
计算所提取特征向量之间的余弦距离获取所述图片与预存图片之间的相似度值。
作为一种较优的实施方式，本发明实施例中，所述图片聚类模块具体还用于：
提取所有所述待检测图片的特征向量；
根据所述特征向量计算得到相似度矩阵；
基于所述相似度矩阵，通过预设的聚类算法和相似度阈值进行聚类，得到聚类好的各类别图片。
对聚类好的各类别图片进行判别，若某一类别的图片数量高于预设的单一聚类最大图片数量，则输出所述类别的所有图片。
关于场景相似度估计装置的具体限定可以参见上文中对于场景相似度估计方法的限定，在此不再赘述。上述场景相似度估计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
实施例3
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种场景相似度估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
S1：从数据库中获取带有前景物体的图片；
S2：对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
S3：利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
S4：基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用图片注释工具对所述图片的前景像素进行选区标注。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用所述训练好的前景物体语义分割模型自动提取待检测图片中的选区；
将所述待检测图片与所述选区同时输入图片修复网络，利用所述图片修复网络去除前景物体，并补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用所述训练好的前景物体语义分割模型自动提取数据库中图片的选区，并去除前景物体，补全所述图片中背景像素，得到去除前景物体遮挡的图片；
将所述去除前景物体遮挡的图片加入公开场景数据集中，生成新数据集；
基于所述新数据集，采用无监督对比学习策略训练预设的相似度评估模型；
当评估精度达到预设值时，得到训练好的相似度评估模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
分别提取所述去除前景物体遮挡图片和所述预存图片的图片特征，所述图片特征为128维的向量；
计算所提取特征向量之间的余弦距离获取所述图片与预存图片之间的相似度值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取所有所述待检测图片的特征向量；
根据所述特征向量计算得到相似度矩阵；
基于所述相似度矩阵，通过预设的聚类算法和相似度阈值进行聚类，得到聚类好的各类别图片。
对聚类好的各类别图片进行判别，若某一类别的图片数量高于预设的单一聚类最大图片数量，则输出所述类别的所有图片。
实施例4
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
S1：从数据库中获取带有前景物体的图片；
S2：对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
S3：利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
S4：基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用图片注释工具对所述图片的前景像素进行选区标注。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用所述训练好的前景物体语义分割模型自动提取待检测图片中的选区；
将所述待检测图片与所述选区同时输入图片修复网络，利用所述图片修复网络去除前景物体，并补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用所述训练好的前景物体语义分割模型自动提取数据库中图片的选区，并去除前景物体，补全所述图片中背景像素，得到去除前景物体遮挡的图片；
将所述去除前景物体遮挡的图片加入公开场景数据集中，生成新数据集；
基于所述新数据集，采用无监督对比学习策略训练预设的相似度评估模型；
当评估精度达到预设值时，得到训练好的相似度评估模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
分别提取所述去除前景物体遮挡图片和所述预存图片的图片特征，所述图片特征为128维的向量；
计算所提取特征向量之间的余弦距离获取所述图片与预存图片之间的相似度值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
提取所有所述待检测图片的特征向量；
根据所述特征向量计算得到相似度矩阵；
基于所述相似度矩阵，通过预设的聚类算法和相似度阈值进行聚类，得到聚类好的各类别图片。
对聚类好的各类别图片进行判别，若某一类别的图片数量高于预设的单一聚类最大图片数量，则输出所述类别的所有图片。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种场景相似度估计方法，其特征在于，所述方法包括：
从数据库中获取带有前景物体的图片；
对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
2.根据权利要求1所述的场景相似度估计方法，其特征在于，利用图片注释工具对所述图片的前景像素进行选区标注。
3.根据权利要求1所述的场景相似度估计方法，其特征在于，所述去除前景物体遮挡的图片的获取过程包括：
利用所述训练好的前景物体语义分割模型自动提取待检测图片中的选区；
将所述待检测图片与所述选区同时输入图片修复网络，利用所述图片修复网络去除前景物体，并补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片。
4.根据权利要求1所述的场景相似度估计方法，其特征在于，所述相似度评估模型的训练过程包括：
利用所述训练好的前景物体语义分割模型自动提取数据库中图片的选区，并去除前景物体，补全所述图片中背景像素，得到去除前景物体遮挡的图片；
将所述去除前景物体遮挡的图片加入公开场景数据集中，生成新数据集；
基于所述新数据集，采用无监督对比学习策略训练预设的相似度评估模型；
当评估精度达到预设值时，得到训练好的相似度评估模型。
5.根据权利要求1所述的场景相似度估计方法，其特征在于，所述基于相似度评估模型计算所述图片与预存图片之间的相似度值包括：
分别提取所述去除前景物体遮挡图片和所述预存图片的图片特征，所述图片特征为128维的向量；
计算所提取特征向量之间的余弦距离获取所述图片与预存图片之间的相似度值。
6.根据权利要求5所述的场景相似度估计方法，其特征在于，所述对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片包括：
提取所有所述待检测图片的特征向量；
根据所述特征向量计算得到相似度矩阵；
基于所述相似度矩阵，通过预设的聚类算法和相似度阈值进行聚类，得到聚类好的各类别图片。
7.根据权利要求6所述的场景相似度估计方法，其特征在于，所述对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片还包括：
对聚类好的各类别图片进行判别，若某一类别的图片数量高于预设的单一聚类最大图片数量，则输出所述类别的所有图片。
8.一种场景相似度估计装置，其特征在于，所述装置包括：
图片获取模块，用于从数据库中获取带有前景物体的图片；
模型训练模块，用于对所述图片的前景像素进行选区标注，利用标注好的选区作为标签训练前景物体语义分割模型；
图片处理模块，用于利用训练好的前景物体语义分割模型自动提取待检测图片中的选区，并去除前景物体，补全所述待检测图片中背景像素，得到去除前景物体遮挡的图片；
图片聚类模块，用于基于相似度评估模型计算所述图片与预存图片之间的相似度值，对所述相似度值高于预设值的图片进行聚类，输出聚类得到的所有图片。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202211048990.7A 2022-08-30 2022-08-30 场景相似度估计方法、装置、计算机设备和存储介质 Pending CN115424001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211048990.7A CN115424001A (zh) 2022-08-30 2022-08-30 场景相似度估计方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211048990.7A CN115424001A (zh) 2022-08-30 2022-08-30 场景相似度估计方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115424001A true CN115424001A (zh) 2022-12-02

Family

ID=84201327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211048990.7A Pending CN115424001A (zh) 2022-08-30 2022-08-30 场景相似度估计方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115424001A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661821A (zh) * 2022-12-22 2023-01-31 摩尔线程智能科技(北京)有限责任公司 回环检测方法、装置、电子设备、存储介质和程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661821A (zh) * 2022-12-22 2023-01-31 摩尔线程智能科技(北京)有限责任公司 回环检测方法、装置、电子设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
CN110070030B (zh) 图像识别与神经网络模型的训练方法、装置和***
CN110598845B (zh) 数据处理方法、装置、计算机设备和存储介质
WO2021017261A1 (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
EP3627759A1 (en) Method and apparatus for encrypting data, method and apparatus for training machine learning model, and electronic device
US20180204094A1 (en) Image recognition method and apparatus
CN112052781A (zh) 特征提取模型训练方法、人脸识别方法、装置、设备及介质
CN112270686B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
EP4099217A1 (en) Image processing model training method and apparatus, device, and storage medium
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN111611873A (zh) 人脸替换检测方法及装置、电子设备、计算机存储介质
CN110955874A (zh) 身份验证方法、装置、计算机设备和存储介质
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
WO2019033567A1 (zh) 眼球动作捕捉方法、装置及存储介质
CN114693192A (zh) 风控决策方法、装置、计算机设备和存储介质
CN111832581A (zh) 肺部特征识别方法、装置、计算机设备及存储介质
CN111860582B (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN112183296A (zh) 模拟票据图像生成、票据图像识别方法和装置
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN113705685A (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN115240203A (zh) 业务数据处理方法、装置、设备及存储介质
CN112115811A (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN113128448B (zh) 基于肢体识别的视频匹配方法、装置、设备及存储介质
JP2023543964A (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination