CN108875834B - 图像聚类方法、装置、计算机设备及存储介质 - Google Patents

图像聚类方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108875834B
CN108875834B CN201810653849.7A CN201810653849A CN108875834B CN 108875834 B CN108875834 B CN 108875834B CN 201810653849 A CN201810653849 A CN 201810653849A CN 108875834 B CN108875834 B CN 108875834B
Authority
CN
China
Prior art keywords
image
threshold value
list
classified
duty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810653849.7A
Other languages
English (en)
Other versions
CN108875834A (zh
Inventor
吴丽军
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810653849.7A priority Critical patent/CN108875834B/zh
Publication of CN108875834A publication Critical patent/CN108875834A/zh
Application granted granted Critical
Publication of CN108875834B publication Critical patent/CN108875834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像聚类方法、装置、计算机设备及存储介质,包括下述步骤:获取待分类图像与样本图像之间的相似度;将所述相似度与预设阈值列表中的当前轮值阈值进行比对;当所述相似度大于所述当前轮值阈值时,将所述待分类图像归集至所述样本图像所表征的聚类列表中。由于相似度计算的是待分类图像与样本图像之间的关联度,因此,分类结果也与样本图像直接关联,同时,对关联度分类进行阈值限定使分类结果更加的准确,通过更换不同的样本图像就能够实现对不同类别的划分,提高了分类的多样性,同时由于没有人为的干预大大提高了分类的效率。

Description

图像聚类方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及模型算法领域,尤其是一种图像聚类方法、装置、计算机设备及存储介质。
背景技术
伴随着社会信息化的进程的加速,每天上传至互联网上的数据数不胜数,而其中又以音视频和图片资料居多,为了方便管理同时也方便其他用户进行浏览,需要对上传的音视频和图片资料进行分门别类,以方便存储。
现有技术中,对音视频和图片的分类往往采用两种方法:其一,服务器端采用人工对上述资料进行安全检查和分类,即设定分类标准由人工按照分类标准进行分类;其二,用户在终端进行资料上传时,在已经设定好的类别中,对自己上传的资料进行分类,服务器端在获取上传资料后读取该资料的用户分类信息,并按该分类信息对资料进行分类存储。
本发明创造的发明人在研究中发现,现有技术中的分类方式存在分类效率低下,且由于分类过程受主观因素的影响,导致分类的准确率较低的问题。
发明内容
本发明实施例提供能够提供一种分类准确且分类效率高的图像聚类方法、装置、计算机设备及存储介质。
为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种图像聚类方法,包括下述步骤:
获取待分类图像与样本图像之间的相似度;
将所述相似度与预设阈值列表中的当前轮值阈值进行比对;
当所述相似度大于所述当前轮值阈值时,将所述待分类图像归集至所述样本图像所表征的聚类列表中。
可选地,所述当所述相似度大于所述当前轮值阈值时,将所述待分类图像归集至所述样本图像所表征的聚类列表中的步骤之后,还包括下述步骤:
获取所述聚类列表中图像的数目;
将所述图像的数目与预设的极限阈值进行比对;
当所述图像的数目大于所述极限阈值时,释放所述聚类列表中的所有图像至待分类列表中。
可选地,所述当所述图像的数目大于所述极限阈值时,释放所述聚类列表中的所有图像至待分类列表中的步骤之后,还包括下述步骤:
确认排列在所述当前轮值阈值下一位的轮值阈值为分类阈值,其中,所述下一位的轮值阈值大于所述当前轮值阈值;
以所述分类阈值为限定条件对所述待分类列表中的图像进行聚类。
当阈值列表中的阈值替换至倒数第二位,且筛选的图像数量大于设定的所述极限阈值时,所述方法还包括下述步骤:
获取所述阈值列表中数值最大的轮值阈值;
将所述相似度大于所述数值最大的轮值阈值的待识别图像,聚类至所述样本图像所表征的聚类列表中。
可选地,获取获取待分类图像与样本图像之间的相似度的步骤之前,还包括下述步骤:
获取所述待分类图像;
将所述待分类图像输入到预设的PCA降维模型中,以将所述待分类图像降维至预设维度。
可选地,所述将所述待分类图像输入到预设的PCA降维模型中,以将所述待分类图像降维至预设维度的步骤之后,还包括下述步骤:
获取降维后的待分类图像;
将所述降维后的待分类图像输入到预设的相似度判断模型中,计算所述降维后的待分类图像与所述样本图像之间的关联度。
可选地,所述获取待分类图像与样本图像之间的相似度的步骤之前,还包括下述步骤:
获取用户列表,其中,所述用户列表中包括用户的流量信息;
以流量的数值为限定条件对所述用户列表中的用户进行降序排列;
由首位开始依次确认所述用户列表中用户的人脸图像为所述样本图像。
为解决上述技术问题,本发明实施例还提供一种图像聚类装置,包括:
获取模块,用于获取待分类图像与样本图像之间的相似度;
处理模块,用于将所述相似度与预设阈值列表中的当前轮值阈值进行比对;
执行模块,用于当所述相似度大于所述当前轮值阈值时,将所述待分类图像归集至所述样本图像所表征的聚类列表中。
可选地,所述图像聚类装置还包括:
第一获取子模块,用于获取所述聚类列表中图像的数目;
第一处理子模块,用于将所述图像的数目与预设的极限阈值进行比对;
第一执行子模块,用于当所述图像的数目大于所述极限阈值时,释放所述聚类列表中的所有图像至待分类列表中。
可选地,所述图像聚类装置还包括:
第一确认子模块,用于确认排列在所述当前轮值阈值下一位的轮值阈值为分类阈值,其中,所述下一位的轮值阈值大于所述当前轮值阈值;
第一聚类子模块,用于以所述分类阈值为限定条件对所述待分类列表中的图像进行聚类。
可选地,所述图像聚类装置还包括:
第二获取子模块,用于获取所述阈值列表中数值最大的轮值阈值;
第二执行子模块,用于将所述相似度大于所述数值最大的轮值阈值的待识别图像,聚类至所述样本图像所表征的聚类列表中。
可选地,所述图像聚类装置还包括:
第三获取子模块,用于获取所述待分类图像;
第三执行子模块,用于将所述待分类图像输入到预设的PCA降维模型中,以将所述待分类图像降维至预设维度。
可选地,所述图像聚类装置还包括:
第四获取子模块,用于获取降维后的待分类图像;
第四执行子模块,用于将所述降维后的待分类图像输入到预设的相似度判断模型中,计算所述降维后的待分类图像与所述样本图像之间的关联度。
可选地,所述图像聚类装置还包括:
第五获取子模块,用于获取用户列表,其中,所述用户列表中包括用户的流量信息;
第一排列子模块,用于以流量的数值为限定条件对所述用户列表中的用户进行降序排列;
第五执行子模块,用于由首位开始依次确认所述用户列表中用户的人脸图像为所述样本图像。
为解决上述技术问题,本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述图像聚类方法的步骤。
为解决上述技术问题,本发明实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如上述所述图像聚类方法的步骤。
本发明实施例的有益效果是:通过相似度比对模型获取到待分类图像与样本图像之间的相似度,获得该相似度后,将相似度与预设的阈值进行比对,根据比对结果对待分类图像进行分类,当相似度大于预设的阈值时,待分类图像归集至当前阈值所表征的聚类列表中。由于相似度计算的是待分类图像与样本图像之间的关联度,因此,分类结果也与样本图像直接关联,同时,对关联度分类进行阈值限定使分类结果更加的准确,通过更换不同的样本图像就能够实现对不同类别的划分,提高了分类的多样性,同时由于没有人为的干预大大提高了分类的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例图像聚类方法的基本流程示意图;
图2为本发明实施例控制同一分类类别中图形数量的流程示意图;
图3为本发明实施例替换当前轮值阈值的流程示意图;
图4为本发明实施例实施例以阈值列表中的最大阈值作为当前轮值阈值记性筛选的流程示意图;
图5为本发明实施例对待分类图像进行降维的流程示意图;
图6为本发明实施例通过模型计算关联度的方法流程图;
图7为本发明实施例筛选样本图像的流程示意图;
图8为本发明实施例图像聚类装置基本结构示意图;
图9为本发明实施例计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信***),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位***)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
具体地请参阅图1,图1为本实施例图像聚类方法的基本流程示意图。
如图1所示,一种图像聚类方法,包括下述步骤:
S1100、获取待分类图像与样本图像之间的相似度;
待分类图像为存储在数据库中待梳理分类的图像,也能够是用户上传的待分类图像。在一些实施方式中,待分类图像来自于视频信息,通过对视频信息进行帧化处理,将视频信息按时间轴拆分为若干帧画面图像,通过随机抽取或者定时抽取的方式获得待分类图像。
样本图像为预存储的分类参照照片,样本图像的名称或者样本图像已具有的分类信息为一个分类类别。举例说明,当样本图像为人脸图像时,人物的名称、年龄、性别、颜值或者种族均能够成为分类类别,根据应用场景的不同,样本图像所表征的分类类别,能够是上述分类参照中的一个或者多个的组合。但样本图像的的类别不仅仅局限于人脸图像,根据具体应用环境的不同,样本图像还能够是,植物、景物、动物或者工业制品等。
在一些实时方式中,待分类图片的数量较多(例如,1万张、100万张或者9000万张等等),因此,样本图像的张数也不局限一张,根据具体应用环境的要求,样本图像能够是(不限于):1张、10张、100张、1000张或者更多。因此,步骤S1100至步骤S1300之间的步骤是往复循环迭代的,每循环一次替换一张样本图像。
待分类图像与样本图像之间的相似度计算采用现有技术中的相似度计算模型进行计算,相似度计算模型能够是CNN卷积神经网络模型、VGG卷积神经网络模型、insightface人脸识别模型或者k-means计算模型。上述模型预先训练至收敛或者搭建,将样本图像作为参照,将待识别图像作为输入,输出则为样本图像与待识别图像之间的相似度。
S1200、将所述相似度与预设阈值列表中的当前轮值阈值进行比对;
本市实施方式中设置阈值列表,阈值列表中设置多个阈值,多个阈值根据数值的大小进行升幂排序,为限定每个分类类别中待分类图像中的数量,设定阈值列表中的阈值依次成为限定条件(比较相似度与当前轮值阈值之间的大小),且由排列在首位的阈值开始,即一个迭代轮回中(同一个样本图像)排列在下一位的阈值大于当前的阈值,定义当前正在作为限定条件的阈值为当前轮值阈值,由于聚类是迭代进行的,因此,每一个阈值都可能成为限定条件,因此,阈值列表中的当前作为限定条件的阈值称之为当前轮值阈值。
举例说明,阈值列表中的阈值为[0.60,0.65,0.70,0.75,0.80,0.85,0.90,0.95],当以0.60作为限定条件进行筛选时,发现归集至样本图像所表征的分类类别中的图像太多,会导致准确率不高的问题,需要提高筛选条件,即采用0.60的下一位阈值0.65作为当前轮值阈值重新进行筛选,以此类推,直至筛选出来能够归集至样本图像所表征的分类类别中的图像数量满足条件或者精确率满足一定条件时,结束以当前样本图像作为分类类别的图像聚类。
S1300、当所述相似度大于所述当前轮值阈值时,将所述待分类图像归集至所述样本图像所表征的聚类列表中。
当相似度大于当前的轮值阈值时,将待分类图像归集至样本图像所表征的聚类列表中。举例说明,当样本图像为人脸图像时,人物的名称、年龄、性别、颜值或者种族均能够成为分类类别,根据应用场景的不同,样本图像所表征的分类类别,能够是上述分类参照中的一个或者多个的组合。但样本图像的的类别不仅仅局限于人脸图像,根据具体应用环境的不同,样本图像还能够是,植物、景物、动物或者工业制品等。
例如,样本图像表征的类别为该样本图像主人公的名字,根据相似度比对确认待分类图像中的人脸图像与样本图像之间的相似度大于当前的轮值阈值,则确认该待分类图像为该样本图像中以主人公的名字命名的类别。
上述实施方式通过相似度比对模型获取到待分类图像与样本图像之间的相似度,获得该相似度后,将相似度与预设的阈值进行比对,根据比对结果对待分类图像进行分类,当相似度大于预设的阈值时,待分类图像归集至当前阈值所表征的聚类列表中。由于相似度计算的是待分类图像与样本图像之间的关联度,因此,分类结果也与样本图像直接关联,同时,对关联度分类进行阈值限定使分类结果更加的准确,通过更换不同的样本图像就能够实现对不同类别的划分,提高了分类的多样性,同时由于没有人为的干预大大提高了分类的效率。
在一些实施方式中,为避免阈值设定不合适,在同一类别中集中大量的待分类图像或者视频信息,需要对归集在同一分类类别中的待分类图像的数量进行控制。具体请参阅图2,图2为本实施例控制同一分类类别中图形数量的流程示意图。
如图2所示,步骤S1300之后还包括下述步骤:
S1411、获取所述聚类列表中图像的数目;
将待分类图像存储在当前样本图像所对应的聚类列表中,并获取该聚类列表中满足当前轮值阈值的图像的数量,即存储在该列表中待分类图像的数量。本实施方式中,待分类图像的个数较多(例如,1万张、100万张或者9000万张等等)。因此,满足当前轮值阈值的待分类图像均存储在该聚类列表中。
S1412、将所述图像的数目与预设的极限阈值进行比对;
获取聚类列表中图像的数量后,将该图像的数量与预设的极限阈值进行比对。
极限阈值是用于控制聚类列表中否和限定条件的图像数量的阈值。在一些实施方式中,极限阈值的被设定为500。但不局限于此,根据实际应用场景的不同,极限阈值能够被设定为:50、100、300、900、1500、5000或者更大或者更小。极限阈值的大小决定了以聚类列表为检索条件的召回量。例如,聚类列表中的数量500,该聚类列表为样本图像中人物的名称,用户以该名称为检索条件时,召回量(检索结果显示的图片数量)为聚类列表中的500张图像。
S1413、当所述图像的数目大于所述极限阈值时,释放所述聚类列表中的所有图像至待分类列表中。
经过比对确认聚类列表中图像的数目大于设定的极限阈值后,将已存储在聚类列表中的图像重新释放至待分类列表中。
待分类列表中的图像均为待分类的图像,通过不断地更换样本图像将符合条件的图像从待分类列表中取出并分类,当每更换一次样本图像时,所有在待分类列表中的图像均属于待分类图像。
例如,当极限阈值为500时,当前的轮值阈值为0.60,与样本图像相比,相似度大于0.60的图片都聚类至当前样本图像所表征的分类类别中,当聚类列表中相似度大于0.60的图片数量大于500时,表明该类别中的图像数量超出了预设值,需要提高筛选条件以将聚类列表中的数量控制在设定数量以内,即小于等于500。
在一些实施方式中,当所述图像的数目小于或等于所述极限阈值时,将所述待分类图像归集至所述样本图像表征的聚类列表中。
当通过计算整个待分类列表中的图像,确认满足当前阈值的图像数量小于等于极限阈值时,表明该样本图像表征的聚类列表即分类类别既满足当前轮值阈值的限定,又满足当前极限阈值的限定,表示聚类成功,继续切换样本图像进行新一轮的迭代。
通过对同一个样本图像表征的聚类列表中的数量和相似度进行同时限定,既能够保证检索时的召回量,又能够控制分类的准确率。
在一些实施方式中,通过当前的轮值阈值进行筛选后,筛选的图像数量超过极限阈值限定的数量后,需要替换当前的轮值阈值继续对待识别图像进行筛选,直至将筛选的图像数量限定在极限阈值以内时结束。具体请参阅图3,图3为本实施例替换当前轮值阈值的流程示意图。
如图3所示,步骤S1413之后还包括下述步骤:
S1511、确认排列在所述当前轮值阈值下一位的轮值阈值为分类阈值,其中,所述下一位的轮值阈值大于所述当前轮值阈值;
通过当前的轮值阈值进行筛选后,筛选的图像数量超过极限阈值限定的数量后,需要替换当前的轮值阈值继续对待识别图像进行筛选,轮值阈值的替换是依次进行的。
例如,阈值列表中的阈值为[0.60,0.65,0.70,0.75,0.80,0.85,0.90,0.95],当以0.60作为限定条件进行筛选时,发现归集至样本图像所表征的分类类别(聚类列表)中的图像太多,会导致准确率不高的问题,需要提高筛选条件,即采用0.60的下一位阈值0.65作为当前轮值阈值重新进行筛选,以此类推,直至阈值列表中最大的阈值0.95时为止,或者在满足当前轮值阈值(例如,0.75)的同时,也满足极限阈值的限定时为止。因此,在阈值替换时,下一位的轮值阈值大于当前轮值阈值。
S1512、以所述分类阈值为限定条件对所述待分类列表中的图像进行聚类。
分类阈值为重新确定的轮值阈值,以上一位的轮值阈值为限定条件进行新一轮的筛选,即循环执行步骤S1411-S1413。
在一些实施方式中,当阈值列表中的阈值替换至倒数第二位时,筛选的图像数量还是大于设定的极限阈值时,调用最后一位阈值作为限定条件进行筛选,筛选结果无论筛选出的图像是否小于等于限定阈值,筛选出的图像均作为当前样本图像所表征的聚类列表中。具体请参阅图4,图4为以阈值列表中的最大阈值作为当前轮值阈值记性筛选的流程示意图。
如图4所示,步骤S1512之后还包括下述步骤:
S1611、获取所述阈值列表中数值最大的轮值阈值;
通过依次替换当前的轮值阈值直至倒数第二个轮值阈值作为筛选条件时,筛选出的图像数量还是大于设定的极限阈值时,获取阈值列表中倒数第一位(数值最大的阈值)的阈值作为当前的轮值阈值。
S1612、将所述相似度大于所述数值最大的轮值阈值的待识别图像,聚类至所述样本图像所表征的聚类列表中。
通过将待分类图像与样本图像之间的相似度与数值最大的轮值阈值进行比对,将相似度大于数值最大的轮值阈值的待分类图像,聚类至样本图像所表征的聚类列表中。即使通过数值最大的轮值阈值筛选出的图像数量依旧大于极限阈值时,依旧将所有符合数值最大的轮值阈值筛选条件的待分类图像聚类至样本图像所表征的聚类列表中。
通过上述的聚类方法,满足聚类条件的图像数量被控制在极限阈值范围内,或者相似度数值大于设定的最大阈值,只有满足上述条件当中的任意一个时,聚类才能够成功。通过该方式能够有效的提高聚类的准确率,同时也能够有效的抑制由于准确率过高导致的符合条件的图像数量有限,检索时召回量不足的问题,在提高效率的同时,兼顾了准确率与检索召回量的双重要求。
举例说明,本实施方式中的聚类方法被用于网红人物数据量追踪和管理。设定当前时段内甲、乙、丙、丁四个网红人物的的网络热度较高,需要对上述四个网红人物的音视频和图像进行追踪分类,将数据库中用户上传的音视频和图像进行分类,其中,音视频以提取当中帧画面的方式进行图像分类。
分类时首先以甲的人脸图像作为样本图像,通过相似度比对模型依次识别数据库中存储的图像和帧画面与甲的人脸图像的相似度,然后以阈值列表中最小的一位(例如,0.60)开始进行筛选,第一轮筛选结果符合条件的图像和帧画面为5000张,大于设定的极限阈值(例如,500张),需要进行第二轮筛选,第二轮筛选时的阈值为0.65,通过第二轮的筛选,符合条件的图像和帧画面为3000张,以此类推,不断提高阈值的数字,直至符合条件的图像和帧画面小于等于500张时,假设此时的阈值为0.85,则相似度大于0.85的图像和帧画面对应的音视频分类值甲的名称下面。相同的方式对乙、丙、丁也进行聚类,由于丁的人气最为火爆,通过层层筛选,在阈值列表中以0.90为阈值进行筛选时,符合条件的图像和帧画面依旧为4000张,而采用最大的阈值0.95进行筛选时,符合条件的图像和帧画面还有1000张,此时,这1000张图像和帧画面对应的音视频均聚类至丁的名称下面。
在一些实施方式中,为了增加相似度比对的效率,需要对待分类图像进行降维处理。具体请参阅图5,图5为本实施例对待分类图像进行降维的流程示意图。
如图5所述,步骤S1100之前还包括下述步骤:
S1011、获取所述待分类图像;
本实施方式中,待分类图像包括:存储在数据库中图像和音视频中提取的帧画面图像。在一些实施方式中,当聚类的目的是以人脸图像为样本图像时,提取的帧画面图像需要输入到预设的人脸识别模型中,检测帧画面图像中是否存在人脸,当人脸图像存在时,该帧画面才能够表征该音视频。人脸识别模型能够是CNN卷积神经网络模型、VGG卷积神经网络模型、insightface人脸识别模型或者k-means计算模型。依次读取存储的待分类图像。
S1012、将所述待分类图像输入到预设的PCA降维模型中,以将所述待分类图像降维至预设维度。
将获取的待分类图像输入到预设的PCA降维模型中,进行图像降维,PCA降维模型通过单幅图像数据的高维化,将单幅图像转化为高维空间中的数据集合,对其进行非线性降维。寻求其高维数据流形本征结构的一维表示向量,将其作为图像数据的特征表达向量。
本实施方式中的降维模型不局限于此,在一些实施方式中,能够采用非线性降维方法对待识别图像进行降维。
降维的结果是将所有的待识别图像降维至128维,但降维的结果不局限于此,在不同的应用环境中,降维结果还能够为(不限于):32、64、256、512或1024维。
在一些实施方式中,样本图像也需要进行降维处理,降维至与待识别图像相同的维度以便于比对。
上述实施方式通过对待识别图像进行统一降维,提高了相似度比对的效率。
在一些实施方式中,需要通过模型计算待分类图像与样本图像之间的关联度。具体请参阅图6,图6为本实施例通过模型计算关联度的方法流程图。
如图6所示,步骤S1012之后还包括下述步骤:
S1021、获取降维后的待分类图像;
待分类图像降维后,获取该降维后的图像进行相似度比对的处理。
S1022、将所述降维后的待分类图像输入到预设的相似度判断模型中,计算所述降维后的待分类图像与所述样本图像之间的关联度。
将降维后的待分类图像输入到预设的相似度判断模型中,相似度判断模型是训练用于比对图像相似度的模型。具体地,相似度计算模型能够是CNN卷积神经网络模型、VGG卷积神经网络模型、insightface人脸识别模型或者k-means计算模型。上述模型预先训练至收敛或者搭建,将样本图像作为参照,将待识别图像作为输入,输出则为样本图像与待识别图像之间的相似度。相似对输出经过归一化处理,输出值均在0-1之间。
通过采用模型对待识别图像和样本图像的相似度进行计算,提高了比对的效率以及比对的准确率。
在一些实施方式中,对图像进行聚类处理是为了跟踪平台中流量中占比较高的用户,因此,需要通过用户的流量信息筛选样本图像。具体请参阅图7,图7为本实施例筛选样本图像的流程示意图。
如图7所示,步骤S1100之前还包括下述步骤:
S1031、获取用户列表,其中,所述用户列表中包括用户的流量信息;
本实施方式中,通过流量信息对平台内的网红用户进行信息分类追踪,为用户提供更准确的分类检索和分发的方法。
平台的用户在获取观看平台的音视频和图像时,产生下载的流量,平台服务器端以平台用户为单位记录各用户的流量信息,即每个用户长传的图片和音视频产生的流量,均记录在该用户的账户上。
将平台内所有的用户账号记录在用户列表中,该用户列表中存储用户的账号信息以及一段时期内该账号上传信息产生的下载流量信息。但用户列表中不仅记录上述信息,在一些实施方式中,用户列表还记载账号上传信息的点击量信息或者浏览量信息。
S1032、以流量的数值为限定条件对所述用户列表中的用户进行降序排列;
以流量的数值大小对用户列表中的用户进行排序,排序的方式是由大到小(降序)的方式进行排序。在一些实施方式中,排序的依据还能够根据(不限于)点击量信息或者浏览量信息进行排序。
S1033、由首位开始依次确认所述用户列表中用户的人脸图像为所述样本图像。
根据用户列表中排序方式,有首位开始依次将排序账号中的用户的人脸图像确定为样本图像。用户账号中的实名制名字、注册名、颜值、性别、年龄、种族、艺名、账号以及账号关联的其他社交账号当中的一种或者多种的组合,均能够成为该样本图像所表征的分类类别。
在一些实施方式中,聚类方法仅仅对部分网红用户的音视频和图像进行聚类,因此,仅仅将排列前十或者前三十位的用户账户的人脸图像指定为样本图像,或者将流量信息超过一定数值(例如,100G)的用户账户的人脸图像指定为样本图像。
通过采用流量统计的方式获取样本图像,能够针对热门音视频或图像中的人脸进行聚类,跟踪到上热门次数较多的网红,有效地对热门视频进行管理和流量的分发。
为解决上述技术问题,本发明实施例还提供一种图像聚类装置。
具体请参阅图8,图8为本实施例图像聚类装置基本结构示意图。
如图8所示,一种图像聚类装置,包括:获取模块2100、处理模块2200和执行模块2300。其中,获取模块2100用于获取待分类图像与样本图像之间的相似度;处理模块2200用于将相似度与预设阈值列表中的当前轮值阈值进行比对;执行模块2300用于当相似度大于当前轮值阈值时,将待分类图像归集至样本图像所表征的聚类列表中。
图像聚类装置通过相似度比对模型获取到待分类图像与样本图像之间的相似度,获得该相似度后,将相似度与预设的阈值进行比对,根据比对结果对待分类图像进行分类,当相似度大于预设的阈值时,待分类图像归集至当前阈值所表征的聚类列表中。由于相似度计算的是待分类图像与样本图像之间的关联度,因此,分类结果也与样本图像直接关联,同时,对关联度分类进行阈值限定使分类结果更加的准确,通过更换不同的样本图像就能够实现对不同类别的划分,提高了分类的多样性,同时由于没有人为的干预大大提高了分类的效率。
在一些实施方式中,图像聚类装置还包括:第一获取子模块、第一处理子模块和第一执行子模块。其中,第一获取子模块用于获取聚类列表中图像的数目;第一处理子模块用于将图像的数目与预设的极限阈值进行比对;第一执行子模块用于当图像的数目大于极限阈值时,释放聚类列表中的所有图像至待分类列表中。
在一些实施方式中,图像聚类装置还包括:第一确认子模块和第一聚类子模块。其中,第一确认子模块用于确认排列在当前轮值阈值下一位的轮值阈值为分类阈值,其中,下一位的轮值阈值大于当前轮值阈值;第一聚类子模块用于以分类阈值为限定条件对待分类列表中的图像进行聚类。
在一些实施方式中,图像聚类装置还包括:第二获取子模块和第二执行子模块。其中,第二获取子模块用于获取阈值列表中数值最大的轮值阈值;第二执行子模块用于将相似度大于数值最大的轮值阈值的待识别图像,聚类至样本图像所表征的聚类列表中。
在一些实施方式中,图像聚类装置还包括:第三获取子模块和第三执行子模块。其中,第三获取子模块用于获取待分类图像;第三执行子模块用于将待分类图像输入到预设的PCA降维模型中,以将待分类图像降维至预设维度。
在一些实施方式中,图像聚类装置还包括:第四获取子模块和第四执行子模块。其中,第四获取子模块用于获取降维后的待分类图像;第四执行子模块用于将降维后的待分类图像输入到预设的相似度判断模型中,计算降维后的待分类图像与样本图像之间的关联度。
在一些实施方式中,图像聚类装置还包括:第五获取子模块、第一排列子模块和第一排列子模块。其中,第五获取子模块用于获取用户列表,其中,用户列表中包括用户的流量信息;第一排列子模块用于以流量的数值为限定条件对用户列表中的用户进行降序排列;第五执行子模块用于由首位开始依次确认用户列表中用户的人脸图像为样本图像。
为解决上述技术问题,本发明实施例还提供计算机设备。具体请参阅图9,图9为本实施例计算机设备基本结构框图。
如图9所示,计算机设备的内部结构示意图。如图9所示,该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种图像聚类方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种图像聚类方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行图8中获取模块2100、处理模块2200和执行模块2300的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有人脸图像关键点检测装置中执行所有子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备中通过相似度比对模型获取到待分类图像与样本图像之间的相似度,获得该相似度后,将相似度与预设的阈值进行比对,根据比对结果对待分类图像进行分类,当相似度大于预设的阈值时,待分类图像归集至当前阈值所表征的聚类列表中。由于相似度计算的是待分类图像与样本图像之间的关联度,因此,分类结果也与样本图像直接关联,同时,对关联度分类进行阈值限定使分类结果更加的准确,通过更换不同的样本图像就能够实现对不同类别的划分,提高了分类的多样性,同时由于没有人为的干预大大提高了分类的效率。
本发明还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例所述图像聚类方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

Claims (12)

1.一种图像聚类方法,其特征在于,包括下述步骤:
获取待分类图像与样本图像之间的相似度;
将所述相似度与预设阈值列表中的当前轮值阈值进行比对;
当所述相似度大于所述当前轮值阈值时,将所述待分类图像归集至所述样本图像所表征的聚类列表中;
获取所述聚类列表中图像的数目;
将所述图像的数目与预设的极限阈值进行比对;
当所述图像的数目大于所述极限阈值时,释放所述聚类列表中的所有图像至待分类列表中;
确认排列在所述当前轮值阈值下一位的轮值阈值为分类阈值,其中,所述下一位的轮值阈值大于所述当前轮值阈值;
以所述分类阈值为限定条件对所述待分类列表中的图像进行聚类。
2.根据权利要求1所述的图像聚类方法,其特征在于,当阈值列表中的阈值替换至倒数第二位,且筛选的图像数量大于设定的所述极限阈值时,所述方法还包括下述步骤:
获取所述阈值列表中数值最大的轮值阈值;
将所述相似度大于所述数值最大的轮值阈值的待识别图像,聚类至所述样本图像所表征的聚类列表中。
3.根据权利要求1所述的图像聚类方法,其特征在于,获取待分类图像与样本图像之间的相似度的步骤之前,还包括下述步骤:
获取所述待分类图像;
将所述待分类图像输入到预设的PCA降维模型中,以将所述待分类图像降维至预设维度。
4.根据权利要求3所述的图像聚类方法,其特征在于,所述将所述待分类图像输入到预设的PCA降维模型中,以将所述待分类图像降维至预设维度的步骤之后,还包括下述步骤:
获取降维后的待分类图像;
将所述降维后的待分类图像输入到预设的相似度判断模型中,计算所述降维后的待分类图像与所述样本图像之间的关联度。
5.根据权利要求1所述的图像聚类方法,其特征在于,所述获取待分类图像与样本图像之间的相似度的步骤之前,还包括下述步骤:
获取用户列表,其中,所述用户列表中包括用户的流量信息;
以流量的数值为限定条件对所述用户列表中的用户进行降序排列;
由首位开始依次确认所述用户列表中用户的人脸图像为所述样本图像。
6.一种图像聚类装置,其特征在于,包括:
获取模块,用于获取待分类图像与样本图像之间的相似度;
处理模块,用于将所述相似度与预设阈值列表中的当前轮值阈值进行比对;
执行模块,用于当所述相似度大于所述当前轮值阈值时,将所述待分类图像归集至所述样本图像所表征的聚类列表中;
第一获取子模块,用于获取所述聚类列表中图像的数目;
第一处理子模块,用于将所述图像的数目与预设的极限阈值进行比对;
第一执行子模块,用于当所述图像的数目大于所述极限阈值时,释放所述聚类列表中的所有图像至待分类列表中;
第一确认子模块,用于确认排列在所述当前轮值阈值下一位的轮值阈值为分类阈值,其中,所述下一位的轮值阈值大于所述当前轮值阈值;
第一聚类子模块,用于以所述分类阈值为限定条件对所述待分类列表中的图像进行聚类。
7.根据权利要求6所述的图像聚类装置,其特征在于,所述图像聚类装置还包括:
第二获取子模块,用于获取所述阈值列表中数值最大的轮值阈值;
第二执行子模块,用于将所述相似度大于所述数值最大的轮值阈值的待识别图像,聚类至所述样本图像所表征的聚类列表中。
8.根据权利要求6所述的图像聚类装置,其特征在于,所述图像聚类装置还包括:
第三获取子模块,用于获取所述待分类图像;
第三执行子模块,用于将所述待分类图像输入到预设的PCA降维模型中,以将所述待分类图像降维至预设维度。
9.根据权利要求8所述的图像聚类装置,其特征在于,所述图像聚类装置还包括:
第四获取子模块,用于获取降维后的待分类图像;
第四执行子模块,用于将所述降维后的待分类图像输入到预设的相似度判断模型中,计算所述降维后的待分类图像与所述样本图像之间的关联度。
10.根据权利要求6所述的图像聚类装置,其特征在于,所述图像聚类装置还包括:
第五获取子模块,用于获取用户列表,其中,所述用户列表中包括用户的流量信息;
第一排列子模块,用于以流量的数值为限定条件对所述用户列表中的用户进行降序排列;
第五执行子模块,用于由首位开始依次确认所述用户列表中用户的人脸图像为所述样本图像。
11.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项权利要求所述图像聚类方法的步骤。
12.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至5中任一项权利要求所述图像聚类方法的步骤。
CN201810653849.7A 2018-06-22 2018-06-22 图像聚类方法、装置、计算机设备及存储介质 Active CN108875834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810653849.7A CN108875834B (zh) 2018-06-22 2018-06-22 图像聚类方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810653849.7A CN108875834B (zh) 2018-06-22 2018-06-22 图像聚类方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108875834A CN108875834A (zh) 2018-11-23
CN108875834B true CN108875834B (zh) 2019-08-20

Family

ID=64294298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810653849.7A Active CN108875834B (zh) 2018-06-22 2018-06-22 图像聚类方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN108875834B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597980B (zh) * 2018-12-17 2023-04-28 北京嘀嘀无限科技发展有限公司 一种目标对象聚类方法及装置
CN109948734B (zh) * 2019-04-02 2022-03-29 北京旷视科技有限公司 图像聚类方法、装置及电子设备
CN110490057B (zh) * 2019-07-08 2020-10-27 光控特斯联(上海)信息科技有限公司 一种基于人脸大数据人工智能聚类的自适应识别方法与***
CN110443297B (zh) * 2019-07-30 2022-06-07 浙江大华技术股份有限公司 图像的聚类方法、装置及计算机存储介质
CN110626674A (zh) * 2019-08-26 2019-12-31 江汉大学 垃圾分类装置和垃圾分类方法
CN110750661B (zh) * 2019-09-04 2022-09-16 成都华为技术有限公司 检索图像的方法、装置、计算机设备和存储介质
CN112464966B (zh) * 2019-09-06 2024-07-02 富士通株式会社 鲁棒性估计方法、数据处理方法和信息处理设备
US20230245421A1 (en) * 2021-03-18 2023-08-03 Boe Technology Group Co., Ltd. Face clustering method and apparatus, classification storage method, medium and electronic device
CN117056547B (zh) * 2023-10-13 2024-01-26 深圳博十强志科技有限公司 一种基于图像识别的大数据分类方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN101271528A (zh) * 2008-04-11 2008-09-24 北京中星微电子有限公司 一种输出图像的方法及装置
CN101655909A (zh) * 2008-08-21 2010-02-24 索尼(中国)有限公司 匹配程度计算装置及方法
US7936929B2 (en) * 2005-06-09 2011-05-03 Canon Kabushiki Kaisha Image processing method and apparatus for removing noise from a document image
JP5699595B2 (ja) * 2010-12-24 2015-04-15 株式会社ニコン 画像処理装置、画像分類プログラム、及び、画像表示プログラム
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984199B2 (en) * 2015-05-21 2018-05-29 Ge Healthcare Bio-Sciences Corp. Method and system for classification and quantitative analysis of cell types in microscopy images
CN107909104B (zh) * 2017-11-13 2023-07-18 腾讯数码(天津)有限公司 一种图片的人脸聚类方法、装置及存储介质
CN108121816B (zh) * 2017-12-28 2020-09-08 Oppo广东移动通信有限公司 图片分类方法、装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936929B2 (en) * 2005-06-09 2011-05-03 Canon Kabushiki Kaisha Image processing method and apparatus for removing noise from a document image
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN101271528A (zh) * 2008-04-11 2008-09-24 北京中星微电子有限公司 一种输出图像的方法及装置
CN101655909A (zh) * 2008-08-21 2010-02-24 索尼(中国)有限公司 匹配程度计算装置及方法
JP5699595B2 (ja) * 2010-12-24 2015-04-15 株式会社ニコン 画像処理装置、画像分類プログラム、及び、画像表示プログラム
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置

Also Published As

Publication number Publication date
CN108875834A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108875834B (zh) 图像聚类方法、装置、计算机设备及存储介质
CN110263613A (zh) 监控视频处理方法及装置
Lan et al. Ffnet: Video fast-forwarding via reinforcement learning
CN108595461B (zh) 兴趣探索方法、存储介质、电子设备及***
US20160323658A1 (en) Method and system for producing relevance sorted video summary
CN111209440A (zh) 一种视频播放方法、装置和存储介质
WO2011097041A2 (en) Recommending user image to social network groups
CN102207954A (zh) 电子设备、内容推荐方法及其程序
CN111368141B (zh) 视频标签的扩展方法、装置、计算机设备和存储介质
CN106878767A (zh) 视频播放方法和装置
CN106339507A (zh) 流媒体消息推送方法和装置
CN111460195B (zh) 图片处理方法、装置、存储介质及电子设备
CN109195011B (zh) 一种视频处理方法、装置、设备及存储介质
CN110162643A (zh) 电子相册报告生成方法、装置及存储介质
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN111816170B (zh) 一种音频分类模型的训练和垃圾音频识别方法和装置
Papadopoulos et al. Automatic summarization and annotation of videos with lack of metadata information
CN112348003A (zh) 基于深度卷积神经网络的飞机加油场景识别方法及***
CN106407434A (zh) 视频推送方法及***
CN112328888A (zh) 信息推荐方法、装置、服务器及存储介质
Cheng et al. Semantically-driven automatic creation of training sets for object recognition
CN113742580B (zh) 目标类型数据的召回方法、装置、电子设备及存储介质
CN114363565A (zh) 一种视频轮巡方法、装置、设备及介质
US10885619B2 (en) Context-based imagery selection
CN110309753A (zh) 一种赛事进程判别方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant