CN109086744A - 信息处理方法及装置 - Google Patents
信息处理方法及装置 Download PDFInfo
- Publication number
- CN109086744A CN109086744A CN201810993318.2A CN201810993318A CN109086744A CN 109086744 A CN109086744 A CN 109086744A CN 201810993318 A CN201810993318 A CN 201810993318A CN 109086744 A CN109086744 A CN 109086744A
- Authority
- CN
- China
- Prior art keywords
- sift
- video image
- cluster centre
- description
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 37
- 239000000284 extract Substances 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012550 audit Methods 0.000 abstract description 20
- 238000010586 diagram Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的信息处理方法及装置,所述方法包括:获取目标视频图像;提取所述目标视频图像的SIFT描述子;利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像。本发明实现了视频内容的自动化审核过程,并且根据与参考视频图像的SIFT描述子相对应的聚类中心,以及所述目标视频图像的SIFT描述子与所述图像数据库中的聚类中心之间的距离关系,来确定是否检索到所述目标视频图像,提高了视频内容的审核精度与审核效率,同时节省了大量的人力成本。
Description
技术领域
本发明涉及信息处理技术领域,更具体的说,涉及信息处理方法及装置。
背景技术
随着视频直播平台的兴起与各种视频软件的流行,每天都会有海量的视频数据在互联网上传播,为了保证视频内容的健康、和谐,需要对海量的视频内容进行严格审核,以杜绝敏感信息的传播。
传统的技术方案,通常是依赖于人工检查视频内容的方式,来确定视频中是否存在敏感信息,无论是审核效率,还是审核精度,都比较低,无法有效满足海量视频数据的审核需求。
因此,目前迫切需要一种切实有效的技术方案,以提高视频内容的审核效率与审核精度。
发明内容
有鉴于此,本发明提供了一种信息处理方法及装置,以解决目前视频内容的审核效率与审核精度较低的技术问题。
为实现上述目的,本发明提供如下技术方案:
一种信息处理方法,所述方法包括:
获取目标视频图像;
提取所述目标视频图像的尺度不变特征变换SIFT描述子;
利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;其中,所述图像数据库中包括:与参考视频图像的SIFT描述子相对应的聚类中心;所述有效SIFT描述子为,与所述图像数据库中的聚类中心的距离符合预设距离条件的SIFT描述子;
当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像。
优选的,所述图像数据库的建立过程包括:
获取参考视频图像;
提取所述参考视频图像的SIFT描述子;
基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果;
根据所述聚类结果,建立所述图像数据库。
优选的,所述获取参考视频图像包括:
获取参考视频;
将所述参考视频解码为至少一个视频图像;
对所述至少一个视频图像进行聚类处理,得到第一聚类中心集合;所述第一聚类中心集合中至少包括:所述至少一个视频图像中各个视频图像分别对应的聚类中心;
从所述第一聚类中心集合中各个聚类中心分别对应的视频图像中,提取出满足预设提取规则的视频图像,作为所述参考视频图像。
优选的,所述基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果包括:
对所述参考视频图像的SIFT描述子进行聚类处理,得到第二聚类中心集合;所述第二聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子分别对应的聚类中心;
计算第一SIFT描述子与所述第一SIFT描述子对应的聚类中心之间的差值,作为所述第一SIFT描述子的差值;所述第一SIFT描述子为,所述参考视频图像的SIFT描述子中的任一SIFT描述子;
对所述参考视频图像的SIFT描述子的差值进行聚类处理,得到第三聚类中心集合;所述第三聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子的差值分别对应的聚类中心;
其中,所述聚类结果至少包括所述第二聚类中心集合与所述第三聚类中心集合。
优选的,所述根据所述聚类结果,建立所述图像数据库包括:
基于所述参考视频图像的各个SIFT描述子,建立所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系;
根据所述第二聚类中心集合、所述第三聚类中心集合与所述对应关系,建立所述图像数据库。
优选的,所述图像数据库中包括:第二聚类中心集合与第三聚类中心集合;所述利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子包括:
从所述第二聚类中心集合中,确定与第二SIFT描述子的距离最近的聚类中心,作为第一聚类中心;其中,所述第二SIFT描述子为,所述目标视频图像的SIFT描述子中的任一SIFT描述子;
从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心;
当所述第二SIFT描述子与所述第二聚类中心的最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子。
优选的,所述当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像包括:
当所述目标视频图像的有效SIFT描述子的数目,与所述目标视频图像的所有SIFT描述子的数目之间的比值,大于预设比值阈值时,确定检索到所述目标视频图像。
一种信息处理装置,所述装置包括:
目标图像获取单元,用于获取目标视频图像;
描述子提取单元,用于提取所述目标视频图像的SIFT描述子;
有效描述子确定单元,用于利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;其中,所述图像数据库中包括:与参考视频图像的SIFT描述子相对应的聚类中心;所述有效SIFT描述子为,与所述图像数据库中的聚类中心的距离符合预设距离条件的SIFT描述子;
结果确定单元,用于当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像。
优选的,所述装置还包括:
所述数据库建立单元,用于获取参考视频图像;提取所述参考视频图像的SIFT描述子;基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果;根据所述聚类结果,建立所述图像数据库。
优选的,所述图像数据库中包括:第二聚类中心集合与第三聚类中心集合;所述有效描述子确定单元具体用于:
从所述第二聚类中心集合中,确定与第二SIFT描述子的距离最近的聚类中心,作为第一聚类中心;其中,所述第二SIFT描述子为,所述目标视频图像的SIFT描述子中的任一SIFT描述子;
从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心;
当所述第二SIFT描述子与所述第二聚类中心的最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子。
从上述的技术方案可以看出,本发明提供的信息处理方法及装置,获取目标视频图像;提取所述目标视频图像的SIFT描述子;利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像,实现了视频内容的自动化审核过程,并且根据与参考视频图像的SIFT描述子相对应的聚类中心,以及所述目标视频图像的SIFT描述子与所述图像数据库中的聚类中心之间的距离关系,来确定是否检索到所述目标视频图像,提高了视频内容的审核精度与审核效率,同时节省了大量的人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的信息处理方法的一种流程图;
图2为本发明实施例提供的图像数据库建立过程的一种流程图;
图3为本发明实施例提供的图像数据库建立过程的另一种流程图;
图4为本发明实施例提供的信息处理方法的另一种流程图;
图5为本发明实施例提供的信息处理装置的一种结构示意图;
图6为本发明实施例提供的信息处理装置的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
传统的视频内容的审核,通常是采用人工检查视频内容的方式,来确定视频中是否存在敏感信息,无论是审核效率,还是审核精度,都比较低,尤其是面对海量的视频数据时,不仅审核效率与审核精度无法保证,而且还会增加大量的人力成本。因此,本发明提供了以下信息处理方法及装置,以实现视频内容的自动化审核,不仅可以提高视频内容的审核效率及审核精度,而且还可以大幅降低人力成本,减轻工作负担。
请参阅图1,图1为本发明实施例提供的信息处理方法的一种流程图。
如图1所示,所述方法包括:
S110:获取目标视频图像。
待审核视频可以被解码为至少一个视频图像。目标视频图像是指,从待审核视频中提取出来的任一个视频图像。
S120:提取所述目标视频图像的尺度不变特征变换SIFT描述子。
SIFT(Scale-invariant feature transform,尺度不变特征变换),是用于图像处理领域的一种描述,这种描述具有尺度不变性,可在图像中检测出关键点,也是一种局部特征描述子。
S130:利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子。
所述图像数据库中包括:与参考视频图像的SIFT描述子相对应的聚类中心。所述参考视频图像是指作为审核基准的视频图像。例如,若需要审核视频内容中是否存在敏感信息,则采用参考视频图像具体为携带有敏感信息的视频图像。
基于所述参考视频图像的SIFT描述子进行聚类处理,可以得到与参考视频图像的SIFT描述子相对应的聚类中心,其中,与参考视频图像的SIFT描述子相对应的聚类中心,用于表征所述参考视频图像的特征信息。
其中,所述有效SIFT描述子为,与所述图像数据库中的聚类中心的距离符合预设距离条件的SIFT描述子。
当目标视频图像的任一SIFT描述子与所述图像数据库中的聚类中心的距离符合预设距离条件时,可以确定目标视频图像与参考视频图像之间具有相同或相似的特征信息。
S140:当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像。
当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,表明目标视频图像与参考视频图像为相同或相似的图像,可确定检索到所述目标视频图像。
相应的,当所述目标视频图像的有效SIFT描述子的数目不符合预设数目条件时,确定未检索到所述目标视频图像。
一示例中,当参考视频图像为携带有敏感信息的视频图像时,所述检索到所述目标视频图像表征,所述目标视频图像中携带有敏感信息;所述未检索到所述目标视频图像表征,所述目标视频图像中未携带有敏感信息。
当检索到待审核视频的任一视频图像时,表征所述待审核视频中携带有敏感信息,可以不再对该待审核视频中的其他视频图像进行处理,以提高该待审核视频的审核效率;当待审核视频的所有视频图像均未被检索到时,表征所述待审核视频中未携带有敏感信息,从而实现针对待审核视频的自动化审核。
本实施例提供的信息处理方法,获取目标视频图像;提取所述目标视频图像的SIFT描述子;利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像,实现了视频内容的自动化审核过程,并且根据与参考视频图像的SIFT描述子相对应的聚类中心,以及所述目标视频图像的SIFT描述子与所述图像数据库中的聚类中心之间的距离关系,来确定是否检索到所述目标视频图像,提高了视频内容的审核精度与审核效率,同时节省了大量的人力成本。
在具体应用中,本申请实施例还提供了相应的图像数据库的建立过程。
请参阅图2,图2为本发明实施例提供的图像数据库建立过程的一种流程图。
如图2所示,所述图像数据库建立过程包括:
S210:获取参考视频图像。
参考视频图像是用于作为审核基准的视频图像,其可以是从参考视频中提取出来的至少一个视频图像。
S220:提取所述参考视频图像的SIFT描述子。
参考视频图像的SIFT描述子,可用于描述参考视频图像的特征信息。具体地,当所述参考视频图像为携带有敏感信息的图像时,所述参考视频图像的SIFT描述子,可用于描述所述参考视频图像的敏感信息。
S230:基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果。
其中,可采用K-means聚类算法,对所述参考视频图像的SIFT描述子进行聚类处理。
所述聚类结果至少包括:与参考视频图像的各个SIFT描述子分别相对应的聚类中心。
S240:根据所述聚类结果,建立所述图像数据库。
当所述参考视频图像为携带有敏感信息的视频图像时,所述图像数据库就是用于检索携带有敏感信息的视频图像的数据库,当利用图像数据库检索到目标视频图像时,则确定该目标视频图像携带有敏感信息,实现针对目标视频图像的审核。
本实施例提供的图像数据库建立过程中,获取参考视频图像,提取所述参考视频图像的SIFT描述子,基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果,并根据所述聚类结果,建立所述图像数据库,从而提高了图像数据库中的图像特征信息的准确性。
请参阅图3,图3为本发明实施例提供的图像数据库建立过程的另一种流程图。
如图3所示,所述图像数据库建立过程包括:
S310:获取参考视频图像。
一示例中,步骤S310具体可包括:
a1、获取参考视频。
a2、将所述参考视频解码为至少一个视频图像。
其中,可利用CPU硬解码或GPU硬解码方式,将所述参考视频解码为至少一个视频图像。
a3、对所述至少一个视频图像进行聚类处理,得到第一聚类中心集合。
所述第一聚类中心集合中至少包括:所述至少一个视频图像中各个视频图像分别对应的聚类中心。
一示例中,可采用K-means聚类算法对所述至少一个视频图像进行聚类处理,其中,K的值取决于不同视频内容的数目。例如,当参考视频包括N个不同的视频内容时,则K的值等于N,N>1。所述不同的视频内容可以是指参考视频中不同的敏感镜头。不同的聚类中心对应不同的视频内容。
a4、从所述第一聚类中心集合中各个聚类中心分别对应的视频图像中,提取出满足预设提取规则的视频图像,作为所述参考视频图像。
其中,对于第一聚类中心集合中的任一聚类中心,可以选取距离该聚类中心最近的M个视频图像,作为该聚类中心对应的参考视频图像,进而得到各个聚类中心分别对应的参考视频图像。一示例中,所述M的值优选为4,当然也可以为其他值,可根据具体需求灵活设置。
进一步地,所述M个视频图像为,与该聚类中心的相似度大于预设相似度阈值的视频图像。一示例中,所述预设相似度阈值为90%,当然也可以为其他值,可根据具体需求灵活设置。
当M的值为4且预设相似度阈值为90%时,能够充分保证提取出来的视频图像的准确性。在该条件下提取出来的视频图像,能够充分符合该聚类中心所表征的图像特征信息。
相应的,所述预设提取规则可包括:从聚类中心对应的视频图像中,提取与该聚类中心的相似度大于预设相似度阈值的视频图像;或者,从聚类中心对应的视频图像中,提取与该聚类中心的相似度大于预设相似度阈值的预设数目的视频图像。
S320:提取所述参考视频图像的SIFT描述子。
提取所述参考视频图像的SIFT描述子,是指提取获取到的所有参考视频图像的SIFT描述子。
一示例中,可利用OpenCV(Open Source Computer Vision Library,开源计算机视觉库),提取所述参考视频图像的SIFT描述子。
S330:对所述参考视频图像的SIFT描述子进行聚类处理,得到第二聚类中心集合。
所述第二聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子分别对应的聚类中心。
在对所述参考视频图像的SIFT描述子进行聚类处理时,是将待审核视频中所有参考视频图像的所有SIFT描述子汇总在一起来进行统一的聚类处理,并记录各个SIFT描述子被分别划归到哪一个聚类中心。
一示例中,可以采用K-mean聚类算法,对所述参考视频图像的SIFT描述子进行聚类处理,得到第二聚类中心集合,其中,K值优选为1024,即所述第二聚类中心集合中包括1024个聚类中心。
S340:计算第一SIFT描述子与所述第一SIFT描述子对应的聚类中心之间的差值,作为所述第一SIFT描述子的差值。
所述参考视频图像包括至少一个SIFT描述子。所述第一SIFT描述子为,所述参考视频图像的SIFT描述子中的任一SIFT描述子。
S350:对所述参考视频图像的SIFT描述子的差值进行聚类处理,得到第三聚类中心集合。
在对所述参考视频图像的SIFT描述子的差值进行聚类处理时,是将待审核视频中所有参考视频图像的所有SIFT描述子的差值汇总在一起来进行统一的聚类处理,并记录各个SIFT描述子的差值被分别划归到哪一个聚类中心。
所述第三聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子的差值分别对应的聚类中心。
一示例中,可以采用K-mean聚类算法,对所述参考视频图像的SIFT描述子的差值进行聚类处理,得到第三聚类中心集合,其中,K值优选为256,即所述第三聚类中心集合中包括256个聚类中心。
其中,所述步骤S330~S350,可用于实现前述实施例中的步骤S230,所述聚类结果至少包括:所述第二聚类中心集合与所述第三聚类中心集合。
S360:基于所述参考视频图像的各个SIFT描述子,建立所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系。
其中,所述参考视频图像的任一SIFT描述子在第二聚类中心集合中对应的聚类中心,与该SIFT描述子的差值在第三聚类中心集合中对应的聚类中心之间,具有对应关系。
S370:根据所述第二聚类中心集合、所述第三聚类中心集合与所述对应关系,建立所述图像数据库。
所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系,可参考下表1所示:
表1第二聚类中心集合信息表
表1中,聚类中心编号为第二聚类中心集合中聚类中心的编号;SIFT描述子为第二聚类中心集合中聚类中心对应的SIFT描述子;描述子的差值为表1中SIFT描述子的差值;差值所属聚类中心编号为表1中描述子的差值对应的第三聚类中心集合中的聚类中心的编号。
在实际应用中,图像数据库中只需要存储第二聚类中心集合与第三聚类中心集合中各聚类中心的编号、数值以及各聚类中心之间的对应关系。
其中,步骤S360~S370可用于实现前述实施例中的步骤S240。
本实施例提供的图像数据库建立过程,获取参考视频图像;提取所述参考视频图像的SIFT描述子;对所述参考视频图像的SIFT描述子进行聚类处理,得到第二聚类中心集合;计算第一SIFT描述子与所述第一SIFT描述子对应的聚类中心之间的差值,作为所述第一SIFT描述子的差值;对所述参考视频图像的SIFT描述子的差值进行聚类处理,得到第三聚类中心集合;基于所述参考视频图像的各个SIFT描述子,建立所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系;根据所述第二聚类中心集合、所述第三聚类中心集合与所述对应关系,建立了能够充分涵盖参考视频图像中特征信息的图像数据库,为目标视频图像的检索、审核提供了准确、可靠的数据库支持。
请参阅图4,图4为本发明实施例提供的信息处理方法的另一种流程图。
本实施例中,预置的图像数据库中至少包括:第二聚类中心集合与第三聚类中心集合。
如图4所示,所述方法包括:
S410:获取目标视频图像。
目标视频图像是指,从待审核视频中提取出来的任一个视频图像。
S420:提取所述目标视频图像的SIFT描述子。
S430:从所述第二聚类中心集合中,确定与第二SIFT描述子的距离最近的聚类中心,作为第一聚类中心。
其中,所述第二SIFT描述子为,所述目标视频图像的SIFT描述子中的任一SIFT描述子。
例如,第一聚类中心集合中有1024个聚类中心,计算第二SIFT描述子与这1024个聚类中心之间的距离,将1024个聚类中心中与所述第二SIFT描述子距离最近的聚类中心,记为第一聚类中心。
S440:从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心。
具体地,所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间具有对应关系,步骤S440具体为,根据所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系,从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心。
例如,第三聚类中心集合中有256个聚类中心,从这256个聚类中心中确定出与所述第一聚类中心相对应的聚类中心,记为第二聚类中心。
S450:当所述第二SIFT描述子与所述第二聚类中心的最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子。
与所述第一聚类中心相对应的聚类中心,可能有一个,也可能有多个,即,所述第二聚类中心有至少一个。
计算所述第二SIFT描述子与至少一个第二聚类中心中各个第二聚类中心之间的距离,将计算出来的距离的最大值作为最大距离值,当所述最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子。
从所述目标视频图像的所有SIFT描述子中,可以确定出所述目标视频图像的所有的有效SIFT描述子。
相应的,所述预设距离条件为,与所述第二聚类中心的最大距离值小于预设距离阈值。
一示例中,所述预设距离阈值优选为0.5,当然也可以为其他值,可根据具体需求进行灵活设置。
S460:当所述目标视频图像的有效SIFT描述子的数目,与所述目标视频图像的所有SIFT描述子的数目之间的比值,大于预设比值阈值时,确定检索到所述目标视频图像。
所述预设数目条件为,与所述目标视频图像的所有SIFT描述子的数目之间的比值大于预设比值阈值。
一示例中,所述预设比值阈值优选为50%,当然也可以为其他值,可根据具体需求进行灵活设置。
相应的,当所述目标视频图像的有效SIFT描述子的数目,与所述目标视频图像的所有SIFT描述子的数目之间的比值,不大于预设比值阈值时,确定未检索到所述目标视频图像。
当待审核视频的任一视频图像被检索到时,确定所述待审核视频被检索到;当待审核视频的所有视频图像均未被检索到时,确定所述待审核视频未被检索到,从而实现对待审核视频的审核。
当参考视频图像为携带有敏感信息的图像时,所述待审核视频被检索到表征,所述待审核视频携带有敏感信息;所述待审核视频未被检索到表征,所述待审核视频未携带有敏感信息。
本实施例提供的信息处理方法,获取目标视频图像;提取所述目标视频图像的SIFT描述子;从所述第二聚类中心集合中,确定与第二SIFT描述子的距离最近的聚类中心,作为第一聚类中心;从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心;当所述第二SIFT描述子与所述第二聚类中心的最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子;当所述目标视频图像的有效SIFT描述子的数目,与所述目标视频图像的所有SIFT描述子的数目之间的比值,大于预设比值阈值时,确定检索到所述目标视频图像。本发明的信息处理方法,具有较高的检索速度与检索精度,进而在实现视频审核自动化的同时,提高了视频的审核效率与审核精度,减轻了人工负担。
本发明实施例还提供了信息处理装置,所述信息处理装置用于实施本发明实施例提供的信息处理方法,下文描述的信息处理装置的技术内容,可与上文描述的信息处理方法的技术内容与相互对应参照。
请参阅图5,图5为本发明实施例提供的信息处理装置的一种结构示意图。
如图5所示,所述信息处理装置包括:
目标图像获取单元510,用于获取目标视频图像。
描述子提取单元520,用于提取所述目标视频图像的SIFT描述子。
有效描述子确定单元530,用于利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子。
其中,所述图像数据库中包括:与参考视频图像的SIFT描述子相对应的聚类中心;所述有效SIFT描述子为,与所述图像数据库中的聚类中心的距离符合预设距离条件的SIFT描述子。
结果确定单元540,用于当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像。
相应的,当所述目标视频图像的有效SIFT描述子的数目不符合预设数目条件时,确定未检索到所述目标视频图像。
本实施例提供的信息处理装置,获取目标视频图像;提取所述目标视频图像的SIFT描述子;利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像,实现了视频内容的自动化审核过程,并且根据与参考视频图像的SIFT描述子相对应的聚类中心,以及所述目标视频图像的SIFT描述子与所述图像数据库中的聚类中心之间的距离关系,来确定是否检索到所述目标视频图像,提高了视频内容的审核精度与审核效率,同时节省了大量的人力成本。
请参阅图6,图6为本发明实施例提供的信息处理装置的另一种结构示意图。
如图6所示,所述信息处理装置除了包括前述实施例中的目标图像获取单元510、描述子提取单元520、有效描述子确定单元530与结果确定单元540外,还可以包括:数据库建立单元550。
所述数据库建立单元550,用于获取参考视频图像;提取所述参考视频图像的SIFT描述子;基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果;根据所述聚类结果,建立所述图像数据库。
一示例中,所述获取参考视频图像包括:
获取参考视频;将所述参考视频解码为至少一个视频图像;对所述至少一个视频图像进行聚类处理,得到第一聚类中心集合;所述第一聚类中心集合中至少包括:所述至少一个视频图像中各个视频图像分别对应的聚类中心;从所述第一聚类中心集合中各个聚类中心分别对应的视频图像中,提取出满足预设提取规则的视频图像,作为所述参考视频图像。
一示例中,所述基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果包括:
对所述参考视频图像的SIFT描述子进行聚类处理,得到第二聚类中心集合;所述第二聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子分别对应的聚类中心;
计算第一SIFT描述子与所述第一SIFT描述子对应的聚类中心之间的差值,作为所述第一SIFT描述子的差值;所述第一SIFT描述子为,所述参考视频图像的SIFT描述子中的任一SIFT描述子;
对所述参考视频图像的SIFT描述子的差值进行聚类处理,得到第三聚类中心集合;所述第三聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子的差值分别对应的聚类中心;
其中,所述聚类结果至少包括所述第二聚类中心集合与所述第三聚类中心集合。
一示例中,所述根据所述聚类结果,建立所述图像数据库包括:
基于所述参考视频图像的各个SIFT描述子,建立所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系;
根据所述第二聚类中心集合、所述第三聚类中心集合与所述对应关系,建立所述图像数据库。
其中,所述图像数据库可以预置在所述信息处理装置中,作为所述信息处理装置的一部分,也可以预置在所述信息处理装置之外的其他装置中,在此不做具体限定。
一示例中,所述图像数据库中包括:第二聚类中心集合与第三聚类中心集合;所述有效描述子确定单元530具体用于:
从所述第二聚类中心集合中,确定与第二SIFT描述子的距离最近的聚类中心,作为第一聚类中心;其中,所述第二SIFT描述子为,所述目标视频图像的SIFT描述子中的任一SIFT描述子;
从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心;
当所述第二SIFT描述子与所述第二聚类中心的最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子。
一示例中,所述结果确定单元540具体用于:
当所述目标视频图像的有效SIFT描述子的数目,与所述目标视频图像的所有SIFT描述子的数目之间的比值,大于预设比值阈值时,确定检索到所述目标视频图像。
相应的,当所述目标视频图像的有效SIFT描述子的数目,与所述目标视频图像的所有SIFT描述子的数目之间的比值,不大于预设比值阈值时,确定未检索到所述目标视频图像。
本实施例提供的图像数据库建立过程,获取参考视频图像;提取所述参考视频图像的SIFT描述子;对所述参考视频图像的SIFT描述子进行聚类处理,得到第二聚类中心集合;计算第一SIFT描述子与所述第一SIFT描述子对应的聚类中心之间的差值,作为所述第一SIFT描述子的差值;对所述参考视频图像的SIFT描述子的差值进行聚类处理,得到第三聚类中心集合;基于所述参考视频图像的各个SIFT描述子,建立所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系;根据所述第二聚类中心集合、所述第三聚类中心集合与所述对应关系,建立了能够充分涵盖参考视频图像中特征信息的图像数据库,为目标视频图像的检索、审核提供了准确、可靠的数据库支持。
本发明实施例提供的信息处理装置,包括处理器和存储器,上述目标图像获取单元510、描述子提取单元520、有效描述子确定单元530、结果确定单元540与数据库建立单元550等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决目前视频内容的审核效率与审核精度较低的技术问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现前述的信息处理方法的步骤。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行前述的信息处理方法的步骤。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现前述的信息处理方法的步骤。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有前述的信息处理方法的步骤的程序。
最后,还需要说明的是,在本文中,诸如第一和第一等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式来实现。基于这样的理解,本申请的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种信息处理方法,其特征在于,所述方法包括:
获取目标视频图像;
提取所述目标视频图像的尺度不变特征变换SIFT描述子;
利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;其中,所述图像数据库中包括:与参考视频图像的SIFT描述子相对应的聚类中心;所述有效SIFT描述子为,与所述图像数据库中的聚类中心的距离符合预设距离条件的SIFT描述子;
当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像。
2.如权利要求1所述的方法,其特征在于,所述图像数据库的建立过程包括:
获取参考视频图像;
提取所述参考视频图像的SIFT描述子;
基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果;
根据所述聚类结果,建立所述图像数据库。
3.如权利要求2所述的方法,其特征在于,所述获取参考视频图像包括:
获取参考视频;
将所述参考视频解码为至少一个视频图像;
对所述至少一个视频图像进行聚类处理,得到第一聚类中心集合;所述第一聚类中心集合中至少包括:所述至少一个视频图像中各个视频图像分别对应的聚类中心;
从所述第一聚类中心集合中各个聚类中心分别对应的视频图像中,提取出满足预设提取规则的视频图像,作为所述参考视频图像。
4.如权利要求2所述的方法,其特征在于,所述基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果包括:
对所述参考视频图像的SIFT描述子进行聚类处理,得到第二聚类中心集合;所述第二聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子分别对应的聚类中心;
计算第一SIFT描述子与所述第一SIFT描述子对应的聚类中心之间的差值,作为所述第一SIFT描述子的差值;所述第一SIFT描述子为,所述参考视频图像的SIFT描述子中的任一SIFT描述子;
对所述参考视频图像的SIFT描述子的差值进行聚类处理,得到第三聚类中心集合;所述第三聚类中心集合中至少包括:所述参考视频图像的各个SIFT描述子的差值分别对应的聚类中心;
其中,所述聚类结果至少包括所述第二聚类中心集合与所述第三聚类中心集合。
5.如权利要求4所述的方法,其特征在于,所述根据所述聚类结果,建立所述图像数据库包括:
基于所述参考视频图像的各个SIFT描述子,建立所述第二聚类中心集合中各个聚类中心与所述第三聚类中心集合中各个聚类中心之间的对应关系;
根据所述第二聚类中心集合、所述第三聚类中心集合与所述对应关系,建立所述图像数据库。
6.如权利要求1所述的方法,其特征在于,所述图像数据库中包括:第二聚类中心集合与第三聚类中心集合;所述利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子包括:
从所述第二聚类中心集合中,确定与第二SIFT描述子的距离最近的聚类中心,作为第一聚类中心;其中,所述第二SIFT描述子为,所述目标视频图像的SIFT描述子中的任一SIFT描述子;
从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心;
当所述第二SIFT描述子与所述第二聚类中心的最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子。
7.如权利要求1所述的方法,其特征在于,所述当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像包括:
当所述目标视频图像的有效SIFT描述子的数目,与所述目标视频图像的所有SIFT描述子的数目之间的比值,大于预设比值阈值时,确定检索到所述目标视频图像。
8.一种信息处理装置,其特征在于,所述装置包括:
目标图像获取单元,用于获取目标视频图像;
描述子提取单元,用于提取所述目标视频图像的SIFT描述子;
有效描述子确定单元,用于利用预置的图像数据库,从所述目标视频图像的SIFT描述子中确定出有效SIFT描述子;其中,所述图像数据库中包括:与参考视频图像的SIFT描述子相对应的聚类中心;所述有效SIFT描述子为,与所述图像数据库中的聚类中心的距离符合预设距离条件的SIFT描述子;
结果确定单元,用于当所述目标视频图像的有效SIFT描述子的数目符合预设数目条件时,确定检索到所述目标视频图像。
9.如权利要求8所述的装置,其特征在于,所述装置还包括:
所述数据库建立单元,用于获取参考视频图像;提取所述参考视频图像的SIFT描述子;基于所述参考视频图像的SIFT描述子进行聚类处理,得到聚类结果;根据所述聚类结果,建立所述图像数据库。
10.如权利要求8所述的装置,其特征在于,所述图像数据库中包括:第二聚类中心集合与第三聚类中心集合;所述有效描述子确定单元具体用于:
从所述第二聚类中心集合中,确定与第二SIFT描述子的距离最近的聚类中心,作为第一聚类中心;其中,所述第二SIFT描述子为,所述目标视频图像的SIFT描述子中的任一SIFT描述子;
从所述第三聚类中心集合中,确定出与所述第一聚类中心相对应的聚类中心,作为第二聚类中心;
当所述第二SIFT描述子与所述第二聚类中心的最大距离值小于预设距离阈值时,将所述第二SIFT描述子确定为所述有效SIFT描述子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810993318.2A CN109086744A (zh) | 2018-08-29 | 2018-08-29 | 信息处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810993318.2A CN109086744A (zh) | 2018-08-29 | 2018-08-29 | 信息处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109086744A true CN109086744A (zh) | 2018-12-25 |
Family
ID=64795162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810993318.2A Pending CN109086744A (zh) | 2018-08-29 | 2018-08-29 | 信息处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109086744A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945289A (zh) * | 2012-11-30 | 2013-02-27 | 苏州搜客信息技术有限公司 | 基于cgci-sift局部特征的图像检索方法 |
CN103902704A (zh) * | 2014-03-31 | 2014-07-02 | 华中科技大学 | 面向大规模图像视觉特征的多维倒排索引与快速检索算法 |
CN105183845A (zh) * | 2015-09-06 | 2015-12-23 | 华中科技大学 | 一种结合语义特征的ervq图片索引与检索方法 |
-
2018
- 2018-08-29 CN CN201810993318.2A patent/CN109086744A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945289A (zh) * | 2012-11-30 | 2013-02-27 | 苏州搜客信息技术有限公司 | 基于cgci-sift局部特征的图像检索方法 |
CN103902704A (zh) * | 2014-03-31 | 2014-07-02 | 华中科技大学 | 面向大规模图像视觉特征的多维倒排索引与快速检索算法 |
CN105183845A (zh) * | 2015-09-06 | 2015-12-23 | 华中科技大学 | 一种结合语义特征的ervq图片索引与检索方法 |
Non-Patent Citations (2)
Title |
---|
栾悉道 等著: "《多媒体情报处理技术》", 31 May 2016, 国防工业出版社 * |
艾列富: "基于内容的大规模图像索与检索方法研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108140032B (zh) | 用于自动视频概括的设备和方法 | |
US10163227B1 (en) | Image file compression using dummy data for non-salient portions of images | |
Kwon et al. | Learning jpeg compression artifacts for image manipulation detection and localization | |
US8594385B2 (en) | Predicting the aesthetic value of an image | |
AU2015274708B2 (en) | Rule-based video importance analysis | |
RU2608261C2 (ru) | Автоматическое генерирование тега на основании содержания изображения | |
JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
CN104679818B (zh) | 一种视频关键帧提取方法及*** | |
JP4139615B2 (ja) | 前景/背景セグメント化を用いた画像のイベント・クラスタリング | |
CN108647245B (zh) | 多媒体资源的匹配方法、装置、存储介质及电子装置 | |
CN104063706B (zh) | 一种基于surf算法的视频指纹提取方法 | |
CN109862394A (zh) | 视频内容的审核方法、装置、设备和存储介质 | |
WO2017000109A1 (zh) | 搜索方法、搜索装置、用户设备和计算机程序产品 | |
US20160196478A1 (en) | Image processing method and device | |
WO2019140880A1 (zh) | 屏幕录制方法、计算机可读存储介质、终端设备及装置 | |
Bianco et al. | Predicting image aesthetics with deep learning | |
CN109948734B (zh) | 图像聚类方法、装置及电子设备 | |
CN109284613B (zh) | 标识检测及仿冒站点检测方法、装置、设备及存储介质 | |
WO2021129466A1 (zh) | 检测水印的方法、装置、终端及存储介质 | |
WO2012114727A1 (ja) | 画像処理装置および画像処理方法 | |
CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
WO2015027882A1 (en) | Method, apparatus and terminal for image processing | |
CN115424171A (zh) | 火焰和烟雾检测方法、装置和存储介质 | |
JP2014092955A (ja) | 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム | |
Feng et al. | A novel saliency detection method for wild animal monitoring images with WMSN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181225 |