CN111506772A - 基于图像特征提取的以图搜影方法及*** - Google Patents
基于图像特征提取的以图搜影方法及*** Download PDFInfo
- Publication number
- CN111506772A CN111506772A CN201910095245.XA CN201910095245A CN111506772A CN 111506772 A CN111506772 A CN 111506772A CN 201910095245 A CN201910095245 A CN 201910095245A CN 111506772 A CN111506772 A CN 111506772A
- Authority
- CN
- China
- Prior art keywords
- feature
- video
- sequence
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000007906 compression Methods 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000007418 data mining Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- KNVAYBMMCPLDOZ-UHFFFAOYSA-N propan-2-yl 12-hydroxyoctadecanoate Chemical compound CCCCCCC(O)CCCCCCCCCCC(=O)OC(C)C KNVAYBMMCPLDOZ-UHFFFAOYSA-N 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像特征提取的以图搜影方法及***，包括特征提取与对比模块、图片特征提取模块、以图搜影模块，通过特征提取与对比模块实现源视频压缩保存至压缩视频数据库后，经聚类形成聚类簇群，并得到所有源视频对应簇序列集合和待查询图片的簇序列集合，从而在以图搜影模块中进行对比，得到对比结果，并结合压缩视频数据库中保存的索引获取实际的帧图片和视频，进行进一步视频获取。有益效果：利用图像特征提取技术，对视频中的每一帧的进行特征提取的相互对比，并剔除重复的出现的帧特征序列。实现低占用内存，由于视频压缩后，内存占用减少，相对于现有技术，加快了以图搜影检索速度，并且定位精确。
Description
技术领域
本发明涉及以图搜影技术领域，具体的说是一种基于图像特征提取的以图搜影方法及***。
背景技术
随着影视产业的发展，为了记录人类文化和艺术遗产，或者一些以营利为目的影视观看平台或者广电集团，均保存有大量的视频。但是由于时间的积累，在进行归类保存后，仍然存在庞大的数据。
随着人们大量的使用和智能化的发展，人们开始寻找更便捷、快速、准确的视频搜索方法。在现有技术中，在进行视频保存时，通常是给每一个视频通过关键字进行命名或者设置记录时间等文字信息进行保存。人们通过输入关键字或者时间进行搜索，但是由于数据量大，关键字往往存在重复，即使缩小范围检索，仍存在很多数据，在进行查找时，人们只能通过观看相关视频内容进行对应查找，数据量大、查找速度慢、浪费时间。
随着发展，人们开始提出采用图片进行影视视频靶向搜索，即通过随机获取的任意一个视频内的图片，从庞大的数据库中进行查找是属于哪一个视频的，在现有技术中，还停留在对每个视频的帧与获取的图片进行逐一对比，耗时时间长，并且服务器要求高，内存占用大，适用性低。
故在现有技术中，针对上述以图搜影的技术还存在改进方向，并有必要提出一种以图搜影技术，来加快搜影速度。
发明内容
针对上述问题，本发明提供了一种基于图像特征提取的等效视频压缩存储方法及***，对视频进行图像特征提取，进行特征简洁保存。
为达到上述目的，本发明采用的具体技术方案如下：
一种基于图像特征提取的以图搜影方法，其关键技术在于，具体步骤包括：
步骤1：对M个视频中的每一帧图片进行特征提取、压缩后，得到M个视频特征点集合；
步骤2：将M个视频特征点集合送入压缩视频数据库，经聚类操作得到聚类簇群和M个视频特征点的簇序列集合；
步骤3：图片获取端对待查询图片进行获取，经图片特征提取模块后得到待查询图片特征序列；并送入压缩视频数据库进行聚类，得到待查询图片簇序列；
步骤4：将待查询图片簇序列与M个视频特征点的簇序列集合进行对比，得到序列相似度；并提取与待查询图片簇序列的序列相似度最高对应的视频特征点集合以及帧特征序列；
步骤5：根据视频特征点集合以及帧特征序列的索引，提取对应的视频中的帧图片，并将该帧图片与待查询图片进行对比，得到图片相似度；
步骤6：若图片相似度大于图片相似度阈值，则输出对应视频或者对应视频的索引。
通过上述设计，M个视频经过特征提取、压缩后，对应得到M个视频特征点集合。并在压缩视频数据库中，通过聚类形成聚类簇群和M个视频对应的M 个视频特征点的簇序列集合。当获取到任意一张图片后，经特征提取、聚类后，得到待查询图片簇序列，通过将待查询图片簇序列与M个视频特征点的簇序列集合相对比，从M个视频特征点的簇序列集合中寻找到最大相似度的帧图片以及对应视频的索引。通过调取符合要求的帧图片和待查询图片进行实际图片进行对比后，来进一步确实查找到的视频的准确性，提高查找精度。通过设计新的模块，实现视频特征提取和压缩，将缩小视频内存占用量，利用视频中，连续的帧相似度大的特征，删除相似度大的帧图片，对视频中的帧进行大大缩减。并且在结合图片特征序列的独特性，每一张图片提取的特征序列的不同，进行特征提取后，保留的视频特征点集合内存进一步被缩减。其中，M为正整数。
进一步的，步骤1中，实现对M个视频中的每一帧图片进行特征提取、压缩后，得到M个视频特征点集合的具体步骤为：
步骤11：视频获取端依次从M个视频特征点获取一段视频Ax，并保存在待提取存储模块内；
步骤12：待提取存储模块得到视频Ax的总帧数N，并将视频Ax中的每一帧依次发送至特征提取与对比模块；
步骤13：特征提取与对比模块用于指定基准帧，并根据基准帧对视频Ax 进行预处理、图像特征提取、对比、筛选、删除、压缩后，得到视频特征点集合，具体内容为：
S131：特征提取与对比模块获取第一帧，令该第一帧为基准帧，提取第一帧图像特征后对提取的特征进行排序，得到基准帧特征序列，并将该基准帧特征序列保存在特征序列存储模块内；
S132：特征提取与对比模块获取下一帧，并令该帧为待对比帧，提取待对比帧图像特征后对提取的特征进行排序，得到待对比帧特征序列；
S133：将待对比帧特征序列与所述基准帧特征序列进行对比；
若二者相似度大于等于设定的相似度阈值，则抛弃该待对比帧特征序列，进入步骤S134；
若相似度小于设定的相似度阈值，则令该待对比帧特征序列为新的基准帧特征序列，即：令对应的待对比帧为基准帧；并将新的基准帧特征序列依次保存在特征序列存储模块内，进入步骤S134；
S134：判断视频Ax中的第N帧是否已经对比完毕；若是，特征序列存储模块将保存的所有基准帧特征序列组成视频特征点集合，并输出该视频Ax的视频特征点集合；否则返回步骤S132；
步骤14：判断M个视频是否全部压缩完毕，若是结束步骤1，否则返回步骤11。
由于视频是由依次排列的帧组成，并且要组成动画的过程，相邻的帧的图像相似度大。通过上述设计，在实现以图搜影功能时，为了精简压缩视频数据库，提取视频每一帧的图像特征，将相邻的帧进行逐一对比，删除重复出现的帧，最后保留下来的为重复率低的视频特征点集合。在进行以图搜影功能时，提取到该图片的图像特征后，可以快速找到对应的视频特征点集合。相对于现有技术，以图搜影过程周期短，便于大众推广使用。图片出现的在视频的时间位置都能够较为精确的定位。
所述特征提取与对比模块在获取到任意帧的图片时，均需要先对图片进行预处理，其中预处理内容包括：图片大小重置处理和灰度处理，其中，图片大小重置处理即将图片重置成统一大小，其中图片大小可根据***自定义设定。其中，进行灰度处理的灰度值也自定义设定，灰度值在0～255。
其中相似度阈值自定义设定，将待对比帧特征序列与基准帧特征序列进行对比后，若相似度大于相似度阈值，则认为两帧只需要保存基准帧即可，依次类推，一段视频进行视频特征提取，并只保存部分特征序列后，用于以图搜影的视频占用容量大大降低，且不影响实现以图搜影，并且加快了搜索速度。
其中Ax中的x为正整数。
再进一步的，步骤2中，M个视频特征点集合经聚类操作得到聚类簇群的具体步骤为：
步骤21a：从M个视频特征点集合任意选择k个特征作为初始聚类簇的聚类中心；
步骤21b：分别计算M个视频特征点集合中所有特征到k个特征作为聚类簇中心的聚类距离，并设定最小聚类距离对特征进行划分；
步骤21c：选择出聚类中心发生变化的聚类簇，并计算对应聚类簇的聚类距离均值，根据聚类距离均值确定该聚类簇的聚类中心，
步骤21d：若聚类中心不再发生变化，则终止聚类，输出k聚类簇形成的聚类簇群以及对应的聚类中心，否则返回步骤21b；
步骤2中，M个视频特征点集合经聚类操作得到M个视频特征点的簇序列集合的具体步骤为：对所述聚类簇群中的k个聚类簇进行编号；
依次计算M个视频特征点集合中，每个特征到k个聚类簇的聚类距离；
对每个特征的k个聚类距离进行排序，并将该特征归类到最小聚类距离对应聚类簇，并获取该特征对应的聚类簇编号，直至每一个视频特征点集合中所有的特征均归类完毕后，得到M个簇序列集合。
通过聚类分析算法，对视频的特征进行了归类，得到视频特征独有的聚类簇群，并对M个视频的特征进行了归类。在对比待查询图片时，提供了对比依据。提取待查询图片中的特征后，放入聚类簇群对每个特征进行归类后，与M 个视频对应的M个簇序列集合进行一一对比，对比M个簇序列集合中是否存在与待查询图片特征归类相同的序列。通过聚类算法，将图片进行特征聚类，便于特征相似对比，为以图搜影提供了对比依据。
再进一步描述，步骤3中，图片获取端对待查询图片进行获取，经特征提取后得到待查询图片特征序列；并送入压缩视频数据库进行聚类，得到待查询图片簇序列的具体步骤为：
步骤31：图片获取端获取待查询图片后，将待查询图片发送至图片特征提取模块；
步骤32：图片特征提取模块结合第三方视觉库，提取到待查询图片特征序列后送入所述压缩视频数据库；
步骤33：计算待查询图片特征序列中的所有特征聚类距离，并将该特征归类到最小聚类距离对应聚类簇，得到待查询图片特征序列对应的待查询图片簇序列。
采用上述方案，将待查询图片进行特征提取和归类，用于与M个簇序列集合进行对比，以找出对应的帧图片和源视频。
再进一步描述，所述特征提取与对比模块、图片特征提取模块均与第三方视觉库连接；所述特征提取与对比模块至少设置有帧发送单元和特征序列接收单元，该帧发送单元用于将所述待对比帧发送至所述第三方视觉库进行待对比帧图像特征提取，并将得到的待对比帧特征序列反馈给特征序列接收单元；所述图片特征提取模块设置有图片发送单元和待查询图片特征序列接收单元，该图片发送单元用于将待查询图片发送至所述第三方视觉库进行特征提取，并将得到的待查询图片特征序列反馈给待查询图片特征序列接收单元。
第三方视觉库为计算机视觉开源库，可以是OpenCV、JavaCV、 Torch3Vision、ImLab、CIMG、Generic Image Library(GIL)-boost integration等等。
再进一步的技术方案为：所述第三方视觉库为OpenCV视觉库。
OpenCV是一个开放源代码的计算机视觉应用平台，由英特尔公司下属研发中心俄罗斯团队发起该项目，开源BSD证书，OpenCV的目标是实现实时计算机视觉，，是一个跨平台的计算机视觉库。从开发之日起就得到了迅猛发展，获得了众多公司和业界大牛的鼎力支持与贡献，因为是BSD开源许可，因此可以免费应用在科研和商业应用领域。OpenCV作为强大的计算机视觉开源库，很大程度上参考了MatLab的实现细节和风格，比如说，在OpenCV2.x版本以后，越来越多的函数实现了MatLab具有的功能，甚至干脆连函数名都一模一样(如 imread,imshow,imwriter等)。这一做法，不仅拉近了产品开发与学术研究的距离，并极大程度的提高了开发人员的研发效率，不得不说，Intel公司真的是一个伟大的公司。在计算机内存中，数字图像以矩阵的形式存储和运算，比如，在MatLab中，图像读取之后对应一个矩阵，在OpenCV中，同样也是如此。在早期的OpenCV1.x版本中，图像的处理是通过IplImage(该名称源于Intel的另一个开源库Intel Image Processing Library，缩写成IplImage)结构来实现的。早期的OpenCV是用C语言编写，因此提供的借口也是C语言接口，其源代码完全是C的编程风格。IplImage结构是OpenCV矩阵运算的基本数据结构。到OpenCV2.x版本，OpenCV开源库引入了面向对象编程思想，大量源代码用C++ 重写，Mat类(Matrix的缩写)是OpenCV用于处理图像而引入的一个封装类。从功能上讲，Mat类在IplImage结构的基础上进一步增强，并且，由于引入C++ 高级编程特性，Mat类的扩展性大大提高，Mat类的内容在后期的版本中不断丰富，通过查看Mat类的定义，会发现其设计实现十分全面而具体，基本覆盖计算机视觉对于图像处理的基本要求。
OpenCV中已经包含如下应用领域功能：二维和三维特征工具箱、运动估算、人脸识别***、姿势识别、人机交互、移动机器人、运动理解、对象鉴别、分割与识别、立体视觉、运动跟踪、增强现实(AR技术)。
基于上述功能实现需要，OpenCV中还包括以下基于统计学机器学习库： Boosting算法、Decision Tree(决策树)学习、Gradient Boosting算法、EM算法(期望最大化)、KNN算法、朴素贝叶斯分类、人工神经网络、随机森林、支掌向量机。
OpenCV中多数模块是基于C++实现，其中有少部分是基于C语言实现，当前OpenCV提供的SDK已经支持C++、Java、Python等语言应用开发。当前 OpenCV本身新开发的算法和模块接口都是基于C++产生。OpenCV支持几乎所有主流的OS***上应用开发，包括Windows、Mac、Linux、FreeBSD、OpenBSD 等。移动平台支持Android、IOS、BlackBerray等平台。用户可以从OpenCV官方获取相关SDK下载，开发文档和环境配置信息。OpenCV自从1.0版本发布以来，立刻吸引许多公司目光，被广泛应用在许多领域的产品研发与创新上，相关应用包括卫星地图与电子地图拼接、医学中图像噪声处理、对象检测、安防监控领域安全与入侵检测、自动监视报警、制造业与工业中的产品质量检测、摄像机标定。军事领域的无人机飞行、无人驾驶与水下机器人等众多领域。
再进一步的技术方案为：所述特征提取与对比模块设置有特征点提取工具，该特征点提取工具设置有视频读取功能块、取帧功能块、调用AKAZE算法功能块、特征点归一化功能块、写文件功能块；
所述特征提取与对比模块内还设置有视频特征参数，其中视频特征参数包括所述相似度阈值、视频输入路径、视频输出路径。
通过上述方案，特征提取与对比模块用于实现视频读取、帧读取、帧图片发送、特征接收等功能，并且通过路径实现源视频查找。
再进一步的，所述帧特征序列中帧特征的独特特征属性包括特征横坐标、特征纵坐标、特征角度、特征尺寸、特征权重、特征扩展、特征金字塔层；根据独特特征属性，可以将不同拍摄角度、不同放大尺寸等属性的相同特征提取出来，特征提取不易丢失，提取完整性好，方便不同角度。
再进一步的，所述视频特征点集合中的所有基准帧特征序列按照保存的先后顺序依次排列。当待对比帧特征序列与基准帧特征序列对比后，相似度小于设定的相似度阈值，将该待对比帧特征序列保存至特征序列存储模块内，并排列在前一个基准帧特征序列后面。当在使用最终保存好的视频特征点集合后，通过任意一个未知位置的特征序列，对比后就可得到该特征序列出现的大致位置，进行定位。
再进一步的，任一帧特征序列或者待查询图片特征序列均包括依次连接的帧序号、特征序列开始标号、特征序列内容、特征序列结束标号；为了对每一帧进行标记，设置帧序号、特征序列开始标号、特征序列结束标号，通过标记可以对每一帧进行区分，对其起始和结束进行数字化识别和标记。
再进一步的，所述特征序列开始标号由X个字节的整数组成；所述特征序列结束标号由Y个字节的整数组成；所述视频特征点集合起点连接有起始标号；两两所述基准帧特征序列经特征连接符连接。
即对于视频A1，其视频特征点集合起始标号为：视频A1特征序列。
一种基于图像特征提取的以图搜影***，其关键技术在于：包括视频获取端和图片获取端；其中，所述视频获取端与待提取存储模块连接，所述待提取存储模块与特征提取与对比模块连接，在该特征提取与对比模块内设置有帧发送单元和特征序列接收单元，在特征提取与对比模块上设置有第三方视觉库连接端，该第三方视觉库连接端用于所述帧发送单元、特征序列接收单元分别与第三方视觉库连接，在所述特征提取与对比模块上还连接有特征序列存储模块，该特征序列存储模块与压缩视频数据库连接，所述压缩视频数据库与以图搜影模块连接；
所述图片获取端经图片特征提取模块与所述压缩视频数据库连接，在所述图片特征提取模块上设置有第三方视觉库连接端，用于提取待查询图片特征序列，所述图片获取端还与所述以图搜影模块连接，所述以图搜影模块与所述源视频库连接。
通过上述***，实现对源视频的获取、保存、生成特征序列、对视频帧进行提取、视频帧删除功能，并且输出最为精简的视频特征点集合，并且通过压缩视频数据库形成视频特征的聚类簇群，结合该聚类簇群得到M个视频特征点的簇序列集合。并且通过上述***实现图片获取、图片特征提取和归类，通过与M个视频特征点的簇序列集合进行对比后，归类对比结果，得到相似度高的图片，结合待查询图片和帧图片进行实际图片对比后，对搜影结果进一步确定，从而结合压缩视频数据库内的源视频索引获取对应的视频或者视频保存的位置，实现快速准确的视频搜索。
再进一步的，所述压缩视频数据库内设置有聚类单元和数据单元；
所述聚类单元用于M个视频特征点集合进行聚类操作得到聚类簇群和M个视频特征点的簇序列集合；并对所述待查询图片特征序列中的所有特征进行聚类，得到待查询图片簇序列；
所述数据单元中保存有M个视频特征点集合、M个视频特征点的簇序列集合、每个视频的源视频索引以及任一待查询图片特征序列以及待查询图片簇序列；所述以图搜影模块中设置有聚类对比单元、图片获取单元、帧图片获取单元、源视频获取单元；
所述聚类对比单元用于将所述待查询图片簇序列与M个视频特征点的簇序列集合进行对比，得到序列相似度；所述图片获取单元用于获取待查询图片；所述帧图片获取单元用于获取序列相似度最高对应的帧图片；
所述源视频获取单元用于获取序列相似度最高对应的源视频。
通过上述方案，聚类单元对M个视频中的每个特征进行了聚类操作，对每个特征进行归类。数据单元用于保存所有视频的的特征数据、特征归类数据以及源视频中每个视频对应的索引。在以图搜影时，得到的通过聚类对比单元实现对获取的图片进行归类对比，从M个视频特征点的簇序列集合中寻找出最为相似的序列。
本发明的有益效果：利用图像特征提取技术，对视频中的每一帧的进行特征提取的相互对比，并剔除重复的出现的帧特征序列。实现低占用内存，由于视频压缩后，数据量减少。在进行以图搜影时，基于聚类算法得到的聚类簇群，对获取的图片进行归类，通过归类结果，进行相似度确定。对比过程块，并可以对图片出现在视频的大致帧数进行定位。相对于现有技术，本发明可以加快检索速度，并且定位精确。
附图说明
图1是本发明的***结构框图；
图2是本发明的以图搜影方法流程图；
图3是本发明的等效视频压缩存储方法流程图；
图4是MADlib开源机器学习库架构图；
图5是检测视频列表图；
图6是等效视频压缩运算瞬时状态图。
图7是待查询图片；
图8是原始帧图片搜影结果示意图；
图9是裁剪尺寸1的帧图片搜影结果示意图；
图10是裁剪尺寸2的帧图片搜影结果示意图。
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
结合图1和图2可以看出，一种基于图像特征提取的以图搜影方法，具体步骤包括：步骤1：对M个视频中的每一帧图片进行特征提取、压缩后，得到 M个视频特征点集合；步骤2：将M个视频特征点集合送入压缩视频数据库，经聚类操作得到聚类簇群和M个视频特征点的簇序列集合；步骤3：图片获取端对待查询图片进行获取，经图片特征提取模块后得到待查询图片特征序列；并送入压缩视频数据库进行聚类，得到待查询图片簇序列；步骤4：将待查询图片簇序列与M个视频特征点的簇序列集合进行对比，得到序列相似度；并提取与待查询图片簇序列的序列相似度最高对应的视频特征点集合以及帧特征序列；步骤5：根据视频特征点集合以及帧特征序列的索引，提取对应的视频中的帧图片，并将该帧图片与待查询图片进行对比，得到图片相似度；
步骤6：若图片相似度大于图片相似度阈值，则输出对应视频或者对应视频的索引。
在本实施例中，还设置有序列相似度阈值，该序列相似度阈值为80％，则当最高序列相似度低于该阈值，则不进行下一步，显示没有检索到相关内容。当最高序列相似度大于等于该阈值，则提取与待查询图片簇序列的序列相似度最高对应的视频特征点集合以及帧特征序列。在本实施例中，图片相似度阈值为90％。结合图3可以看出，步骤1中，实现对M个视频中的每一帧图片进行特征提取、压缩后，得到M个视频特征点集合的具体步骤为：
步骤11：视频获取端依次从M个视频特征点获取一段视频Ax，并保存在待提取存储模块内；步骤12：待提取存储模块得到视频Ax的总帧数N，并将视频Ax中的每一帧依次发送至特征提取与对比模块；步骤13：特征提取与对比模块用于指定基准帧，并根据基准帧对视频Ax进行预处理、图像特征提取、对比、筛选、删除、压缩后，得到视频特征点集合，具体内容为：
S131：特征提取与对比模块获取第一帧，令该第一帧为基准帧，提取第一帧图像特征后对提取的特征进行排序，得到基准帧特征序列，并将该基准帧特征序列保存在特征序列存储模块内；S132：特征提取与对比模块获取下一帧，并令该帧为待对比帧，提取待对比帧图像特征后对提取的特征进行排序，得到待对比帧特征序列；
S133：将待对比帧特征序列与所述基准帧特征序列进行对比；
若二者相似度大于等于设定的相似度阈值，则抛弃该待对比帧特征序列，进入步骤S134；若相似度小于设定的相似度阈值，则令该待对比帧特征序列为新的基准帧特征序列，即：令对应的待对比帧为基准帧；并将新的基准帧特征序列依次保存在特征序列存储模块内，进入步骤S134；
S134：判断视频Ax中的第N帧是否已经对比完毕；若是，特征序列存储模块将保存的所有基准帧特征序列组成视频特征点集合，并输出该视频Ax的视频特征点集合；否则返回步骤S132；
步骤14：判断M个视频是否全部压缩完毕，若是结束步骤1，否则返回步骤11。
在本实施例中，对视频Ax中每一帧图片进行预处理时，图片大小重置处理后，将图片重置成400X300的大小，并且灰度值设置为50％。在本实施例中，所述特征提取与对比模块与第三方视觉库OpenCV连接；在本实施例中，OpenCV 视觉库内设置有AKAZE算法。
在本实施例中，步骤2中，M个视频特征点集合经聚类操作得到聚类簇群的具体步骤为：
步骤21a：从M个视频特征点集合任意选择k个特征作为初始聚类簇的聚类中心；步骤21b：分别计算M个视频特征点集合中所有特征到k个特征作为聚类簇中心的聚类距离，并设定最小聚类距离对特征进行划分；
步骤21c：选择出聚类中心发生变化的聚类簇，并计算对应聚类簇的聚类距离均值，根据聚类距离均值确定该聚类簇的聚类中心，
步骤21d：若聚类中心不再发生变化，则终止聚类，输出k聚类簇形成的聚类簇群以及对应的聚类中心，否则返回步骤21b；
步骤2中，M个视频特征点集合经聚类操作得到M个视频特征点的簇序列集合的具体步骤为：对所述聚类簇群中的k个聚类簇进行编号；
依次计算M个视频特征点集合中，每个特征到k个聚类簇的聚类距离；
对每个特征的k个聚类距离进行排序，并将该特征归类到最小聚类距离对应聚类簇，并获取该特征对应的聚类簇编号，直至每一个视频特征点集合中所有的特征均归类完毕后，得到M个簇序列集合。
在本实施例中，通过与MADlib开源机器学习库连接，实现图片特征聚类，采用的聚类方法为k-means算法。
MADlib是Pivotal公司与伯克利大学合作开发的一个开源机器学习库，提供了多种数据转换、数据探索、统计、数据挖掘和机器学习方法，使用它能够简易地对结构化数据进行分析和挖掘。用户可以非常方便地将MADlib加载到数据库中，扩展数据库的分析功能。2015年7月MADlib成为Apache软件基金会的孵化器项目，经过两年的发展，于2017年8月毕业成为Apache顶级项目。其当前最新版本为MADlib 1.15，可以与PostgreSQL、Greenplum和HAWQ等数据库***无缝集成。在本实施例中，在预研中采用的是集成到PostgreSQL中的插件。
从图4可以看出，MADlib开源机器学习库架构，处于架构最上面一层是用户接口。如前所述，用户只需通过在SQL查询语句中调用MADlib提供的函数来完成数据挖掘的工作。这里的SQL语法要与特定数据库管理***相匹配。最底层则是Greenplum、PostgreSQL等数据库管理***，最终由它们处理查询请求。
从图4还可以看出，MADlib***架构自上至下由以下四个主要组件构成： Python调用SQL模板实现的驱动函数、Python实现的高级抽象层、C++实现的核心函数、C++实现的低级数据库抽象层。
驱动MADlib架构的主要设计思想与Hadoop是一致的，体现为：
操作数据库内的本地数据，不在多个运行时环境中进行不必要的数据移动。
充分利用数据库引擎功能，但将数据挖掘逻辑从特定数据库的实现细节中分离出来。利用MPP无共享技术提供的并行性和可扩展性，如Greenplum或HAWQ 数据库***。执行的维护活动对Apache社区和正在进行的学术研究开放。
其中，k-means算法基本思想为：k-means聚类划分方法的基本思想是：将一个给定的有N个数据记录的集合，划分到K个分组中，每一个分组就代表一个簇，K<N。而且这K个分组满足下列条件：每一个分组至少包含一个数据记录。每一个数据记录属于且仅属于一个分组。
算法首先给出一个初始的分组，以后通过反复迭代的方法改变分组，使得每一次改进之后的分组方案都较前一次好，而所谓好的标准就是：同一分组中对象的距离越近越好(已经收敛，反复迭代至组内数据几乎无差异)，而不同分组中对象的距离越远越好。
k-means算法的工作原理是：
首先随机从数据集中选取K个点，每个点初始地代表每个簇的中心，然后计算剩余各个样本到中心点的距离，将它赋给最近的簇，接着重新计算每一簇的平均值作为新的中心点，整个过程不断重复，如果相邻两次调整没有明显变化，说明数据聚类形成的簇已经收敛。本算法的一个特点是在每次迭代中都要考察每个样本的分类是否正确。若不正确，就要调整，在全部样本调整完后，再修改中心点，进入下一次迭代。这个过程将不断重复直到满足某个终止条件，终止条件可以是以下任何一个：没有对象被重新分配给不同的聚类。聚类中心不再发生变化。
误差平方和局部最小。
k-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成，因此把得到紧凑且独立的簇作为最终目标。k-means算法的输入是聚类个数k，以及n个数据对象，输出是满足误差最小标准的k个聚簇。其处理流程为：从n个数据对象中任意选择k个对象作为初始中心。
计算每个对象与这些中心对象的距离，并根据最小距离对相应的对象进行划分。重新计算每个有变化聚类的均值作为新的中心。
循环2、3直到每个聚类不再发生变化为止。终止条件一般为最小化对象到其聚类中心的距离的平方和：收集类别大于不限于以下几类电视节目：
实施过程中，首先收集分门别类的影片，使得族心划分尽量标准客观合理，对后面生产的族心划分，尽量能够更好的区分。
收集类别大于不限于以下几类电视节目：新闻类，综艺类，影视剧类，赛事类，风景类，动物类，国外大片，国产大片，战争片，室内剧……
在本实施例中，步骤3中，图片获取端对待查询图片进行获取，经特征提取后得到待查询图片特征序列；并送入压缩视频数据库进行聚类，得到待查询图片簇序列的具体步骤为：
步骤31：图片获取端获取待查询图片后，将待查询图片发送至图片特征提取模块；
步骤32：图片特征提取模块结合第三方视觉库，提取到待查询图片特征序列后送入所述压缩视频数据库；
步骤33：计算待查询图片特征序列中的所有特征聚类距离，并将该特征归类到最小聚类距离对应聚类簇，得到待查询图片特征序列对应的待查询图片簇序列。
进一步的技术方案为：所述特征提取与对比模块、图片特征提取模块均与第三方视觉库连接；特征提取与对比模块至少设置有帧发送单元和特征序列接收单元，该帧发送单元用于将所述待对比帧发送至所述第三方视觉库进行待对比帧图像特征提取，并将得到的待对比帧特征序列反馈给特征序列接收单元；
所述图片特征提取模块设置有图片发送单元和待查询图片特征序列接收单元，该图片发送单元用于将待查询图片发送至所述第三方视觉库进行特征提取，并将得到的待查询图片特征序列反馈给待查询图片特征序列接收单元。
在本实施例中，所述特征提取与对比模块设置有特征点提取工具，该特征点提取工具设置有视频读取功能块、取帧功能块、调用AKAZE算法功能块、特征点归一化功能块、写文件功能块；
所述特征提取与对比模块内还设置有视频特征参数，其中视频特征参数包括所述相似度阈值、视频输入路径、视频输出路径。其中，采用编写的shell脚本来依次调用特征点提取工具，根据特征点提取工具结合相似度阈值为90％、视频输入路径、视频输出路径进行特征对比和输入输出。其中特征提取时，运行环境在docker容器，并结合编写的shell脚本依次调用特征点提取工具开始特征提取。
在本实施例中，所述第三方视觉库为OpenCV视觉库。在本实施例中，OpenCV 视觉库内设置有AKAZE算法。在本实施例中，将特征点提取后输出为指定格式的csv文件；然后打包成jar文件。
在本实施例中，所述帧特征序列中帧特征的独特特征属性包括特征横坐标、特征纵坐标、特征角度、特征尺寸、特征权重、特征扩展、特征金字塔层；
视频特征点集合中的所有基准帧特征序列按照保存的先后顺序依次排列；
任一帧特征序列或者待查询图片特征序列均包括依次连接的帧序号、特征序列开始标号、特征序列内容、特征序列结束标号；
特征序列开始标号由X个字节的整数组成；所述特征序列结束标号由Y个字节的整数组成；在本实施例中，X＝Y＝4。
所述视频特征点集合起点连接有起始标号；两两所述基准帧特征序列经特征连接符连接。
则视频Ax形成的特征序列为：
视频Ax特征序列+特征连接符+第1帧的帧序号+第1帧特征序列开始标号 +第1帧特征序列内容+第1帧特征序列结束标号+特征连接符+第i1帧的帧序号 +第i1帧特征序列开始标号+第i1帧特征序列内容+第i1帧特征序列结束标号+ 特征连接符+第i2帧的帧序号+第i2帧特征序列开始标号+第i2帧特征序列内容+第i2帧特征序列结束标号+……其中i1、i2为大于1的整数，且i1>i2。
在本实施例中，所述视频特征点压缩包为经过gzip压缩行程的二进制序列的存储文件。结合图1可以看出，一种基于图像特征提取的以图搜影***，包括视频获取端和图片获取端；
其中，所述视频获取端与待提取存储模块连接，所述待提取存储模块与特征提取与对比模块连接，在该特征提取与对比模块内设置有帧发送单元和特征序列接收单元，在特征提取与对比模块上设置有第三方视觉库连接端，该第三方视觉库连接端用于所述帧发送单元、特征序列接收单元分别与第三方视觉库连接，在所述特征提取与对比模块上还连接有特征序列存储模块，该特征序列存储模块与压缩视频数据库连接，所述压缩视频数据库与以图搜影模块连接；
所述图片获取端经图片特征提取模块与压缩视频数据库连接，在图片特征提取模块上设置有第三方视觉库连接端，用于提取待查询图片特征序列，所述图片获取端还与以图搜影模块连接，以图搜影模块与所述源视频库连接。
结合图1还可以看出，所述压缩视频数据库内设置有聚类单元和数据单元；
所述聚类单元用于M个视频特征点集合进行聚类操作得到聚类簇群和M个视频特征点的簇序列集合；并对所述待查询图片特征序列中的所有特征进行聚类，得到待查询图片簇序列；
数据单元中保存有M个视频特征点集合、M个视频特征点的簇序列集合、每个视频的源视频索引以及任一待查询图片特征序列以及待查询图片簇序列；
所述以图搜影模块中设置有聚类对比单元、图片获取单元、帧图片获取单元、源视频获取单元；所述聚类对比单元用于将所述待查询图片簇序列与M个视频特征点的簇序列集合进行对比，得到序列相似度；
所述图片获取单元用于获取待查询图片；
所述帧图片获取单元用于获取序列相似度最高对应的帧图片；
所述源视频获取单元用于获取序列相似度最高对应的源视频。
为进一步说明本实施方式，采用获取电视栏目《大声说出来》的18个视频和随机获取的任意两个小视频作为源视频。
其中，《大声说出来》的18个视频下载地址为：http://qjcq.cbg.cn/dsscl/1.shtml。
利用爬虫技术，采集下载上述网页中第一页中的部分视频，共18个。其中，大部分视频30分钟左右，有一个45分钟，还有一个1小时时长。另外两个视频大概在3-5分钟左右。共计20个视频。视频列表图详见附图5。
结合图3，命名说明：其中170101001和170101002为3-5分钟短视频，其余名称为《大声说出来》某期视频的播出时间+编号组成。如170524001表示的是17年5月24日播出的按照自然顺序的一期节目《猜疑》。其余命名皆符合上述规则。上述视频文件总大小为：2.49GB
将等效视频压缩存储***安装在机器配置为2U、4核、共16线程、32G内存的上位机内，采用cpu进行的提取，算力有限，运算过程中平均负载在30％+。运算瞬时状态详见图6。对整个视频进行特征点提取后，得到的csv文件所占用磁盘空间为1.4GB。再打包成tar.gz文件，最终得到的视频特征点压缩包所占用磁盘空间为480MB。
从图7可以看出，是待检查图片示意图，其中根据现实中侵权视频的侵权特征：大多数都是将源视频进行部分裁剪，甚至添加自己的logo信息。而将源视频信息作为侵权视频画面的一部分的情况还是比较少的。在本市实施例中，测试过程主要是对视频中的某一帧进行原始帧截取：test01；裁剪尺寸1：test02；，裁剪尺寸2：test05三种情况进行验证。
验证结果详见图7-10，经过上述的测试我们可以看到，随着裁剪尺寸的加大，能搜索出来的结果会越来越少。因为我们实现计算特征点的时候考虑了侵权视频的侵权特征，所以对源视频也进行了裁剪，然后再提取特征点。目前上述展示所用的版本是，3分钟*2段*4种缩放尺度*80％帧开发并测试出炉(共4W帧)，最大兼容裁剪上下左右尺寸为10％10％20％。
应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。
Claims (10)
1.一种基于图像特征提取的以图搜影方法，其特征在于具体步骤包括：
步骤1：对M个视频中的每一帧图片进行特征提取、压缩后，得到M个视频特征点集合；
步骤2：将M个视频特征点集合送入压缩视频数据库，经聚类操作得到聚类簇群和M个视频特征点的簇序列集合；
步骤3：图片获取端对待查询图片进行获取，经图片特征提取模块后得到待查询图片特征序列；并送入压缩视频数据库进行聚类，得到待查询图片簇序列；
步骤4：将待查询图片簇序列与M个视频特征点的簇序列集合进行对比，得到序列相似度；并提取与待查询图片簇序列的序列相似度最高对应的视频特征点集合以及帧特征序列；
步骤5：根据视频特征点集合以及帧特征序列的索引，提取对应的视频中的帧图片，并将该帧图片与待查询图片进行对比，得到图片相似度；
步骤6：若图片相似度大于图片相似度阈值，则输出对应视频或者对应视频的索引。
2.根据权利要求1所述的基于图像特征提取的以图搜影方法，其特征在于：步骤1中，实现对M个视频中的每一帧图片进行特征提取、压缩后，得到M个视频特征点集合的具体步骤为：
步骤11：视频获取端依次从M个视频特征点获取一段视频Ax，并保存在待提取存储模块内；
步骤12：待提取存储模块得到视频Ax的总帧数N，并将视频Ax中的每一帧依次发送至特征提取与对比模块；
步骤13：特征提取与对比模块用于指定基准帧，并根据基准帧对视频Ax进行预处理、图像特征提取、对比、筛选、删除、压缩后，得到视频特征点集合，具体内容为：
S131：特征提取与对比模块获取第一帧，令该第一帧为基准帧，提取第一帧图像特征后对提取的特征进行排序，得到基准帧特征序列，并将该基准帧特征序列保存在特征序列存储模块内；
S132：特征提取与对比模块获取下一帧，并令该帧为待对比帧，提取待对比帧图像特征后对提取的特征进行排序，得到待对比帧特征序列；
S133：将待对比帧特征序列与所述基准帧特征序列进行对比；
若二者相似度大于等于设定的相似度阈值，则抛弃该待对比帧特征序列，进入步骤S134；
若相似度小于设定的相似度阈值，则令该待对比帧特征序列为新的基准帧特征序列，即：令对应的待对比帧为基准帧；并将新的基准帧特征序列依次保存在特征序列存储模块内，进入步骤S134；
S134：判断视频Ax中的第N帧是否已经对比完毕；若是，特征序列存储模块将保存的所有基准帧特征序列组成视频特征点集合，并输出该视频Ax的视频特征点集合；否则返回步骤S132；
步骤14：判断M个视频是否全部压缩完毕，若是结束步骤1，否则返回步骤11。
3.根据权利要求1或2所述的基于图像特征提取的以图搜影方法，其特征在于：步骤2中，M个视频特征点集合经聚类操作得到聚类簇群的具体步骤为：
步骤21a：从M个视频特征点集合任意选择k个特征作为初始聚类簇的聚类中心；
步骤21b：分别计算M个视频特征点集合中所有特征到k个特征作为聚类簇中心的聚类距离，并设定最小聚类距离对特征进行划分；
步骤21c：选择出聚类中心发生变化的聚类簇，并计算对应聚类簇的聚类距离均值，根据聚类距离均值确定该聚类簇的聚类中心，
步骤21d：若聚类中心不再发生变化，则终止聚类，输出k聚类簇形成的聚类簇群以及对应的聚类中心，否则返回步骤21b；
步骤2中，M个视频特征点集合经聚类操作得到M个视频特征点的簇序列集合的具体步骤为：
对所述聚类簇群中的k个聚类簇进行编号；
依次计算M个视频特征点集合中，每个特征到k个聚类簇的聚类距离；
对每个特征的k个聚类距离进行排序，并将该特征归类到最小聚类距离对应聚类簇，并获取该特征对应的聚类簇编号，直至每一个视频特征点集合中所有的特征均归类完毕后，得到M个簇序列集合。
4.根据权利要求3所述的基于图像特征提取的以图搜影方法，其特征在于步骤3中，图片获取端对待查询图片进行获取，经特征提取后得到待查询图片特征序列；并送入压缩视频数据库进行聚类，得到待查询图片簇序列的具体步骤为：
步骤31：图片获取端获取待查询图片后，将待查询图片发送至图片特征提取模块；
步骤32：图片特征提取模块结合第三方视觉库，提取到待查询图片特征序列后送入所述压缩视频数据库；
步骤33：计算待查询图片特征序列中的所有特征聚类距离，并将该特征归类到最小聚类距离对应聚类簇，得到待查询图片特征序列对应的待查询图片簇序列。
5.根据权利要求1所述的基于图像特征提取的以图搜影方法，其特征在于：所述特征提取与对比模块、图片特征提取模块均与第三方视觉库连接；
所述特征提取与对比模块至少设置有帧发送单元和特征序列接收单元，该帧发送单元用于将所述待对比帧发送至所述第三方视觉库进行待对比帧图像特征提取，并将得到的待对比帧特征序列反馈给特征序列接收单元；
所述图片特征提取模块设置有图片发送单元和待查询图片特征序列接收单元，该图片发送单元用于将待查询图片发送至所述第三方视觉库进行特征提取，并将得到的待查询图片特征序列反馈给待查询图片特征序列接收单元。
6.根据权利要求5所述的基于图像特征提取的以图搜影方法，其特征在于：所述特征提取与对比模块设置有特征点提取工具，该特征点提取工具设置有视频读取功能块、取帧功能块、调用AKAZE算法功能块、特征点归一化功能块、写文件功能块；
所述特征提取与对比模块内还设置有视频特征参数，其中视频特征参数包括所述相似度阈值、视频输入路径、视频输出路径。
7.根据权利要求2所述的基于图像特征提取的等效视频压缩存储方法，其特征在于：所述第三方视觉库为OpenCV视觉库。
8.根据权利要求2所述的基于图像特征提取的等效视频压缩存储方法，其特征在于：所述帧特征序列中帧特征的独特特征属性包括特征横坐标、特征纵坐标、特征角度、特征尺寸、特征权重、特征扩展、特征金字塔层；
所述视频特征点集合中的所有基准帧特征序列按照保存的先后顺序依次排列；
任一帧特征序列或者待查询图片特征序列均包括依次连接的帧序号、特征序列开始标号、特征序列内容、特征序列结束标号；
所述特征序列开始标号由X个字节的整数组成；所述特征序列结束标号由Y个字节的整数组成；
所述视频特征点集合起点连接有起始标号；两两所述基准帧特征序列经特征连接符连接。
9.一种基于图像特征提取的以图搜影***，其特征在于：包括视频获取端和图片获取端；
其中，所述视频获取端与待提取存储模块连接，所述待提取存储模块与特征提取与对比模块连接，在该特征提取与对比模块内设置有帧发送单元和特征序列接收单元，在特征提取与对比模块上设置有第三方视觉库连接端，该第三方视觉库连接端用于所述帧发送单元、特征序列接收单元分别与第三方视觉库连接，在所述特征提取与对比模块上还连接有特征序列存储模块，该特征序列存储模块与压缩视频数据库连接，所述压缩视频数据库与以图搜影模块连接；
所述图片获取端经图片特征提取模块与所述压缩视频数据库连接，在所述图片特征提取模块上设置有第三方视觉库连接端，用于提取待查询图片特征序列，所述图片获取端还与所述以图搜影模块连接，所述以图搜影模块与所述源视频库连接。
10.根据权利要求9所述的基于图像特征提取的以图搜影***，其特征在于：所述压缩视频数据库内设置有聚类单元和数据单元；
所述聚类单元用于M个视频特征点集合进行聚类操作得到聚类簇群和M个视频特征点的簇序列集合；并对所述待查询图片特征序列中的所有特征进行聚类，得到待查询图片簇序列；
所述数据单元中保存有M个视频特征点集合、M个视频特征点的簇序列集合、每个视频的源视频索引以及任一待查询图片特征序列以及待查询图片簇序列；
所述以图搜影模块中设置有聚类对比单元、图片获取单元、帧图片获取单元、源视频获取单元；
所述聚类对比单元用于将所述待查询图片簇序列与M个视频特征点的簇序列集合进行对比，得到序列相似度；
所述图片获取单元用于获取待查询图片；
所述帧图片获取单元用于获取序列相似度最高对应的帧图片；
所述源视频获取单元用于获取序列相似度最高对应的源视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910095245.XA CN111506772B (zh) | 2019-01-31 | 2019-01-31 | 基于图像特征提取的以图搜影方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910095245.XA CN111506772B (zh) | 2019-01-31 | 2019-01-31 | 基于图像特征提取的以图搜影方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111506772A true CN111506772A (zh) | 2020-08-07 |
| CN111506772B CN111506772B (zh) | 2023-05-09 |
Family
ID=71874021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910095245.XA Active CN111506772B (zh) | 2019-01-31 | 2019-01-31 | 基于图像特征提取的以图搜影方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111506772B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112100412A (zh) * | 2020-09-01 | 2020-12-18 | 深圳市欢太科技有限公司 | 图片检索方法、装置、计算机设备和存储介质 |
| CN112861875A (zh) * | 2021-01-20 | 2021-05-28 | 西南林业大学 | 一种用于区分不同木材产品的方法 |
| CN116128533A (zh) * | 2023-03-06 | 2023-05-16 | 广西螺霸王食品科技有限公司 | 一种食品销售数据管理*** |
| CN116881485A (zh) * | 2023-06-19 | 2023-10-13 | 北京百度网讯科技有限公司 | 生成图像检索索引的方法及装置、电子设备和介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06318256A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
| FR2825817A1 (fr) * | 2001-06-07 | 2002-12-13 | Commissariat Energie Atomique | Procede de traitement d'images pour l'extraction automatique d'elements semantiques |
| FR2835940A1 (fr) * | 2002-02-08 | 2003-08-15 | Thomson Licensing Sa | Procede de recherche des plus proches voisins d'un vecteur requete |
| JP2010015286A (ja) * | 2008-07-02 | 2010-01-21 | Olympus Corp | サーバ、端末装置、プログラム、情報記憶媒体、画像検索方法及び情報提示方法 |
| CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、***及移动终端 |
| CN103294813A (zh) * | 2013-06-07 | 2013-09-11 | 北京捷成世纪科技股份有限公司 | 一种敏感图片搜索方法和装置 |
| US20150117772A1 (en) * | 2013-10-24 | 2015-04-30 | TCL Research America Inc. | Video object retrieval system and method |
| US20160057445A1 (en) * | 2014-08-22 | 2016-02-25 | Canon Kabushiki Kaisha | Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor |
| CN105653700A (zh) * | 2015-03-13 | 2016-06-08 | Tcl集团股份有限公司 | 视频检索方法及*** |
| CN105678244A (zh) * | 2015-12-31 | 2016-06-15 | 北京理工大学 | 一种基于改进编辑距离的近似视频检索方法 |
| CN105917359A (zh) * | 2013-10-21 | 2016-08-31 | 微软技术许可有限责任公司 | 移动视频搜索 |
| CN106021321A (zh) * | 2016-05-06 | 2016-10-12 | 成都索贝数码科技股份有限公司 | 基于图片的在线实时视频的检索方法 |
| CN106503633A (zh) * | 2016-10-10 | 2017-03-15 | 上海电机学院 | 一种视频图像中人脸特征库的建立方法 |
| CN107220585A (zh) * | 2017-03-31 | 2017-09-29 | 南京邮电大学 | 一种基于多特征融合镜头聚类的视频关键帧提取方法 |
| CN107392238A (zh) * | 2017-07-12 | 2017-11-24 | 华中师范大学 | 基于移动视觉搜索的户外植物知识拓展学习*** |
| US20180173939A1 (en) * | 2014-03-21 | 2018-06-21 | Jonathan Howe | Recognition of objects within a video |
-
2019
- 2019-01-31 CN CN201910095245.XA patent/CN111506772B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06318256A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
| FR2825817A1 (fr) * | 2001-06-07 | 2002-12-13 | Commissariat Energie Atomique | Procede de traitement d'images pour l'extraction automatique d'elements semantiques |
| FR2835940A1 (fr) * | 2002-02-08 | 2003-08-15 | Thomson Licensing Sa | Procede de recherche des plus proches voisins d'un vecteur requete |
| JP2010015286A (ja) * | 2008-07-02 | 2010-01-21 | Olympus Corp | サーバ、端末装置、プログラム、情報記憶媒体、画像検索方法及び情報提示方法 |
| CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、***及移动终端 |
| CN103294813A (zh) * | 2013-06-07 | 2013-09-11 | 北京捷成世纪科技股份有限公司 | 一种敏感图片搜索方法和装置 |
| CN105917359A (zh) * | 2013-10-21 | 2016-08-31 | 微软技术许可有限责任公司 | 移动视频搜索 |
| US20150117772A1 (en) * | 2013-10-24 | 2015-04-30 | TCL Research America Inc. | Video object retrieval system and method |
| US20180173939A1 (en) * | 2014-03-21 | 2018-06-21 | Jonathan Howe | Recognition of objects within a video |
| US20160057445A1 (en) * | 2014-08-22 | 2016-02-25 | Canon Kabushiki Kaisha | Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor |
| CN105653700A (zh) * | 2015-03-13 | 2016-06-08 | Tcl集团股份有限公司 | 视频检索方法及*** |
| CN105678244A (zh) * | 2015-12-31 | 2016-06-15 | 北京理工大学 | 一种基于改进编辑距离的近似视频检索方法 |
| CN106021321A (zh) * | 2016-05-06 | 2016-10-12 | 成都索贝数码科技股份有限公司 | 基于图片的在线实时视频的检索方法 |
| CN106503633A (zh) * | 2016-10-10 | 2017-03-15 | 上海电机学院 | 一种视频图像中人脸特征库的建立方法 |
| CN107220585A (zh) * | 2017-03-31 | 2017-09-29 | 南京邮电大学 | 一种基于多特征融合镜头聚类的视频关键帧提取方法 |
| CN107392238A (zh) * | 2017-07-12 | 2017-11-24 | 华中师范大学 | 基于移动视觉搜索的户外植物知识拓展学习*** |
Non-Patent Citations (2)
| Title |
|---|
| KUNIO TAKAYA: "《Detection of Scene Changes for Video Indexing by Means of the MPEG Motion Vectors》", 《2006 INTERNATIONAL SYMPOSIUM ON INTELLIGENT SIGNAL PROCESSING AND COMMUNICATIONS》 * |
| 徐有健: "《基于Lucene的云平台搜索技术研究与实现》", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112100412A (zh) * | 2020-09-01 | 2020-12-18 | 深圳市欢太科技有限公司 | 图片检索方法、装置、计算机设备和存储介质 |
| CN112100412B (zh) * | 2020-09-01 | 2024-04-12 | 深圳市欢太科技有限公司 | 图片检索方法、装置、计算机设备和存储介质 |
| CN112861875A (zh) * | 2021-01-20 | 2021-05-28 | 西南林业大学 | 一种用于区分不同木材产品的方法 |
| CN112861875B (zh) * | 2021-01-20 | 2022-10-04 | 西南林业大学 | 一种用于区分不同木材产品的方法 |
| CN116128533A (zh) * | 2023-03-06 | 2023-05-16 | 广西螺霸王食品科技有限公司 | 一种食品销售数据管理*** |
| CN116128533B (zh) * | 2023-03-06 | 2023-07-28 | 广西螺霸王食品科技有限公司 | 一种食品销售数据管理*** |
| CN116881485A (zh) * | 2023-06-19 | 2023-10-13 | 北京百度网讯科技有限公司 | 生成图像检索索引的方法及装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111506772B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111506772A (zh) | 基于图像特征提取的以图搜影方法及*** | |
| US9053386B2 (en) | Method and apparatus of identifying similar images | |
| CN105320705B (zh) | 相似车辆的检索方法及装置 | |
| CN113010703B (zh) | 一种信息推荐方法、装置、电子设备和存储介质 | |
| CN113298197B (zh) | 数据聚类方法、装置、设备及可读存储介质 | |
| CN110059807A (zh) | 图像处理方法、装置和存储介质 | |
| JPWO2014132349A1 (ja) | 画像解析装置、画像解析システム、画像解析方法 | |
| CN112040273B (zh) | 视频合成方法及装置 | |
| EP2989596A2 (en) | Content based search engine for processing unstructurd digital | |
| US10796203B2 (en) | Out-of-sample generating few-shot classification networks | |
| CN111090763A (zh) | 一种图片自动标签方法及装置 | |
| CN113590854B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| Yao et al. | Spatio-temporal information for human action recognition | |
| CN110990563A (zh) | 一种基于人工智能的传统文化素材库构建方法及*** | |
| CN114299321A (zh) | 视频分类方法、装置、设备及可读存储介质 | |
| CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
| CN114372532A (zh) | 标签标注质量的确定方法、装置、设备、介质及产品 | |
| CN115115825A (zh) | 图像中的对象检测方法、装置、计算机设备和存储介质 | |
| CN113395584B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| US11354936B1 (en) | Incremental clustering for face recognition systems | |
| CN103503469B (zh) | 分阶段元素的分类*** | |
| CN114708449B (zh) | 相似视频的确定方法、实例表征模型的训练方法及设备 | |
| CN115909390B (zh) | 低俗内容识别方法、装置、计算机设备以及存储介质 | |
| CN115587297A (zh) | 构建图像识别模型和图像识别的方法、装置、设备及介质 | |
| CN111797765A (zh) | 图像处理方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231010 Address after: No. 12-4, No. 789 Jingwei Avenue, Yuzhong District, Chongqing, 400000 Patentee after: CHONGQING XIAOXI INTELLIGENT TECHNOLOGY CO.,LTD. Address before: Room 02B-387, Building B (2nd Floor), No. A28 Information Road, Haidian District, Beijing, 100089 Patentee before: Beijing Xiaoxi Intelligent Technology Center (limited partnership) |