CN104156464A - 基于微视频特征数据库的微视频检索方法及装置 - Google Patents

基于微视频特征数据库的微视频检索方法及装置 Download PDF

Info

Publication number
CN104156464A
CN104156464A CN201410416334.7A CN201410416334A CN104156464A CN 104156464 A CN104156464 A CN 104156464A CN 201410416334 A CN201410416334 A CN 201410416334A CN 104156464 A CN104156464 A CN 104156464A
Authority
CN
China
Prior art keywords
video
micro
network
frame
autoencoder network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410416334.7A
Other languages
English (en)
Other versions
CN104156464B (zh
Inventor
陈芋文
张矩
钟坤华
刘磊锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN201410416334.7A priority Critical patent/CN104156464B/zh
Publication of CN104156464A publication Critical patent/CN104156464A/zh
Application granted granted Critical
Publication of CN104156464B publication Critical patent/CN104156464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种基于微视频特征数据库的微视频检索方法及装置，主要用于实现海量微视频的快速检索，首先，对微视频进行预处理提取视频的关键帧，形成视频帧并标记每帧与微视频的关联；然后将视频帧作为自编码神经网络的输入通过深度网络学习进行特征提取，形成微视频每帧的二进制码库；最后基于汉明距离的K-近邻算法进行检索。相对于现有技术，本发明采用了深度学习技术避免了视频特征提取的人工干涉过程，能够快速有效的对微视频进行检索。

Description

基于微视频特征数据库的微视频检索方法及装置
技术领域
本发明涉及一种信息检索领域，主要是指数据库服务器的建立及数据库中的信息读取和排序，特别是涉及一种视频图像的检索方法及装置。
背景技术
随着移动通信技术以及终端硬件水平的不断提升，移动互联网得到快速发展，互联网刮起一阵改革的春风。在移动互联网和智能手机逐渐普及的背景下，微视频再度进入人们的视线，市场上开始出现各种相关产品，创业者和投资人们也渐渐将目光投向了这个领域。智能设备计算能力的提高已经使得在手机端拍摄、编辑和创造视频变成现实，微博和脸谱等社交产品也培养和激发了人们分享和交流的需求，因而产生了大量长度在30秒内的UGC(UserGenerated Content，也即是用户生成内容)微视频，面对这些海量的而且包含大量非结构化微视频数据进行快速检索成为迫切的需求。
近年来，在视频特征提取和检索方面研究者们提出了很多有意义的方法。虽然，这些研究方法在特征提取和检索中有一定的效果，但其计算过程一般较复杂，且特征提取需人工干涉，较复杂的特征提取方法也带来了检索的困难。另外，现有的视频特征提取和检索方法也未针对微视频的特有的特点进行特征提取及检索。
综上所述，如何进行更快速有效的微视频检索，已经成为基于内容信息检索研究领域中需要解决的重要课题之一。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于微视频特征数据库的微视频检索方法及装置，用于解决现有技术中无法针对微视频进行快速有效的检索的问题。
为实现上述目的及其他相关目的，本发明提供以下技术方案:
一种微视频特征数据库的建立方法，包括提取微视频中的图像帧，并将所述图像帧与所述微视频相关联；归一化所述图像帧以得到归一化的图像数据；令所述图像数据作为输入进行自编码网络预训练，以得到所述自编码网络中每层网络的权值参数和偏置参数并予以展开连接成一个完成的自编码网络；采用BP神经网络对所述完成的自编码网络进行微调，将微调后的所述完成的自编码网络的中间层的输出数据转换成二进制码并予以存储。
优选地，在上述微视频特征数据库的建立方法中，所述图像帧包括以一预设间隔频率提取所述微视频一帧的多个图像集合，且所述多个图像集合与所述微视频以多对一的映射方式相关联。优选地，在上述微视频特征数据库的建立方法中，归一化所述图像帧的方法包括：令所述图像帧进行图片平滑处理，得到去噪图像；计算所述去噪图像的平均值；计算所述去噪图像的标准方差；令所述去噪图像减去所述去噪图像的所述平均值并再除以所述去噪图像的标准方差，得到归一化的图像数据。
优选地，在上述微视频特征数据库的建立方法中，令所述图像数据进行自编码网络预训练的方法为：令自编码网络第一层的输入为3027个可视节点单元，并令隐藏层为8192个隐藏节点单元；令所有剩余的连接于所述自编码网络各层的受限玻尔兹曼机的隐藏层隐藏节点单元为N个，并令可见层可视节点单元为2N个；初始化每一层的所述受限玻尔兹曼机权重为一随机实数，偏置为零；令所述图像数据在各层所述受限玻尔兹曼机中进行学习，且每层玻尔兹曼机的学习效率为0.001。
优选地，在上述微视频特征数据库的建立方法中，令BP神经网络对所述完成的自编码网络进行微调的方法为：利用前向计算网络对所述完成的自编码网络进行前馈，以得到所述完成的自编码网络的中间层输出的数据；并利用反馈修正网络对所述中间层输出的数据进行反馈，以修正所述中间层输出的数据；将进行前馈和反馈后的所述完成的自编码网的中间层输出的数据转换为二进制码；并将所述二进制码予以存储。
另外，本发明还提供了一种基于微视频特征数据库的微视频快速检索方法，所述检索方法包括：提取待检微视频的视频帧，并归一化所述视频帧以得到归一化的图像数据；令所述图像数据作为输入以进行所述自编码网络的深度学习，以提取出所述视频帧的二进制码；令所述视频帧的二进制码与微视频特征数据库中的二进制码进行汉明距离计算，并根据计算后的距离值对所述微视频特征数据库中的视频进行由小到大的排序并予以输出。
另外，本发明还提供了一种微视频快速检索装置，包括：视频帧提取模块，用于提取待检微视频的视频帧，并将所述视频帧与所述待检微视频相关联；视频帧预处理模块，用于归一化所述视频帧以得到归一化的图像数据；特征提取模块，用于令所述图像数据作为输入以进行自编码网络的深度学习，以提取出所述视频帧的二进制码；检索模块，用于计算所述视频帧的二进制码与微视频特征数据库中的二进制码的汉明距离，并根据计算后的距离值对所述微视频特征数据库中的视频进行由小到大的排序并予以输出。
最后，本发明还提供了一种微视频特征数据库的建立装置，包括：微视频图片提取模块，用于提取微视频中的图像帧，并将所述图像帧与所述微视频相关联；图像帧预处理模块，用于归一化所述图像帧以得到归一化的图像数据；自编码预训练模块，用于令所述图像数据作为输入进行自编码网络预训练，以得到所述自编码网络中每层网络的权值参数和偏置参数并予以展开连接成一个完成的自编码网络；自编码网络微调模块，用于采用BP神经网络对所述完成的自编码网络进行微调，利用前向计算网络对所述完成的自编码网络进行前馈，以得到所述完成的自编码网络的中间层输出的数据；并利用反馈修正网络对所述中间层输出的数据进行反馈，以修正所述中间层输出的数据；自编码特征提取模块，用于将进行前馈和反馈后的所述完成的自编码网络的中间层输出的数据转换为二进制码；并将所述二进制码予以存储。
综上所述，本发明提供的基于微视频特征数据库的微视频检索方法及装置，主要用于实现海量微视频的快速检索。首先，对微视频进行预处理提取视频的关键帧，形成视频帧并标记每帧与微视频的关联；然后将视频帧作为自编码神经网络的输入通过深度网络学习进行特征提取，形成微视频每帧的二进制码库；最后基于汉明距离的K-近邻算法进行检索。相对于现有技术，本发明采用了深度学习技术避免了视频特征提取的人工干涉过程，能够快速有效的对微视频进行检索。
附图说明
图1显示为一种微视频特征数据库的建立方法的流程图。
图2为所述微视频特征数据库的建立方法中的网络预训示意图。
图3为所述微视频特征数据库的建立方法中的网络展开示意图。
图4为所述微视频特征数据库的建立方法中的网络微调示意图。
图5为一种基于所述微视频特征数据库的微视频快速检索方法的流程图。
图6为一种微视频特征数据库的建立装置的原理示意图。
图7为一种微视频快速检索装置的原理示意图。
附图标号说明
100  微视频特征数据库的建立装置
110  微视频图片提取模块
130  图像帧预处理模块
150  自编码预训练模块
170  自编码网络微调模块
190  自编码特征提取模块
200  微视频快速检索装置
210  视频帧提取模块
230  视频帧预处理模块
250  特征提取模块
270  检索模块
S10～S70  A B C  步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
微视频的主要特点是“短”，一部UGC(User Generated Content，也即是用户生成内容)的微视频在30秒内，故其与一般的视频有一定差别。
另外，这里对实施例中的一些名词作适当的说明，以使本领域的技术人员能够更好地理解或实施本发明的技术方案。
自编码网络，是指一种无监督的学习方法，他利用反向传播算法，让目标值等于输入值。其实质是一种神经网络模型，在深度学习的术语中，自编码网络也被称作自编码神经网络。
受限玻尔兹曼机(Restricted Boltzmann Machine，简称RBM)是一种生成式随机神经网络(generative stochastic neural network)，该网络由一些可见单元(visible unit，对应可见变量，亦即数据样本)和一些隐藏单元(hidden unit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0，1}。整个网络是一个二部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接。在本发明中，受限玻尔兹曼机是用于实现自编码网络中层与层之间的连接。
为了能够实现快速而有效地微视频检索，其主要在于如何提供一个能够迅速而高效的视频特征数据库，这是因为，检索的过程就是将待检视频的特征与既有的视频或者数据库中的视频进行比对和排序，以从中找出与待检视频特征最接近的视频。所以，在本实施例中，首先给出了一种微视频特征数据库的建立方法，下面将详细阐述所述建立方法。
本发明提供了一种微视频特征数据库的建立方法，见图1，所述方法包括：
步骤S10，提取微视频中的图像帧，并将所述图像帧与所述微视频相关联；
步骤S30，归一化所述图像帧以得到归一化的图像数据；
步骤S50，令所述图像数据作为输入进行自编码网络预训练，以得到所述自编码网络中每层网络的权值参数和偏置参数并予以展开连接成一个完成的自编码网络；
步骤S70，采用BP神经网络对所述完成的自编码网络进行微调，将微调后的所述完成的自编码网络的中间层的输出数据转换成二进制码并予以存储。
上述微视频特征数据库的建立方法首先对微视频进行预处理提取视频的图像帧，形成图像帧标记每帧与微视频的关联；然后将图像帧作为自编码神经网络的输入通过深度网络学习进行特征提取，形成微视频每帧的二进制码特征库。通过该方法可以快速而有效的建立微视频的特征数据库，为微视频的检索提供基础。
具体地，在所述步骤S10中，提取微视频图像帧的目的是对微视频进行学习重构，图像帧的信息量越大，学习的效果越好；若只提取关键帧，网络学习的信息偏少。因此，在上述方案中可对微视频流每间隔10帧就提取所述微视频的一帧，形成所述微视频的图像帧集合。而将所述图像帧与所述微视频相关联，可以令微视频和图像帧进行一对多的关联，图像帧的命名以微视频的名称为前缀加编号的形式命名。例如，以vi表示第i部微视频，通过视频帧提取后的图像帧为(pi1，pi2……，pin)形成自编码深度网络的训练样本，完成微视频的预处理。
进一步地，在所述步骤S30中，将微视频预处理后的图像数据归一化成32×32大小的图片，具体方法是：先令所述图像帧进行图片平滑处理，得到去噪图像，这里对图片进行平滑处理主要是去除图片的噪声；接着，计算所述去噪图像的平均值和计算所述去噪图像的标准方差；最后，令所述去噪图像减去所述去噪图像的所述平均值并再除以所述去噪图像的标准方差，即可得到归一化的图像数据。
进一步地，在所述步骤S50中，自编码网络第一层的输入为3072个可见单元，隐藏层设置为8192个单元。所有剩余的受限玻尔兹曼机层的隐藏层单元为N个，可见层单元为2N个。初始化每一层的受限玻尔兹曼机的权重为一个随机的小实数，偏置为零。每层玻尔兹曼机的学习效率为0.001，进行各层受限玻尔兹曼机网络学习。
通过上述的训练学习，主要是对图像数据进行自编码网络预训练，可参考图2，其中最后一层的输出即是图片数据的特征表示。经自编码网络预训练后，得到每层网络的权值参数和偏置参数，将网络展开，即可连接成一个完成的自编码网络，如图3。
进一步地，在所述步骤S70中，对所述自编码网络进行微调主要是采用BP网络算法对网络进行微调，如图4，在对所述自编码网络进行微调的前向计算网络时，将中间层(即特征层)输出数据强制转换为0和1的二进制码，在反馈修正网络时使用中间层的原输出结果进行反馈。
更进一步地，通过微调后，自编码网络可以重构图片。取微调后自编码网络的中间层提取微视频图像数据的特征数据，形成图片特征的二进制码并予以存储在数据库中。其中，将中间层转化成二进制码时，采用的是四舍五入的办法来进行二进制码转化。
通过上述方法即可实现微视频特征数据库的建立，从而利用所建立的微视频特征数据库可以实现微视频的快速检索，其具体的检索方法原理都是基于所述微视频特征数据库的，下面将对此予以详细说明。
另外，本发明还提供了一种基于所述微视频特征数据库的微视频快速检索方法，见图5，所述检索方法包括：
步骤A，提取待检微视频的视频帧，并归一化所述视频帧以得到归一化的图像数据；
步骤B，令所述图像数据作为输入以进行所述自编码网络的深度学习，以提取出所述视频帧的二进制码；
步骤C，令所述待检微视频帧经特征提取得到的二进制码与微视频特征数据库中的二进制码进行汉明距离计算，并根据计算后的距离值由小到大对所述微视频特征数据库中的视频进行排序并予以输出。
具体地，在步骤A和步骤B中，其所采用的方法和上述微视频特征数据库建立方法类似，故这里就不再予以赘述。
进一步地，在步骤C中，所述视频帧的二进制码与微视频特征数据库中的二进制码进行汉明距离计算所采用的方法是利用K-近邻算法进行检索，从而得到检索结果。
见图4，上述微视频快速检索方法和上述微视频特征数据库建立方法类似，即对待检微视频进行和微视频特征数据库建立方法一样的处理，以得到待检微视频特征数据的二进制码，然后将其与所述微视频特征数据库的二进制码进行对比计算，最后再将计算结果按照由小到大的进行排序并予以输出。应当理解，在得到计算结果后，可通过所述微视频特征数据库中二进制码和微视频之间的关联映射，将与待检微视频相近的微视频按排序结果予以输出。以上皆为检索技术的常规知识和技术手段，故这里就不再赘述。
另外，本发明还提供了一种微视频特征数据库的建立装置100，见图6，所述装置包括：
微视频图片提取模块110，用于提取微视频中的图像帧，并将所述图像帧与所述微视频相关联；图像帧预处理模块130，用于归一化所述图像帧以得到归一化的图像数据；自编码预训练模块150，令所述图像数据进行自编码网络预训练，得到所述图像数据的权值矩阵和偏置量并予以输出；自编码网络微调模块170，用于采用BP神经网络对所述完成的自编码网络进行微调，利用前向计算网络对所述完成的自编码网络进行前馈，以得到所述完成的自编码网络的中间层输出的数据；并利用反馈修正网络对所述中间层输出的数据进行反馈，以修正所述中间层输出的数据；自编码特征提取模块190，用于将进行前馈和反馈后的所述完成的自编码网络的中间层输出的数据转换为二进制码；并将所述二进制码予以存储。
具体地，在对所述自编码网络进行微调的前向计算网络时，将中间层输出的数据以四舍五入的方法强制转换为二进制码，并在反馈修正网络时令中间层的原输出结果进行反馈，以取微调后的自编码网络的中间层得到所述图像数据的特征数据，形成所述图像帧的二进制特征码并予以存储。
另外，本发明还提供了一种微视频快速检索装置200，见图7，所述微视频快速检索装置200包括：视频帧提取模块210，用于提取待检微视频的视频帧，并将所述视频帧与所述待检微视频相关联；视频帧预处理模块230，用于归一化所述视频帧以得到归一化的图像数据；特征提取模块250，用于令所述图像数据作为输入以进行自编码网络的深度学习，以提取出所述视频帧的二进制码；检索模块270，用于计算所述视频帧的二进制码与微视频特征数据库中的二进制码的汉明距离，并根据计算后的距离值对所述微视频特征数据库中的视频进行由小到大的排序并予以输出。
综上所述，本发明提供的基于微视频特征数据库的微视频检索方法及装置，主要用于实现海量微视频的快速检索。首先，对微视频进行预处理提取视频的关键帧，形成视频帧并标记每帧与微视频的关联；然后将视频帧作为自编码神经网络的输入通过深度网络学习进行特征提取，形成微视频每帧的二进制码库；最后基于汉明距离的K-近邻算法进行检索。相对于现有技术，本发明采用了深度学习技术避免了视频特征提取的人工干涉过程，能够快速有效的对微视频进行检索。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种微视频特征数据库的建立方法，其特征在于：
提取微视频中的图像帧，并将所述图像帧与所述微视频相关联；
归一化所述图像帧以得到归一化的图像数据；
令所述图像数据作为输入进行自编码网络预训练，以得到所述自编码网络中每层网络的权值参数和偏置参数并予以展开连接成一个完成的自编码网络；
采用BP神经网络对所述完成的自编码网络进行微调，将微调后的所述完成的自编码网络的中间层的输出数据转换成二进制码并予以存储。
2.根据权利要求1所述的微视频特征数据库的建立方法，其特征在于，所述图像帧包括以一预设间隔频率提取所述微视频一帧的多个图像集合，且所述多个图像集合与所述微视频以多对一的映射方式相关联。
3.根据权利要求1所述的微视频特征数据库的建立方法，其特征在于，归一化所述图像帧的方法为：
令所述图像帧进行图片平滑处理，得到去噪图像；
计算所述去噪图像的平均值；
计算所述去噪图像的标准方差；
令所述去噪图像减去所述去噪图像的所述平均值并再除以所述去噪图像的标准方差，得到归一化的图像数据。
4.根据权利要求1所述的微视频特征数据库的建立方法，其特征在于，令所述图像数据进行自编码网络预训练的方法为：
令自编码网络第一层的输入为3027个可视节点单元，并令隐藏层为8192个隐藏节点单元；
令所有剩余的连接于所述自编码网络各层的受限玻尔兹曼机的隐藏层隐藏节点单元为N个，并令可见层可视节点单元为2N个；
初始化每一层的所述受限玻尔兹曼机权重为一随机实数，偏置为零；
令所述图像数据在各层所述受限玻尔兹曼机中进行学习，且每层玻尔兹曼机的学习效率为0.001。
5.根据权利要求1所述的微视频特征数据库的建立方法，其特征在于，令BP神经网络对所述完成的自编码网络进行微调的方法为：
利用前向计算网络对所述完成的自编码网络进行前馈，以得到所述完成的自编码网络的中间层输出的数据；
并利用反馈修正网络对所述中间层输出的数据进行反馈，以修正所述中间层输出的数据；
将进行前馈和反馈后的所述完成的自编码网络的中间层输出的数据转换为二进制码；并将所述二进制码予以存储。
6.一种基于权利要求1至5所述的微视频特征数据库的建立方法的微视频快速检索方法，其特征在于，所述检索方法包括：
提取待检微视频的视频帧，并归一化所述视频帧以得到归一化的图像数据；
令所述图像数据作为输入以进行所述自编码网络的深度学习，以提取出所述视频帧的二进制码；
令所述视频帧的二进制码与微视频特征数据库中的二进制码进行汉明距离计算，并根据计算后的距离值对所述微视频特征数据库中的视频进行由小到大的排序并予以输出。
7.根据权利要求6所述的微视频快速检索方法，其特征在于，进行汉明距离计算所采用的方法为K-近邻算法。
8.一种微视频快速检索装置，其特征在于，包括：
视频帧提取模块，用于提取待检微视频的视频帧，并将所述视频帧与所述待检微视频相关联；
视频帧预处理模块，用于归一化所述视频帧以得到归一化的图像数据；
特征提取模块，用于令所述图像数据作为输入以进行自编码网络的深度学习，以提取出所述视频帧的二进制码；
检索模块，用于计算所述视频帧的二进制码与微视频特征数据库中的二进制码的汉明距离，并根据计算后的距离值对所述微视频特征数据库中的视频进行由小到大的排序并予以输出。
9.一种微视频特征数据库的建立装置，其特征在于，包括：
微视频图片提取模块，用于提取微视频中的图像帧，并将所述图像帧与所述微视频相关联；
图像帧预处理模块，用于归一化所述图像帧以得到归一化的图像数据；
自编码预训练模块，用于令所述图像数据作为输入进行自编码网络预训练，以得到所述自编码网络中每层网络的权值参数和偏置参数并予以展开连接成一个完成的自编码网络；
自编码网络微调模块，用于采用BP神经网络对所述完成的自编码网络进行微调，利用前向计算网络对所述完成的自编码网络进行前馈，以得到所述完成的自编码网络的中间层输出的数据；并利用反馈修正网络对所述中间层输出的数据进行反馈，以修正所述中间层输出的数据；
自编码特征提取模块，用于将进行前馈和反馈后的所述完成的自编码网络的中间层输出的数据转换为二进制码；并将所述二进制码予以存储。
10.根据权利要求9所述的微视频特征数据库的建立装置，其特征在于，采用四舍五入的方法对所述中间层输出的数据转换为二进制码。
CN201410416334.7A 2014-08-20 2014-08-20 基于微视频特征数据库的微视频检索方法及装置 Active CN104156464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410416334.7A CN104156464B (zh) 2014-08-20 2014-08-20 基于微视频特征数据库的微视频检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410416334.7A CN104156464B (zh) 2014-08-20 2014-08-20 基于微视频特征数据库的微视频检索方法及装置

Publications (2)

Publication Number Publication Date
CN104156464A true CN104156464A (zh) 2014-11-19
CN104156464B CN104156464B (zh) 2018-04-27

Family

ID=51881962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410416334.7A Active CN104156464B (zh) 2014-08-20 2014-08-20 基于微视频特征数据库的微视频检索方法及装置

Country Status (1)

Country Link
CN (1) CN104156464B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679863A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种基于深度学习的以图搜图方法和***
CN105007524A (zh) * 2015-07-29 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN106227815A (zh) * 2015-07-22 2016-12-14 Tcl集团股份有限公司 一种多模态线索的个性化应用程序功能推荐方法及其***
CN106445939A (zh) * 2015-08-06 2017-02-22 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及***
WO2017096758A1 (zh) * 2015-12-11 2017-06-15 腾讯科技（深圳）有限公司 图像分类方法、电子设备和存储介质
CN106886768A (zh) * 2017-03-02 2017-06-23 杭州当虹科技有限公司 一种基于深度学习的视频指纹算法
WO2017177661A1 (zh) * 2016-04-15 2017-10-19 乐视控股（北京）有限公司 基于卷积神经网络的视频检索方法及***
CN108280233A (zh) * 2018-02-26 2018-07-13 南京邮电大学 一种基于深度学习的视频gis数据检索方法
WO2018209932A1 (zh) * 2017-05-17 2018-11-22 清华大学 多量化深度二值特征学习方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8484022B1 (en) * 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
CN103778414A (zh) * 2014-01-17 2014-05-07 杭州电子科技大学 基于深度神经网络的实时人脸识别方法
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8484022B1 (en) * 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
CN103778414A (zh) * 2014-01-17 2014-05-07 杭州电子科技大学 基于深度神经网络的实时人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵毅等: "神经网络在视频检索中的应用", 《九江学院学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679863A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种基于深度学习的以图搜图方法和***
CN104679863B (zh) * 2015-02-28 2018-05-04 武汉烽火众智数字技术有限责任公司 一种基于深度学习的以图搜图方法和***
CN106227815A (zh) * 2015-07-22 2016-12-14 Tcl集团股份有限公司 一种多模态线索的个性化应用程序功能推荐方法及其***
CN106227815B (zh) * 2015-07-22 2020-10-27 Tcl科技集团股份有限公司 一种多模态线索的个性化应用程序功能推荐方法及其***
CN105007524A (zh) * 2015-07-29 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN106445939A (zh) * 2015-08-06 2017-02-22 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及***
CN106445939B (zh) * 2015-08-06 2019-12-13 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及***
US10325181B2 (en) 2015-12-11 2019-06-18 Tencent Technology (Shenzhen) Company Limited Image classification method, electronic device, and storage medium
WO2017096758A1 (zh) * 2015-12-11 2017-06-15 腾讯科技（深圳）有限公司 图像分类方法、电子设备和存储介质
CN106874921A (zh) * 2015-12-11 2017-06-20 清华大学 图像分类方法和装置
WO2017177661A1 (zh) * 2016-04-15 2017-10-19 乐视控股（北京）有限公司 基于卷积神经网络的视频检索方法及***
CN106886768A (zh) * 2017-03-02 2017-06-23 杭州当虹科技有限公司 一种基于深度学习的视频指纹算法
WO2018209932A1 (zh) * 2017-05-17 2018-11-22 清华大学 多量化深度二值特征学习方法及装置
CN108280233A (zh) * 2018-02-26 2018-07-13 南京邮电大学 一种基于深度学习的视频gis数据检索方法

Also Published As

Publication number Publication date
CN104156464B (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
CN104156464A (zh) 基于微视频特征数据库的微视频检索方法及装置
CN110188227B (zh) 一种基于深度学习与低秩矩阵优化的哈希图像检索方法
CN104679863B (zh) 一种基于深度学习的以图搜图方法和***
CN105279146B (zh) 针对短不相关文本的检测的上下文感知方法
CN102902821B (zh) 基于网络热点话题的图像高级语义标注、检索方法及装置
CN110516085A (zh) 基于双向注意力的图像文本互检索方法
WO2019137185A1 (zh) 一种图片筛选方法及装置、存储介质、计算机设备
CN103778227A (zh) 从检索图像中筛选有用图像的方法
CN104142995B (zh) 基于视觉属性的社会事件识别方法
CN112016601B (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN108062421A (zh) 一种大规模图片多尺度语义检索方法
CN108399185A (zh) 一种多标签图像的二值向量生成方法及图像语义相似度查询方法
KR101224312B1 (ko) 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버
CN109063112A (zh) 一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法
CN104484347B (zh) 一种基于地理信息的层次化视觉特征提取方法
CN109408655A (zh) 结合带孔卷积与多尺度感知网络的手绘草图检索方法
CN115374189B (zh) 基于区块链的食品安全溯源方法、装置及设备
CN108806355A (zh) 一种书画艺术互动教育***
CN106528676A (zh) 基于人工智能的实体语义检索处理方法及装置
CN112487020A (zh) 用于SQL to text的图到自然语言语句的转换方法及***
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
CN108446605B (zh) 复杂背景下双人交互行为识别方法
CN109740012A (zh) 基于深度神经网络对图像语义进行理解和问答的方法
CN108446307A (zh) 一种多标签图像的二值向量生成方法及图像语义相似度查询方法
CN110852376B (zh) 用于识别生物种类的方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant