CN110297933A - 一种基于深度学习的主题标签推荐方法及工具 - Google Patents

一种基于深度学习的主题标签推荐方法及工具 Download PDF

Info

Publication number
CN110297933A
CN110297933A CN201910587052.6A CN201910587052A CN110297933A CN 110297933 A CN110297933 A CN 110297933A CN 201910587052 A CN201910587052 A CN 201910587052A CN 110297933 A CN110297933 A CN 110297933A
Authority
CN
China
Prior art keywords
theme label
image
label
model
video clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910587052.6A
Other languages
English (en)
Inventor
张雨柔
李锐
于治楼
段强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Original Assignee
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Artificial Intelligence Research Institute Co Ltd filed Critical Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority to CN201910587052.6A priority Critical patent/CN110297933A/zh
Publication of CN110297933A publication Critical patent/CN110297933A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于深度学***台上。

Description

一种基于深度学习的主题标签推荐方法及工具
技术领域
本发明涉及信息处理技术领域，具体的说是一种基于深度学习的主题标签推荐方法及工具。
背景技术
随着互联网技术的发展，目前市场上出现了各式各样的自媒体社交应用软件，例如微博、抖音、小红书、西瓜视频等，所有用户都可以在App上上传自己的视频或图像，同时为其标注合适的主题标签，当我们所标注的主题标签符合浏览者的兴趣、主题标签具备新颖性和吸引力、或者主题标签符合目前网络上的流行趋势时，该媒体内容将会受到更多的关注量。由于网络上媒体信息内容的多样化以及媒体信息数据的海量化，为其标注适当的主题标签仍然是一个亟待解决的问题。
传统的方法有的直接使用单一的机器学习算法对图像或视频等媒体内容直接进行主题标签的预测，但这仍然无法满足内容稍微丰富或复杂的图像或视频主题标签推荐问题。
目前，还有的方法所推荐的主题标签类别比较固定，无法很好地适应当前的流行趋势，导致所推荐的主题标签不具备吸引力。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于深度学习的主题标签推荐方法及工具。
首先，本发明公开一种基于深度学习的主题标签推荐方法，解决上述技术问题采用的技术方案如下：
一种基于深度学习的主题标签推荐方法，该方法基于zero-shot learning思想，利用深度网络模型的特征提取能力对图像或视频片段进行特征提取，利用支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签，利用结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展，进而得到与预测主题标签语义相关的K个主题标签，预测主题标签和K个主题标签作为输入图像或视频片段的最终主题标签进行标注。
具体的，利用深度网络模型的特征提取能力对图像或视频片段进行特征提取之前，需要对深度网络模型的特征提取能力进行训练，具体操作为：
收集具有标签的图像或视频片段作为训练集；
利用深度网络模型对训练集的图像或视频片段进行特征提取；
将深度网络模型提取的特征作为图像特征向量输入支持向量机SVM模型；
支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签；
结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展后获得多个主题标签；
判断预测主题标签与扩展后获得的多个主题标签是否相关；
若相关，则继续训练下一图像或视频片段；
若不相关，则纠正后继续训练下一图像或视频片段。
具体的，所涉及训练集被均分成三个数据集；
深度网络模型有三个，分别为基于CNN卷积神经网络的图像分类模型、基于RNN循环神经网络的图像分类模型、基于DNN深度神经网络的图像分类模型；
三个图像分类模型对三个数据集的图像或视频片段分别进行特征提取；
将上述三个不同图像分类网络提取的三种特征级联在一起形成新的多维图像特征向量，多维图像特征向量输入支持向量机SVM模型，以图像或视频片段原始具有的标签为参照，生成一个预测主题标签。
具体的，所涉及结合词嵌入模型word2vec建模了文本之间的相关性关系，结合词嵌入模型word2vec将文本表示转化为词向量形式，对于语义相似的文本表示转化为向量之后将会具有较小的距离，语义不相似的文本表示将具有较大的距离，基于此特征，结合词嵌入模型word2vec将预测主题标签投影到词向量空间，并进一步利用K近邻算法搜索获取与该预测主题标签相似的K个主题标签作为输入图像或视频片段的最终主题标签进行标注。
具体的，利用结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展，具体操作包括：
将预测主题标签通过结合词嵌入模型word2vec映射到文本向量空间；
采用余弦相似度或欧式距离的方法计算该文本向量与语料库种其他向量的距离关系；
通过K近邻方法获取与当前输入的预测主题标签最相近的K个主题标签；
将这K个主题标签与支持向量机SVM模型的预测主题标签作为图像或视频片段的最终主题标签进行标注。
具体的，所涉及语料库定期进行更新，同时，语料库还对结合词嵌入模型word2vec进行更新。
其次，本发明还公开一种基于深度学习的主题标签推荐工具，该工具包括深度网络模型、支持向量机SVM模型、结合词嵌入模型word2vec、K近邻算法模块；
深度网络模型对图像或视频片段进行特征提取；
支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签；
结合词嵌入模型word2vec和K近邻算法模块对预测主题标签进行扩展，并获取与当前输入的预测主题标签最相近的K个主题标签；
获取的K个主题标签与支持向量机SVM模型word2vec的预测主题标签作为图像或视频片段的最终主题标签进行标注。
具体的，主题标签推荐工具还包括对深度网络模型的特征提取能力进行训练的训练模块；
训练模块包括收集子模块和判断子模块；
收集子模块收集具有标签的图像或视频片段作为训练样本存储在训练集，训练集的图像或视频片段依次输入深度网络模型；
深度网络模型对训练集的图像或视频片段进行特征提取，提取特征作为图像特征向量输入支持向量机SVM模型，支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展后获得多个主题标签；
判断子模块判断预测主题标签与扩展后获得的多个主题标签是否相关，并在相关时直接输出训练集中的下一图像或视频片段，在不相关时，先纠正再输出训练集中的下一图像或视频片段。
具体的，所涉及训练集被均分成三个数据集；
深度网络模型有三个，分别是基于CNN卷积神经网络的图像分类模型、基于RNN循环神经网络的图像分类模型、基于DNN深度神经网络的图像分类模型；
三个图像分类模型对三个数据集的图像或视频片段分别进行特征提取；
将上述三个不同图像分类网络提取的三种特征级联在一起形成新的多维图像特征向量，多维图像特征向量输入支持向量机SVM模型，随后，以图像或视频片段原始具有的标签为参照，生成一个预测主题标签。
具体的，所涉及结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展的具体操作包括：
将预测主题标签通过结合词嵌入模型word2vec映射到文本向量空间；
采用余弦相似度或欧式距离的方法计算该文本向量与语料库种其他向量的距离关系；
通过K近邻方法获取与当前输入的预测主题标签最相近的K个主题标签；
将这K个主题标签与支持向量机SVM模型的预测主题标签作为图像或视频片段的最终主题标签进行标注。
本发明的一种基于深度学习的主题标签推荐方法及工具，与现有技术相比具有的有益效果是：
1)本发明基于zero-shot learning思想，利用深度网络模型的特征提取能力对图像或视频片段进行特征提取，利用支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签，利用结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展，进而得到与预测主题标签语义相关的K个主题标签，预测主题标签和K个主题标签作为输入图像或视频片段的最终主题标签进行标注，使得标注结果更为可靠；
12)本发明可应用到各大社交媒体网络平台上，为用户所上传的图像或视频自动选择合适的主题标签，当图像或视频标注的主题标签与其内容的匹配程度越高，并且越符合当前所流行的话题时，图像或视频被关注程度将会越高。
附图说明
附图1是本发明实施例一的原理流程图；
附图2是本发明实施例二的结构框图。
附图2中各标号信息表示：
1、深度网络模型，2、支持向量机SVM模型，
3、结合词嵌入模型word2vec，4、K近邻算法模块，
5、CNN卷积神经网络的图像分类模型，
6、基于RNN循环神经网络的图像分类模型，
7、基于DNN深度神经网络的图像分类模型，
8、训练模块，9、收集子模块，10、判断子模块。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。
实施例一：
结合附图1，本实施例提出一种基于深度学习的主题标签推荐方法，该方法基于zero-shot learning思想，利用三个深度网络模型的特征提取能力对图像或视频片段进行特征提取，利用支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签，利用结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展，进而得到与预测主题标签语义相关的K个主题标签，预测主题标签和K个主题标签作为输入图像或视频片段的最终主题标签进行标注。
在本实施例中，利用深度网络模型的特征提取能力对图像或视频片段进行特征提取之前，需要对深度网络模型的特征提取能力进行训练，具体操作为：
收集具有标签的图像或视频片段作为训练集，将训练集均分成三个数据集；
利用三个深度网络模型对三个数据集的图像或视频片段进行特征提取，三个深度网络模型分别为基于CNN卷积神经网络的图像分类模型、基于RNN循环神经网络的图像分类模型、基于DNN深度神经网络的图像分类模型；
将上述三个不同图像分类网络提取的三种特征级联在一起形成新的多维图像特征向量，多维图像特征向量输入支持向量机SVM模型；
支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签；
结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展后获得多个主题标签；
判断预测主题标签与扩展后获得的多个主题标签是否相关；
若相关，则继续训练下一图像或视频片段；
若不相关，则纠正后继续训练下一图像或视频片段。
在本实施例中，所涉及结合词嵌入模型word2vec建模了文本之间的相关性关系，结合词嵌入模型word2vec将文本表示转化为词向量形式，对于语义相似的文本表示转化为向量之后将会具有较小的距离，语义不相似的文本表示将具有较大的距离，基于此特征，结合词嵌入模型word2vec将预测主题标签投影到词向量空间，并进一步利用K近邻算法搜索获取与该预测主题标签相似的K个主题标签作为输入图像或视频片段的最终主题标签进行标注。
在本实施例中，利用结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展，具体操作包括：
将预测主题标签通过结合词嵌入模型word2vec映射到文本向量空间；
采用余弦相似度或欧式距离的方法计算该文本向量与语料库种其他向量的距离关系；
通过K近邻方法获取与当前输入的预测主题标签最相近的K个主题标签；
将这K个主题标签与支持向量机SVM模型的预测主题标签作为图像或视频片段的最终主题标签进行标注。
在本实施例中，所涉及语料库定期进行更新，同时，语料库还对结合词嵌入模型word2vec进行更新。
实施例二：
结合附图2，本实施例提出一种基于深度学习的主题标签推荐工具，该工具包括深度网络模型1、支持向量机SVM模型2、结合词嵌入模型word2vec 3、K近邻算法模块4。
附图2中，深度网络模型1、支持向量机SVM模型2、结合词嵌入模型word2vec 3、K近邻算法模块4可以不经过训练直接获取图像或视频片段，并输出主题标签。此时：
深度网络模型1对图像或视频片段进行特征提取；
支持向量机SVM模型2对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签；
结合词嵌入模型word2vec 3和K近邻算法模块4对预测主题标签进行扩展，并获取与当前输入的预测主题标签最相近的K个主题标签；
获取的K个主题标签与支持向量机SVM模型2word2vec的预测主题标签作为图像或视频片段的最终主题标签进行标注。
结合附图2，为了保证输出主题标签与图像或视频片段的最大相关性，我们还可以提前获取大量已经标注有标签的图像或视频片段作为训练样本。此时，主题标签推荐工具还需要包括对深度网络模型1的特征提取能力进行训练的训练模块8。
训练模块8包括收集子模块9和判断子模块10；
收集子模块9收集具有标签的图像或视频片段作为训练样本存储在训练集，训练集的图像或视频片段依次输入深度网络模型1；
深度网络模型1对训练集的图像或视频片段进行特征提取，提取特征作为图像特征向量输入支持向量机SVM模型2，支持向量机SVM模型2对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签结合词嵌入模型word2vec 3和K近邻算法对预测主题标签进行扩展后获得多个主题标签；
判断子模块10判断预测主题标签与扩展后获得的多个主题标签是否相关，并在相关时直接输出训练集中的下一图像或视频片段，在不相关时，先纠正再输出训练集中的下一图像或视频片段。
在训练模块8对深度网络模型1、支持向量机SVM模型2、结合词嵌入模型word2vec3、K近邻算法模块4训练完成后，再将直接获取的图像或视频片段依次输入，深度网络模型1、支持向量机SVM模型2、结合词嵌入模型word2vec 3、K近邻算法模块4，即可输出与输入图像或视频片段相关的多个主题标签。
在训练过程中，所涉及训练集被均分成三个数据集；
深度网络模型1有三个，分别是基于CNN卷积神经网络的图像分类模型5、基于RNN循环神经网络的图像分类模型6、基于DNN深度神经网络的图像分类模型7；
三个图像分类模型对三个数据集的图像或视频片段分别进行特征提取；
将上述三个不同图像分类网络提取的三种特征级联在一起形成新的多维图像特征向量，多维图像特征向量输入支持向量机SVM模型2，随后，以图像或视频片段原始具有的标签为参照，生成一个预测主题标签。
在本实施例中，所涉及结合词嵌入模型word2vec 3和K近邻算法对预测主题标签进行扩展的具体操作包括：
将预测主题标签通过结合词嵌入模型word2vec 3映射到文本向量空间；
采用余弦相似度或欧式距离的方法计算该文本向量与语料库种其他向量的距离关系；
通过K近邻方法获取与当前输入的预测主题标签最相近的K个主题标签；
将这K个主题标签与支持向量机SVM模型2的预测主题标签作为图像或视频片段的最终主题标签进行标注。
综上可知，采用本发明的一种基于深度学***台上，为用户所上传的图像或视频自动选择合适的主题标签。另外，当图像或视频标注的主题标签与其内容的匹配程度越高，并且越符合当前所流行的话题时，图像或视频被关注程度将会越高。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种基于深度学习的主题标签推荐方法，其特征在于,该方法基于zero-shotlearning思想，利用深度网络模型的特征提取能力对图像或视频片段进行特征提取，利用支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签，利用结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展，进而得到与预测主题标签语义相关的K个主题标签，预测主题标签和K个主题标签作为输入图像或视频片段的最终主题标签进行标注。
2.根据权利要求1所述的一种基于深度学习的主题标签推荐方法，其特征在于，利用深度网络模型的特征提取能力对图像或视频片段进行特征提取之前，需要对深度网络模型的特征提取能力进行训练，具体操作为：
收集具有标签的图像或视频片段作为训练集；
利用深度网络模型对训练集的图像或视频片段进行特征提取；
将深度网络模型提取的特征作为图像特征向量输入支持向量机SVM模型；
支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签；
结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展后获得多个主题标签；
判断预测主题标签与扩展后获得的多个主题标签是否相关；
若相关，则继续训练下一图像或视频片段；
若不相关，则纠正后继续训练下一图像或视频片段。
3.根据权利要求2所述的一种基于深度学习的主题标签推荐方法，其特征在于，所述训练集被均分成三个数据集；
所述深度网络模型有三个，分别为基于CNN卷积神经网络的图像分类模型、基于RNN循环神经网络的图像分类模型、基于DNN深度神经网络的图像分类模型；
三个图像分类模型对三个数据集的图像或视频片段分别进行特征提取；
将上述三个不同图像分类网络提取的三种特征级联在一起形成新的多维图像特征向量，多维图像特征向量输入支持向量机SVM模型，以图像或视频片段原始具有的标签为参照，生成一个预测主题标签。
4.根据权利要求1所述的一种基于深度学习的主题标签推荐方法，其特征在于，所述结合词嵌入模型word2vec建模了文本之间的相关性关系，所述结合词嵌入模型word2vec将文本表示转化为词向量形式，对于语义相似的文本表示转化为向量之后将会具有较小的距离，语义不相似的文本表示将具有较大的距离，基于此特征，结合词嵌入模型word2vec将预测主题标签投影到词向量空间，并进一步利用K近邻算法搜索获取与该预测主题标签相似的K个主题标签作为输入图像或视频片段的最终主题标签进行标注。
5.根据权利要求4所述的一种基于深度学习的主题标签推荐方法，其特征在于，利用结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展，具体操作包括：
将预测主题标签通过结合词嵌入模型word2vec映射到文本向量空间；
采用余弦相似度或欧式距离的方法计算该文本向量与语料库种其他向量的距离关系；
通过K近邻方法获取与当前输入的预测主题标签最相近的K个主题标签；
将这K个主题标签与支持向量机SVM模型的预测主题标签作为图像或视频片段的最终主题标签进行标注。
6.根据权利要求5所述的一种基于深度学习的主题标签推荐方法，其特征在于，所述语料库定期进行更新，同时，所述语料库还对结合词嵌入模型word2vec进行更新。
7.一种基于深度学习的主题标签推荐工具，其特征在于，该工具包括深度网络模型、支持向量机SVM模型、结合词嵌入模型word2vec、K近邻算法模块；
所述深度网络模型对图像或视频片段进行特征提取；
所述支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签；
所述结合词嵌入模型word2vec和所述K近邻算法模块对预测主题标签进行扩展，并获取与当前输入的预测主题标签最相近的K个主题标签；
获取的K个主题标签与支持向量机SVM模型word2vec的预测主题标签作为图像或视频片段的最终主题标签进行标注。
8.根据权利要求7所述的一种基于深度学习的主题标签推荐工具，其特征在于，该工具还包括对深度网络模型的特征提取能力进行训练的训练模块；
所述训练模块包括收集子模块和判断子模块；
所述收集子模块收集具有标签的图像或视频片段作为训练样本存储在训练集，训练集的图像或视频片段依次输入深度网络模型；
深度网络模型对训练集的图像或视频片段进行特征提取，提取特征作为图像特征向量输入支持向量机SVM模型，支持向量机SVM模型对提取的特征进行主题标签的特征分类，并获取关于图像或视频片段的一个预测主题标签结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展后获得多个主题标签；
所述判断子模块判断预测主题标签与扩展后获得的多个主题标签是否相关，并在相关时直接输出训练集中的下一图像或视频片段，在不相关时，先纠正再输出训练集中的下一图像或视频片段。
9.根据权利要求8所述的一种基于深度学习的主题标签推荐工具，其特征在于，所述训练集被均分成三个数据集；
所述深度网络模型有三个，分别是基于CNN卷积神经网络的图像分类模型、基于RNN循环神经网络的图像分类模型、基于DNN深度神经网络的图像分类模型；
所述的三个图像分类模型对三个数据集的图像或视频片段分别进行特征提取；
将上述三个不同图像分类网络提取的三种特征级联在一起形成新的多维图像特征向量，多维图像特征向量输入支持向量机SVM模型，随后，以图像或视频片段原始具有的标签为参照，生成一个预测主题标签。
10.根据权利要求8所述的一种基于深度学习的主题标签推荐工具，其特征在于，结合词嵌入模型word2vec和K近邻算法对预测主题标签进行扩展的具体操作包括：
将预测主题标签通过结合词嵌入模型word2vec映射到文本向量空间；
采用余弦相似度或欧式距离的方法计算该文本向量与语料库种其他向量的距离关系；
通过K近邻方法获取与当前输入的预测主题标签最相近的K个主题标签；
将这K个主题标签与支持向量机SVM模型的预测主题标签作为图像或视频片段的最终主题标签进行标注。
CN201910587052.6A 2019-07-01 2019-07-01 一种基于深度学习的主题标签推荐方法及工具 Pending CN110297933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910587052.6A CN110297933A (zh) 2019-07-01 2019-07-01 一种基于深度学习的主题标签推荐方法及工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910587052.6A CN110297933A (zh) 2019-07-01 2019-07-01 一种基于深度学习的主题标签推荐方法及工具

Publications (1)

Publication Number Publication Date
CN110297933A true CN110297933A (zh) 2019-10-01

Family

ID=68029847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910587052.6A Pending CN110297933A (zh) 2019-07-01 2019-07-01 一种基于深度学习的主题标签推荐方法及工具

Country Status (1)

Country Link
CN (1) CN110297933A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611805A (zh) * 2020-04-24 2020-09-01 平安科技（深圳）有限公司 一种基于图像的辅助写作方法、装置、介质及设备
CN113139141A (zh) * 2021-04-22 2021-07-20 康键信息技术（深圳）有限公司 用户标签扩展标注方法、装置、设备及存储介质
CN114387118A (zh) * 2022-01-13 2022-04-22 重庆邮电大学 一种基于粒球计算的人物社交网络主题识别方法及***
CN114580380A (zh) * 2022-03-07 2022-06-03 中国人民解放军国防科技大学 基于主题的社交媒体主题标签生成方法
CN116156271A (zh) * 2022-12-14 2023-05-23 北京奇艺世纪科技有限公司 视频标题的生成方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086466A (ja) * 2008-10-02 2010-04-15 Toyota Central R&D Labs Inc データ分類装置及びプログラム
CN105354307A (zh) * 2015-11-06 2016-02-24 腾讯科技（深圳）有限公司 一种图像内容识别方法及装置
CN106682411A (zh) * 2016-12-22 2017-05-17 浙江大学 一种将体检诊断数据转化为疾病标签的方法
CN108629373A (zh) * 2018-05-07 2018-10-09 苏州大学 一种图像分类方法、***、设备及计算机可读存储介质
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN109460475A (zh) * 2018-12-13 2019-03-12 北京百分点信息科技有限公司 一种相似线索的归并方法
CN109871444A (zh) * 2019-01-16 2019-06-11 北京邮电大学 一种文本分类方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086466A (ja) * 2008-10-02 2010-04-15 Toyota Central R&D Labs Inc データ分類装置及びプログラム
CN105354307A (zh) * 2015-11-06 2016-02-24 腾讯科技（深圳）有限公司 一种图像内容识别方法及装置
CN106682411A (zh) * 2016-12-22 2017-05-17 浙江大学 一种将体检诊断数据转化为疾病标签的方法
CN108629373A (zh) * 2018-05-07 2018-10-09 苏州大学 一种图像分类方法、***、设备及计算机可读存储介质
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN109460475A (zh) * 2018-12-13 2019-03-12 北京百分点信息科技有限公司 一种相似线索的归并方法
CN109871444A (zh) * 2019-01-16 2019-06-11 北京邮电大学 一种文本分类方法及***

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611805A (zh) * 2020-04-24 2020-09-01 平安科技（深圳）有限公司 一种基于图像的辅助写作方法、装置、介质及设备
CN111611805B (zh) * 2020-04-24 2023-04-07 平安科技（深圳）有限公司 一种基于图像的辅助写作方法、装置、介质及设备
CN113139141A (zh) * 2021-04-22 2021-07-20 康键信息技术（深圳）有限公司 用户标签扩展标注方法、装置、设备及存储介质
CN113139141B (zh) * 2021-04-22 2023-10-31 康键信息技术（深圳）有限公司 用户标签扩展标注方法、装置、设备及存储介质
CN114387118A (zh) * 2022-01-13 2022-04-22 重庆邮电大学 一种基于粒球计算的人物社交网络主题识别方法及***
CN114387118B (zh) * 2022-01-13 2024-04-30 重庆邮电大学 一种基于粒球计算的人物社交网络主题识别方法及***
CN114580380A (zh) * 2022-03-07 2022-06-03 中国人民解放军国防科技大学 基于主题的社交媒体主题标签生成方法
CN114580380B (zh) * 2022-03-07 2022-08-05 中国人民解放军国防科技大学 基于主题的社交媒体主题标签生成方法
CN116156271A (zh) * 2022-12-14 2023-05-23 北京奇艺世纪科技有限公司 视频标题的生成方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110297933A (zh) 一种基于深度学习的主题标签推荐方法及工具
Yu et al. Sketch me that shoe
Tang et al. Frame-wise cross-modal matching for video moment retrieval
Zhang et al. Rich visual knowledge-based augmentation network for visual question answering
CN108765383B (zh) 基于深度迁移学习的视频描述方法
Guan et al. Multimodal compatibility modeling via exploring the consistent and complementary correlations
CN105389329B (zh) 一种基于群体评论的开源软件推荐方法
CN113536922A (zh) 一种加权融合多种图像任务的视频行为识别方法
Gökçe et al. Score-level multi cue fusion for sign language recognition
Liu et al. Compact feature learning for multi-domain image classification
CN111142850A (zh) 一种基于深度神经网络的代码片段推荐方法与装置
CN113761105A (zh) 文本数据处理方法、装置、设备以及介质
Zhang et al. Learning object detectors with semi-annotated weak labels
Chen et al. A temporal attentive approach for video-based pedestrian attribute recognition
Fu et al. Learning semantic-aware spatial-temporal attention for interpretable action recognition
CN106227836B (zh) 基于图像与文字的无监督联合视觉概念学习***及方法
Zhao et al. An end-to-end framework for clothing collocation based on semantic feature fusion
CN115187910A (zh) 视频分类模型训练方法、装置、电子设备及存储介质
Li et al. Integrating language guidance into image-text matching for correcting false negatives
CN114661951A (zh) 一种视频处理方法、装置、计算机设备以及存储介质
Liu et al. Dynamic self-attention with vision synchronization networks for video question answering
Yuan et al. MCIC: multimodal conversational intent classification for E-commerce customer service
Huo et al. Semantic relevance learning for video-query based video moment retrieval
CN106022389B (zh) 一种主动选择多示例多标记数字图像的相关反馈方法
CN111223014B (zh) 一种从大量细分教学内容在线生成细分场景教学课程的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191001

RJ01 Rejection of invention patent application after publication