CN108305296B - 图像描述生成方法、模型训练方法、设备和存储介质 - Google Patents
图像描述生成方法、模型训练方法、设备和存储介质 Download PDFInfo
- Publication number
- CN108305296B CN108305296B CN201710763735.3A CN201710763735A CN108305296B CN 108305296 B CN108305296 B CN 108305296B CN 201710763735 A CN201710763735 A CN 201710763735A CN 108305296 B CN108305296 B CN 108305296B
- Authority
- CN
- China
- Prior art keywords
- vector
- feature vector
- training
- description information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Color Printing (AREA)
- Electrically Operated Instructional Devices (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种图像描述生成方法、模型训练方法、设备和存储介质,属于机器学习技术领域。所述方法包括:获取目标图像;生成目标图像的第一全局特征向量和第一标注向量集合;输入目标图像至匹配模型,通过匹配模型生成目标图像的第一多模态特征向量;匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型;根据第一多模态特征向量、第一全局特征向量和第一标注向量集合,生成目标图像的目标图像描述信息;通过训练得到的匹配模型生成目标图像的多模态特征向量,再将多模态特征向量输入至计算模型得到目标图像描述信息,达到了提高生成的图像描述信息的准确率的效果。
Description
技术领域
本发明实施例涉及机器学习技术领域,特别涉及一种图像描述生成方法、模型训练方法、设备和存储介质。
背景技术
随着图像识别技术的发展,通过算法就能将图像的内容信息转化为图像的文字描述。
相关的一种图像描述生成方法包括:首先通过编码器,如特征提取模型,对获取到的目标图像进行编码,生成目标图像的全局特征向量和标注向量集合,然后输入目标图像的全局特征向量和标注向量集合至解码器,如计算模型,最后得到目标图像的描述信息。
相关技术提供的图像描述生成方法中,解码器的输入参数只包括目标图像的全局特征向量和标注向量集合,也即解码器的输入参数只包括目标图像的图像信息,容易导致生成的图像描述信息不够准确。
发明内容
为了解决现有技术中存在的问题,本发明实施例提供了一种图像描述生成方法、模型训练方法、终端和存储介质。技术方案如下:
根据本发明实施例的第一方面,提供一种图像描述生成方法,该方法包括:
获取目标图像;
生成所述目标图像的第一全局特征向量和第一标注向量集合;
输入所述目标图像至匹配模型,通过所述匹配模型生成所述目标图像的第一多模态特征向量;所述匹配模型为根据训练图像和所述训练图像的参考图像描述信息训练得到的模型;
根据所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合,生成所述目标图像的目标图像描述信息。
根据本发明实施例的第二方面,提供一种模型训练方法,用于训练如第一方面所述的所述匹配模型和计算模型,该方法包括:
获取训练图像的全局特征向量和标注向量集合,以及所述训练图像的参考图像描述信息的文本特征向量;
根据所述全局特征向量和所述文本特征向量训练匹配模型。
根据本发明实施例的第三方面,提供了一种生成设备,所述生成设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的图像描述生成方法。
根据本发明实施例的第四方面,提供了一种训练设备,所述训练设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第二方面所述的模型训练方法。
根据本发明实施例的第五方面,提供了一种计算机存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的图像描述生成方法。
根据本发明实施例的第六方面,提供了一种计算机存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第二方面所述的模型训练方法。
本发明实施例提供的技术方案带来的有益效果是:
通过输入目标图像至匹配模型,得到目标图像的多模态特征向量,由于匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型,因此通过匹配模型生成的多模态特征向量包含预测的文本信息;再将包含预测的文本信息的多模态特征向量输入至计算模型,使得通过计算模型生成的目标图像描述信息更为准确,达到了提高生成的图像描述信息的准确率的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明各个实施例提供的图像描述生成方法和模型训练方法所涉及的实施环境的示意图;
图2是本发明一个实施例提供的模型训练方法的方法流程图;
图3是本发明一个实施例提供的图像描述生成方法的方法流程图;
图4是本发明一个实施例提供的图像描述生成方法的流程图;
图5是本发明一个实施例提供的图像描述生成装置的结构示意图;
图6是本发明一个实施例提供的模型训练装置的结构示意图;
图7是本发明一个实施例提供的终端的框图;
图8是本发明一个实施例提供的服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了便于描述,下述先对各个实施例中所涉及的术语做简单介绍。
CNN(Convolution Neural Network,卷积神经网络),是一种直接从图像底层的像素特征开始,逐层对图像进行特征提取的前馈神经网络,是编码器最常用的实现模型,负责将图像编码成向量。
RNN(Recurrent Neural Network,递归神经网络),是一种具有固定权值、外部输入和内部状态的神经网络,可以将其看作是以权值和外部输入为参数,关于内部状态的行为动力学。RNN是解码器最常用的实现模型,负责将编码器生成的图像向量翻译成图像的文字描述。
LSTM(Long-Short-Term Memory,长短时记忆),是一种时间递归神经网络,用于处理和预测时间序列中间隔或者延迟相对较长时间的重要事件,属于一种特殊的RNN。
注意力机制(Attention Mechanism),常被运用在RNN上。带有注意力机制的RNN,在每次处理目标图像的部分像素时,都会根据当前状态的前一个状态所关注的目标图像的部分像素去处理,而不是根据目标图像的全部像素,可以减少任务的处理复杂度。
SGD(Stochastic Gradient Descent,随机梯度下降),是一种最小化目标函数的方法,在每次迭代一个或者一批新的样本时,只考虑将当前样本点的损失趋于最小而不考虑其他样本点,且每迭代一个或者一批新的样本就会更新一次目标函数中的所有参数。
交叉熵代价函数(Cross-Entropy Cost Function),是一种用来计算神经网络的预测分布与实际分布之间的误差的方法,在反向传播训练神经网络的过程中,若预测分布与实际分布之间的误差越大,则对神经网络的各种参数的调整幅度越大。
请参考图1,其示出了本发明各个实施例提供的图像描述生成方法和模型训练方法所涉及的实施环境的示意图,如图1所示,该实施环境包括:训练设备110和生成设备120。
训练设备110是指用于训练描述生成模型的设备。该描述生成模型用于根据训练图像和其所对应的参考图像描述信息生成训练图像的描述信息。实际实现时,该训练设备110可以为诸如电脑终端、手机终端和服务器之类的可以实现复杂算法的设备。
可选地,该描述生成模型包括特征提取模型、匹配模型和计算模型。特征提取模型用于根据训练图像生成训练图像的全局特征向量和标注向量集合,以及根据训练图像的参考图像描述信息生成对应的文本向量;匹配模型用于根据特征提取模型获取到全局特征向量和文本特征向量生成训练图像的多模态特征向量;计算模型用于根据匹配模型生成的多模态特征向量,以及特征提取模型生成的全局特征向量和标注向量集合,生成训练图像的描述信息。实际实现时,训练设备110会根据生成的描述信息和训练图像的参考图像描述信息不断地训练描述生成模型中的计算模型。
生成设备120是指用于根据描述生成模型生成目标图像的描述信息的设备。实际实现时,该生成设备120可以为诸如电脑终端、手机终端和服务器之类的可以实现复杂算法的设备。
可选地,训练设备110和生成设备120可以为同一个设备,也可以为不同的设备。若训练设备110和生成设备120为同一个设备,则生成设备120中的描述生成模型即为自身预先训练并存储的模型;若训练设备110和生成设备120为不同的设备,则生成设备120中的描述生成模型可以为从训练设备110中获取的训练设备110训练得到的模型。
请参考图2,其示出了本发明一个实施例提供的模型训练方法的方法流程图,本实施例以该模型训练方法用于图1所示的训练设备中来举例说明。如图2所示,该模型训练方法可以包括:
步骤201,获取训练图像的全局特征向量和标注向量集合,以及训练图像的参考图像描述信息的文本特征向量。
训练图像为预先设置的用于训练的图像,全局特征向量为描述训练图像的整体特征的具有预设长度的向量,标注向量集合为多个描述训练图像的子区域特征的向量的集合,训练图像的参考图像描述信息为预先设置的用于描述对应的训练图像的文本信息。其中,训练图像可以包括至少一张图像,且实际实现时,为了增加训练样本进而提高训练准确度,训练图像可以包括多张,每个训练图像的参考图像描述信息可以为3至5个语句且每个语句都为能单独描述该训练图像的完整内容的语句。
可选地,可以通过特征提取模型获取训练图像的全局特征向量和标注向量集合,以及训练图像的参考图像描述信息的文本特征向量。特征提取模型包括两个部分,其中,获取全局特征向量和标注向量集合的步骤包括:通过特征提取模型的第一部分对训练图像进行编码,生成训练图像的全局特征向量和标注向量集合;获取文本特征向量的步骤包括:通过特征提取模型的第二部分对训练图像的参考图像描述信息进行编码,生成对应的文本特征向量。可选地,第一部分可以为预先训练好的CNN,CNN包括多个卷积层和多个全连接层,则可以通过CNN的最后一个全连接层生成全局特征向量,并通过CNN的第四个卷积层生成标注向量集合,比如,第一部分为VGG(Visual Geometry Group,视觉几何组)网络。全连接层为输出层的每个神经元和输入层的每个神经元都连接的网络层。可选地,第二部分可以通过费舍尔向量Fisher Vector技术对训练图像的参考图像描述信息进行编码。
实际实现时,可以先通过第一部分生成全局特征向量和标注向量集合,之后通过第二部分生成文本特征向量,也可以先通过第二部分生成文本特征向量,之后通过第一部分生成全局特征向量和标注向量集合,还可以在通过第一部分生成全局特征向量和标注向量集合的同时,通过第二部分生成文本特征向量。
步骤202,根据全局特征向量和文本特征向量训练匹配模型,并通过训练得到的匹配模型生成训练图像的多模态特征向量。
匹配模型包括两个部分,其中,第一部分用于将全局特征向量转化成全局特征匹配向量,第二部分用于将文本特征向量转化成文本特征匹配向量。可选地,第一部分可以为第一神经网络,第二部分可以为第二神经网络,并且,第一神经网络,和/或,第二神经网络可以为全连接多层神经网络。
下述除特殊说明外,均以匹配模型的第一部分为第一神经网络且第二部分为第二神经网络来举例说明。
将所有训练图像的全局特征匹配向量和每一个训练图像对应的所有文本特征匹配向量映射到第一神经网络的隐含空间,在这个隐含空间中计算每一个全局特征匹配向量和每一个文本特征匹配向量的匹配度也即比较每一个全局特征匹配向量和每一个文本特征匹配向量的相似度,并根据匹配度调整每一个全局特征匹配向量和每一个文本特征匹配向量的位置关系,也即训练匹配模型,使得描述同一个训练图像的全局特征匹配向量和文本特征匹配向量的距离比较近,描述不同训练图像的全局特征匹配向量和文本特征匹配向量的距离比较远,以及,使得描述同一个训练图像的文本特征匹配向量彼此之间的距离比较近。可选地,在调整过程中可以采用排序损失(Rank-Loss)方法获取全局特征匹配向量和文本特征匹配向量在分布上的目标损失函数,并通过SGD对目标损失函数进行处理。其中,判断匹配模型是否训练完毕的条件包括:检测训练过程中目标损失函数的值是否变化;若目标损失函数的值不变,则匹配模型训练完毕。
在匹配模型训练完毕后,将训练图像再次输入至第一神经网络,得到训练图像的多模态特征向量。
步骤203,输入多模态特征向量、全局特征向量和标注向量集合至计算模型,得到训练图像的图像描述信息。
实际实现时,计算模型包括n个深度网络,n为正整数,则本步骤包括:根据多模态特征向量、全局特征向量、标注向量集合和这n个深度网络,生成图像描述信息。其中,n个深度网络中的至少一个深度网络的输入参数包括拼接向量,当第i个深度网络的输入参数包括拼接向量时,若i=1,则拼接向量为多模态特征向量和标注向量集合拼接得到的向量,若i>1,则拼接向量为第i-1个深度网络的输出向量和多模态特征向量拼接得到的向量,1≤i≤n。比如,计算模型只包括一个深度网络,则该深度网络的输入参数包括拼接向量,且拼接向量为多模态特征向量和标注向量集合拼接得到的向量;又比如,计算模型包括三个深度网络,其中,第3个深度网络的输入参数包括拼接向量,则该拼接向量为第2个深度网络的输出向量和多模态特征向量拼接得到的向量。可选地,这n个深度网络可以为带注意力机制的LSTM,也可以为GRU(Gated Recurrent Unit,门控性循环单元),还可以为其他的RNN。
为了便于描述,下述以这n个深度网络为带注意力机制的LSTM且n=2来举例说明,则根据多模态特征向量、全局特征向量、标注向量集合和这n个深度网络,生成图像描述信息的具体步骤包括:
第一,将多模态特征向量M和标注向量集合A拼接,得到第一拼接向量A'。
将多模态特征向量M和标注向量集合A拼接,仅为形式上的加法拼接,比如,多模态特征向量M的长度为n1,标注向量集合A的长度为n2,则第一拼接向量A'的长度为n1+n2。实际实现时,在拼接过程中,通常把标注向量集合A放在上方,而把多模态特征向量M放在下方。
第二,输入第一拼接向量A'和全局特征向量至第1个深度网络,得到第一输出向量h(t)。
当深度网络为带注意力机制的LSTM时,第1个深度网络可以表示为一个带内部状态的函数:h(t)=LSTM(0,h(t-1),A')。其中,h(t)为经过当前时间步骤t之后LSTM的隐含状态也即LSTM中间隐层记忆单元的激活函数的输出值,h(t-1)是经过前一个时间步骤t-1之后LSTM的隐含状态。
第三,将第一输出向量h(t)和多模态特征向量M拼接,得到第二拼接向量A"。
将第一输出向量h(t)和多模态特征向量M拼接,同第一步骤中的方法类似,也为形式上的加法拼接,在此不再赘述。实际实现时,在两次拼接过程中,多模态特征向量M所在的位置应保持一致,比如,两次拼接都为将多模态特征向量M放在下方。
第四,输入第二拼接向量A"至第2个深度网络,得到图像描述信息。
当深度网络为带注意力机制的LSTM时,第2个深度网络也可以表示为一个带内部状态的函数,但不同的是,h(t)=LSTM(x(t),h(t-1),A”)。其中,在每一个时间步骤t时,第2个深度网络的输入包括参考图像描述信息中第t个字的嵌入向量(Embedding Vector)x(t)。
对于在每一个时间步骤t时输出的h(t),采用线性回归方法对图像描述信息中的下一个生成的字进行预测,得到对应的中文字,最后得到图像描述信息。图像描述信息为一个能单独描述该训练图像的完整内容的语句。可选地,该线性回归方法可以为Softmax回归方法。
步骤204,若参考图像描述信息和生成的图像描述信息不匹配,则根据图像描述信息和参考图像描述信息训练计算模型。
判断生成的图像描述信息与训练图像的参考图像描述信息是否匹配,也即计算两者的误差,实际实现时,采用交叉熵代价函数来计算预测的字的分布和真实的字的分布之间的误差,并通过SGD不断地调整计算模型中的各类参数,对计算模型进行优化也即训练计算模型,直至损失函数的值不再发生变化,也即两者的误差值无法再减小。
综上所述,本实施例提供的模型训练方法,通过根据训练图像和其所对应的参考图像描述信息训练匹配模型,使得通过训练完毕后的匹配模型生成的多模态特征向量包含预测的文本信息;再将包含预测的文本信息的多模态特征向量输入至计算模型,使得通过计算模型生成的训练图像的描述信息更为准确;最后根据较为准确的描述信息和参考图像描述信息训练计算模型;达到了提高描述生成模型生成的图像描述信息的准确率的效果。
请参考图3,其示出了本发明一个实施例提供的图像描述生成方法的方法流程图,本实施例以该图像描述生成方法用于图1所示的生成设备中来举例说明。如图3所示,该图像描述生成方法可以包括:
在训练设备训练描述生成模型完毕后,生成设备会获取该描述生成模型。可选地,生成设备获取该描述生成模型的步骤可以包括:发送获取请求至训练设备,接收训练设备返回的描述生成模型,或者,接收训练设备主动发送的描述生成模型。
步骤301,获取目标图像。
可选地,可以读取预先存储的目标图像。其中,目标图像可以为自身采集并保存的图像,也可以为预先从其他设备中获取并保存的图像,还可以为预先从网络中下载并保存的图像。当然,实际实现时,还可以发送图像获取请求至其他设备,接收其他设备返回的目标图像;或者,接收其他设备主动发送的目标图像。
实际实现时,目标图像一般与训练图像为不同的图像。
步骤302,生成目标图像的第一全局特征向量和第一标注向量集合。
输入目标图像至特征提取模型,其中,在生成图像描述的过程中,只需通过特征提取模型中的第一部分对目标图像进行编码,生成目标图像的第一全局特征向量和第一标注向量集合即可。
步骤303,输入目标图像至匹配模型,通过匹配模型生成目标图像的第一多模态特征向量;匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型。
实际实现时,通过训练完毕的匹配模型的第一部分对目标图像进行编码,生成目标图像的第一多模态特征向量。由于本实施例中的匹配模型为上述实施例中已经训练完毕的匹配模型,因此,生成的多模态特征向量包含预测的文本信息。
步骤304,根据第一多模态特征向量、第一全局特征向量和第一标注向量集合,生成目标图像的目标图像描述信息。
实际实现时,通过输入第一多模态特征向量、第一全局特征向量和第一标注向量集合至计算模型,得到目标图像描述信息。其中,本实施例中的计算模型为上述实施例中根据训练图像的图像描述信息和参考图像描述信息训练得到的计算模型。
可选地,计算模型包括n个深度网络,n为正整数,则本步骤包括:根据第一多模态特征向量、第一全局特征向量、第一标注向量集合和这n个深度网络,生成图像描述信息。其中,n个深度网络中的至少一个深度网络的输入参数包括拼接向量,当第i个深度网络的输入参数包括拼接向量时,若i=1,则拼接向量为第一多模态特征向量和第一标注向量集合拼接得到的向量,若i>1,则拼接向量为第i-1个深度网络的输出向量和第一多模态特征向量拼接得到的向量,1≤i≤n。可选地,这n个深度网络可以为带注意力机制的LSTM,也可以为其他的RNN。
为了便于描述,下述以这n个深度网络为带注意力机制的LSTM且n=2来举例说明,则根据第一多模态特征向量、第一全局特征向量、第一标注向量集合和这n个深度网络,生成图像描述信息的具体步骤包括:
第一,将第一多模态特征向量M和第一标注向量集合A拼接,得到第一拼接向量A'。
第二,输入第一拼接向量A'和第一全局特征向量至第1个深度网络,得到第一输出向量h(t)。
第三,将第一输出向量h(t)和第一多模态特征向量M拼接,得到第二拼接向量A"。
第四,输入第二拼接向量A"至第2个深度网络,得到目标图像描述信息。
当深度网络为带注意力机制的LSTM时,第2个深度网络同样可以表示为一个带内部状态的函数:h(t)=LSTM(x(t),h(t-1),A”)。但不同的是,在每一个时间步骤t时,根据第2个深度网络的输出h(t)计算目标图像描述信息中下一个生成的中文字的分布,再通过贪心搜索算法或者束搜索(beam search)算法确定下一个生成的中文字,并将其作为在下一个时间步骤t+1时函数h(t)的输入向量x(t),经过不断地递归运算后,最终得到完整的目标图像描述信息。
步骤304的具体实施过程同上述实施例中的步骤203类似,在此不再赘述。
上述实施例提供的图像描述生成方法,通常用于需要具备图像检索功能的设备中。在描述生成模型训练完毕后,该设备会采集大量的目标图像,通过已经训练好的描述生成模型为每一个目标图像生成其所对应的目标图像描述信息,并将目标图像与目标图像描述信息以一一对应的方式存储在设备的数据库中。当用户需要查询某个或者某些图像时,只需输入所需查询的图像的图像描述信息即可,输入的图像描述信息可以为至少一个描述图像内容的关键词,也可以为一句完整的文字描述。该设备会根据用户输入的图像描述信息,在数据库中查找是否存在与之相关的目标图像描述信息,进而找到对应的目标图像,并将找到的目标图像提供给用户。可选地,计算模型通常包括2个基于注意力机制的LSTM网络,如图4所示,下述以目标图像为图像1来举例说明上述图像描述生成方法的具体步骤。
第一,获取目标图像。图像1为设备在日常生活中采集得到的图像,图像1的图像内容为“一群人围坐在餐桌前拍合照”。
第二,输入目标图像至特征提取模型,通过特征提取模型的第一部分对目标图像进行编码,得到目标图像的全局特征向量和标注向量集合。
第三,输入目标图像至训练完毕的匹配模型,通过该匹配模型的第一部分对目标图像进行编码,得到目标图像的多模态特征向量。其中,该匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型。
第四,将匹配模型输出的多模态特征向量和特征提取模型输出的标注向量集合拼接,得到第一拼接向量,并将第一拼接向量和全局特征向量输入至第1个深度网络,得到第一输出向量。
第五,将多模态特征向量和第一输出向量拼接,得到第二拼接向量,并将第二拼接向量输入至第2个深度网络。在每一个时间步骤t时,根据输出向量h(t)计算目标图像描述信息中下一个生成的中文字的分布,再通过贪心搜索算法或者束搜索算法确定下一个生成的中文字,并将其作为在下一个时间步骤t+1时函数h(t)的输入向量x(t),比如,在第一个时间步骤时,根据输出向量h(1)计算第一个生成的字的分布,再通过算法确定第一个生成的字为“一”,并将“一”作为第二个时间步骤中函数h(2)的输入向量x(2),同样根据输出向量h(2)计算第二个生成的字的分布,再通过算法确定第二个生成的字为“群”,并将“群”作为第三个时间步骤中函数h(3)的输入向量x(3),以此类推,经过不断地递归运算后,最终得到完整的目标图像描述信息“一群人围坐在餐桌前拍合照”。
综上所述,本实施例提供的图像描述生成方法,通过输入目标图像至匹配模型,得到目标图像的多模态特征向量,由于匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型,因此通过匹配模型生成的多模态特征向量包含预测的文本信息;再将包含预测的文本信息的多模态特征向量输入至计算模型,得到目标图像描述信息,使得生成的目标图像描述信息更为准确,达到了提高生成的图像描述信息的准确率的效果。
需要说明的第一点是,本实施例对上述步骤302和303的先后执行顺序并不做限定,只需在步骤304之前执行即可。实际实现时,也可以先执行步骤303,再执行步骤302,还可以在执行步骤302的同时,执行步骤303。
需要说明的第二点是,若上述各个实施例提供的描述生成模型运用在英文场合,则通过描述生成模型生成的目标图像描述信息为英文形式的描述信息,而当用户需要查询某个或者某些图像时,向设备输入的所需查询的图像的图像描述信息,也皆为英文形式的关键词或者文字描述。因此,生成目标图像描述信息的过程会发生微小的变化,下述仍以目标图像为图像1,且计算模型为2个带注意力机制的LSTM网络来举例说明,具体步骤包括:
第一,获取目标图像,图像1为设备在日常生活中采集得到的图像,图像1的图像内容为“a group of people are sitting at the table and taking a photo”。
第二,输入目标图像至特征提取模型,通过特征提取模型的第一部分对目标图像进行编码,生成目标图像的全局特征向量和标注向量集合。
第三,输入目标图像至训练完毕的匹配模型,通过该匹配模型的第一部分对目标图像进行编码,生成目标图像的多模态特征向量。其中,该匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型。
第四,将匹配模型输出的多模态特征向量和特征提取模型输出的标注向量集合拼接,得到第一拼接向量,并将第一拼接向量和全局特征向量输入至第1个深度网络,得到第一输出向量。
第五,将多模态特征向量和第一输出向量拼接,得到第二拼接向量,并将第二拼接向量输入至第2个深度网络。在每一个时间步骤t时,根据输出向量h(t)计算目标图像描述信息中下一个生成的英文单词的分布,再通过贪心搜索算法或者束搜索算法确定下一个生成的英文单词,并将其作为在下一个时间步骤t+1时函数h(t)的输入向量x(t),比如,在第一个时间步骤时,根据输出向量h(1)计算第一个生成的英文单词的分布,再通过算法确定第一个生成的英文单词为“a”,并将“a”作为第二个时间步骤中函数h(2)的输入向量x(2),同样根据输出向量h(2)计算第二个生成的英文单词的分布,再通过算法确定第二个生成的英文单词为“group”,并将“group”作为第三个时间步骤中函数h(3)的输入向量x(3),以此类推,经过不断地递归运算后,最终得到完整的目标图像描述信息“a group of peopleare sitting at the table and taking a photo”。
请参考图5,其示出了本发明一个实施例提供的图像描述生成装置的结构示意图,如图5所示,该图像描述生成装置可以包括:获取模块510和生成模块520。
获取模块510,用于获取目标图像;
生成模块520,用于生成所述目标图像的第一全局特征向量和第一标注向量集合;
所述生成模块520,还用于输入所述获取模块510获取到的所述目标图像至匹配模型,通过所述匹配模型生成所述目标图像的第一多模态特征向量;所述匹配模型为根据训练图像和所述训练图像的参考图像描述信息训练得到的模型;
所述生成模块520,还用于根据所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合,生成所述目标图像的目标图像描述信息。
综上所述,本实施例提供的图像描述生成装置,通过输入目标图像至匹配模型,得到目标图像的多模态特征向量,由于匹配模型为根据训练图像和训练图像的参考图像描述信息训练得到的模型,因此通过匹配模型生成的多模态特征向量包含预测的文本信息;再将包含预测的文本信息的多模态特征向量输入至计算模型,使得通过计算模型生成的目标图像描述信息更为准确,达到了提高生成的图像描述信息的准确率的效果。
基于上述实施例提供的图像描述生成装置,可选的,所述装置还包括:
所述生成模块520,还用于输入所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合至计算模型,得到所述目标图像描述信息;所述计算模型为根据所述训练图像的图像描述信息和所述参考图像描述信息训练得到的模型。
可选的,所述计算模型包括n个深度网络,n为正整数,所述装置还包括:
所述生成模块520,还用于根据所述第一多模态特征向量、所述第一全局特征向量、所述第一标注向量集合和所述n个深度网络,生成所述目标图像描述信息;
其中,所述n个深度网络中的至少一个深度网络的输入参数包括拼接向量,当第i个深度网络的输入参数包括所述拼接向量时,若i=1,则所述拼接向量为所述第一多模态特征向量和所述第一标注向量集合拼接得到的向量,若i>1,则所述拼接向量为第i-1个深度网络的输出向量和所述第一多模态特征向量拼接得到的向量,1≤i≤n。
可选的,所述n=2,所述装置还包括:拼接模块;
拼接模块,用于将所述第一多模态特征向量和所述第一标注向量集合拼接,得到第一拼接向量;
所述生成模块520,还用于输入所述第一拼接向量和所述第一全局特征向量至第1个深度网络,得到第一输出向量;
所述拼接模块,还用于将所述第一输出向量和所述第一多模态特征向量拼接,得到第二拼接向量;
所述生成模块520,还用于输入所述第二拼接向量至第2个深度网络,得到所述目标图像描述信息。
可选的,所述装置还包括:训练模块;
所述获取模块510,还用于获取所述训练图像的第二全局特征向量和第二标注向量集合,以及所述训练图像的参考图像描述信息的文本特征向量;
训练模块,用于根据所述第二全局特征向量和所述文本特征向量训练所述匹配模型。
可选的,所述装置还包括:
所述生成模块520,还用于通过训练得到的匹配模型生成所述训练图像的第二多模态特征向量;
所述生成模块520,还用于输入所述第二多模态特征向量、所述第二全局特征向量和所述第二标注向量集合至计算模型,得到所述训练图像的图像描述信息;
所述训练模块,还用于在所述参考图像描述信息和生成的所述图像描述信息不匹配时,根据所述图像描述信息和所述参考图像描述信息训练所述计算模型。
需要说明的是:上述实施例提供的图像描述生成装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像描述生成装置和图像描述生成方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图6,其示出了本发明一个实施例提供的模型训练装置的结构示意图,如图6所示,该模型训练装置用于训练如上述实施例中所述的匹配模型和计算模型,该装置可以包括:获取模块610和训练模块620。
获取模块610,用于获取训练图像的全局特征向量和标注向量集合,以及所述训练图像的参考图像描述信息的文本特征向量;
训练模块620,用于根据所述全局特征向量和所述文本特征向量训练匹配模型。
综上所述,本实施例提供的模型训练装置,通过根据训练图像和其所对应的参考图像描述信息训练匹配模型,使得通过训练完毕后的匹配模型生成的多模态特征向量包含预测的文本信息;再将包含预测的文本信息的多模态特征向量输入至计算模型,使得通过计算模型生成的训练图像的描述信息更为准确;最后根据较为准确的描述信息和参考图像描述信息训练计算模型;达到了提高描述生成模型生成的图像描述信息的准确率的效果。
基于上述实施例提供的模型训练装置,可选的,所述装置还包括:生成模块;
生成模块,用于通过训练得到的匹配模型生成所述训练图像的多模态特征向量;
所述生成模块,还用于输入所述多模态特征向量、所述全局特征向量和所述标注向量集合至计算模型,得到所述训练图像的图像描述信息;
所述训练模块620,还用于在所述参考图像描述信息和生成的所述图像描述信息不匹配时,根据所述图像描述信息和所述参考图像描述信息训练所述计算模型
可选的,所述计算模型包括n个深度网络,n为正整数,所述装置还包括:
所述生成模块,还用于根据所述多模态特征向量、所述全局特征向量、所述标注向量集合和所述n个深度网络,生成所述图像描述信息;
其中,所述n个深度网络中的至少一个深度网络的输入参数包括拼接向量,当第i个深度网络的输入参数包括所述拼接向量时,若i=1,则所述拼接向量为所述多模态特征向量和所述标注向量集合拼接得到的向量,若i>1,则所述拼接向量为第i-1个深度网络的输出向量和所述多模态特征向量拼接得到的向量,1≤i≤n。
可选的,所述n=2,所述装置还包括:拼接模块;
拼接模块,用于将所述多模态特征向量和所述标注向量集合拼接,得到第一拼接向量;
所述生成模块,还用于输入所述第一拼接向量和所述全局特征向量至第1个深度网络,得到第一输出向量;
所述拼接模块,还用于将所述第一输出向量和所述多模态特征向量拼接,得到第二拼接向量;
所述生成模块,还用于输入所述第二拼接向量至第2个深度网络,得到所述图像描述信息。
需要说明的是:上述实施例提供的模型训练装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的模型训练装置和模型训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端或者服务器中的计算机可读存储介质。该计算机可读存储介质存储有至少一条指令、至少一段程序、代码集或指令集,并且,当该计算机可读存储介质用于生成设备中时,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述实施例中的图像描述生成方法;
当该计算机可读存储介质用于训练设备中时,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述实施例中的模型训练方法。
图7其示出了本发明一个实施例提供的终端700的框图,该终端可以包括射频(RF,Radio Frequency)电路701、包括有一个或一个以上计算机可读存储介质的存储器702、输入单元703、显示单元704、传感器705、音频电路706、无线保真(WiFi,Wireless Fidelity)模块707、包括有一个或者一个以上处理核心的处理器708、以及电源709等部件。本领域技术人员可以理解,图7中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路701可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器708处理;另外,将涉及上行的数据发送给基站。通常,RF电路701包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路701还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器702可用于存储软件程序以及模块,处理器708通过运行存储在存储器702的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器708和输入单元703对存储器702的访问。
输入单元703可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元703可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器708,并能接收处理器708发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元703还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元704可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元704可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器708以确定触摸事件的类型,随后处理器708根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图7中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器705,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路706、扬声器,传声器可提供用户与终端之间的音频接口。音频电路706可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路706接收后转换为音频数据,再将音频数据输出处理器708处理后,经RF电路701以发送给比如另一终端,或者将音频数据输出至存储器702以便进一步处理。音频电路706还可能包括耳塞插孔,以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术,终端通过WiFi模块707可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块707,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器708是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器702内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器708可包括一个或多个处理核心;优选的,处理器708可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器708中。
终端还包括给各个部件供电的电源709(比如电池),优选的,电源可以通过电源管理***与处理器708逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源709还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器708会运行存储在存储器702中的至少一条指令,从而实现上述各个方法实施例中所提供的图像描述生成方法,和/或,模型训练方法。
请参考图8,其示出了本发明一个实施例提供的服务器的结构示意图。该服务器用于实施上述各个实施例中所提供的图像描述生成方法,和/或,模型训练方法。具体来讲:
所述服务器800包括中央处理单元(CPU)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的***存储器804,以及连接***存储器804和中央处理单元801的***总线805。所述服务器800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)806,和用于存储操作***813、应用程序814和其他程序模块815的大容量存储设备807。
所述基本输入/输出***806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到***总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出***806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备807通过连接到***总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说,所述大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器804和大容量存储设备807可以统称为存储器。
根据本发明的各种实施例,所述服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在所述***总线805上的网络接口单元811连接到网络812,或者说,也可以使用网络接口单元811来连接到其他类型的网络或远程计算机***(未示出)。
所述存储器还包括至少一条指令,且经配置以由一个或者一个以上处理器执行。上述至少一条指令包含用于执行上述各个实施例所提供的图像描述生成方法,和/或,模型训练方法的指令。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”(“a”、“an”、“the”)旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种图像描述生成方法,其特征在于,所述方法包括:
获取目标图像;
生成所述目标图像的第一全局特征向量和第一标注向量集合;
输入所述目标图像至匹配模型,通过所述匹配模型生成所述目标图像的第一多模态特征向量;所述匹配模型为根据训练图像和所述训练图像的参考图像描述信息训练得到的模型;所述第一多模态特征向量包含有预测的文本信息;
根据所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合,生成所述目标图像的目标图像描述信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合,生成所述目标图像的目标图像描述信息,包括:
输入所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合至计算模型,得到所述目标图像描述信息;所述计算模型为根据所述训练图像的图像描述信息和所述参考图像描述信息训练得到的模型。
3.根据权利要求2所述的方法,其特征在于,所述计算模型包括n个深度网络,n为正整数;所述输入所述第一多模态特征向量、所述第一全局特征向量和所述第一标注向量集合至计算模型,得到所述目标图像描述信息,包括:
根据所述第一多模态特征向量、所述第一全局特征向量、所述第一标注向量集合和所述n个深度网络,生成所述目标图像描述信息;
其中,所述n个深度网络中的至少一个深度网络的输入参数包括拼接向量,当第i个深度网络的输入参数包括所述拼接向量时,若i=1,则所述拼接向量为所述第一多模态特征向量和所述第一标注向量集合拼接得到的向量,若i>1,则所述拼接向量为第i-1个深度网络的输出向量和所述第一多模态特征向量拼接得到的向量,1≤i≤n。
4.根据权利要求3所述的方法,其特征在于,所述n=2;
所述根据所述第一多模态特征向量、所述第一全局特征向量、所述第一标注向量和所述n个深度网络,生成所述目标图像描述信息,包括:
将所述第一多模态特征向量和所述第一标注向量集合拼接,得到第一拼接向量;
输入所述第一拼接向量和所述第一全局特征向量至第1个深度网络,得到第一输出向量;
将所述第一输出向量和所述第一多模态特征向量拼接,得到第二拼接向量;
输入所述第二拼接向量至第2个深度网络,得到所述目标图像描述信息。
5.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
获取所述训练图像的第二全局特征向量和第二标注向量集合,以及所述训练图像的参考图像描述信息的文本特征向量;
根据所述第二全局特征向量和所述文本特征向量训练所述匹配模型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
通过训练得到的匹配模型生成所述训练图像的第二多模态特征向量;
输入所述第二多模态特征向量、所述第二全局特征向量和所述第二标注向量集合至计算模型,得到所述训练图像的图像描述信息;
若所述参考图像描述信息和生成的所述图像描述信息不匹配,则根据所述图像描述信息和所述参考图像描述信息训练所述计算模型。
7.一种模型训练方法,其特征在于,用于训练如权利要求1至6任一所述的所述匹配模型和计算模型,所述方法包括:
获取训练图像的全局特征向量和标注向量集合,以及所述训练图像的参考图像描述信息的文本特征向量;
根据所述全局特征向量和所述文本特征向量训练匹配模型。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
通过训练得到的匹配模型生成所述训练图像的多模态特征向量;
输入所述多模态特征向量、所述全局特征向量和所述标注向量集合至计算模型,得到所述训练图像的图像描述信息;
若所述参考图像描述信息和生成的所述图像描述信息不匹配,则根据所述图像描述信息和所述参考图像描述信息训练所述计算模型。
9.根据权利要求8所述的方法,其特征在于,所述计算模型包括n个深度网络,n为正整数;所述输入所述多模态特征向量、所述全局特征向量和所述标注向量集合至计算模型,得到所述训练图像的图像描述信息,包括:
根据所述多模态特征向量、所述全局特征向量、所述标注向量集合和所述n个深度网络,生成所述图像描述信息;
其中,所述n个深度网络中的至少一个深度网络的输入参数包括拼接向量,当第i个深度网络的输入参数包括所述拼接向量时,若i=1,则所述拼接向量为所述多模态特征向量和所述标注向量集合拼接得到的向量,若i>1,则所述拼接向量为第i-1个深度网络的输出向量和所述多模态特征向量拼接得到的向量,1≤i≤n。
10.根据权利要求9所述的方法,其特征在于,所述n=2;
所述根据所述多模态特征向量、所述全局特征向量、所述标注向量集合和所述n个深度网络,生成所述图像描述信息,包括:
将所述多模态特征向量和所述标注向量集合拼接,得到第一拼接向量;
输入所述第一拼接向量和所述全局特征向量至第1个深度网络,得到第一输出向量;
将所述第一输出向量和所述多模态特征向量拼接,得到第二拼接向量;
输入所述第二拼接向量至第2个深度网络,得到所述图像描述信息。
11.一种生成设备,其特征在于,所述生成设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一所述的图像描述生成方法。
12.一种训练设备,其特征在于,所述训练设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求7至10任一所述的模型训练方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一所述的图像描述生成方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求7至10任一所述的模型训练方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710763735.3A CN108305296B (zh) | 2017-08-30 | 2017-08-30 | 图像描述生成方法、模型训练方法、设备和存储介质 |
CN201910859223.6A CN110599557B (zh) | 2017-08-30 | 2017-08-30 | 图像描述生成方法、模型训练方法、设备和存储介质 |
PCT/CN2018/102469 WO2019042244A1 (zh) | 2017-08-30 | 2018-08-27 | 图像描述生成方法、模型训练方法、设备和存储介质 |
TW107129837A TWI803514B (zh) | 2017-08-30 | 2018-08-27 | 圖像描述生成方法、模型訓練方法、設備和儲存媒體 |
US16/548,621 US11270160B2 (en) | 2017-08-30 | 2019-08-22 | Image description generation method, model training method, device and storage medium |
US17/589,726 US11907851B2 (en) | 2017-08-30 | 2022-01-31 | Image description generation method, model training method, device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710763735.3A CN108305296B (zh) | 2017-08-30 | 2017-08-30 | 图像描述生成方法、模型训练方法、设备和存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910859223.6A Division CN110599557B (zh) | 2017-08-30 | 2017-08-30 | 图像描述生成方法、模型训练方法、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108305296A CN108305296A (zh) | 2018-07-20 |
CN108305296B true CN108305296B (zh) | 2021-02-26 |
Family
ID=62869528
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910859223.6A Active CN110599557B (zh) | 2017-08-30 | 2017-08-30 | 图像描述生成方法、模型训练方法、设备和存储介质 |
CN201710763735.3A Active CN108305296B (zh) | 2017-08-30 | 2017-08-30 | 图像描述生成方法、模型训练方法、设备和存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910859223.6A Active CN110599557B (zh) | 2017-08-30 | 2017-08-30 | 图像描述生成方法、模型训练方法、设备和存储介质 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11270160B2 (zh) |
CN (2) | CN110599557B (zh) |
TW (1) | TWI803514B (zh) |
WO (1) | WO2019042244A1 (zh) |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110599557B (zh) * | 2017-08-30 | 2022-11-18 | 深圳市腾讯计算机***有限公司 | 图像描述生成方法、模型训练方法、设备和存储介质 |
CN110163050B (zh) * | 2018-07-23 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 一种视频处理方法及装置、终端设备、服务器及存储介质 |
US20210150214A1 (en) * | 2018-07-25 | 2021-05-20 | Huawei Technologies Co., Ltd. | Method for Displaying Service Information on Preview Interface and Electronic Device |
CN108900856B (zh) * | 2018-07-26 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 一种视频帧率预测方法、装置及设备 |
CN109241998B (zh) * | 2018-08-06 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 模型训练方法、装置、设备及存储介质 |
CN109344288B (zh) * | 2018-09-19 | 2021-09-24 | 电子科技大学 | 一种基于多模态特征结合多层注意力机制的结合视频描述方法 |
US11308133B2 (en) * | 2018-09-28 | 2022-04-19 | International Business Machines Corporation | Entity matching using visual information |
CN111401394B (zh) * | 2019-01-02 | 2023-04-07 | ***通信有限公司研究院 | 一种图像标注方法及装置、计算机可读存储介质 |
CN109920016B (zh) * | 2019-03-18 | 2021-06-25 | 北京市商汤科技开发有限公司 | 图像生成方法及装置、电子设备和存储介质 |
CN109947526B (zh) * | 2019-03-29 | 2023-04-11 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN110008922B (zh) * | 2019-04-12 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 用于终端设备的图像处理方法、设备、装置、介质 |
CN111832584A (zh) * | 2019-04-16 | 2020-10-27 | 富士通株式会社 | 图像处理装置及其训练装置和训练方法 |
CN113767420A (zh) * | 2019-04-24 | 2021-12-07 | 富士胶片株式会社 | 学习方法及装置、程序、学习完毕模型以及文本生成装置 |
CN110188620B (zh) * | 2019-05-08 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 对抗测试看图说话***的方法和相关装置 |
US11315038B2 (en) * | 2019-05-16 | 2022-04-26 | International Business Machines Corporation | Method to measure similarity of datasets for given AI task |
CN113743535B (zh) * | 2019-05-21 | 2024-05-24 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置以及图像处理方法及装置 |
CN110349229B (zh) * | 2019-07-09 | 2023-06-02 | 北京金山数字娱乐科技有限公司 | 一种图像描述方法及装置 |
CN110413814A (zh) * | 2019-07-12 | 2019-11-05 | 智慧芽信息科技(苏州)有限公司 | 图像数据库建立方法、搜索方法、电子设备和存储介质 |
CN110443863B (zh) * | 2019-07-23 | 2023-04-07 | 中国科学院深圳先进技术研究院 | 文本生成图像的方法、电子设备和存储介质 |
US10943353B1 (en) | 2019-09-11 | 2021-03-09 | International Business Machines Corporation | Handling untrainable conditions in a network architecture search |
US11023783B2 (en) * | 2019-09-11 | 2021-06-01 | International Business Machines Corporation | Network architecture search with global optimization |
CN112488144B (zh) * | 2019-09-12 | 2024-03-19 | ***通信集团广东有限公司 | 网络设置提示生成方法、装置及电子设备、存储介质 |
US11429809B2 (en) | 2019-09-24 | 2022-08-30 | Beijing Sensetime Technology Development Co., Ltd | Image processing method, image processing device, and storage medium |
CN110853653B (zh) * | 2019-11-21 | 2022-04-12 | 中科智云科技有限公司 | 一种基于自注意力和迁移学习的声纹识别方法 |
CN113094538A (zh) * | 2019-12-23 | 2021-07-09 | 中国电信股份有限公司 | 图像的检索方法、装置和计算机可读存储介质 |
CN111160275B (zh) * | 2019-12-30 | 2023-06-23 | 深圳元戎启行科技有限公司 | 行人重识别模型训练方法、装置、计算机设备和存储介质 |
US11410083B2 (en) * | 2020-01-07 | 2022-08-09 | International Business Machines Corporation | Determining operating range of hyperparameters |
CN113139566B (zh) * | 2020-01-20 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 图像生成模型的训练方法及装置、图像处理方法及装置 |
CN111368898B (zh) * | 2020-02-28 | 2022-10-25 | 同济大学 | 一种基于长短时记忆网络变体的图像描述生成方法 |
CN111340195B (zh) * | 2020-03-09 | 2023-08-22 | 创新奇智(上海)科技有限公司 | 网络模型的训练方法及装置、图像处理方法及存储介质 |
CN111444367B (zh) * | 2020-03-24 | 2022-10-14 | 哈尔滨工程大学 | 一种基于全局与局部注意力机制的图像标题生成方法 |
US11620475B2 (en) * | 2020-03-25 | 2023-04-04 | Ford Global Technologies, Llc | Domain translation network for performing image translation |
CN111753825A (zh) * | 2020-03-27 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 图像描述生成方法、装置、***、介质及电子设备 |
CN113538604B (zh) * | 2020-04-21 | 2024-03-19 | 中移(成都)信息通信科技有限公司 | 图像生成方法、装置、设备及介质 |
TWI752478B (zh) * | 2020-04-27 | 2022-01-11 | 台達電子工業股份有限公司 | 影像處理方法與影像處理系統 |
CN111598041B (zh) * | 2020-05-25 | 2023-05-02 | 青岛联合创智科技有限公司 | 一种用于物品查找的图像生成文本方法 |
CN111767727B (zh) * | 2020-06-24 | 2024-02-06 | 北京奇艺世纪科技有限公司 | 数据处理方法及装置 |
CN111914672B (zh) * | 2020-07-08 | 2023-08-04 | 浙江大华技术股份有限公司 | 图像标注方法和装置及存储介质 |
CN111881926A (zh) * | 2020-08-24 | 2020-11-03 | Oppo广东移动通信有限公司 | 图像生成、图像生成模型的训练方法、装置、设备及介质 |
CN112242185A (zh) * | 2020-09-09 | 2021-01-19 | 山东大学 | 基于深度学习的医学图像报告自动生成方法及*** |
CN112073582B (zh) * | 2020-09-09 | 2021-04-06 | 中国海洋大学 | 基于触摸行为序列的智能手机使用情境识别方法 |
CN112183022A (zh) * | 2020-09-25 | 2021-01-05 | 北京优全智汇信息技术有限公司 | 一种估损方法和装置 |
CN112200268A (zh) * | 2020-11-04 | 2021-01-08 | 福州大学 | 一种基于编码器-解码器框架的图像描述方法 |
CN112381104A (zh) * | 2020-11-16 | 2021-02-19 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置、计算机设备及存储介质 |
CN112487891B (zh) * | 2020-11-17 | 2023-07-18 | 云南电网有限责任公司 | 一种应用于电力作业现场的视觉智能动态识别模型构建方法 |
CN112270163B (zh) * | 2020-12-07 | 2021-09-10 | 北京沃东天骏信息技术有限公司 | 一种文本生成方法及装置、存储介质 |
CN112669262B (zh) * | 2020-12-08 | 2023-01-06 | 上海交通大学 | 一种电机轮轴震动异常检测与预测***与方法 |
CN112529104B (zh) * | 2020-12-23 | 2024-06-18 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆故障预测模型生成方法、故障预测方法及装置 |
CN112802086A (zh) * | 2020-12-30 | 2021-05-14 | 深兰人工智能芯片研究院(江苏)有限公司 | 密度估计方法、装置、电子设备及存储介质 |
CN113159095B (zh) * | 2021-01-30 | 2024-04-30 | 华为技术有限公司 | 一种训练模型的方法、图像检索的方法以及装置 |
CN112836754A (zh) * | 2021-02-05 | 2021-05-25 | 方玉明 | 一种面向图像描述模型泛化能力评估方法 |
CN112966617B (zh) * | 2021-03-11 | 2022-10-21 | 北京三快在线科技有限公司 | 摆盘图像的生成方法、图像生成模型的训练方法及装置 |
CN112926671B (zh) * | 2021-03-12 | 2024-04-19 | 云知声智能科技股份有限公司 | 一种图像文本匹配的方法、装置、电子设备和存储介质 |
CN113112001B (zh) * | 2021-04-01 | 2024-06-14 | 北京嘀嘀无限科技发展有限公司 | 一种充电数据处理方法、装置和电子设备 |
CN113077456B (zh) * | 2021-04-20 | 2022-01-04 | 北京大学 | 基于功能性磁共振成像构建网络模型的训练方法和装置 |
CN113378818B (zh) * | 2021-06-21 | 2024-06-07 | 中国南方电网有限责任公司超高压输电公司柳州局 | 电气设备缺陷确定方法、装置、电子设备及存储介质 |
CN113408430B (zh) * | 2021-06-22 | 2022-09-09 | 哈尔滨理工大学 | 基于多级策略和深度强化学习框架的图像中文描述***及方法 |
CN113673349B (zh) * | 2021-07-20 | 2022-03-11 | 广东技术师范大学 | 基于反馈机制的图像生成中文文本方法、***及装置 |
CN113487762B (zh) * | 2021-07-22 | 2023-07-04 | 东软睿驰汽车技术(沈阳)有限公司 | 一种编码模型生成方法、充电数据获取方法及装置 |
US11445267B1 (en) * | 2021-07-23 | 2022-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Low-latency captioning system |
CN113420880B (zh) * | 2021-08-24 | 2021-11-19 | 苏州浪潮智能科技有限公司 | 网络模型训练方法、装置、电子设备及可读存储介质 |
CN113822348A (zh) * | 2021-09-13 | 2021-12-21 | 深圳中兴网信科技有限公司 | 模型训练方法、训练装置、电子设备和可读存储介质 |
CN114298121B (zh) * | 2021-10-09 | 2024-07-16 | 腾讯科技(深圳)有限公司 | 基于多模态的文本生成方法、模型训练方法和装置 |
CN114399629A (zh) * | 2021-12-22 | 2022-04-26 | 北京沃东天骏信息技术有限公司 | 一种目标检测模型的训练方法、目标检测的方法和装置 |
CN114417974B (zh) * | 2021-12-22 | 2023-06-20 | 北京百度网讯科技有限公司 | 模型训练方法、信息处理方法、装置、电子设备和介质 |
CN114003758B (zh) * | 2021-12-30 | 2022-03-08 | 航天宏康智能科技(北京)有限公司 | 图像检索模型的训练方法和装置以及检索方法和装置 |
CN114373034A (zh) * | 2022-01-10 | 2022-04-19 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备、存储介质及计算机程序 |
CN114881242B (zh) * | 2022-04-21 | 2023-03-24 | 西南石油大学 | 一种基于深度学习的图像描述方法及***、介质和电子设备 |
CN114743018B (zh) * | 2022-04-21 | 2024-05-31 | 平安科技(深圳)有限公司 | 图像描述生成方法、装置、设备及介质 |
CN115019071B (zh) * | 2022-05-19 | 2023-09-19 | 昆明理工大学 | 光学图像与sar图像匹配方法、装置、电子设备及介质 |
CN115359323B (zh) * | 2022-08-31 | 2023-04-25 | 北京百度网讯科技有限公司 | 图像的文本信息生成方法和深度学习模型的训练方法 |
CN115587347A (zh) * | 2022-09-28 | 2023-01-10 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的内容处理方法及装置 |
CN115856425B (zh) * | 2022-11-21 | 2023-10-17 | 中国人民解放军32802部队 | 一种基于隐空间概率预测的频谱异常检测方法及装置 |
CN115512006B (zh) * | 2022-11-23 | 2023-04-07 | 有米科技股份有限公司 | 基于多图像元素的图像智能合成方法及装置 |
CN116819489A (zh) * | 2023-08-25 | 2023-09-29 | 摩尔线程智能科技(北京)有限责任公司 | 动态物体检测方法、模型训练方法、装置、设备及介质 |
CN117710234B (zh) * | 2024-02-06 | 2024-05-24 | 青岛海尔科技有限公司 | 基于大模型的图片生成方法、装置、设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902821A (zh) * | 2012-11-01 | 2013-01-30 | 北京邮电大学 | 基于网络热点话题的图像高级语义标注、检索方法及装置 |
CN104778272A (zh) * | 2015-04-24 | 2015-07-15 | 西安交通大学 | 一种基于区域挖掘和空间编码的图像位置估计方法 |
CN105389326A (zh) * | 2015-09-16 | 2016-03-09 | 中国科学院计算技术研究所 | 基于弱匹配概率典型相关性模型的图像标注方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7143434B1 (en) * | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
CN105005755B (zh) * | 2014-04-25 | 2019-03-29 | 北京邮电大学 | 三维人脸识别方法和*** |
US9311342B1 (en) * | 2015-02-09 | 2016-04-12 | Sony Corporation | Tree based image storage system |
CN106326288B (zh) * | 2015-06-30 | 2019-12-03 | 阿里巴巴集团控股有限公司 | 图像搜索方法及装置 |
US9836671B2 (en) * | 2015-08-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovery of semantic similarities between images and text |
US10423874B2 (en) * | 2015-10-02 | 2019-09-24 | Baidu Usa Llc | Intelligent image captioning |
US10504010B2 (en) * | 2015-10-02 | 2019-12-10 | Baidu Usa Llc | Systems and methods for fast novel visual concept learning from sentence descriptions of images |
CN105631468B (zh) * | 2015-12-18 | 2019-04-09 | 华南理工大学 | 一种基于rnn的图片描述自动生成方法 |
CN105701502B (zh) * | 2016-01-06 | 2020-11-10 | 福州大学 | 一种基于蒙特卡罗数据均衡的图像自动标注方法 |
US9811765B2 (en) * | 2016-01-13 | 2017-11-07 | Adobe Systems Incorporated | Image captioning with weak supervision |
CN105760507B (zh) * | 2016-02-23 | 2019-05-03 | 复旦大学 | 基于深度学习的跨模态主题相关性建模方法 |
CN105893573B (zh) * | 2016-03-31 | 2019-07-23 | 天津大学 | 一种基于地点的多模态媒体数据主题提取模型 |
CN106446782A (zh) * | 2016-08-29 | 2017-02-22 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
CN106650789B (zh) * | 2016-11-16 | 2023-04-07 | 同济大学 | 一种基于深度lstm网络的图像描述生成方法 |
CN106777125B (zh) * | 2016-12-16 | 2020-10-23 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于神经网络及图像关注点的图像描述生成方法 |
CN106844442A (zh) * | 2016-12-16 | 2017-06-13 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于fcn特征提取的多模态循环神经网络图像描述方法 |
CN106846306A (zh) * | 2017-01-13 | 2017-06-13 | 重庆邮电大学 | 一种超声图像自动描述方法和*** |
CN107066973B (zh) * | 2017-04-17 | 2020-07-21 | 杭州电子科技大学 | 一种利用时空注意力模型的视频内容描述方法 |
CN110599557B (zh) * | 2017-08-30 | 2022-11-18 | 深圳市腾讯计算机***有限公司 | 图像描述生成方法、模型训练方法、设备和存储介质 |
-
2017
- 2017-08-30 CN CN201910859223.6A patent/CN110599557B/zh active Active
- 2017-08-30 CN CN201710763735.3A patent/CN108305296B/zh active Active
-
2018
- 2018-08-27 TW TW107129837A patent/TWI803514B/zh active
- 2018-08-27 WO PCT/CN2018/102469 patent/WO2019042244A1/zh active Application Filing
-
2019
- 2019-08-22 US US16/548,621 patent/US11270160B2/en active Active
-
2022
- 2022-01-31 US US17/589,726 patent/US11907851B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902821A (zh) * | 2012-11-01 | 2013-01-30 | 北京邮电大学 | 基于网络热点话题的图像高级语义标注、检索方法及装置 |
CN104778272A (zh) * | 2015-04-24 | 2015-07-15 | 西安交通大学 | 一种基于区域挖掘和空间编码的图像位置估计方法 |
CN105389326A (zh) * | 2015-09-16 | 2016-03-09 | 中国科学院计算技术研究所 | 基于弱匹配概率典型相关性模型的图像标注方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201843654A (zh) | 2018-12-16 |
CN110599557A (zh) | 2019-12-20 |
US20220156518A1 (en) | 2022-05-19 |
TWI803514B (zh) | 2023-06-01 |
US11907851B2 (en) | 2024-02-20 |
CN110599557B (zh) | 2022-11-18 |
US11270160B2 (en) | 2022-03-08 |
WO2019042244A1 (zh) | 2019-03-07 |
US20190377979A1 (en) | 2019-12-12 |
CN108305296A (zh) | 2018-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108305296B (zh) | 图像描述生成方法、模型训练方法、设备和存储介质 | |
KR102360659B1 (ko) | 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체 | |
CN108304846B (zh) | 图像识别方法、装置及存储介质 | |
CN110334360B (zh) | 机器翻译方法及装置、电子设备及存储介质 | |
CN108228270B (zh) | 启动资源加载方法及装置 | |
CN110110045B (zh) | 一种检索相似文本的方法、装置以及存储介质 | |
CN110069715B (zh) | 一种信息推荐模型训练的方法、信息推荐的方法及装置 | |
CN109670174B (zh) | 一种事件识别模型的训练方法和装置 | |
CN111159338A (zh) | 一种恶意文本的检测方法、装置、电子设备及存储介质 | |
CN110335629B (zh) | 音频文件的音高识别方法、装置以及存储介质 | |
US11308965B2 (en) | Voice information processing method and apparatus, and terminal | |
CN110390102B (zh) | 一种情感分析的方法和相关装置 | |
CN115981798B (zh) | 文件解析方法、装置、计算机设备及可读存储介质 | |
CN112948763B (zh) | 件量预测方法、装置、电子设备及存储介质 | |
CN114840563A (zh) | 一种字段描述信息的生成方法、装置、设备及存储介质 | |
CN114840499A (zh) | 一种表描述信息的生成方法、相关装置、设备及存储介质 | |
CN116564311B (zh) | 设备控制方法、装置、电子设备及可读存储介质 | |
CN116450808B (zh) | 一种数据的处理方法、装置以及存储介质 | |
CN117765927A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN116978021A (zh) | 一种文本字符的识别方法、装置以及存储介质 | |
CN115831120A (zh) | 语料数据采集方法、装置、电子设备及可读存储介质 | |
CN114819042A (zh) | 一种参数优化方法及相关装置 | |
CN116935852A (zh) | 语音识别方法、装置、计算机可读存储介质及计算机设备 | |
CN117012184A (zh) | 一种语音识别方法和相关装置 | |
CN117094307A (zh) | 一种语句处理的方法和相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |