CN107066464A - 语义自然语言向量空间 - Google Patents

语义自然语言向量空间 Download PDF

Info

Publication number
CN107066464A
CN107066464A CN201610985196.3A CN201610985196A CN107066464A CN 107066464 A CN107066464 A CN 107066464A CN 201610985196 A CN201610985196 A CN 201610985196A CN 107066464 A CN107066464 A CN 107066464A
Authority
CN
China
Prior art keywords
explanation
word vectors
image
word
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610985196.3A
Other languages
English (en)
Other versions
CN107066464B (zh
Inventor
王兆闻
尤全增
金海琳
方晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN107066464A publication Critical patent/CN107066464A/zh
Application granted granted Critical
Publication of CN107066464B publication Critical patent/CN107066464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了利用词语向量表示的图像加说明的技术。在实施方式中，替代直接输出说明分析的结果，框架被适配为输出语义词语向量空间中的点。这些词语向量表示反映语义词语向量空间的情境中的距离值。在这种方法中，词语被映射到向量空间中并且说明分析的结果被表达为向量空间中的点，这些点捕获词语之间的语义。在向量空间中，类似的概念具有小距离值。词语向量不束缚于特定词语或单个词典。后处理步骤被用来将点映射到词语并且将词语向量表示转换成说明。因此，转换被延迟到过程中的稍后阶段。

Description

语义自然语言向量空间
背景技术
自动生成图像的自然语言描述已经由于用于图像搜索、视障人士的可及性、以及管理图像收集的实践应用而吸引了越来越多的兴趣。用于图像处理的常规技术由于常规图像加标签和搜索算法的限制而不支持高精度自然语言加说明(captioning)和图像搜索。这是因为常规技术仅将标签与图像相关联，而没有定义标签之间以及与图像本身之间的关系。此外，常规技术可能涉及使用自顶向下(top-down)方法，其中图像的整体“要点(gist)”首先被导出，并且然后通过语言建模和语句生成被精炼为适当的描述性词语和说明(caption)。但是，这种自顶向下方法做不好捕获图像的精致细节的工作，诸如局部对象、属性和区域，它们有助于对于图像的精确描述。如此，可能难以使用常规技术来生成精确且复杂的图像说明，诸如“男人喂养高脚椅中的婴儿，并且婴儿持有玩具”。因此，使用常规技术生成的说明可能遗漏重要的图像细节，这使得用户难以搜索特定图像并基于相关联的说明完全理解图像的内容。
发明内容
这一概述以简化形式介绍了下文在详细描述中进一步被描述的概念的选择。如此，这一概述不意图为识别所要求保护主题的必要特征，也不意图被用作确定所要求保护主题的范围的辅助。
本文描述了利用词语向量表示的图像加说明的技术。在一个或多个实施方式中，替代将说明分析的结果直接输出为词语或词语序列(例如，说明或语句)，框架被适配为输出语义词语向量空间中的点。这些点构成词语向量表示，词语向量表示反映语义词语向量空间的情境中的距离值。在这种方法中，词语被映射到向量空间中并且说明分 析的结果被表达为向量空间中的点，这些点捕获词语之间的语义。在向量空间中，类似的概念在概念的词语向量表示中具有小距离值。这些点不束缚于特定词语或单个词典。后处理步骤被用来将点映射到词语并且将词语向量表示转换成说明。因此，转换被延迟到过程中的稍后阶段。这一点的结果是词典在过程中的后期能够被改变以选择不同的语言、使用不同的词语范围或词语数目、引入新颖术语，等等。另外，词语向量表示能够被保存，并且如果对词典进行改变则在后处理之前完成的步骤不是必须被重复。
在实施方式中，图像加说明框架基于神经网络和机器学习。给定目标图像，特征提取技术被应用来导出描述图像的“要点”的全局图像概念。例如，预训练的卷积神经网络(CNN)可以被用来利用全局描述性术语来编码图像。该CNN产生反映全局图像概念的视觉特征向量。关于全局图像概念导出的信息然后被馈送到操作为概率地生成图像的描述性说明的语言处理模型中。例如，视觉特征向量可以被馈送到被设计为实施语言建模和语句生成技术的递归神经网络(RNN)中。该RNN被设计为迭代地预测词语序列，以基于根据多次迭代中的权重因数所计算的概率分布来组合为用于目标图像的说明。在这一情境中，由RNN所实施的目标函数可以被适配为考虑语义词语向量空间中的距离而不是用于词语序列的概率分布，这使能词语向量表示。
附图说明
参考附图来描述详细描述。在附图中，参考标号最左边的(多个)数字标识参考标号首次出现的附图。本描述和附图中的不同实例中相同参考标号的使用可以指示类似或相同的项目。附图中所表示的实体可以指示一个或多个实体，并且因此可以对讨论中的单数或复数形式的实体可互换地进行参考。
图1是可操作为采用本文所描述的技术的示例实施方式中的环境的图示。
图2描绘了示出根据一个或多个实施方式的说明生成器的细节的 示图。
图3描绘了根据一个或多个实施方式的图像加说明框架的示例实施方式。
图4是描绘了根据一个或多个实施方式的图像加说明框架的细节的示图。
图5描绘了示图，该示图描绘了根据一个或多个实施方式的针对利用弱监督的图像加说明的框架。
图6是根据一个或多个实施方式的弱监督数据被用于图像加说明的示例过程的流程图。
图7描绘了示例图，该示例图一般性地图示了用于图像加说明的词语向量表示的概念。
图8是根据一个或多个实施方式的词语向量表示被用于图像加说明的示例过程的流程图。
图9是描绘了根据一个或多个实施方式的用于图像加说明的语义关注框架的示图。
图10是根据一个或多个实施方式的语义关注模型被用于图像加说明的示例过程的流程图。
图11是描绘了根据一个或多个实施方式的语义关注框架的细节的示图。
图12图示了包括示例设备的各种组件的示例***，该示例设备能够被用于本文所描述的图像加说明技术的一个或多个实施方式。
具体实施方式
概述
用于图像处理的常规技术由于常规图像加标签和搜索算法的限制而不支持高精度自然语言加说明和图像搜索。这是因为常规技术仅将标签与图像相关联，而没有定义标签之间以及与图像本身之间的关系。此外，常规技术可能涉及使用自顶向下方法，其中图像的整体“要点”首先被导出，并且然后通过语言建模和语句生成被精炼为适当的 描述性词语和说明。但是，这种自顶向下方法做不好捕获图像的精致细节的工作，诸如局部对象、属性和区域，它们有助于对于图像的精确描述。
本文描述了利用词语向量表示的图像加说明的技术。在一个或多个实施方式中，替代将说明分析的结果直接输出为词语或词语序列(例如，说明或语句)，框架被适配为输出语义词语向量空间中的点。这些点构成词语向量表示，词语向量表示反映语义词语向量空间的情境中的距离值。在这种方法中，词语被映射到向量空间中，并且说明分析的结果被表达为向量空间中的点，这些点捕获词语之间的语义。在向量空间中，类似的概念在概念的词语向量表示中具有小距离值。这些点不束缚于特定词语或单个词典。后处理步骤被用来将点映射到词语并将词语向量表示转换成说明。
在实施方式中，图像加说明框架基于神经网络和机器学习。给定目标图像，特征提取技术被应用以导出描述图像“要点”的全局图像概念。例如，预训练的卷积神经网络(CNN)可以被用来利用全局描述性术语编码图像。该CNN产生反映全局图像概念的视觉特征向量。关于全局图像概念导出的信息然后被馈送到语言处理模型中，该语言处理模型操作为概率地生成图像的描述性说明。例如，视觉特征向量可以被馈送到被设计为实施语言建模和语句生成技术的递归神经网络(RNN)中。该RNN被设计为迭代地预测词语序列，以基于根据多次迭代中的权重因数所计算的概率分布来组合作为用于目标图像的说明。在这一情境中，由该RNN实施的目标函数被适配为考虑语义词语向量空间中的距离而不是用于词语序列的概率分布，这使能词语向量表示。
如这一文件中所描述的利用词语向量表示的图像加说明的技术使得灵活且高效的方法能够生成图像说明。因为说明作为词语向量表示被生成，所以转换被延迟到过程的稍后阶段中的后处理。因此，被用于分析的词典能够在过程后期被改变以选择不同的语言、使用不同的词语范围或词语数目、引入新颖术语，等等。另外，词语向量表示 能够被保存并重用，并且如果对词典进行改变则后处理之前完成的步骤不是必须被重复。
在以下讨论中，首先描述可以采用本文所描述的技术的示例环境。然后描述可以在该示例环境以及其他环境中执行的示例过程和实施方式细节。因此，示例过程和细节的执行不限于该示例环境，并且该示例环境不限于示例过程和细节的执行。
示例环境
图1是示例实施方式中可操作为采用本文所描述的技术的环境100的图示。所图示的环境100包括计算设备102，计算设备102包括处理***104(其可以包括一个或多个处理设备)、一个或多个计算机可读存储介质106、以及客户端应用模块108，客户端应用模块108被具体化在计算机可读存储介质106上，并且经由处理***104可操作为实施本文所描述的对应功能。在至少一些实施例中，客户端应用模块108可以表示可操作为访问各种种类的基于web的资源(例如，内容和服务)的计算设备的浏览器。客户端应用模块108还可以表示具有可操作为访问基于web的资源(例如，使能网络的应用)、浏览互联网、与在线提供商交互等的集成功能的客户端侧组件。
计算设备102还可以包括或利用图像搜索工具110，图像搜索工具110表示可操作为实施如上文和下文所描述的用于图像搜索的技术的功能。例如，图像搜索工具110可操作为访问并利用各种可用图像资源来找到与查询术语相匹配的候选图像。图像搜索工具110进一步表示如下的功能，该功能执行各种动作以促进基于如本文所讨论的图像帧的情境的搜索，诸如图像帧附近的情境的分析、导出查询术语以用作搜索参数的文本分析、所命名的实体辨识、和/或查询构造，这是提出几个示例。基于经由图像搜索工具110进行的图像搜索所发现的图像可以经由用户界面111来显露，用户界面111由客户端应用模块108或如下的另一应用所输出，针对该另一应用，图像搜索工具110被配置为提供用于外推库存图像搜索的功能。
图像搜索工具110可以被实施为软件模块、硬件设备，或者使用软件、硬件、固件、固定逻辑电路等的组合来实施。图像搜索工具110可以被实施为如所图示的计算设备102的独立组件。另外地或备选地，图像搜索工具110可以被配置作为客户端应用模块108的组件、操作***、或其他设备应用。例如，图像搜索工具110可以被提供作为用于浏览器的插件和/或可下载脚本。图像搜索工具110还可以表示网页、web应用或由服务提供商可用的其他资源中所包含的或者以其他方式经由它们可访问的脚本。
计算设备102可以被配置作为任何适合类型的计算设备。例如，计算设备可以被配置作为台式计算机、膝上型计算机、移动设备(例如，具有诸如平板或移动电话的手持式配置)、平板计算机，等等。因此，计算设备102的范围可以从具有大量存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如，移动设备)。另外，虽然示出了单个计算设备102，但是计算设备102可以表示多个不同设备以执行如关于图12进一步描述的“在云上”的操作。
环境100进一步描绘了一个或多个服务提供商112，服务提供商112被配置为通过网络114(诸如互联网)与计算设备102通信，以提供“基于云”的计算环境。一般而言，服务提供商112被配置为使得各种资源116通过网络114可用于客户端。在一些场景中，用户可以注册被用来访问来自提供商的对应资源的账户。提供商可以在授予对账户的访问和对应资源116之前认证用户的凭证(例如，用户名和密码)。其他资源116可以被使得是自由地可用的(例如，无需认证或基于账户的访问)。资源116能够包括通常通过一个或多个提供商的网络被使得可用的服务和/或内容的任何适合组合。服务的一些示例包括但不限于相片编辑服务、web开发和管理服务、协同服务、社交联网服务、消息收发服务、广告服务，等等。内容可以包括文本、视频、广告、音频、多媒体流、动画片、图像、web文档、网页、应用、设备应用等的各种组合。
web应用118表示可以经由服务提供商112可访问的一个特定种类的资源116。可以使用浏览器或其他客户端应用模块108来获得并运行用于web应用的客户端侧代码而通过网络114来操作web应用118。在至少一些实施方式中，用于执行web应用118的运行时环境由浏览器(或其他客户端应用模块108)来提供。因此，从服务提供商可获得的服务和内容可以作为一些场景中的web应用可访问。
服务提供商进一步被图示为包括图像服务120，图像服务120被配置为根据本文所描述的技术来提供图像数据库122。图像服务120可以操作为搜索不同的图像资源124并且分析和组织(curate)从图像资源可获得的图像126，以产生图像数据库122。图像数据库122表示经组织图像的服务器侧储存库，其可以由客户端访问以***到网页、word文档、展示、以及其他内容中。图像服务120例如可以被配置为提供客户端/应用访问，以经由相应的图像搜索工具110来利用图像数据库122。通过示例的方式，图像服务120被描绘为实施搜索应用编程接口(搜索API)128，客户端/应用通过它能够提供经由图像服务120来定义并发起搜索的搜索请求。
图像服务120能够另外包括说明生成器130。说明生成器130表示可操作为实施如上文和下文描述的图像加说明技术的功能。一般而言，说明生成器130被设计为分析图像以生成图像的自然语言描述，诸如“在波浪顶上乘冲浪板的男人”。在实施方式中，说明生成器130依赖于神经网络和机器学习，其细节在下文关于图3和图4被讨论。在实施方式中，卷积神经网络(CNN)可以被用于利用全局描述性术语来编码图像，全局描述性术语然后被馈送到递归神经网络(RNN)，该RNN被设计为实施语言建模和语句生成技术。根据这一文件中所描述的发明性原理，说明生成器130被配置为以多种方式增强CNN图像特征的组合和RNN建模以用于图像加说明。通过引入的方式，用于说明生成的RNN的操作可以利用图像细节关键词来补充，这些图像细节关键词如下文关于图5和图6所讨论的从(多个)弱注释图像源导出。另外地或备选地，说明生成器130可以输出向量词语空间 中的词语的表示，而不是如关于图7和图8所讨论的直接输出词语。此外，如关于图9至图11所讨论的，说明生成器130可以被配置为应用语义关注模型以基于情境来选择用于RNN中的不同节点的不同关键词。
图2一般性地在200处描绘了示图，该示图示出了根据一个或多个实施方式的说明生成器130的细节。在这一示例中，说明生成器130被实施为图像服务120的组件。注意，说明生成器130还可以以其他方式被配置，诸如作为独立的服务、图像搜索工具110的组件、或者向客户端、图像资源和/或其他实体部署的单独应用。说明生成器130被描绘为包括图像分析模型202。图形分析模型202表示以各种方式(包括但不限于特征提取、元数据解析、补丁分析、对象检测等)来处理图像的功能。图像分析模型202指定被用来获得用于说明分析的相关关键词和图像描述的算法和操作。例如，图像分析模型202可以反映用于对于图像加说明所依赖的卷积神经网络(CNN)和递归神经网络(RNN)的定义、过程、以及参数。为了增强图像加说明，说明生成器130另外被配置为，个体地或者如下文更详细讨论的以任何组合一起地，使用弱监督(supervision)数据204、词语向量表示206、和/或语义关注模型208。
已经考虑了示例环境，现在考虑根据一个或多个实施方式的用于图像加说明的技术的一些示例细节的讨论。
图像加说明实施方式细节
这一章节描述了根据一个或多个实施方式的具有增强的图像加说明的一些示例细节。这些细节关于图3至图11的一些示例过程、场景、以及用户接口被讨论。本文所讨论的过程被表示为块集合，这些块集合指定由一个或多个设备执行的操作，并且不必然限于用于由相应块执行操作的所示出的顺序。这些过程的方面可以被实施在硬件、固件、或软件、或它们的组合中。这些过程的一些方面可以经由一个或多个服务器来实施，诸如经由服务提供商112，服务提供商112经 由图像服务120或以其他方式维持并提供对图像数据库122的访问。这些过程的方面还可以由适合地被配置的设备来执行，诸如图1的示例计算设备102，其包括或利用图像搜索工具110和/或客户端应用模块108。
一般而言，在这一文件中所描述的示例过程的情境中可以采用关于上文和下文的示例所描述的功能、特征和概念。进一步地，关于这一文件中的不同附图和示例所描述的功能、特征和概念可以在彼此之间被互换并且不限于特定附图或过程的情境中的实施方式。此外，本文中与不同表示性过程和对应附图相关联的块可以一起被应用和/或以不同方式被组合。因此，本文中关于不同的示例环境、设备、组件、附图和过程所描述的个体功能、特征和概念可以以任何适合的组合被使用，并且不限于由这一描述中列举的示例所表示的特定组合。
图像加说明框架
图3一般性地在300处描绘了图像加说明框架301的示例实施方式。在这一示例中，图像加说明框架301采用机器学习方法来生成加说明的图像。因此，训练数据302由图像加说明框架301获得，训练数据302将被用来训练模型，该模型然后被用来形成说明。在类似场景(例如，图像理解问题)中被用来训练模型的技术可以依赖于用户对图像手动地加标签以形成训练数据302。还可以使用机器学习来训练模型，该机器学习使用可自动执行且无需用户干预的技术。
在所图示的示例中，训练数据302包括图像304和关联文本306，诸如与图像304相关联的说明或元数据。提取器模块308然后被用于使用自然语言处理来提取结构化语义知识310，例如“<主语、定语>、图像”和“<主语、谓语、宾语>、图像”。提取还可以包括结构化语义到图像内的对象或区域的局部化。结构化语义知识310可以被用来将图像匹配到与视觉上类似的图像相关联的数据(例如，加说明)，并且还可以被用来找到与元数据集合的特定说明相匹配的图像(例如，搜索)。
图像304和对应的结构化语义知识310然后被传递到模型训练模 块312。模型训练模块312被图示为包括机器学习模块314，机器学习模块314表示如下的功能：采用机器学习(例如，神经网络、卷积神经网络等)以使用图像304和结构化语义知识310来训练图像分析模型202。模型316被训练为定义结构化语义知识310中所包括的文本特征与图像中的图像特征之间的关系(例如，视觉特征向量)。
图像分析模型202然后由说明生成器用来处理输入图像316并生成加说明的图像318。即使是在输入图像316包括任何文本的实例中，加说明的图像318例如可以包括文本标签和描述以定义图像108的概念。确切地说，说明生成器130基于对输入图像316的分析使用图像分析模型202来生成适当的文本描述。加说明的图像318然后可以由图像服务320用来自动地且无需用户干预地控制各种功能，诸如图像搜索、说明和元数据提取、图像分类、可及性特征等。
一般而言，图像加说明框架301涉及特征提取，其后是基于特征的描述的构造。各种不同的模型和方法可以被用于由图像加说明框架301所反映的特征提取操作和描述构造操作这两者。如之前所提到的，图像加说明框架301可以依赖于神经网络和机器学习。在实施方式中，使用卷积神经网络(CNN)来实施特征提取，然后递归神经网络(RNN)被调用以用于语言建模和语句构造。
在这一情境中，图4是示图，该示图一般性地在400处描绘了根据一个或多个实施方式的图像加说明框架的细节。这里，框架401表示用于基于神经网络的图像加说明的通用编码器-解码器框架。该框架基于神经网络和机器学习。给定目标图像316，特征提取技术被应用以导出描述图像的“要点”的全局图像概念。例如，预训练的卷积神经网络(CNN)402被用于利用概念404来编码图像，概念404作为整体指示图像的要点。该CNN产生反映这些“全局”概念404的视觉特征向量。关于全局图像概念404导出的信息然后被馈送到语言处理模型中，该语言处理模型操作为概率地生成图像的描述性说明。例如，视觉特征向量可以被馈送到被设计为实施语言建模和语句生成技术的递归神经网络(RNN)406中。RNN 406被设计为迭代地预测 词语序列，以基于根据多次迭代中的权重因数所计算的概率分布来组合作为用于目标图像的说明。如所表示的，RNN 406输出与图像316相关联的以说明、标签、语句和其他文本为形式的描述408。这产生如关于图3所讨论的加说明的图像。
图4进一步表示了增强410，其可以关于通用框架401被利用。具体地，说明生成器130可以使用弱监督数据204、词语向量表示206、和/或语义关注模型208作为对通用框架401所提供的图像加说明的增强410。增强410中的每个增强可以在个体的基础上被用来补充通用框架401的加说明。另外，可以采用多个增强410的任何组合。下文进而讨论关于对通用框架401的增强410的细节。
弱监督
如之前所提到的，关于目标图像的弱监督数据204可以被获得并被用来提供详细信息，该详细信息补充了为了图像加说明所导出的全局图像概念404。特别地，弱监督数据204从弱注释图像的源被收集，诸如社交联网站点、图像共享站点、以及用于图像的其他在线储存库。对于不同场景中的图像加说明，可以依赖于一个或多个源。上传到这种源的图像通常与用户所添加的标签、描述和其他文本数据相关联。用户所添加的这种种类的文本数据被认为是“弱监督的”，因为用户可能将“噪声”术语包括在内，这些“噪声”术语可能与图像所运送的图像内容和全局概念不相关或略微有关，并且数据没有由服务提供商精炼或控制。弱注释以与通过传统图像辨识和特征提取方法可得到相比较深的理解水平来提供关于图像的详细信息。因此，依赖于弱注释来生成指示低水平图像细节(例如，对象、属性、区域、白话语义)的关键词的集合，其能够被用来扩展用于图像分析的词典/词汇并补充为了图像加说明所导出的全局图像概念404。
在之前讨论的通用图像加说明框架401中，预训练的卷积神经网络(CNN)被用来编码图像。结果是被馈送到用于语句生成的递归神经网络(RNN)的视觉特征向量。训练数据被用来训练内嵌函数、递归神经网络、以及可选地卷积神经网络。RNN特别被设计用于序列 数据。在RNN中，每个输入节点具有隐藏状态hi，并且对于每个隐藏状态，hi＝f(xi,hi-1)，其中f(·)为激活函数，诸如逻辑函数或双曲正切(tanh)函数。换言之，用于每个节点的状态hi取决于基于输入xi和用于之前节点的状态hi-1计算的激活函数。以这种方式，RNN被用来迭代地计算用于每个输入节点的隐藏状态。另外，隐藏状态将交互从序列的起始传播到该序列中的结束节点。图像加说明框架401能够与各种不同架构的RNN集成。本文省略了关于RNN架构的细节，因为本领域的普通技术人员将意识到不同架构的实施方式，并且本文所描述的发明性概念不取决于所采用的特定RNN架构。
在这一情境中，图5一般性地在500处描绘了示图，该示图描绘了用于利用弱监督的图像加说明的框架。特别地，图5表示了图4的通用框架401中的RNN 406被适配为依赖于弱监督数据204的场景。弱监督数据204可以从如上文和下文所描述的各种图像源124获得。例如，特征提取502过程可以被应用于辨识与来自图像源124中的至少一个图像的目标图像相类似的图像。被辨识为与目标图像相类似的图像进一步被处理，以从与类似图像相关联的弱注释提取关键词。因此，特征提取502表示如上文所讨论的功能性地被应用于导出以指示低水平图像细节的关键词集合为形式的弱监督数据204。弱监督数据204然后被供应给RNN 406，以如图5中所表示的通知图像加说明分析。在一种方法中，从弱注释的图像导出的经过滤的关键词列表被供应给RNN。该列表可以通过以下来生成：根据相关性准则对关键词集合评分并排名，并且选择若干顶部排名的关键词以包括在经过滤的列表中。经过滤的列表可以基于频率、概率分数、权重因数、或其他相关性准则被过滤。在实施方式中，关键词的整个集合可以被供应用于在RNN中使用(例如，未过滤列表)。
关键词的列表被配置为将关键词权重504与每个词语或短语相关联。关键词权重504因此反映了在RNN内可以被用来预测用于加说明的词语序列的分数或概率分布。如图5中所表示的，顶部关键词的列表可以被馈送到RNN的每个节点中，作为补充全局概念的另外数 据。在这一点上，针对目标图像所产生的关键词列表扩展了被用来导出用于目标图像的说明的词汇。另外，关键词权重504调整由RNN应用于语言建模和语句构造的权重因数。因此，关键词权重504对改变如下的词语概率是有效的，这些词语概率被用于由RNN实施以偏好指示低水平图像细节的关键词的概率性分类。
用于弱监督数据204的关键词权重504的效果能够按照上文所提到的用于RNN的通用形式hi＝f(xi,hi-1)来表达。一般而言，给定用于每个图像vi的关键词集合Ki＝{k1,k2,…,kk}，目标是如何采用Ki来生成用于vi的说明。具体地，构建模型以使用关键词用于训练阶段和测试阶段这两者。为了这样做，关键词针对每个图像被提取并且被聚合为关键词的集合。然后，RNN中的每个输入节点根据等式Ke＝max(WkK+b)被附加有用于关键词的另外的嵌入信息。这里，Ke为用于节点的关键词列表，Wk为控制关键词权重504的用于关键词的嵌入矩阵。对于每个输入词语wi，Ke被附加在如图5中所表示的输入递归神经网络的每个位置处。因此，如被适配为采用弱监督的RNN可以被表达为hi＝f(xi,hi-1,Ke)。在这一表达式中，激活函数f(·)另外地取决于嵌入的关键词列表Ke和对应的关键词权重504。
在前述示例中，max运算被用来从候选关键词群组获得特征。还预想到其他运算，诸如求和，其可以增大输入层中的参数的总数目。然而，利用max运算，针对每个图像所选择的关键词的数目可以不同，并且在分析中能够考虑大数目的潜在关键词而无需向输入层添加显著数目的参数。
如所提到的，各种图像源124可以被用来获得弱监督数据。在实施方式中，图像源124包括用于通过网络可访问的图像的各种在线储存库，诸如社交联网站点、图像共享站点、以及经组织的图像数据库/服务。用户现今正频繁地使用这种在线储存库来共享图像和多媒体内容并访问图像内容。从在线源可获得的图像通常包括标签或短描述，它们可以被利用以获得用于在加说明时使用的弱监督的知识。
被用来训练图像加说明框架(例如，训练说明生成器)的训练图 像集合可以提供弱监督数据204的另外的或备选的源。在这种方法中，训练数据包括如下图像的数据库，这些图像具有被用来训练用于加说明模型的分类器的对应说明。可以依赖于训练图像数据库作为源来发现彼此类似的相关图像。接着，将用于相关图像的说明被聚合为用于图像加说明的弱监督的文本。当目标图像匹配于相关图像的集合时，依赖于用于相关图像的说明作为用于目标图像的加说明的弱监督数据204。
在实施方式中，至少一些弱监督数据204可以从图像分析直接被导出。为了这样做，不同的概念或属性检测器被训练以辨识由弱注释图像所提供的低水平图像细节的种类。深度神经网络的相对近期发展已经激励了图像内对象辨识上的显著改进。因此，有可能训练图像分类器以辨识一些类型的低水平图像细节，诸如特定对象、区域差异、图像属性等。替代使用这种图像细节直接来生成候选说明，所检测的属性或概念被馈送到图像说明框架中作为弱监督数据204，以按照本文所描述的方式来通知图像加说明。
图6是根据一个或多个实施方式的弱监督数据被用于图像加说明的示例过程600的流程图。目标图像被获得以用于说明分析(块602)。例如，图像服务120可以实施如本文所描述的说明生成器130。图像服务120可以提供经由搜索API 128显露的可搜索图像数据库122。说明生成器130被配置为对图像执行说明分析，并且使用本文所描述的各种技术自动地生成用于图像的说明。经由说明生成器130生成的加说明的图像318可以以各种方式被采用。例如，说明可以促进使用自然语言查询经由搜索API 128进行的图像搜索。另外，通过将说明转换成向用户传达图像内容的可听描述，说明可以促进视障用户的可及性。
为了产生图像说明，特征提取被应用到目标图像以生成对应于目标图像的全局概念(块604)。各种类型的特征提取操作被预想到。一般而言，初始特征提取被应用以导出描述图像的整体要点的全局概念404。初始特征提取可以经由如之前所提到的CNN 402来执行，但 是导出全局图像概念404的其他技术也被预想到。所导出的概念404可以被组合以形成候选说明，这些候选说明被用作用于进一步精炼并选择说明的起始点。因此，进一步的精炼可以另外地依赖于如本文所描述的弱监督数据204。
特别地，目标图像与来自弱注释图像的源的图像进行比较以识别视觉上类似的图像(块606)。弱注释图像的各种源被预想到，其示例之前被给出。本文所描述的分析依赖于至少一个源，然而，多个源可以在一些场景中被使用。该比较涉及使用特征提取技术来找到具有类似于目标图像的特征的图像。与类似图像相关联的注释被认为与目标图像的加说明相关。
因此，通过从视觉上类似的图像提取关键词来构建用于目标图像的关键词集合(块608)，并且关键词集合连同全局概念一起被供应用于说明生成(块610)。然后，使用关键词集合调整被应用于语句构造的词语权重来针对目标图像生成说明(块612)。这里，从弱注释图像导出的关键词列表被确定并供应作为弱监督数据204以按照之前所提到的方式来通知图像加说明分析。弱监督数据204所指示的关键词权重504对调整被应用于语言建模和语句生成的权重因数是有效的。产生说明的语言建模和语句构造可以经由如之前所描述的RNN 406来实施，但是其他图像加说明算法和技术也被预想到。在任何情况下，由弱监督数据204所反映的权重被应用于图像加说明以相应地改变概率性分类中的词语概率。因此，在根据针对关键词建立的权重因数的加说明分析中考虑到指示从弱注释导出的低水平图像细节的关键词。
词语向量表示
词语向量表示206是可以被用于增强通用图像加说明框架401的另外特征。词语向量表示206可以个体地被使用或者与之前描述的弱监督和/或在以下章节中讨论的语义关注组合地被使用。简略地说，替代将说明分析的结果直接输出为词语或词语序列(例如，说明或语句)，框架401被适配为输出语义词语向量空间中的点。这些点构成词语向 量表示206，词语向量表示206反映语义词语向量空间的情境中的距离值。在这种方法中，词语被映射到向量空间中，并且说明分析的结果被表达为向量空间中的点，这些点捕获词语之间的语义。在向量空间中，类似的概念在概念的词语向量表示中具有小距离值。
相对照地，传统方法被设计为返回所预测的词语或序列。例如，之前所描述的RNN406传统上被配置为通过固定词典/词汇确定每个节点处的概率分布。词语基于所计算的分布被评分和排名。最可能的词语然后基于对节点的输入和当前状态被选择作为用于每个节点的输出。该过程基于多次迭代来迭代地找到顶部说明或多个说明。这里，由RNN使用的目标函数所反映的策略利用对应于类(class)的每个词语来解决分类问题。概率分布被用于相对于固定词典/词汇的概率性分类。因此，说明中的词语必须被包含在词典中，词典尺寸一般为大以负责众多构造，并且如果词典被改变则分析必须完全地被重复。
另一方面，利用词语向量表示206，分析的输出是向量空间中的点或多个点。这些点不束缚于特定词语或单个词典。后处理步骤被用来将点映射到词语并将词语向量表示206转换成说明。因此，转换被延迟到过程中的稍后阶段。这一点的结果是词典在过程中的后期能够被改变以选择不同的语言、使用不同的词语范围或词语数目、引入新颖术语，等等。另外，词语向量表示206能够被保存，并且如果对词典进行改变则后处理之前完成的步骤不是必须被重复。
图7在700处描绘了示例图，该示例图一般性地图示了用于图像加说明的词语向量表示的概念。特别地，图7表示语义词语向量空间702，其捕获词语之间的语义。在这一示例中，语义词语向量空间702具有多维空间中的轴，这些轴对应于不同的词语组合或语句。在这一情境中，词语向量704表示语义词语向量空间702中的词语之间的距离值。给定用于分析问题的特定状态数据和所选择的词典，词语向量704能够被映射到最接近的词语或多个词语。这种方法向取决于情境信息在过程中的后期将词语向量704映射到不同词语提供了灵活性。
图8是根据一个或多个实施方式的词语向量表示被用于图像加说 明的示例过程800的流程图。目标图像被获得以用于说明分析(块802)，并且特征提取被应用到目标图像以生成对应于该图像的属性(块804)。例如，图像服务120可以实施如之前所描述的被配置为处理图像的说明生成器130。此外，各种类型的特征提取操作被预想到以检测与目标图像相关联的特征、概念、对象、区域和其他属性。
这些属性被供应给说明生成器以发起说明生成(块806)。例如，属性可以被用来导出关键词，这些关键词被供应给说明生成器130所实施的图像分析模型202以用于图像加说明。这些关键词被用来构造并评估作为潜在说明候选的关键词的不同组合。作为分析的结果，在语义词语向量空间中输出词语向量，该词语向量指示作为属性的组合被形成的语句中的词语之间的语义关系(块808)。例如，图像分析模型202可以被适配为输出词语向量表示206作为说明分析的中间结果。词语向量表示206可以对应于语义词语向量空间702中未映射到特定词语或具体词典的点。例如，由RNN所实施的目标函数可以被适配为考虑语义词语向量空间702中的距离，而不是用于词语序列的概率分布。下文讨论与使用L-2距离和负采样来修改用于说明分析的目标函数有关的一些细节。
随后，词语向量被转换成用于目标图像的说明(块810)。重要地，词语向量转换被延迟到在导出词语向量表示206的RNN的操作之后发生的后处理操作。换言之，后处理转换被应用到从RNN生成的输出。词语向量转换发生在经由RNN执行的说明分析之外选择的词典/词汇的情境中。因此，生成词语向量表示206的说明分析不取决于特定词典。
如所提到的，使用语义词语向量空间的实施方式可以使用距离和/或负采样来修改用于说明分析的目标函数而被实施。关于L-2距离，典型的目标函数被构造为概率分类问题。例如，给定节点输入和当前状态，函数可以被设计为求解用于词语序列的对数似然目标。这种对数似然目标可以被表达为log p(W|V)＝∑tlog p(wt|V,w0,w1,…,wT)。为了使能词语向量表示206，目标函数被适配成取决于语义词语空间中的距离 的代价函数。例如，经适配的目标函数可以被表达为 这里，pt表示预测的词语索引。利用这一目标函数，可以使用非常大的词汇量。另外，用于每个词语的特征可以使用经适配的目标函数的一些未监督特征而被发起，显著地减少了所涉及的特征的数目，因为参数的数目有关于特征的维度而不是词汇量大小(典型目标函数中的类的总数目)。
上述L-2距离方法考虑到在每个节点处的目标函数中的当前词语。然而，对于每个节点，还存在许多负样本(所有其他词语)。说明分析可以被进一步适配为包括解释负样本的负采样分析。负采样将代价注入到解释与负样本的距离的目标函数中。利用负采样，目标函数被设计为使相关词语/向量之间的距离最小化，并且使与负样本的距离最大化。在一种实施方式中，对于每个节点，随机地选择不同于目标词语的N个词语，并且用于目标函数的损耗因数被定义为log(1+exp(-wiVhi-1)+Σnlog(1+exp(wnVhi-1)。在这一表达式中，wi表示在第i个位置处的用于每个目标词语的嵌入。wn表示用于第i个目标词语的第n个随机选取的负样本，并且hi-1为位置i-1处的隐藏响应。因此，当目标词语接近于随机选择的负样本时，负采样增加用于目标词语的代价。
语义关注
语义关注模型208是可以被用来增强通用图像加说明框架401的另一附加特征。语义关注模型208可以个体地被使用或者与之前描述的弱监督和/或词语向量表示组合地被使用。一般而言，语义关注模型208被实施用于选择针对可用术语的语料库的关键词和概念。本文之前所讨论的技术可以在递归神经网络中的每个节点处采用关键词或特征的相同集合。例如，为了弱监督数据202导出的相同关键词列表可以被供应给RNN 406中的每个节点。然而，不同词语/概念的相关性在分析中的不同点处可能改变。语义关注模型208提供了一种机制以选择用于取决于情境来生成下一词语的不同概念、关键词、或监督信息。
宽泛地说，语义关注模型208被配置为基于情境对候选关键词进行排名并且计算被馈送到RNN中的对应关注权重。在RNN中每个节点处所计算的状态信息被反馈回到语义关注模型208中，并且候选关键词根据用于下一迭代的当前情境被重新排名。因此，被用于RNN中的每个节点的特定关键词和权重随着RNN转变(transit)而改变。作为结果，图像加说明模型关注于每次迭代时最相关的关键词。使用语义关注模型208用于图像加说明使能了更复杂的说明并且改进了所生成的说明的准确度。在图9至图11的以下讨论中提供了与用于图像加说明的语义关注模型有关的细节。
对于情境，已有图像加说明方法中存在两种一般范式：自顶向下和自底向上(bottom-up)。自顶向下范式从图像的“要点”开始并将它转换成词语，而自底向上范式首先提出描述图像的各种方面的词语，并且然后组合它们。在两种范式中采用语言模型来形成衔接句(coherent sentence)。“技术的状态”是自顶向下范式，其中存在基于递归神经网络的从图像到语句的端到端公式化，并且递归网络的所有参数能够从训练数据得知。自顶向下范式的限制之一是它难以关注于精致细节，这些精致细节在描述图像方面可能是重要的。自底向上方法不遭受这一问题，因为它们在任何图像分辨率上自由操作。然而，它们遭受其他问题，诸如缺乏对于从个体方面转到语句的过程的端到端公式化。
如本文所使用的，用于图像加说明的语义关注是指如下的能力：提供在加说明分析中的不同点处相关的语义上重要的目标的详细连贯的描述。本文所描述的语义关注模型208能够：1)关注于语义上重要的概念或图像中的感兴趣区域，2)加权在多个概念上给予的关注的相对强度，以及3)根据任务状况动态地在概念之间切换关注。特别地，语义关注模型208使用自底向上方法来检测语义细节或“属性”作为用于关注的候选，并且采用自顶向下组件来引导关注应当何处且何时被激活。该模型构建在如之前讨论的递归神经网络(RNN)的顶部上。初始状态从自顶向下组件捕获全局概念。随着RNN状态 转变，该模型经由在网络状态和输出节点两者上实施的关注机制从自底向上属性取得反馈和交互。这一反馈允许算法不仅更准确地预测词语，还引起已有预测与图像内容之间的语义间隙的更鲁棒的推断。反馈操作为在递归神经网络的框架内组合自顶向下方法和自底向上方法这两者中的视觉信息。
图9是示图，该示图一般性地在900处描绘了根据一个或多个实施方式的用于图像加说明的语义关注框架。如所提到的，语义关注框架组合用于图像说明的自顶向下方法和自底向上方法。在所描绘的示例中，图像316被表示为用于说明分析的目标。给定目标图像316，卷积神经网络402被调用以提取用于图像的自顶向下视觉概念。同时，特征提取902被应用来检测低水平图像细节(区域、对象、属性等)。特征提取902可以被实施为相同卷积神经网络402的一部分或者使用单独的提取组件来实施。在实施方式中，特征提取902被应用到弱注释的图像的源以按照之前描述的方式导出弱监督数据204。特征提取902的结果是对应于低水平图像细节的图像属性904(例如，关键词)的集合。如图9中所表示的，语义关注模型208操作为在生成图像说明的RNN 406中将自顶向下视觉概念与低水平细节相组合。特别地，语义关注模型计算并控制用于属性904的关注权重906，并且在每次迭代时将关注权重906馈送到RNN中。随着RNN转变，语义关注模型208获得与说明分析的当前状态和情境有关的反馈908。这一反馈908被用来关于递归神经网络迭代而改变用于候选属性904的关注权重。作为结果，语义关注模型206使得RNN 406关注于针对每次预测迭代的最相关概念。
图10是根据一个或多个实施方式的语义关注模型被用于图像加说明的示例过程1000的流程图。特征提取被应用到目标图像以生成对应于目标图像的概念和属性(块1002)。特征提取可以以如本文所描述的各种方式发生。特征提取可以依赖于CNN 402、提取器模块302、或被设计为检查用于图像316的概念和属性的其他适合组件。概念和属性被馈送到说明生成模型中，该说明生成模型被配置为迭代 地组合从概念和属性导出的词语以在多次迭代中构造说明(块1004)。然后，根据语义关注模型来构造说明，该语义关注模型被配置为基于与之前迭代中所预测的词语的相关性来调整向用于多次迭代中的每次迭代的属性所指配的权重(块1004)。例如，如关于图9讨论的语义关注框架可以被用于根据一个或多个实施方式的图像加说明。通过示例而非限制的方式，语义关注模型208可以关于RNN406进行操作。备选地，可以采用用于语言建模和语句生成的其他迭代式技术。在任何情况下，语义关注框架供应如本文所描述的关注权重906，关注权重906被用来控制说明生成模型内的概率性分类。在每次迭代时，使用关注权重906将模型聚焦于对于该迭代最相关的特定概念和属性，词语在用于说明的序列中被预测。关注权重906对于每一遍(pass)被重新评估并调节。
图11是示图，该示图一般性地在1100处描绘了根据一个或多个实施方式的语义关注框架的细节。特别地，图11表示利用了由φ表示的输入关注模型1102和由表示的输出关注模型1104这两者的示例图像加说明框架，其细节在下文被描述。在该框架中，属性904针对图像316被导出。另外，CNN 402被用来导出由v表示的用于图像316的视觉概念。与对应属性权重906耦合的属性904被表示为属性检测{Ai}。视觉概念v和属性检测{Ai}被注入到RNN(虚线箭头)中并且通过反馈908环路被融合在一起。在这一框架内，对属性的关注由输入关注模型1102(φ)和输出关注模型这两者来实施。
因此，自顶向下特征和自底向上特征这两者从输入图像被获得。在一种实施方式中，来自分类卷积神经网络(CNN)的中间过滤响应被用来构建由v标示的全局视觉概念。另外，属性检测器集合操作为取得最可能出现在图像中的视觉属性列表{Ai}。每个属性Ai对应于词汇集合或词典Y中的条目。
所有视觉概念和特征被馈送到用于说明生成的递归神经网络(RNN)中。因为RNN中的隐藏状态ht∈Rn随着时间t而演变，所以根据由状态ht控制的概率向量pt∈R|Y|从词典Y取出第t个词语Yt。 所生成的词语Yt将在下次步骤中被反馈回到RNN中作为网络输入xt+1∈Rm的一部分，这导出从ht至ht+1的状态转变。来自v和{Ai}的视觉信息在生成xt和pt时充当用于RNN的外部引导，其由图11中所表示的输入模型和输出模型φ和指定。
与之前的图像加说明方法相对照，该框架使用反馈908回路利用并组合视觉信息的不同源。(多个)CNN图像概念v被使用作为初始输入节点x0，其被期望向RNN给出图像内容的快速概览。一旦RNN状态被初始化以涵盖整个视觉情境，RNN能够针对后续时间步骤中的任务相关处理从{Ai}选择特定项目。具体地，该框架由以下等式来支配：
x0＝φ0(v)＝Wx,vv
ht＝f(xt,ht-1,)
xt＝φ(Yt-1,{Ai}),t>0,
这里，线性嵌入模型被用于具有由Wx,v指示的权重因数的初始输入节点x0。输入关注模型φ在t＝0时被应用到v以嵌入(多个)全局概念。ht表示用于RNN的隐藏节点的状态，隐藏节点由如之前描述的激活函数f来支配。输入关注模型φ和输出关注模型被设计为基于当前模型状况自适应地关注于{Ai}中的某些认知线索，以使得所提取的视觉信息将与已有词语的解析和未来词语的预测最相关。例如，如由表达式反映的，当前词语Yt和概率分布pt取决于输出模型和属性权重。相似地，t＝0之后的输入由xt＝φ(Yt-1,{Ai}),t>0来表达，并且取决于输入模型φ、之前迭代中所预测的词语Yt-1以及属性{Ai}。RNN递归地操作，并且如此，所关注的属性被反馈回到状态ht并与由v表示的全局信息相集成。
在用于t>0的输入关注模型φ，分数基于其与之前所预测的词语Yt-1的相关性被指配给每个所检测的属性Ai。因为Yt-1和Ai这两者对应于词典Y中的条目，所以它们能够利用R|Y|空间中的独热(one-hot)表示被编码，我们将其分别标示为yt-1和yi。作为向量空间中的模型 相关性的通用方法，双线性函数被用来评估特别地， 其中指数被拿来以softmax方式对于全部{Ai}归一化。矩阵包含用于具有合理词汇量的任何Y的大量参数。为了减小参数尺寸，独热表示能够被投射到低维语义词语向量空间中(如上文关于图7和图8讨论的)。
令词语嵌入矩阵为E∈Rdx|Y|并且d<<|Y|。然后，之前的双线性函数变为其中U为dxd矩阵。一旦被计算，关注分数被用来调整对不同属性的关注的强度。所有属性的加权和根据表达式连同之前词语从词语嵌入空间被映射到xt的输入空间。这里，Wx,Y∈Rm×d是投影矩阵，diag(w)标示利用向量w构造的对角矩阵，并且wx,A∈Rd对视觉属性在语义词语向量空间中的每个维度中的相对重要性建模。
输出关注模型与输入关注模型类似地被设计。然而，不同的关注分数集合被计算，因为在单个语句的分析过程和合成过程期间可以以不同顺序来关注视觉概念。换言之，被用于输入模型和输出模型的权重单独地被计算并且具有不同值。利用对于预测由当前状态ht所捕获的Yt有用的所有信息，用于每个属性Ai的分数关于ht被测量，其由表达式来捕获。这里，V∈Rn×d为双线性参数矩阵。σ标示将输入节点连接到RNN中的隐藏状态的激活函数，其在这里被用来确保相同非线性变换在两个特征向量被比较之前应用到这两个特征向量。
再次地，被用来调整对所有属性的关注，并且对它们的激活的加权和在确定分布pt时被使用作为对ht的补充(compliment)。具体地，分布由线性变换来生成，线性变换之后为被表达为 的softmax归一化。在这一表达式中，WY,h∈Rd×n为投影矩阵，并且wY,A∈Rn对视觉属性在RNN状态空间的每个维度中的相对重要性建模。ET项实施用于参数减少的转置权重共享技巧。
用于每个图像的训练数据包括输入图像特征v、{Ai}以及输出说明词语序列{Yt}。对于模型学习，目标是通过使对于训练集合的损耗函数最小化来学习所有的关注模型参数ΘA＝{U，V，W*，*，w*，*}连带所有的RNN参数ΘR。一个训练示例的损耗被定义为与关注分数和上的正则化项相组合的全部词语的总的负对数似然率，并且根据以下损耗函数来表达：这里，α和β是关注分数矩阵，并且它们的第(t；i)条目为权重和正则化函数g被用来实施对{Ai}中的每个属性所给予的关注的完整性以及在任何特定时间步骤处的关注的稀疏性。这通过使得以下用于α的矩阵范数最小化来进行(并且对于β也是一样)： 具有p>1的第一项惩罚在整个语句上累积的对任何单个属性Ai所给予的过多关注，并且具有0<q<1的第二项惩罚在任何特定时间对多个属性的转移关注。具有自适应学习速率的随机梯度下降算法被用来优化损耗函数。
已经考虑了前述示例细节、过程、用户接口以及示例，现在考虑包括能够被用于本文所描述的图像加说明技术的一个或多个实施方式的各种组件和设备的示例***的讨论。
示例***和设备
图12一般性地在1200处图示了包括示例计算设备1202的示例***，示例计算设备1202表示可以实施本文所描述的各种技术的一个或多个计算***和/或设备。这通过对图像服务120的包括而被图示，图像服务120如上文所描述的进行操作。计算设备1202例如可以为服务提供商的服务器、与客户端相关联的设备(例如，客户端设备)、片上***、和/或任何其他适合的计算设备或计算***。
示例计算设备1202被图示为包括处理***1204、一个或多个计算机可读介质1206、以及通信地被耦合到彼此的一个或多个I/O接口1208。虽然未示出，但是计算设备1202可以进一步包括将各种组件耦合到彼此的***总线或其他数据和命令传送***。***总线能够包 括不同总线结构(诸如存储器总线或存储器控制器、***总线、通用串行总线、和/或利用各种总线架构中的任何总线架构的处理器或局部总线)的任何一个或组合。各种其他示例也被预想到，诸如控制和数据线路。
处理***1204表示使用硬件执行一个或多个操作的功能。因此，处理***1204被图示为包括硬件元件1210，硬件元件1210可以被配置作为处理器、功能块，等等。这可以包括作为使用一个或多个半导体形成的专用集成电路或其他逻辑设备的硬件中的实施方式。硬件元件1210不被形成它们的材料或其中所采用的处理机制所限制。例如，处理器可以包括(多个)半导体和/或晶体管(例如，电子集成电路(IC))。在这种情境中，处理器可执行指令可以为电子可执行指令。
计算机可读存储介质1206被图示为包括存储器/存储装置1212。存储器/存储装置1212表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储组件1212可以包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘，等等)。存储器/存储组件1212可以包括固定介质(例如，RAM、ROM、固定硬驱动器，等等)以及可移除介质(例如，闪存、可移除硬驱动器、光盘，等等)。计算机可读介质1206可以如下文进一步描述的以各种其他方式被配置。
(多个)输入/输出接口1208表示如下的功能：允许用户向计算设备1202输入命令和信息，并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容性传感器或其他传感器)、照相机(例如，其可以采用可视波长或不可视波长(诸如红外频率)来将移动辨识为不涉及触摸的手势)，等等。输出设备的示例包括显示设备(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备，等等。因此，计算设备1202可以如下文进一步描述的以各种方式被配置为支持用户交互。
在本文中可以在软件、硬件元件、或程序模块的一般情境中描述各种技术。一般而言，这种模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、元件、组件、数据结构，等等。如本文所使用的术语“模块”、“功能”和“组件”一般表示软件、固件、硬件、或它们的组合。本文所描述的技术的特征为独立于平台的，意味着技术可以被实施在具有各种处理器的各种商用计算平台上。
所描述的模块和技术的实施方式可以被存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质被传输。计算机可读介质可以包括可以由计算设备1202访问的各种介质。通过示例而非限制的方式，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”指代与仅信号传输、载波或信号本身相对照使能信息的持久性和/或非瞬态存储的介质和/或设备。因此，计算机可读存储介质不包括信号本身或信号承载介质。计算机可读存储介质包括硬件，诸如以适合于存储信息(诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或其他数据)的方法或技术所实施的易失性和非易失性、可移除和不可移除介质和/或存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字化通用光盘(DVD)或其他光存储装置、硬盘、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或其他存储设备、有形介质、或适合于存储期望信息且可以由计算机访问的制品。
“计算机可读信号介质”指代被配置为诸如经由网络向计算设备1202的硬件传输指令的信号承载介质。信号介质通常可以具体化计算机可读指令、数据结构、程序模块、或调制的数据信号(诸如载波、数据信号、或其他传送机制)中的其他数据。信号介质还包括任何信息递送介质。术语“调制的数据信号”意指如下的信号，该信号使它的特性中的一个或多个特性以关于将信息编码在该信号中的方式被设置或改变。通过示例而非限制的方式，通信介质包括有线介质(诸 如，有线网络或直接有线连接)和无线介质(诸如，声学、RF、红外、以及其他无线介质)。
如之前所描述的，硬件元件1210和计算机可读介质1206表示以硬件形式实施的模块、可编程设备逻辑、和/或固定设备逻辑，其可以在一些实施例中被用来实施本文所描述的技术的至少一些方面，诸如执行一个或多个指令。硬件可以包括如下的组件：集成电路或片上***、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑设备(CPLD)、以及硅或其他硬件中的其他实施方式。在这一情境中，硬件可以操作为执行由指令定义的程序任务和/或由硬件具体化的逻辑的处理设备、以及被用来存储用于执行的指令的硬件，例如，之前描述的计算机可读存储介质。
还可以采用前述的组合来实施本文所描述的各种技术。因此，软件、硬件、或可执行模块可以被实施为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件1210具体化的一个或多个指令和/或逻辑。计算设备1202可以被配置为实施对应于软件模块和/或硬件模块的特定指令和/或功能。因此，由计算设备1202作为软件可执行的模块的实施方式例如可以通过使用处理***1204的计算机可读存储介质和/或硬件元件1210来至少部分地实现。指令和/或功能可以由一个或多个制品(例如，一个或多个计算设备1202和/或处理***1204)可执行/可操作来实施本文所描述的技术、模块和示例。
本文所描述的技术可以由各种配置的计算设备1202来支持，并且不限于本文所描述的技术的具体示例。这种功能还可以全部或部分通过经由如下文所描述的平台1216使用诸如“云”1214上的分布式***而被实施。
云1214包括和/或表示用于资源1218的平台1216。平台1216使云1214的硬件(例如，服务器)和软件资源的底层功能抽象化。资源1218可以包括能够在远离计算设备1202的服务器上执行计算机处理的同时被利用的应用和/或数据。资源1218还可以包括通过互联网和/或透过订户网络(诸如，蜂窝或Wi-Fi网络)提供的服务。
平台1216可以使资源和功能抽象化以将计算设备1202与其他计算设备相连接。平台1216还可以用来使资源的缩放抽象化，以提供对经由平台1216实施的资源1218的所遇到需求的对应缩放水平。因此，在互连设备实施例中，本文所描述的功能的实施方式可以贯穿***1200被分布。例如，功能可以部分地在计算设备1202上并且经由使云1214的功能抽象化的平台1216而被实施。
总结
虽然已经以特定于结构特征和/或方法行为的语言描述了技术，但是将被理解的是，所附权利要求中所定义的主题不必然限于所描述的具体特征或行为。确切地说，具体特征和行为被公开作为实施所要求保护的主题的示例形式。

Claims (20)

1.在使用一个或多个计算设备促进图像集合的管理的数字媒体环境中，一种使用词语向量表示自动生成图像说明的方法包括：
获得用于说明分析的目标图像；
将特征提取应用到所述目标图像以生成对应于所述图像的属性；
向说明生成器供应所述属性以发起说明生成；以及
由所述说明生成器输出语义词语向量空间中的词语向量，所述词语向量指示作为所述属性的组合被形成的语句中的词语之间的语义关系，所述词语向量可用于生成对应的说明。
2.根据权利要求1所述的方法，进一步包括：作为后处理操作将所述词语向量转换成用于所述目标图像的说明。
3.根据权利要求2所述的方法，其中将所述词语向量转换成用于所述目标图像的说明包括：选择词典，以及基于所选择的词典将所述词语向量映射到所述语义词语向量空间中的词语。
4.根据权利要求1所述的方法，其中所述说明生成器被配置为生成词语向量作为说明分析的中间结果。
5.根据权利要求1所述的方法，其中使用预训练的卷积神经网络(CNN)利用指示所述属性的关键词以编码所述图像来实施所述特征提取。
6.根据权利要求1所述的方法，其中向说明生成器供应所述属性以发起说明生成包括：向递归神经网络(RNN)提供所述属性，所述RNN被设计为实施语言建模和语句构造技术以用于生成用于所述目标图像的说明。
7.根据权利要求6所述的方法，其中由所述RNN实施的目标函数被适配为考虑所述语义词语向量空间中的距离而不是用于词语序列的概率分布。
8.根据权利要求6所述的方法，其中词语向量转换被延迟到在发生用于输出所述词语向量的所述RNN的操作之后执行的后处理操作。
9.根据权利要求6所述的方法，其中所述词语向量转换发生在经由所述RNN执行的所述说明分析之外所选择的词典的情境中。
10.根据权利要求1所述的方法，其中所述词语向量可用于利用在所述词语向量被生成之后所选择的多个不同词典来生成对应的说明。
11.在使用一个或多个计算设备促进对图像集合的访问的数字媒体环境中，一种***包括：
一个或多个处理设备；
一个或多个计算机可读介质，所述一个或多个计算机可读介质存储指令，所述指令经由所述一个或多个处理设备可执行以实施说明生成器，所述说明生成器被配置为执行操作以使用词语向量表示自动地生成图像说明，所述操作包括：
获得用于说明分析的目标图像；
将特征提取应用到所述目标图像以生成对应于所述图像的属性；
向所述说明生成器供应所述属性以发起说明生成；
由所述说明生成器输出语义词语向量空间中的词语向量，所述词语向量指示作为所述属性的组合被形成的语句中的词语之间的语义关系；以及
随后通过以下在后处理操作中使用所述词语向量来生成对应的说明：
选择词典；以及
基于所选择的词典将所述词语向量映射到所述语义词语向量空间中的词语。
12.根据权利要求11所述的***，其中输出所述语义词语向量空间中的所述词语向量使得能够针对不同情境来改变所选择的词典。
13.根据权利要求11所述的***，其中使用预训练的卷积神经网络(CNN)利用指示所述属性的关键词以编码所述图像来实施所述特征提取。
14.根据权利要求11所述的***，其中向说明生成器供应所述属性以发起说明生成包括：向递归神经网络(RNN)提供所述属性，所述RNN被设计为实施语言建模和语句构造技术以用于生成用于所述目标图像的说明。
15.根据权利要求14所述的***，其中由所述RNN实施的目标函数被适配为考虑所述语义词语向量空间中的距离而不是用于词语序列的概率分布。
16.一个或多个计算机可读存储介质，所述一个或多个计算机可读存储介质存储指令，所述指令经由所述一个或多个处理设备可执行以实施说明生成器，所述说明生成器被配置为执行操作以使用词语向量表示自动地生成图像说明，所述操作包括：
获得用于说明分析的目标图像；
将特征提取应用到所述目标图像以生成对应于所述图像的属性；
向所述说明生成器供应所述属性以发起说明生成；
由所述说明生成器输出语义词语向量空间中的词语向量，所述词语向量指示作为所述属性的组合被形成的语句中的词语之间的语义关系；以及
随后通过以下在后处理操作中使用所述词语向量来生成对应的说明：
选择词典；以及
基于所选择的词典将所述词语向量映射到所述语义词语向量空间中的词语。
17.根据权利要求16所述的一个或多个计算机可读存储介质，其中输出所述语义词语向量空间中的所述词语向量使得能够针对不同情境来改变所选择的词典。
18.根据权利要求16所述的一个或多个计算机可读存储介质，其中使用预训练的卷积神经网络(CNN)利用指示所述属性的关键词以编码所述图像来实施所述特征提取。
19.根据权利要求16所述的一个或多个计算机可读存储介质，其中向说明生成器供应所述属性以发起说明生成包括：向递归神经网络(RNN)提供所述属性，所述RNN被设计为实施语言建模和语句构造技术以用于生成用于所述目标图像的说明。
20.根据权利要求19所述的一个或多个计算机可读存储介质，其中由所述RNN实施的目标函数被适配为考虑所述语义词语向量空间中的距离而不是用于词语序列的概率分布。
CN201610985196.3A 2016-01-13 2016-11-09 语义自然语言向量空间 Active CN107066464B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/995,042 US9792534B2 (en) 2016-01-13 2016-01-13 Semantic natural language vector space
US14/995,042 2016-01-13

Publications (2)

Publication Number Publication Date
CN107066464A true CN107066464A (zh) 2017-08-18
CN107066464B CN107066464B (zh) 2022-12-27

Family

ID=59276189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610985196.3A Active CN107066464B (zh) 2016-01-13 2016-11-09 语义自然语言向量空间

Country Status (3)

Country Link
US (1) US9792534B2 (zh)
CN (1) CN107066464B (zh)
AU (1) AU2016256764B2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665356A (zh) * 2017-10-18 2018-02-06 北京信息科技大学 一种图像标注方法
CN107832326A (zh) * 2017-09-18 2018-03-23 北京大学 一种基于深层卷积神经网络的自然语言问答方法
CN109815459A (zh) * 2017-11-17 2019-05-28 奥多比公司 生成被调整到目标受众词汇的文本内容的目标概要
CN110210016A (zh) * 2019-04-25 2019-09-06 中国科学院计算技术研究所 基于风格引导的双线性神经网络虚假新闻检测方法及***
CN110413993A (zh) * 2019-06-26 2019-11-05 重庆兆光科技股份有限公司 一种基于稀疏权值神经网络的语义分类方法、***和介质
US20220350954A1 (en) * 2021-04-28 2022-11-03 International Business Machines Corporation Contextual real-time content highlighting on shared screens

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP4138075A1 (en) 2013-02-07 2023-02-22 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10831820B2 (en) * 2013-05-01 2020-11-10 Cloudsight, Inc. Content based image management and selection
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和***
US10791216B2 (en) 2013-08-06 2020-09-29 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9811765B2 (en) 2016-01-13 2017-11-07 Adobe Systems Incorporated Image captioning with weak supervision
US10963504B2 (en) * 2016-02-12 2021-03-30 Sri International Zero-shot event detection using semantic embedding
CN107220231A (zh) * 2016-03-22 2017-09-29 索尼公司 用于自然语言处理的电子设备和方法以及训练方法
US10997233B2 (en) * 2016-04-12 2021-05-04 Microsoft Technology Licensing, Llc Multi-stage image querying
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10157332B1 (en) * 2016-06-06 2018-12-18 A9.Com, Inc. Neural network-based image manipulation
US11409791B2 (en) * 2016-06-10 2022-08-09 Disney Enterprises, Inc. Joint heterogeneous language-vision embeddings for video tagging and search
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10467274B1 (en) * 2016-11-10 2019-11-05 Snap Inc. Deep reinforcement learning-based captioning with embedding reward
US10198671B1 (en) 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
US10558750B2 (en) * 2016-11-18 2020-02-11 Salesforce.Com, Inc. Spatial attention model for image captioning
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
CN106845530B (zh) * 2016-12-30 2018-09-11 百度在线网络技术（北京）有限公司 字符检测方法和装置
US11709996B2 (en) * 2016-12-30 2023-07-25 Meta Platforms, Inc. Suggesting captions for content
KR20180080446A (ko) * 2017-01-04 2018-07-12 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN108345580B (zh) * 2017-01-22 2020-05-15 创新先进技术有限公司 一种词向量处理方法及装置
US10592751B2 (en) * 2017-02-03 2020-03-17 Fuji Xerox Co., Ltd. Method and system to generate targeted captions and summarize long, continuous media files
US10657838B2 (en) * 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
US10535342B2 (en) * 2017-04-10 2020-01-14 Microsoft Technology Licensing, Llc Automatic learning of language models
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) * 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US11113599B2 (en) * 2017-06-22 2021-09-07 Adobe Inc. Image captioning utilizing semantic text modeling and adversarial learning
EP3422518B1 (en) * 2017-06-28 2020-06-17 Siemens Aktiengesellschaft A method for recognizing contingencies in a power supply network
US11573239B2 (en) * 2017-07-17 2023-02-07 Bioinformatics Solutions Inc. Methods and systems for de novo peptide sequencing using deep learning
CN107368476B (zh) * 2017-07-25 2020-11-03 深圳市腾讯计算机***有限公司 一种翻译的方法、目标信息确定的方法及相关装置
US10942977B2 (en) * 2017-08-16 2021-03-09 Social Evidence, Llc Systems and methods for targeting, reviewing, and presenting online social network data by evidence context
US10706840B2 (en) * 2017-08-18 2020-07-07 Google Llc Encoder-decoder models for sequence to sequence mapping
JP7000766B2 (ja) 2017-09-19 2022-01-19 富士通株式会社 学習データ選択プログラム、学習データ選択方法、および、学習データ選択装置
US10380236B1 (en) * 2017-09-22 2019-08-13 Amazon Technologies, Inc. Machine learning system for annotating unstructured text
CN109599079B (zh) * 2017-09-30 2022-09-23 腾讯科技（深圳）有限公司 一种音乐的生成方法和装置
CN109685085B (zh) * 2017-10-18 2023-09-26 阿里巴巴集团控股有限公司 一种主图提取方法以及装置
FR3073308B1 (fr) * 2017-11-08 2020-06-12 Thales Procede de surveillance d'une scene, dispositif d'acquisition et installation associes
CN108334889B (zh) 2017-11-30 2020-04-03 腾讯科技（深圳）有限公司 摘要描述生成方法和装置、摘要描述模型训练方法和装置
CN108132968B (zh) * 2017-12-01 2020-08-04 西安交通大学 网络文本与图像中关联语义基元的弱监督学习方法
CN110019471B (zh) * 2017-12-15 2024-03-08 微软技术许可有限责任公司 从结构化数据生成文本
US10559298B2 (en) * 2017-12-18 2020-02-11 International Business Machines Corporation Discussion model generation system and method
CN107977363B (zh) * 2017-12-20 2021-12-17 北京百度网讯科技有限公司 标题生成方法、装置和电子设备
CN110119507A (zh) * 2018-02-05 2019-08-13 阿里巴巴集团控股有限公司 词向量生成方法、装置以及设备
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
CN108389082B (zh) * 2018-03-15 2021-07-06 火烈鸟网络(广州)股份有限公司 一种游戏智能评级方法与***
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
DE102018206208A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
CN108776655A (zh) * 2018-06-01 2018-11-09 北京玄科技有限公司 一种有监督的词向量训练方法及装置
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11514252B2 (en) * 2018-06-10 2022-11-29 Adobe Inc. Discriminative caption generation
US10963627B2 (en) * 2018-06-11 2021-03-30 Adobe Inc. Automatically generating digital enterprise content variants
US11100288B1 (en) * 2018-06-21 2021-08-24 SoundHound Inc. Factored neural networks for language modeling
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170257B2 (en) 2018-10-15 2021-11-09 Ancestry.Com Operations Inc. Image captioning with weakly-supervised attention penalty
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11436825B2 (en) 2018-12-14 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for determining target object in image based on interactive input
CN109711465B (zh) * 2018-12-26 2022-12-06 西安电子科技大学 基于mll和asca-fr的图像字幕生成方法
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN112487203B (zh) * 2019-01-25 2024-01-16 中译语通科技股份有限公司 一种融入动态词向量的关系抽取***
WO2020159036A1 (ko) * 2019-01-30 2020-08-06 삼성전자주식회사 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법
CN110059181B (zh) * 2019-03-18 2021-06-25 中国科学院自动化研究所 面向大规模分类体系的短文本标签方法、***、装置
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11388416B2 (en) * 2019-03-21 2022-07-12 Qualcomm Incorporated Video compression using deep generative models
CA3138679A1 (en) * 2019-04-30 2020-11-05 The Trustees Of Dartmouth College System and method for attention-based classification of high-resolution microscopy images
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
CN110135441B (zh) * 2019-05-17 2020-03-03 北京邮电大学 一种图像的文本描述方法及装置
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
JP7363107B2 (ja) * 2019-06-04 2023-10-18 コニカミノルタ株式会社 発想支援装置、発想支援システム及びプログラム
CN110391010B (zh) * 2019-06-11 2022-05-13 山东大学 基于个人健康感知的食品推荐方法及***
US12001548B2 (en) * 2019-06-25 2024-06-04 Paypal, Inc. Threat detection using machine learning query analysis
CN112149924A (zh) * 2019-06-26 2020-12-29 北京京东尚科信息技术有限公司 描述信息处理方法、装置、设备及计算机可读存储介质
CN110472229B (zh) * 2019-07-11 2022-09-09 新华三大数据技术有限公司 序列标注模型训练方法、电子病历处理方法及相关装置
CN110795936B (zh) * 2019-08-14 2023-09-22 腾讯科技（深圳）有限公司 词向量的获取方法和装置、存储介质及电子装置
US11238631B2 (en) * 2019-08-19 2022-02-01 Sri International Align-to-ground, weakly supervised phrase grounding guided by image-caption alignment
CN110728298A (zh) * 2019-09-05 2020-01-24 北京三快在线科技有限公司 多任务分类模型训练方法、多任务分类方法及装置
JP2021047817A (ja) * 2019-09-20 2021-03-25 富士ゼロックス株式会社 出力装置、及び出力プログラム
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11455540B2 (en) * 2019-11-15 2022-09-27 International Business Machines Corporation Autonomic horizontal exploration in neural networks transfer learning
CN111259768A (zh) * 2020-01-13 2020-06-09 清华大学 基于注意力机制的结合自然语言的图像目标定位方法
CN111402365B (zh) * 2020-03-17 2023-02-10 湖南大学 一种基于双向架构对抗生成网络的由文字生成图片的方法
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111598183B (zh) * 2020-05-22 2023-08-15 上海海事大学 一种多特征融合图像描述方法
CN111815604B (zh) * 2020-07-08 2023-07-28 讯飞智元信息科技有限公司 高炉风口监测方法、装置、电子设备和存储介质
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112004113A (zh) * 2020-07-27 2020-11-27 北京大米科技有限公司 教学交互方法、装置、服务器及存储介质
US11687714B2 (en) * 2020-08-20 2023-06-27 Adobe Inc. Systems and methods for generating text descriptive of digital images
CN112183084B (zh) * 2020-09-07 2024-03-15 北京达佳互联信息技术有限公司 一种音视频数据处理方法和装置及设备
US11714997B2 (en) 2021-03-17 2023-08-01 Paypal, Inc. Analyzing sequences of interactions using a neural network with attention mechanism
CN112949312A (zh) * 2021-03-26 2021-06-11 中国美术学院 一种产品知识融合方法和***
CN114239594B (zh) * 2021-12-06 2024-03-08 西北工业大学 基于注意力机制的自然语言视觉推理方法
CN114332288B (zh) * 2022-03-15 2022-06-14 武汉大学 基于短语驱动生成对抗网络的文本生成图像的方法及网络
CN114677631B (zh) * 2022-04-22 2024-03-12 西北大学 一种基于多特征融合及多阶段训练的文化资源视频中文描述生成方法
US20230394855A1 (en) * 2022-06-01 2023-12-07 Microsoft Technology Licensing, Llc Image paragraph generator
CN117093996B (zh) * 2023-10-18 2024-02-06 湖南惟储信息技术有限公司 嵌入式操作***的安全防护方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090028445A1 (en) * 2007-07-23 2009-01-29 Bo Wu Character image feature dictionary preparation apparatus, document image processing apparatus having the same, character image feature dictionary preparation program, recording medium on which character image feature dictionary preparation program is recorded, document image processing program, and recording medium on which document image processing program is recorded
CN104199965A (zh) * 2014-09-22 2014-12-10 吴晨 一种语义信息检索方法
CN104572940A (zh) * 2014-12-30 2015-04-29 中国人民解放军海军航空工程学院 一种基于深度学习与典型相关分析的图像自动标注方法
CN104834747A (zh) * 2015-05-25 2015-08-12 中国科学院自动化研究所 基于卷积神经网络的短文本分类方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6374217B1 (en) * 1999-03-12 2002-04-16 Apple Computer, Inc. Fast update implementation for efficient latent semantic language modeling
JP2003167914A (ja) * 2001-11-30 2003-06-13 Fujitsu Ltd マルチメディア情報検索方法、プログラム、記録媒体及びシステム
JP2003288362A (ja) * 2002-03-27 2003-10-10 Seiko Epson Corp 特定要素ベクトル生成装置、文字列ベクトル生成装置、類似度算出装置、特定要素ベクトル生成プログラム、文字列ベクトル生成プログラム及び類似度算出プログラム、並びに特定要素ベクトル生成方法、文字列ベクトル生成方法及び類似度算出方法
KR100955758B1 (ko) 2008-04-23 2010-04-30 엔에이치엔(주) 문서의 텍스트 정보 및 구조적 정보를 이용한 캡션 후보추출 시스템 및 방법, 그리고 이미지 캡션 추출 시스템 및방법
GB0917753D0 (en) * 2009-10-09 2009-11-25 Touchtype Ltd System and method for inputting text into electronic devices
JP5338450B2 (ja) * 2009-04-22 2013-11-13 富士通株式会社 再生装置及びプログラム
JP2012038239A (ja) * 2010-08-11 2012-02-23 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
US9965704B2 (en) 2014-10-31 2018-05-08 Paypal, Inc. Discovering visual concepts from weakly labeled image collections
US9943689B2 (en) * 2015-03-04 2018-04-17 International Business Machines Corporation Analyzer for behavioral analysis and parameterization of neural stimulation
US10635949B2 (en) * 2015-07-07 2020-04-28 Xerox Corporation Latent embeddings for word images and their semantics
CN105389326B (zh) 2015-09-16 2018-08-31 中国科学院计算技术研究所 基于弱匹配概率典型相关性模型的图像标注方法
US9811765B2 (en) 2016-01-13 2017-11-07 Adobe Systems Incorporated Image captioning with weak supervision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090028445A1 (en) * 2007-07-23 2009-01-29 Bo Wu Character image feature dictionary preparation apparatus, document image processing apparatus having the same, character image feature dictionary preparation program, recording medium on which character image feature dictionary preparation program is recorded, document image processing program, and recording medium on which document image processing program is recorded
CN104199965A (zh) * 2014-09-22 2014-12-10 吴晨 一种语义信息检索方法
CN104572940A (zh) * 2014-12-30 2015-04-29 中国人民解放军海军航空工程学院 一种基于深度学习与典型相关分析的图像自动标注方法
CN104834747A (zh) * 2015-05-25 2015-08-12 中国科学院自动化研究所 基于卷积神经网络的短文本分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAO J等: "DEEP CAPTIONING WITH MULTIMODAL RECURRENT", 《INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS》 *
ORIOL VINYALS ET.AL.: ""Show and Tell: A Neural Image Caption Generator"", 《ARXIV PREPRINT ARXIV》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832326A (zh) * 2017-09-18 2018-03-23 北京大学 一种基于深层卷积神经网络的自然语言问答方法
CN107832326B (zh) * 2017-09-18 2021-06-08 北京大学 一种基于深层卷积神经网络的自然语言问答方法
CN107665356A (zh) * 2017-10-18 2018-02-06 北京信息科技大学 一种图像标注方法
CN109815459A (zh) * 2017-11-17 2019-05-28 奥多比公司 生成被调整到目标受众词汇的文本内容的目标概要
CN110210016A (zh) * 2019-04-25 2019-09-06 中国科学院计算技术研究所 基于风格引导的双线性神经网络虚假新闻检测方法及***
CN110210016B (zh) * 2019-04-25 2021-06-04 中国科学院计算技术研究所 基于风格引导的双线性神经网络虚假新闻检测方法及***
CN110413993A (zh) * 2019-06-26 2019-11-05 重庆兆光科技股份有限公司 一种基于稀疏权值神经网络的语义分类方法、***和介质
US20220350954A1 (en) * 2021-04-28 2022-11-03 International Business Machines Corporation Contextual real-time content highlighting on shared screens
US11947894B2 (en) * 2021-04-28 2024-04-02 International Business Machines Corporation Contextual real-time content highlighting on shared screens

Also Published As

Publication number Publication date
US20170200066A1 (en) 2017-07-13
CN107066464B (zh) 2022-12-27
AU2016256764B2 (en) 2021-03-25
US9792534B2 (en) 2017-10-17
AU2016256764A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
CN107066464A (zh) 语义自然语言向量空间
CN106973244B (zh) 使用弱监督数据自动生成图像字幕的方法和***
GB2547068B (en) Semantic natural language vector space
US11409791B2 (en) Joint heterogeneous language-vision embeddings for video tagging and search
JP7193252B2 (ja) 画像の領域のキャプション付加
Liang et al. Cpgan: Content-parsing generative adversarial networks for text-to-image synthesis
CN112163165A (zh) 信息推荐方法、装置、设备及计算机可读存储介质
CN113011186B (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
Wang et al. Neural aesthetic image reviewer
CN113704460B (zh) 一种文本分类方法、装置、电子设备和存储介质
Amaresh et al. Video captioning using deep learning: an overview of methods, datasets and metrics
CN114339450B (zh) 视频评论生成方法、***、设备及存储介质
Tao et al. Log2intent: Towards interpretable user modeling via recurrent semantics memory unit
He et al. Deep learning in natural language generation from images
Khan et al. A deep neural framework for image caption generation using gru-based attention mechanism
Gandhi et al. Multimodal sentiment analysis: review, application domains and future directions
CN112131345A (zh) 文本质量的识别方法、装置、设备及存储介质
Sharif et al. Vision to language: Methods, metrics and datasets
Chaudhuri Visual and text sentiment analysis through hierarchical deep learning networks
Yusuf et al. Evaluation of graph convolutional networks performance for visual question answering on reasoning datasets
Gao et al. Learning to respond with your favorite stickers: A framework of unifying multi-modality and user preference in multi-turn dialog
Sanguansub et al. Song lyrics recommendation for social media captions using image captioning, image emotion, and caption-lyric matching via universal sentence embedding
Qi et al. Video captioning via a symmetric bidirectional decoder
Deepak et al. Automatic image captioning system using a deep learning approach
Hammad et al. Characterizing the impact of using features extracted from pre-trained models on the quality of video captioning sequence-to-sequence models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant