CN102262624A - 基于多模态辅助的实现跨语言沟通***及方法 - Google Patents
基于多模态辅助的实现跨语言沟通***及方法 Download PDFInfo
- Publication number
- CN102262624A CN102262624A CN201110225342XA CN201110225342A CN102262624A CN 102262624 A CN102262624 A CN 102262624A CN 201110225342X A CN201110225342X A CN 201110225342XA CN 201110225342 A CN201110225342 A CN 201110225342A CN 102262624 A CN102262624 A CN 102262624A
- Authority
- CN
- China
- Prior art keywords
- user
- chat
- content
- text
- talk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000002452 interceptive effect Effects 0.000 claims abstract description 25
- 238000003058 natural language processing Methods 0.000 claims abstract description 9
- 238000013519 translation Methods 0.000 claims description 38
- 238000013523 data management Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 235000013550 pizza Nutrition 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 241000234295 Musa Species 0.000 description 2
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明提出基于多模态辅助的实现跨语言沟通***及方法，所述方法利用实现跨语言沟通***中的前台交互模块、数据管理模块和语义关联模块，通过分析谈话内容，利用自然语言处理工具能够自动地提取对话中的中心议题及关键字，并语义关联模块根据检测到的中心议题与关键字信息，自动地搜索相关的图片和视频片段并以恰当的方式提供给谈话双方，从而达到促进彼此的了解和沟通。这里，作为辅助理解的图片和视频，既可以通过搜索的方法从网络自动扒取，也可以从一个预先已标注好的多媒体库中直接获取。最后，***根据谈话双方的文本聊天信息以及与之相对应的图片和视频内容，生成一个多模态的谈话摘要。
Description
技术领域
本发明属于多媒体分析、网络通讯领域，涉及基于多模态辅助的实现跨语言沟通的方法。
背景技术
随着通讯技术和互联网技术的快速发展，出现了与邮件、电话、电报等传统通讯方式完全不同的一种网络即时通讯***，比如MSN和QQ。传统的邮件和电报以文字为主，电话以语音为主，而即时通讯不仅可以使用文字和语音，还可以辅助丰富的视频、图片等多媒体手段。通过即时通讯***，远隔重洋的人们可以实现如面对面的实时交谈。整个地球已经成为名副其实的地球村。
对于说不同语言的对话者来说，语言问题仍然是即时通讯中难以逾越的障碍。近年来，由于机器翻译技术取得了长足进步，不同语言之间的用户的交流存在的语言问题在某种程度上通过机器翻译的技术得到了一定的解决。但是机器翻译存在两个明显的缺点。第一就是不同语言之间的准确翻译。但是机器翻译仍然只能对一些简单的对话进行自动翻译。即使是世界上使用人数最多的两种语言：英语和汉语，它们之间的自动翻译准确率也还是无法完全满足日常使用需要。如果考虑到世界上众多的少数民族语言，不同语言之间准确的自动翻译可能仍然是一个任重道远的问题。第二个就是词义的多义性是机器翻译中遇到的另一个挑战性的难题。
为增强交流的从文本到图像的合成***，现有技术中将输入的文本中主体内容以图片的形式表现出来。这个问题的解决是通过三个优化来完成从文本到图片的转换，即基于输入的文本最大化关键字出现的概率、基于输入文本和已选择的关键字最大化相应的图片出现的概率和基于输入文本，已选关键字和对应的图片最大化文本和图片的空间分布。这样基于这三个优化最终完成从文本到图片的转化。但是这个***存在以下三个缺点：
1).***处理速度慢。这个***由于要计算优化，这样会导致图片到文本的转化速度变慢；
2).***的界面不友好。由于要对输入的文本和给出的图片一起进行优化得出空间布局再呈现给用户。如果将这样的文本图片混杂的布局应用到用户之间对话的情况，势必会给用户造成不友好的感觉。
3).***不易使用。由于是终端软件，这样势必要求用户自行下载软件。可以借助网页来解决***的不易使用的缺点。
发明内容
本发明的目的是解决现有技术处理速度慢、不易使用的技术缺陷，通过多模态信息辅助使用不同语言的人能够顺畅地在线交流。通过图像、视频等多模态信息减少传统自动翻译中产生的歧义性和多义性，并且辅助对用户对话内容的语义理解，由此本发明提供一种基于多模态辅助的实现跨语言沟通的方法。
为实现所述目的，本发明的第一方面提供一种基于多模态辅助的跨语言沟通***，该***的技术方案包括：前台交互模块、数据管理模块和语义关联模块，其中：
前台交互模块的输入端接受用户输入的文本聊天内容并对用户聊天的内容进行预处理，得到用户聊天的文本信息，并通过前台交互模块的前后台交互模块的输出端传送处理后的用户文本聊天内容；前台交互模块的聊天页面为用户显示聊天双方的对话的文字内容和根据双方谈话的内容***推荐出来的多媒体图片；
语义关联模块的输入端与前台交互模块输出端连接，接收并对用户的文本聊天内容进行分析，利用自然语言处理工具提取出双方谈话的主要内容，得到并输出文本信息关联上翻译的文本和相对应的多媒体信息，及根据文本聊天内容、翻译的内容和相应的多媒体信息生成一个多模态摘要；
数据管理模块的输入端与语义关联模块连接输出端连接，数据管理模块要对新输入的文本聊天内容、翻译的内容和相应的多媒体信息进行存储，同时把历史的用户信息连同新的用户信息进行整合，生成并显示所有的聊天双方的对话的文字内容和根据双方谈话的内容***推荐出来的多媒体图片信息。
优选实施例，当后台的语义关联模块收到用户发送过来的文本信息之后，语义关联模块为了帮助不同语种的聊天用户能够从使用的语言的角度来理解对方的说话的含义，将Google翻译的结果集成进来；这样除了原始的用户聊天信息以外，还附带上了对这个聊天内容的基于Google翻译的用户聊天的译文。
优选实施例，语义关联模块提取出双方谈话的主要内容是将这些主要内容作为关键字，采用基于文本的图像检索从图像数据库中检索出来相应的候选图片集。
为实现所述目的，本发明的第二方面提供一种使用基于多模态辅助的跨语言沟通***实现跨语言沟通的方法，该方法以用户对话聊天为基础，根据文本解析技术对谈话内容分析得到的结果，为用户提供多媒体元素以辅助语言交流上存在障碍的或者文化背景存在差异的用户之间的语义理解，所述方法实现步骤包括以下：
步骤S1：用户首先通过语义聊天的前台界面发送自己想和对方的聊天的文字内容，前台界面通过Ajax构建的前后台交互模块向后台的语义关联模块传递用户聊天的文本信息，采用基于主题的跨模态分析方法对用户谈话内容进行分析，利用自然语言处理工具自动地提取对话中的中心议题及关键字；
步骤S2：语义关联模块根据对话中的中心议题及关键字信息，采用基于文本的图像检索自动地从数据库或者互联网根据谈话主题检索相关的图片集和视频片段并提供给谈话双方；
步骤S3：***根据谈话双方的文本聊天信息以及与之相对应的图片和视频片段内容，生成一个多模态的谈话摘要，最终以多媒体的形式来实现不同语种的用户之间顺畅的语义交流；同时，***根据谈话双方的文本聊天历史信息以及与之相对应的图片和视频内容，能为谈话双方生成一个多模态的谈话摘要。
优选实施例，所述多模态的谈话摘要包含文本、音频、图像和视频信息，为用户提供多媒体元素以辅助语言交流上存在障碍的或者文化背景存在差异的用户之间的语义理解。
优选实施例，所述图片和视频片段内容是通过搜索从网络自动扒取，或从一个预先已标注好的多媒体库中直接获取。
优选实施例，所述多模态的谈话摘要是基于主题的摘要，使用的关系网络并根据统计上次谈话中出现在一个预定义预料库中的词语共生频率得到检测主题。
本发明的有益效果：本发明的核心是如何通过多媒体信息(图像或者视频)来对文本信息进行描述。本发明提出的基于多模态辅助的跨语言沟通***能为在线即时通讯提供友好和方便的环境，有三个主要特点：第一友好性，由于采用了基于话题相关的图像或视频搜索技术辅助文本内容理解，从而大大减少了翻译的多义性和歧义性；第二交互性，使得***能够更好地满足用户个性化的需求；第三易用性，所提出的***能够根据谈话记录自动地生成多媒体的摘要。
为了辅助使用者之间的交流与理解，本发明的***采用了基于主题的跨模态分析方法。***根据谈话双方的文本聊天信息以及与之相对应的图片和视频内容，生成一个多模态的谈话摘要。这样，由于这个多模态的谈话通过包含丰富的内容，即非常直观易懂的图像、视频、文本等的多模态辅助信息，从而有效消除纯文本之间的自动翻译出现的歧义性，提高了语言交流的效率及质量，实现不同语种的用户之间进行顺畅的语义交流。
附图说明
图1是本发明基于多模态辅助的跨语言沟通***的界面框图；
图2是本发明基于多模态辅助的跨语言沟通***的结构框图；
图3a和图3b给出了一个预定披萨的示例结果；
图4针对谈话内容的多媒体摘要示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明提出基于多模态辅助的跨语言沟通***及实现跨语言沟通的方法，所述方法利用前台交互模块1、数据管理模块2和语义关联模块3，通过分析谈话内容，利用自然语言处理工具能够自动地提取对话中的中心议题及关键字，并语义关联模块3根据检测到的中心议题与关键字信息，自动地搜索相关的图片和视频片段并以恰当的方式提供给谈话双方，从而达到促进彼此的了解和沟通。这里，作为辅助理解的图片和视频，既可以通过搜索的方法从网络自动扒取，也可以从一个预先已标注好的多媒体库中直接获取。最后，***根据谈话双方的文本聊天信息以及与之相对应的图片和视频内容，生成一个多模态的谈话摘要。
图1示出了本发明提出了一个辅助跨语言沟通的多媒体聊天***的用户交互界面，它能够为使用不同语言的用户进行交流提供一个友好、可交互的及时沟通环境。其中主要包括了三个方面的功能：基于及时翻译的文本通信，一个基于谈话主题的图片或视频检索，以及针对谈话内容的多媒体摘要(图4示出)。图1的最上面的部分主要是用来显示***的名字以及用户聊天谈话的主题。接下来的是***界面的主要显示区，即文本对话和多媒体辅助信息显示，例如问路、买车、定宾馆等。图1中的右侧部分是基于及时翻译的文本通信，用户文本聊天区域：呈现用户基本的文字聊天信息机相关的Google翻译的文本信息；图1左侧部分是一个基于谈话主题的图片或视频检索，以及针对谈话内容的多媒体摘要，多媒体内容展示区：基于用户谈话的内容为用户呈现相关的多媒体信息辅助用户的语义理解。
如图2示出本发明基于多模态辅助的跨语言沟通***的结构框图。基于多模态辅助的跨语言沟通***的框架分成三个组成部分，即前台交互模块1，数据管理模块2和语义关联模块3。其中前台设计包括聊天界面和前后台交互两个部分。其中前台交互模块1接受用户输入的文本聊天内容并对用户聊天的内容进行预处理，得到用户聊天的文本信息；用户的聊天文字内容通过前台交互模块1的前后台交互字模块的输出端将处理后的用户文本聊天内容传送给语义关联模块3，前台交互模块1的聊天页面为用户显示聊天双方的对话的文字内容和根据双方谈话的内容***推荐出来的多媒体图片。
语义关联模块3的输入端与前台交互模块1输出端连接，接收并通过对用户的文字聊天内容进行分析之后，利用自然语言处理工具提取出双方谈话的主要内容，得到并输出文本信息关联上翻译的文本和相对应的多媒体信息，及根据文本聊天内容、翻译的内容和相应的多媒体信息生成一个多模态摘要；语义关联模块3将文本聊天内容、翻译的内容和相应的多媒体信息一起输出到数据管理模块2。
数据管理模块2的输入端与语义关联模块3连接输出端连接，数据管理模块2要对新输入文本聊天内容、翻译的内容和相应的多媒体的信息进行存储。同时要把历史用户信息连同新的用户信息进行整合，生成并显示所有的聊天双方的对话的文字内容和根据双方谈话的内容***推荐出来的多媒体图片信息；最后一并返还给前台交互模块1。最终前台交互模块1的聊天页面就会将所有的信息全部显示给用户。下面详细说明一下模块的工作流程。
用户首先通过聊天界面向前台交互模块1发送聊天内容。续请见图1用户的语义聊天界面是分成两个主要的部分，一部分就是显示传统的聊天双方的对话的文字内容的部分，另一部分就是显示根据双方谈话的内容***推荐出来的多媒体图片列表。这个时候前台界面通过Ajax构建的前后台交互模块向后台传递用户输入的文字聊天的文本信息。后台框架是分成两个部分，一部分是数据管理模块2，另一部分是语义关联模块3。当后台收到用户发送过来的文本信息之后，语义关联模块3为了帮助不同语种的聊天用户能够从自身的使用的语言的角度来理解对方的说话的含义，将Google翻译的结果集成进来。这样除了原始的用户聊天信息以外，还附带上了对这个聊天内容的基于Google翻译的用户聊天的译文。语义关联模块3对文本信息利用自然语言处理工具提取出双方谈话的主要内容。这个时候，语义关联模块3首先将这些主要内容作为关键字，采用基于文本的图像检索从图像数据库中检索出来相应的候选图片集。最后用户的所有和对话和相应的多媒体信息可以用来生成一个多模态摘要。以一个预定披萨的示例结果为例说明一下生成的多媒体摘要，如图4所示。从图4给出的这个基于多模态的摘要看出，用户在和披萨店的货物员的对话中，进行了披萨种类、饮料和付款方式的选择。用户通过聊天***反馈回来的相应的披萨店的披萨的图片，能够更好地根据自己的意愿进行选择。这个多模态摘要也有利于用户日后想再次想定披萨，可以根据这个多模态摘要提供的多媒体信息来帮助用户进行回顾。
下面对图2中的语义关联机制进行阐述。语义关联机制主要分成三个部分，即基于即时翻译的文本通信、基于话题和图片的视频检索以及最后基于用户文本聊天内容和相应的多媒体信息生成的多模态摘要。
(1).基于及时翻译的文本通信
类似大多数的及时通信***，本发明提出的***也支持最基本的文本通信。但是，由于谈话的双方可能具有不同的语言背景。例如，当一个说英语的美国人和一个说汉语的中国人在网上交谈，美国人不懂汉语，而中国人又不懂英语，通过普通的文本交谈不能使双方无障碍的沟通。为此，本发明的***集成了一个简单的机器翻译功能，在聊天时，将说话者的语言自动翻译为接受者的语言后再显示出来，这样就能够保证谈话双方能够大致了解对方的意图。
(2).基于话题的图片和视频检索
尽管有机器翻译作为桥梁，跨语言的沟通仍然不能令人十分满意。究其原意，主要在于机器翻译的准确性(翻译的目标语言的可理解程度)依然偏低。主要语种间的翻译结果，例如英语与汉语之间，仍然还达不到实用的标准。另外，由于日常用语中多义词与句子的存在，导致机器翻译技术也难以满足现实的需要。图3a中示出食品包括：海食品、水果、肉。水果包括：香蕉、苹果、桔子，例如“苹果”一词既可以表示一种水果，也可以表示苹果公司(图3a)。为了营造一种易于理解的、沉浸式的在线沟通环境，我们设计了一种基于主题的图片/视频检索子模块来辅助不同语言背景的用户相互交流。其中，话题检测、图片检索以及相关反馈是三个主要功能。
话题检测通过两种途径来实现。第一是用户从一个预定义的话题列表中选择一个话题。不同的话题与不同的已标注的(通过手工或者学***板电脑ipad及智能手机iphone。上述的这些语义关系可以从WordNet中所抽取得到，也可以通过使用通过统计单词在一个预定义的语料库中的“词频-反向文档频率”权重(TF-IDF)所得到。一旦我们从对话中抽取到关键词，***就可以通过分析关键词间的语义关系来自动地推断其所对应的潜在话题。
根据对话中所抽取的主题，***自动地从网络或者后台数据库中检索相应的图片信息。使用基于文本的检索，我们可以容易地根据谈话主题找到相关的标注图片。然而，大部分的网络图片都是未标注的，我们使用检索到的已标注好的文本相关联的图片作为训练集，学习得到一个主题模型，并且用这个主题模型区检索大量的未标注图片。为此，基于主题的图片检索需要首先构建主题模型，其目标是自动地找到一个潜在的(隐含的)语义空间以便更准确的建模检索过程中的文档信息。这里，一个文档的语义结构包括了一些潜在的隐含概念或者主题(它们往往对应词间的一种稳定而特有的共生模式)。通过潜在主题的加权组合，文档可以表示为一系列的潜在主题，而其较全组合系数则可以看做是文档的一种特征表示。这种表示具有一些系列的优点：首先语义空间相较于单词空间而言，维度往往较低。这不仅节约了存储空间，也有利于快速搜索；其次通过单词空间到语义空间的转换，不仅可以减少单词向量中的噪音，而且也可以解决上述的多义和歧义问题，进而提高检索性能。例如，单词“苹果”既可以表示一种水果，又可以表示一个电脑品牌(图3b)。它的准确意义可以同一主题的其他相关的关键词所推得。
反馈作为一种流行的人机交互技术广泛应用于文本域视觉信息的分析中。通过用户对***输出的反馈评价，***可以自适应地进行修正。通过用户反馈所得到的监督信息已经在实践中被证明是有效地。在我们的***中，用户可以从自动的主题抽取算法所得到的候选列表中选择正确的主题。被选主题将用于下一次的主题抽取通过建模时序的(当前和下一步的)主题关系。在图像检索中，我们的***列巨额了一些检索到的样本图片，并且邀请用户依据谈话主题对相关图片进行打分。
(3).多模态摘要
传统的及时通信通常保存以文本方式保留聊天记录。我们的***中，用户可以使用图片、视频以及文本等多模态的方式来表达谈话者的意图。通过一种多模态的方式而非单一的文本来保存聊天信息，可以得到较之以往更加生动形象记录。
文本，图片以及视频的摘要是自然语言处理以及多媒体领域的一个研究热点。它往往通过一段更为精练简洁的文本(图片或者视频)来概括地表达原始的文本(图片或者视频)信息。目前相关的技术大多根据显著性特征，重复的模态或者关键词(帧)等信息来构建摘要内容。在我们的***中，考虑到除文本外还存在大量的图片和视频信息，我们采用了主题驱动的摘要方法通过分析用户间的谈话内容进而生成关于特定话题的摘要信息。这一摘要信息包含了涉及该话题的相关文本、图片以及视频内容。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围之内。
Claims (7)
1.一种基于多模态辅助的跨语言沟通***，其特征在于，所述***包括：前台交互模块、数据管理模块和语义关联模块，其中：
前台交互模块的输入端接受用户输入的文本聊天内容并对用户聊天的内容进行预处理，得到用户聊天的文本信息，并通过前台交互模块的前后台交互模块的输出端传送处理后的用户文本聊天内容；前台交互模块的聊天页面为用户显示聊天双方的对话的文字内容和根据双方谈话的内容***推荐出来的多媒体图片；
语义关联模块的输入端与前台交互模块输出端连接，接收并对用户的文本聊天内容进行分析，利用自然语言处理工具提取出双方谈话的主要内容，得到并输出文本信息关联上翻译的文本和相对应的多媒体信息，及根据文本聊天内容、翻译的内容和相应的多媒体信息生成一个多模态摘要；
数据管理模块的输入端与语义关联模块连接输出端连接，数据管理模块要对新输入的文本聊天内容、翻译的内容和相应的多媒体信息进行存储，同时把历史的用户信息连同新的用户信息进行整合，生成并显示所有的聊天双方的对话的文字内容和根据双方谈话的内容***推荐出来的多媒体图片信息。
2.如权利要求1基于多模态辅助的跨语言沟通***，其特征在于，当后台的语义关联模块收到用户发送过来的文本信息之后，语义关联模块为了帮助不同语种的聊天用户能够从使用的语言的角度来理解对方的说话的含义，将Google翻译的结果集成进来；这样除了原始的用户聊天信息以外，还附带上了对这个聊天内容的基于Google翻译的用户聊天的译文。
3.如权利要求1基于多模态辅助的跨语言沟通***，其特征在于，语义关联模块提取出双方谈话的主要内容是将这些主要内容作为关键字，采用基于文本的图像检索从图像数据库中检索出来相应的候选图片集。
4.一种使用权利要求1所述基于多模态辅助的跨语言沟通***实现跨语言沟通的方法，其特征在于，该方法以用户对话聊天为基础，根据文本解析技术对谈话内容分析得到的结果，为用户提供多媒体元素以辅助语言交流上存在障碍的或者文化背景存在差异的用户之间的语义理解，所述方法实现包括以下步骤：
步骤S1：用户首先通过语义聊天的前台界面发送自己想和对方的聊天的文字内容，前台界面通过Ajax构建的前后台交互模块向后台的语义关联模块传递用户聊天的文本信息，采用基于主题的跨模态分析方法对用户谈话内容进行分析，利用自然语言处理工具自动地提取对话中的中心议题及关键字；
步骤S2：语义关联模块根据对话中的中心议题及关键字信息，采用基于文本的图像检索自动地从数据库或者互联网根据谈话主题检索相关的图片集和视频片段并提供给谈话双方；
步骤S3：***根据谈话双方的文本聊天信息以及与之相对应的图片和视频片段内容，生成一个多模态的谈话摘要，最终以多媒体的形式来实现不同语种的用户之间顺畅的语义交流；同时，***根据谈话双方的文本聊天历史信息以及与之相对应的图片和视频内容，能为谈话双方生成一个多模态的谈话摘要。
5.如权利要求4所述的实现跨语言沟通的方法，其特征在于，所述多模态的谈话摘要包含文本、音频、图像和视频信息，为用户提供多媒体元素以辅助语言交流上存在障碍的或者文化背景存在差异的用户之间的语义理解。
6.如权利要求4所述的实现跨语言沟通的方法，其特征在于，所述图片和视频片段内容是通过搜索从网络自动扒取，或从一个预先已标注好的多媒体库中直接获取。
7.如权利要求4所述的实现跨语言沟通的方法，其特征在于，所述多模态的谈话摘要是基于主题的摘要，使用的关系网络并根据统计上次谈话中出现在一个预定义预料库中的词语共生频率得到检测主题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110225342XA CN102262624A (zh) | 2011-08-08 | 2011-08-08 | 基于多模态辅助的实现跨语言沟通***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110225342XA CN102262624A (zh) | 2011-08-08 | 2011-08-08 | 基于多模态辅助的实现跨语言沟通***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102262624A true CN102262624A (zh) | 2011-11-30 |
Family
ID=45009255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110225342XA Pending CN102262624A (zh) | 2011-08-08 | 2011-08-08 | 基于多模态辅助的实现跨语言沟通***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102262624A (zh) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567509A (zh) * | 2011-12-26 | 2012-07-11 | 中国科学院自动化研究所 | 视觉信息辅助的即时通信方法及*** |
| CN102750366A (zh) * | 2012-06-18 | 2012-10-24 | 海信集团有限公司 | 基于自然交互输入的视频搜索***及方法和视频搜索服务器 |
| WO2013080214A1 (en) * | 2011-12-02 | 2013-06-06 | Hewlett-Packard Development Company, L.P. | Topic extraction and video association |
| CN104536570A (zh) * | 2014-12-29 | 2015-04-22 | 广东小天才科技有限公司 | 智能手表的信息处理方法及装置 |
| CN104679733A (zh) * | 2013-11-26 | 2015-06-03 | ***通信集团公司 | 一种语音对话翻译方法、装置及*** |
| CN105260396A (zh) * | 2015-09-16 | 2016-01-20 | 百度在线网络技术（北京）有限公司 | 字词检索方法和装置 |
| CN105335343A (zh) * | 2014-07-25 | 2016-02-17 | 北京三星通信技术研究有限公司 | 文本编辑方法和装置 |
| CN105898627A (zh) * | 2016-05-31 | 2016-08-24 | 北京奇艺世纪科技有限公司 | 一种视频播放方法及装置 |
| WO2016150083A1 (zh) * | 2015-03-24 | 2016-09-29 | 北京搜狗科技发展有限公司 | 一种信息输入方法和装置 |
| CN106295565A (zh) * | 2016-08-10 | 2017-01-04 | 中用环保科技有限公司 | 基于大数据的监控事件识别及实时犯罪预测方法 |
| WO2016197767A3 (zh) * | 2016-02-16 | 2017-02-02 | 中兴通讯股份有限公司 | 一种表情输入方法、装置、终端和计算机可读存储介质 |
| CN106682967A (zh) * | 2017-01-05 | 2017-05-17 | 胡开标 | 在线翻译聊天*** |
| CN107480766A (zh) * | 2017-07-18 | 2017-12-15 | 北京光年无限科技有限公司 | 多模态虚拟机器人的内容生成的方法和*** |
| CN107798386A (zh) * | 2016-09-01 | 2018-03-13 | 微软技术许可有限责任公司 | 基于未标注数据的多过程协同训练 |
| CN108027812A (zh) * | 2015-09-18 | 2018-05-11 | 迈克菲有限责任公司 | 用于多路径语言翻译的***和方法 |
| CN108173747A (zh) * | 2017-12-27 | 2018-06-15 | 上海传英信息技术有限公司 | 信息交互方法及装置 |
| CN108255939A (zh) * | 2017-12-08 | 2018-07-06 | 北京搜狗科技发展有限公司 | 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置 |
| CN108369585A (zh) * | 2015-11-30 | 2018-08-03 | 三星电子株式会社 | 用于提供翻译服务的方法及其电子装置 |
| CN108664336A (zh) * | 2017-04-01 | 2018-10-16 | 北京搜狗科技发展有限公司 | 推荐方法和装置、用于推荐的装置 |
| CN108874787A (zh) * | 2018-06-12 | 2018-11-23 | 深圳市合言信息科技有限公司 | 一种分析语音意图并进行深度翻译解说的方法 |
| CN109255130A (zh) * | 2018-07-17 | 2019-01-22 | 北京赛思美科技术有限公司 | 一种基于人工智能的语言翻译和学习的方法、***和设备 |
| CN109726265A (zh) * | 2018-12-13 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 辅助聊天的信息处理方法、设备及计算机可读存储介质 |
| CN109817351A (zh) * | 2019-01-31 | 2019-05-28 | 百度在线网络技术（北京）有限公司 | 一种信息推荐方法、装置、设备及存储介质 |
| CN110209772A (zh) * | 2019-06-17 | 2019-09-06 | 科大讯飞股份有限公司 | 一种文本处理方法、装置、设备及可读存储介质 |
| CN110706771A (zh) * | 2019-10-10 | 2020-01-17 | 复旦大学附属中山医院 | 多模态患教内容的生成方法、装置、服务器及存储介质 |
| CN111651674A (zh) * | 2020-06-03 | 2020-09-11 | 北京妙医佳健康科技集团有限公司 | 双向搜索方法、装置及电子设备 |
| CN112307156A (zh) * | 2019-07-26 | 2021-02-02 | 北京宝捷拿科技发展有限公司 | 一种跨语种的智能辅助边检方法及*** |
| CN113055275A (zh) * | 2016-08-30 | 2021-06-29 | 谷歌有限责任公司 | 在群组场境中对个体控制的内容的有条件公开 |
| CN113656613A (zh) * | 2021-08-20 | 2021-11-16 | 北京百度网讯科技有限公司 | 训练图文检索模型的方法、多模态图像检索方法及装置 |
| WO2021233112A1 (zh) * | 2020-05-20 | 2021-11-25 | 腾讯科技（深圳）有限公司 | 基于多模态机器学习的翻译方法、装置、设备及存储介质 |
| CN114663246A (zh) * | 2022-05-24 | 2022-06-24 | 中国电子科技集团公司第三十研究所 | 传播仿真中信息制品的表征建模方法及多智能体仿真方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101834809A (zh) * | 2010-05-18 | 2010-09-15 | 华中科技大学 | 一种互联网即时消息通讯*** |
| CN101251855B (zh) * | 2008-03-27 | 2010-12-22 | 腾讯科技（深圳）有限公司 | 一种互联网网页清洗方法、***及设备 |
| US20110153752A1 (en) * | 2009-12-21 | 2011-06-23 | International Business Machines Corporation | Processing of Email Based on Semantic Relationship of Sender to Recipient |
-
2011
- 2011-08-08 CN CN201110225342XA patent/CN102262624A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251855B (zh) * | 2008-03-27 | 2010-12-22 | 腾讯科技（深圳）有限公司 | 一种互联网网页清洗方法、***及设备 |
| US20110153752A1 (en) * | 2009-12-21 | 2011-06-23 | International Business Machines Corporation | Processing of Email Based on Semantic Relationship of Sender to Recipient |
| CN101834809A (zh) * | 2010-05-18 | 2010-09-15 | 华中科技大学 | 一种互联网即时消息通讯*** |
Non-Patent Citations (1)
| Title |
|---|
| XINMING ZHANG, ET AL: "A visualized Communication System Using Cross-Media Semantic Association", 《17TH INTERNATIONAL MULTIMEDIA MODELING CONFERENCE》, 7 January 2011 (2011-01-07), pages 88 - 98, XP019159534 * |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013080214A1 (en) * | 2011-12-02 | 2013-06-06 | Hewlett-Packard Development Company, L.P. | Topic extraction and video association |
| US9645987B2 (en) | 2011-12-02 | 2017-05-09 | Hewlett Packard Enterprise Development Lp | Topic extraction and video association |
| CN102567509A (zh) * | 2011-12-26 | 2012-07-11 | 中国科学院自动化研究所 | 视觉信息辅助的即时通信方法及*** |
| CN102567509B (zh) * | 2011-12-26 | 2014-08-27 | 中国科学院自动化研究所 | 视觉信息辅助的即时通信方法及*** |
| CN102750366A (zh) * | 2012-06-18 | 2012-10-24 | 海信集团有限公司 | 基于自然交互输入的视频搜索***及方法和视频搜索服务器 |
| CN104679733A (zh) * | 2013-11-26 | 2015-06-03 | ***通信集团公司 | 一种语音对话翻译方法、装置及*** |
| US11790156B2 (en) | 2014-07-25 | 2023-10-17 | Samsung Electronics Co., Ltd. | Text editing method and electronic device supporting same |
| CN105335343A (zh) * | 2014-07-25 | 2016-02-17 | 北京三星通信技术研究有限公司 | 文本编辑方法和装置 |
| US10878180B2 (en) | 2014-07-25 | 2020-12-29 | Samsung Electronics Co., Ltd | Text editing method and electronic device supporting same |
| CN104536570A (zh) * | 2014-12-29 | 2015-04-22 | 广东小天才科技有限公司 | 智能手表的信息处理方法及装置 |
| WO2016150083A1 (zh) * | 2015-03-24 | 2016-09-29 | 北京搜狗科技发展有限公司 | 一种信息输入方法和装置 |
| US10628524B2 (en) | 2015-03-24 | 2020-04-21 | Beijing Sogou Technology Development Co., Ltd. | Information input method and device |
| CN105260396A (zh) * | 2015-09-16 | 2016-01-20 | 百度在线网络技术（北京）有限公司 | 字词检索方法和装置 |
| CN105260396B (zh) * | 2015-09-16 | 2019-09-03 | 百度在线网络技术（北京）有限公司 | 字词检索方法和装置 |
| CN108027812A (zh) * | 2015-09-18 | 2018-05-11 | 迈克菲有限责任公司 | 用于多路径语言翻译的***和方法 |
| CN108369585A (zh) * | 2015-11-30 | 2018-08-03 | 三星电子株式会社 | 用于提供翻译服务的方法及其电子装置 |
| CN108369585B (zh) * | 2015-11-30 | 2022-07-08 | 三星电子株式会社 | 用于提供翻译服务的方法及其电子装置 |
| WO2016197767A3 (zh) * | 2016-02-16 | 2017-02-02 | 中兴通讯股份有限公司 | 一种表情输入方法、装置、终端和计算机可读存储介质 |
| CN105898627B (zh) * | 2016-05-31 | 2019-04-12 | 北京奇艺世纪科技有限公司 | 一种视频播放方法及装置 |
| CN105898627A (zh) * | 2016-05-31 | 2016-08-24 | 北京奇艺世纪科技有限公司 | 一种视频播放方法及装置 |
| CN106295565A (zh) * | 2016-08-10 | 2017-01-04 | 中用环保科技有限公司 | 基于大数据的监控事件识别及实时犯罪预测方法 |
| CN113055275A (zh) * | 2016-08-30 | 2021-06-29 | 谷歌有限责任公司 | 在群组场境中对个体控制的内容的有条件公开 |
| CN113055275B (zh) * | 2016-08-30 | 2022-08-02 | 谷歌有限责任公司 | 在群组场境中对个体控制的内容的有条件公开 |
| CN107798386A (zh) * | 2016-09-01 | 2018-03-13 | 微软技术许可有限责任公司 | 基于未标注数据的多过程协同训练 |
| CN106682967A (zh) * | 2017-01-05 | 2017-05-17 | 胡开标 | 在线翻译聊天*** |
| CN108664336A (zh) * | 2017-04-01 | 2018-10-16 | 北京搜狗科技发展有限公司 | 推荐方法和装置、用于推荐的装置 |
| CN107480766A (zh) * | 2017-07-18 | 2017-12-15 | 北京光年无限科技有限公司 | 多模态虚拟机器人的内容生成的方法和*** |
| CN108255939B (zh) * | 2017-12-08 | 2020-02-14 | 北京搜狗科技发展有限公司 | 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置 |
| WO2019109664A1 (zh) * | 2017-12-08 | 2019-06-13 | 北京搜狗科技发展有限公司 | 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置 |
| CN108255939A (zh) * | 2017-12-08 | 2018-07-06 | 北京搜狗科技发展有限公司 | 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置 |
| CN108173747B (zh) * | 2017-12-27 | 2021-10-22 | 上海传英信息技术有限公司 | 信息交互方法及装置 |
| CN108173747A (zh) * | 2017-12-27 | 2018-06-15 | 上海传英信息技术有限公司 | 信息交互方法及装置 |
| CN108874787A (zh) * | 2018-06-12 | 2018-11-23 | 深圳市合言信息科技有限公司 | 一种分析语音意图并进行深度翻译解说的方法 |
| CN109255130A (zh) * | 2018-07-17 | 2019-01-22 | 北京赛思美科技术有限公司 | 一种基于人工智能的语言翻译和学习的方法、***和设备 |
| CN109726265A (zh) * | 2018-12-13 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 辅助聊天的信息处理方法、设备及计算机可读存储介质 |
| CN109817351A (zh) * | 2019-01-31 | 2019-05-28 | 百度在线网络技术（北京）有限公司 | 一种信息推荐方法、装置、设备及存储介质 |
| CN110209772B (zh) * | 2019-06-17 | 2021-10-08 | 科大讯飞股份有限公司 | 一种文本处理方法、装置、设备及可读存储介质 |
| CN110209772A (zh) * | 2019-06-17 | 2019-09-06 | 科大讯飞股份有限公司 | 一种文本处理方法、装置、设备及可读存储介质 |
| CN112307156A (zh) * | 2019-07-26 | 2021-02-02 | 北京宝捷拿科技发展有限公司 | 一种跨语种的智能辅助边检方法及*** |
| CN110706771A (zh) * | 2019-10-10 | 2020-01-17 | 复旦大学附属中山医院 | 多模态患教内容的生成方法、装置、服务器及存储介质 |
| WO2021233112A1 (zh) * | 2020-05-20 | 2021-11-25 | 腾讯科技（深圳）有限公司 | 基于多模态机器学习的翻译方法、装置、设备及存储介质 |
| CN111651674A (zh) * | 2020-06-03 | 2020-09-11 | 北京妙医佳健康科技集团有限公司 | 双向搜索方法、装置及电子设备 |
| CN111651674B (zh) * | 2020-06-03 | 2023-08-25 | 北京妙医佳健康科技集团有限公司 | 双向搜索方法、装置及电子设备 |
| CN113656613A (zh) * | 2021-08-20 | 2021-11-16 | 北京百度网讯科技有限公司 | 训练图文检索模型的方法、多模态图像检索方法及装置 |
| CN114663246A (zh) * | 2022-05-24 | 2022-06-24 | 中国电子科技集团公司第三十研究所 | 传播仿真中信息制品的表征建模方法及多智能体仿真方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102262624A (zh) | 基于多模态辅助的实现跨语言沟通***及方法 | |
| CN106777018B (zh) | 一种智能聊天机器人中对输入语句的优化方法及装置 | |
| WO2016197767A2 (zh) | 一种表情输入方法、装置、终端和计算机可读存储介质 | |
| US20230244879A1 (en) | Language representation model system, pre-training method and apparatus, device, and medium | |
| CN102567509B (zh) | 视觉信息辅助的即时通信方法及*** | |
| US20100100371A1 (en) | Method, System, and Apparatus for Message Generation | |
| EP3423956A1 (en) | Interpreting and resolving conditional natural language queries | |
| CN109101479A (zh) | 一种用于中文语句的聚类方法及装置 | |
| Sardinha | 25 years later | |
| CN105808695A (zh) | 一种获取聊天回复内容的方法及装置 | |
| CN108768824B (zh) | 信息处理方法及装置 | |
| CN111241237A (zh) | 一种基于运维业务的智能问答数据处理方法及装置 | |
| KR20110115543A (ko) | 개체의 유사성을 계산하는 방법 | |
| EP3916579A1 (en) | Method for resource sorting, method for training sorting model and corresponding apparatuses | |
| US11847419B2 (en) | Human emotion detection | |
| KR20210002619A (ko) | 네트워크 시스템에서 도메인-특정 모델의 생성 | |
| US11929100B2 (en) | Video generation method, apparatus, electronic device, storage medium and program product | |
| CN106202200B (zh) | 一种基于固定主题的文本情感倾向性分类方法 | |
| CN115357755B (zh) | 视频生成方法、视频展示方法和装置 | |
| KR101104777B1 (ko) | 수화 애니메이션 생성을 위한 시스템 및 방법 | |
| CN106156262A (zh) | 一种搜索信息处理方法及*** | |
| CN106021532A (zh) | 关键词的显示方法和装置 | |
| CN114064943A (zh) | 会议管理方法、装置、存储介质及电子设备 | |
| CN111353070A (zh) | 视频标题的处理方法、装置、电子设备及可读存储介质 | |
| Hardini et al. | Translation norms of neologism in social media interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20111130 |