CN103999081A - 生成用于信息领域的自然语言处理模型 - Google Patents

生成用于信息领域的自然语言处理模型 Download PDF

Info

Publication number
CN103999081A
CN103999081A CN201280061093.8A CN201280061093A CN103999081A CN 103999081 A CN103999081 A CN 103999081A CN 201280061093 A CN201280061093 A CN 201280061093A CN 103999081 A CN103999081 A CN 103999081A
Authority
CN
China
Prior art keywords
concept
natural language
term
framework
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280061093.8A
Other languages
English (en)
Inventor
D·J·麦克洛斯基
D·博尔佩里
D·卡恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103999081A publication Critical patent/CN103999081A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

提供用于生成用于信息领域的自然语言处理模型的方法和***。该方法包括：从信息领域的源模型得出自然语言词典的框架；应用定义概念和关系的语法规则的集合；以及基于来自信息领域的参考文档扩展自然语言词典的框架，以提供用于信息领域的自然语言处理模型，其中扩展框架包括对用于概念和关系的术语聚类和打分。

Description

生成用于信息领域的自然语言处理模型
技术领域
本发明涉及生成自然语言处理模型的领域。具体而言，本发明涉及生成用于信息领域的自然语言处理模型。
背景技术
现代业务分析和过程大量依赖于流过和围绕业务流动的信息。核心业务过程信息包括来自诸如电子邮件、报告文档、演示和即使消息之类的来源的事务数据和文本数据二者。这一信息可以视为流“过”业务的信息并且从经认证的团体内或者在经认证的团体内始发。
这一信息的文本组成的相对重要性已经多年不断增加并且现在被认同为很重要的组成。信息的文本组成这时由于难以创建用于理解这一非结构化的内容的自然语言处理(NLP)模型而大量未被处理。
另外，Web2.0和社交媒体的问世已经产生来自应用的可能有巨大价值的“围绕”业务流动的文本信息的次生泛滥，这些应用的范围广泛，如聊举数例为产品标识新市场、理解品牌情绪和发现影响因素。
高级NLP模型可能对业务具有的影响使得它是目前信息技术行业中的最快增长的需求之一。然而由于自然语言的复杂性，创建这样的模型并不容易。
自然语言处理(NLP)模型是如下术语，该术语用来描述向文本分析引擎的输入的抽象化的集合的术语，从而它可以提取概念(命名的实体、比如“人”引用、“位置”引用等)和那些概念之间的关系(例如“住在”)。有了这些“事实”，可以暴露文本用于编程使用和过程自动化。事实在这一情况下的示例会是“约翰麦克格拉斯住在都柏林主街123号”或者“麦克格拉斯提供主街321号作为他的家庭地址”。
这样的模型很依赖于有待处理的输入的“领域”。没有“一刀切”模型，即使对于比如标识“人”的某些事物，也将在不同的文本来源中有可变的成功程度(由准确率或者精确率/查全率定义)。例如在医疗记录中提及的“人”将很不同于在学术引用中提及的“人”。另外，在医疗记录的情况下，理解“人”的子分类颇为重要，从而NLP***会向任何具体人引用指派正确的语义子类、例如患者与外科医生、私人内科医生之间的差异等。
开发和维护领域专属NLP模型成本高。有用于开发这样的NLP模型的两种已知方式：1)人工基础创建字列表和上下文规则以及2)基于机器学习的方式，这些方式需要标注的语料库作为输入，机器学习算法在该输入上运行以“学习”特征，这些特征指示语义类向给定的文本跨度的指派。
两种已知方法颇为耗时，前者具有明确并且人工可调的优点，而后者是黑匣子、但是未提供较低的录入禁止，因为对于标注任务仅需领域本身的知识，其中如在前者中那样，也需要下层匹配技术的一些知识。
因此，在本领域中需要解决前述问题。
发明内容
根据本发明的第一方面，提供了一种用于生成用于信息领域的自然语言处理模型的方法，该方法包括：从信息领域的源模型得出自然语言词典的框架；应用语法规则的集合。
从第一方面来看，本发明提供了一种用于生成用于信息领域的自然语言处理模型的方法，该方法包括：从信息领域的源模型得出自然语言词典的框架；应用定义概念和关系的语法规则的集合；基于来自信息领域的参考文档扩展自然语言词典的框架，以提供用于信息领域的自然语言处理模型，其中扩展框架包括对用于概念和关系的术语进行聚类和打分。
优选地，本发明提供了一种方法，其中得出自然语言词典的框架使用信息领域中的优选术语。
优选地，本发明提供了一种方法，其中应用语法规则的集合包括取得主语、谓语、宾语和可变顺序以用于覆盖。
优选地，本发明提供了一种方法，其中扩展框架包括：选择优选术语作为概念或者关系；在来自信息领域的参考文档中执行对优选术语的关键字搜索；以及提供用于优选术语的潜在术语的有序集合。
优选地，本发明提供了一种方法，该方法包括：确定局部n元语法；测量n元语法的一个或者多个度量；以及对n元语法打分。
优选地，本发明提供了一种方法，其中扩展自然语言词典的框架包括：基于来自信息领域的参考文档得出进一步的语法规则；以及对语法规则与用于概念和关系的聚类的术语求交。
优选地，本发明提供了一种方法，该方法包括：使用来自动词的语言类的动词结构以驱动向聚类的术语应用的交集。
优选地，本发明提供了一种方法，其中扩展框架开始于起始概念或者关系，并且向外迭代地移出源模型中的邻近概念或者关系链接；并且通过增大分数来细化概念和关系的扩展的术语。
优选地，本发明提供了一种方法，该方法包括：使用分数阈值来确定用于概念或者关系的最佳术语的散度。
优选地，本发明提供了一种方法，其中扩展框架基于结果动态地改变迭代策略。
优选地，本发明提供了一种方法，其中得出自然语言词典的框架是基于多于一个源模型。
优选地，本发明提供了一种方法，其中得出自然语言词典的框架利用开放数据以初始地填充框架，其中源模型的本体类被匹配于开放数据的类。
从另一方面来看，本发明提供了一种在计算机可读介质上存储并且可向数字计算机的内部存储器中加载的计算机程序，该计算机程序包括当所述程序在计算机上运行时用于执行如以上描述的方法的软件代码部分。
从另一方面来看，本发明提供了一种用于生成用于信息领域的自然语言处理模型的***，该***包括：处理器；框架部件，用于从信息领域的源模型得出自然语言词典的框架；语法规则部件，用于应用定义概念和关系的语法规则的集合；扩展部件，用于基于来自信息领域的参考文档扩展自然语言词典的框架以提供用于信息领域的自然语言处理模型，其中扩展框架包括对用于概念和关系的术语聚类和打分。
优选地，本发明提供了一种***，其中用于应用语法规则的集合的语法规则部件包括取得主语、谓语、宾语和可变顺序以用于覆盖。
优选地，本发明提供了一种***，其中用于扩展框架的扩展部件包括部件，该部件包括概念/关系聚类部件，用于：选择优选术语作为概念或者关系；在来自信息领域的参考文档中执行对优选术语的关键字搜索；以及提供用于优选术语的潜在术语的有序集合。
优选地，本发明提供了一种***，其中概念/关系聚类部件用于：确定局部n元语法；测量n元语法的一个或者多个度量；以及对n元语法打分。
优选地，本发明提供了一种***，其中用于扩展自然语言词典的框架的扩展部件包括：语法规则生成部件，用于基于来自信息领域的参考文档得出进一步的语法规则；以及求交部件，用于对语法规则与用于概念和关系的聚类的术语求交。
优选地，本发明提供了一种***，其中用于扩展框架的扩展部件开始于起始概念或者关系，并且向外迭代地移出源模型中的邻近概念或者关系链接；并且通过增大分数来细化概念和关系的扩展的术语。
优选地，本发明提供了一种***，其中用于扩展框架的扩展部件基于结果动态地改变迭代策略。
附图说明
现在将参照附图仅以示例方式描述本发明的优选实施例，在附图中：
图1是根据本发明的优选实施例的方法的实施例的流程图；
图2是根据本发明的优选实施例的图1的方法的进一步细节的流程图；
图3是根据本发明的优选实施例的***的实施例的框图；
图4是根据本发明的优选实施例的计算机***的框图；
图5是根据本发明的优选实施例的一方面的源模型的树形图；并且
图6是根据本发明的优选实施例的一方面的源模型的关系图。
具体实施方式
将理解为了说明的简化和清楚，图中所示单元未必按比例绘制各。例如，单元中的一些单元的尺度为了清楚而可以相对于其它单元被夸大。另外，在认为适合时，附图标记可以在各图之中重复以指示对应或者类似的特征。
在以下具体描述中，阐述许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解没有这些具体细节仍然可以实现本发明。在其它实例中，未具体描述公知方法、过程和部件以免使本发明模糊。
描述了一种用于生成和成熟化针对既定信息领域的自然语言处理模型的方法和***。该方法利用领域或者行业模型、实质上为业务领域本身的本体(ontology)在许多情况下的存在。
提供了一种成本有效的解决方案以从领域或者行业模型(如例如可用并且由IBM’s Industry Models Group主动开发的领域或者行业模型，IBM是国际商业机器公司的商标)或者其它本体形式生成和成熟化领域专属自然语言处理模型。这一起始模型或者本体称为源模型。这允许迅速创建、部署和维护自然语言处理模型。自然语言处理模型然后可以用来在该领域的解决方案内分析自由文本文档。
所描述的方法和***利用领域模型的结构和信息来生成初始NLP模型并且允许经由关键字和动词聚类以及打分技术增大初始NLP模型中的节点的稀疏标记(按照定义，初始模型中的节点可以用单个术语(term)被标记为推荐的最佳实践优选使用术语)。
在模型本身中的实体之间的交互实现收集在其中包含/引用的概念的文本表示。许多已知和简单的经验式技术可以用来整理和推断字典和规则。然而在不使用模型的环境性质、即轮流为外部链接(关系或者谓语)和目标节点类型及其规范的汇集的情况下，在模型中会有许多噪声。
参照图1，流程图100示出所描述的方法的实施例。
可以从源模型111得出101针对信息领域的自然语言词典(lexicon)的框架。源模型111可以是任何本体形式、比如行业或者领域模型或者在指定信息领域中的其它本体形式(例如，本体可以是数据库方案)。按照它们的性质，这些源模型提供用于得出针对它们的既定信息领域(银行、保险、医疗等)的自然语言词典的框架的必要数据。该方法可以使用包括外部并公开可用的模型和数据的多于一个源模型、例如Linked Open Data(链接的开放数据)、WordNet等。
可以从可选地包括来自业务术语表的同义字的源概念模型直接构建框架自然语言词典。备选地，可以从Linked Open Data(W3CSematic Web Education and Outreach的项目)构建框架，其中源模型中的本体类可以针对在Linked Open Data云中描述的类来匹配。如果初始框架没有实例数据(仅有类型描述)——在该情况下有可能利用Linked Open Data以初始地填充框架——则这可以适用。
这产生在简单的种子语法规则的集合中组合并应用102的概念标签和动作动词的稀疏字典，这些种子语法规则取得主语-谓语-宾语和可变顺序以用于覆盖或者按照语言规则。例如一些语言可以具有前置结构(predominance of construction)，其中“约翰看见玛丽”(主语-谓语-宾语)的顺序被更自然地表达为“看见约翰玛丽”。
然而，由于用来得出初始框架的源模型经由有限的优选术语或者标签(通常为一个)的集合有意地描述涉及到的概念和关系，所以需要扩展或者“增厚”所得词典。在以下描述中分离地引用概念和关系；然而关系可以视为特殊概念类型。
一旦这样的框架就位，需要经由关键字聚类和其它标准技术用同义字、动词和表达式扩展或者增厚103它。基于从信息领域取得的参考文档113(例如，电子邮件、政策、指南、文档、报告等)的集合来执行增厚103。增厚103包括从框架中的优选术语得出概念和关系标签术语并且从种子语法规则的集合生成语法规则。
增厚的框架形成104NLP模型的基础，该NLP模型用来处理业务中的所有非结构化的信息并且在语义上将领域文档中的概念的所有提及分类，从而它们可以用于文本分析。
跨任何中等到大规模组织，有在相同业务领域中操作的许多应用(例如多个支付引擎、客户开设账户应用)。组织可以具有不断增加数量的产品和服务，这使组织内的数据量以指数速率增长。为了应对这一问题，需要公共架构和公共业务语言以增加运营效率和上市时间。
需要公共业务语言以在执行以下操作中的任何操作时解决这些问题：交叉业务处理线；应用合理化；项目要求收集；业务到IT；规章合规等。有跨业务线的多个同义字并且难以合理化它们，这一问题在需要解密和迎合新规章要求时加剧。
行业模型包括用于回应公共结构化业务语言的这一需要的特定资源、因此为领域专属NLP模型的成本有效生成提供机会。
每个行业模型提供可以包括所针对的领域知识(例如银行、保险、医疗保健、…)的若干建模级。具体而言，它们可以包括：
a.·用于行业领域中的术语的自由文本定义的业务术语表、包括同义字、缩写、短语等。
b.·用于高级概念/结构定义及其固有关系结构的概念模型
参照图2，流程图200示出具有所描述的方法的进一步处理细节的实施例。
选择201初始优选术语作为起始概念或者关系的术语。框架自然语言词典可以用来初始地标识文本中的段落，这些段落将产生进一步的术语和语法以实现增厚过程。优选术语可以是来自框架自然语言词典的关键字匹配。
优选术语可以在从业务领域取得的参考文档(例如电子邮件、正式政策、指南、报告等)的集合中用作关键字搜索202。关键字搜索可以是实现收集全面词汇表和语法的、以实现文档中的段落的良好查全率为目标的对案例不敏感的关键字搜索。备选地，如果在表现方面有价值，则可以使用对案例敏感的关键字搜索。例如，可以在一些领域或者文档中使用对案例敏感的关键字搜索，在这些领域或者文档中可以有显著重叠并且对案例不敏感的搜索会生成太多噪声。
可以取得203本地n元语法(n-gram)和/或短语，这意味着所有重叠的字集合，其中字的数目在优选术语附近为“n”。在概念的情况下，可以取得包含优选术语的名词短语。相似地，可以针对关系取得相关动词短语。
可以确定204n元语法度量。在最简单的实施例中，对n元语法频率计数，并且用文本邻近分数对n元语法打分205，该文本邻近分数可以自然地包括频率、但是不会限于这一具体度量。
有可以潜在地影响潜在术语的排行的许多可能方式。这些可以包括已知技术、比如主题分解、潜藏语义分析等并且也可以包括应用同义字和一般资源、比如WordNet，只要维持领域特异性即可。(应当注意使用WordNet可能引入不希望的过多广义化方面，但是它可以辅助结果或者在用户调和的场景中有用。)
可能度量的示例包括但不限于以下度量：
向优选术语的象征(token)数目(移位)：
频率计算可以将tf/idf样式归一化用于文档语料库；虽然对于良好结果而言不是需要的，但是它可以在某些情况下提供一些改进；
术语包括可能也需要考虑共同引用分辨、例如“它们”＝IBM在句子的上下文中描述重要客户采取的动作…可能＝“如果利息未被…记入贷方，则他们将关闭他们的账户”。
应用专用NLP模型，这些NLP模型会标识可能指示定义的模式。示例规则可以是“IBM是重要客户”会引起在对用于概念(“客户”)的优选术语的引用之前包括未知(意味着在正常语言词汇表以外)或者全大写(“IBM”)或者首字母大写(Titlecase)或者驼峰式大写(CaMeLCase)象征跟随有动词“to be”的任何变形(“are”)、又跟随有可选定界符(“an”)和形容词(“重要”)的一般模式。
有利于未知或者在词汇表以外的术语(其中在词汇表以外这里主要是指不是讨论的语言、例如英语的部分)。
排除所谓“停用词”、例如“if”、“a”、“then”。将必须潜在地为每个节点、但是有可能为概念比对关系分离地指定停用词列表。
对于动词关系相似。动词关系可以视为特殊概念类型并且可以按照本体或者模型的节点和链接结构被这样表示。
除了在用于概念的描述中包含的内容之外，动词关系概念可以具有应用的语言动词分析的附加选项。可以将动词分类成具有不同配价框架的组。例如，动词采用的论元(argument)种类和它们如何排列、那些论元为可选、动词的“方向”、例如“保罗踢狗”……踢取得主语和宾语，在这一情况下，方向是从保罗到狗、即保罗是主语而狗是宾语，因此概念{主语：＝(人，实例＝保罗)}经由动词关系“踢”链接到概念{宾语：＝(动物，实例＝狗)}。
基于本体/领域模型的所描述的基于术语的n元语法交集大量减轻对于这样的详细动词知识的需要，但是在它存在或者经由处理器、比如语言深度解析器可用时，所描述的方式可以利用它。这样的方式经常在大量使用领域专属语言的文本中并未表现良好，因此在基于概念的n元语法——其中可以以概念的更一般形式取得概念(即概念也包括动词关系概念)——上组合所描述的基于模型的交集方式可以对总体结果具有正面效果并且去除对于在这样的领域专属情况下将易错的、复杂基础语言处理、比如深度解析的需要。
可以针对源模型中的概念节点或者关系生成206潜在术语的有序集合，但是它仍然将很有噪声。
已经对于起始概念或者关系这样做，该方法可以向下一概念或者关系节点迭代207。在实施例中，迭代可以移出模型中的关系链接并且对于这些中的每个关系链接重复从而产生用于每个概念和关系以及邻近概念的术语的集合。备选地，该过程可以例如由于更基本的(atomic)名词短语相对简单而跳转至在关系节点之前的邻近概念节点。
随着该方法从源模型中的起始概念节点或者关系节点向外迭代207，可以通过基于与当前节点的交集增加分数(加法或者其它加权函数)来细化先前节点的术语的集合。
任何概念或者关系的组合可以用于迭代207、包括事件驱动的方式改变或者切换。可以使用备选策略，该备选策略包括在由试探法驱动的策略之间的协调。
例如，可以针对可能的同义字监视频率的改变速率，因为运行的算法可以影响接着使用哪种方式并且这可以根据监视度量而动态地变化。如果未足够快地发现结果，则可以使用备选策略。如果发现并且需要交叉引用太多术语，则应用备选策略可以帮助更快地消除噪声。
使用主语-谓语-宾语上下文，因此模型让概念节点(主语)经由关系(谓语)链接到其它概念节点(宾语)。这产生用于概念或者关系的最佳术语的迅速发散，并且使用分数阈值可以构建类型的词典。
这一词典形成NLP模型的基础，该NLP模型用来处理业务中的所有非结构化的信息并且在语义上将任何公司文档中的概念的所有提及分类，因此它们可以用于之前提及的文本分析的现在标准的益处中的任何益处。
已经标识用于概念和关系实例的显式标签中的许多显式标签，可以完成标注并且应用标准机器学习技术以基于文本的任何暴露的特征、例如大写、词性、数字、通过规则表达发现的经分类的象征(例如日期/时间、URL、电子邮件等)得出语法规则。
标注是指如下过程，该过程已经标识先前文本中的一些术语(代表概念的单个字或者多字短语)，可以扫描文本内容寻找这些术语并且在文本中标记出现。所得标记的文本可以用作向标准机器学习过程的输入，标准机器学习过程的输入会自动生成模型，该模型会搜集重要上下文特征，这些上下文特征标识这样的事物的出现。这然后可以本身被应用作为NLP模型、但是在多数情况下将更好地用作一种用于生成更多潜在术语的方式。
标注的文本然后允许如对于标准机器学习情况那样产生自动模型或者向领域专家呈现在标注的实例周围的特征分布的统计视图，从而可以标识并且随后应用适当语法规则和/或重要文本特征。
机器学习可以是全自动或者由用户调和的。在用户调和的情况下，机器学习可以仅向领域专家呈现统计观测、比如一种类型的实例前面的给定的特征模式的前置。
例如模式、比如“Mr.”和“Dr.”在人引用之前。
这提供用各种机器学习技术或者使用机器学习的、用户调和的混合学习在某个自动化程度上得出语法规则以发现统计相关特征模式并且将它们向领域专家用户呈现。
得出的语法规则与从悬在模型的任何两个或者更多要素(概念或者关系)之间的上下文得出的n元语法集合的交集可以用来基于参考文档扩展框架。这允许高效产生具有高度覆盖的准确NLP模型。
来自动词语言分类的动词结构的使用也可以用来驱动可以应用于n元语法集合的交集逻辑。
可以得出初始种子语法规则(图1的步骤102)，这些初始种子语法规则可以用来作为生成附加语法规则的过程的种子。可以从参考文档113生成附加语法规则。这与增厚来自模型的概念定义的优选术语相似。给定这些概念示例被标注的文档汇集，可以推断指示这样的概念的语法。
生成的语法规则与从悬在模型的任何两个或者更多要素(概念或者关系)之间的上下文得出的n元语法的交集产生良好结果并且允许高效生成具有高度覆盖的准确NLP模型。
优选实施例将在“反馈循环”中包括以上过程，这意味着可以迭代地应用它而输出它本身(例如，在以上示例中使用“IBM”，但是这时取优选术语“顾客”为变量，这将可能导致发现“客户”)。
在备选实施例中，过程可以由于更多基本的名词短语相对简单而跳转至在关系节点之前的邻近概念节点。
此外，可以从模型关系得出主语-谓语-宾语结构的任何组合。
生成语法规则可以视为与产生新术语类似，仅有的不同是考虑较抽象特征的事实。即术语得出过程仅关注文本中的实际字和字序列，而语法规则得出会关注文本中的较抽象特征、比如在提及机器学习时在之前段落中引用的特征。
在主要部分中，语法规则得出在图2的序列、包括迭代完成之后发生。然而，使用种子语法规则帮助打分确实表明过程可以分叉以生成它们并且将进一步生成的集合与初始种子集合一起应用。
交集贯穿该过程、即在初始运行中的术语打分中以及随后随着得出的规则在下一步骤中的学习和生效而发生。
参照图3，框图300示出所描述的***的实施例。
提供可以生成和维护用于领域320的NLP模型的NLP模型生成***310。领域320可以例如是业务领域、医疗领域、学术领域等。领域320可以具有源模型321、比如行业模型或者其它本体，该本体使用用于领域320的优选术语。领域320也可以包括参考文档322、如比如电子邮件、政策、指南、文档、报告等。
NLP模型生成***310可以包括用于从领域源模型321得出自然语言词典的框架的框架部件311。NLP模型生成***310也可以包括用于使用简单的种子语法规则集来组合概念标签和动作动词的语法规则部件312。
NLP模型生成***310也可以包括用于经由关键字聚类和其它技术用同义字、动词和表达式从领域320的参考文档322增厚或者扩展框架模型的扩展部件313。扩展部件313可以包括用于扩展概念/关系标签术语的概念/关系聚类部件314和用于生成语法规则的语法规则生成部件315。扩展部件311还可以包括用于对聚类的概念/关系和生成的语法规则求交以产生NLP模型330的求交部件316。
可以针对领域320生成所得NLP模型330。NLP模型330可以用来分析在领域中使用的文档和语言以提供语言分析。NLP模型330可以自动“阅读”领域中的所有文本并且将它映射到它在模型中相配的地方从而提供用于文本的结构以供分析。
参照图4，用于实施本发明的方面的示例性***包括适合用于存储和/或执行程序代码的数据处理***400，该数据处理***包括通过总线***403直接或者间接地耦合到存储器单元的至少一个处理器401。存储器单元可以包括在实际执行程序代码期间运用的本地存储器、大容量存储装置和高速缓存存储器，这些高速缓存存储器提供至少一些程序代码的暂时存储以便减少必须在执行期间从大容量存储装置取回代码的次数。
存储器单元可以包括形式为只读存储器(ROM)404和随机存取存储器(RAM)405的***存储器402。基本输入/输出***(BIOS)406可以被存储在ROM404中。包括操作***软件408的***软件407可以被存储在RAM405中。软件应用410也可以被存储于RAM405中。
***400也可以包括主存储装置411、比如磁硬盘驱动，以及二级存储装置412、比如磁盘驱动和光盘驱动。驱动及其关联计算机可读介质提供用于***400的计算机可执行指令、数据结构、程序模块和其它数据的非易失性存储。软件应用可以被存储在主和二级存储装置411、412以及***存储器402上。
计算机***400可以经由网络适配器416使用与一个或者多个远程计算机的逻辑连接在联网环境中操作。
输入/输出设备413可以直接或者通过居间I/O控制器耦合到***。用户可以通过输入设备(比如键盘、指向设备)或者其它输入设备(例如麦克风、操纵杆、游戏板、卫星盘、扫描仪等)向***400中录入命令和信息。输出设备可以包括扬声器、打印机等。显示设备414也经由接口、比如视频适配器415连接到***总线403。
使用金融服务数据模型(FSDM)作为源模型来给出示例。FSDM是分类模型，该分类模型包括企业范围的词汇表，该词汇表用来精确定义许多概念的含义，这些概念组成金融机构对它本身及其业务环境的看法。它使涉及特定业务概念的所有方面或者观点能够按照在分类分级内的要素来表达。
参照图5，树形图500示出用于FSDM中的术语“参与方”501的分类分级。矩形代表对象，并且圆化的块代表属性。属性是称为“具有(has_a)”的特殊关系类型、即“参与方具有IP类型个人”，这意味着“A是个人”。因此，属性是某种分类。可以直接在父节点中或者在特殊情况下跨同级节点使用树形图500中的信息。整个树可以用来收集用于感兴趣的概念的信息。
树形图500具有用于“参与方”的根节点501，该根节点具有子属性节点“法律状态”502、“角色”503和“类型”504。一般将“法律状态”节点502和“角色”节点503的进一步子节点示出为分支505、506。
“类型”节点504具有示出的用于“组织”507、“组织单位”508和“个人”509的子节点。“个人”节点509具有示出的用于“婚姻状态”510和“健康状态”511的子属性节点。“婚姻状态”节点510具有子节点“已婚”512、“单身”513和“离异”514。“健康状态”节点511具有子节点“未受伤害”515、“残疾”“516和“未知”517。
表示为节点的这些概念可以如图6中所示经由关系相互相关。图6是通过关系链接概念的示意图600。这给予用于说明各种业务场景的能力。
在图6中，对象、例如参与方601、位置602、事件603和安排604可以由如箭头611、612、613、614、615所示关系链接。箭头和它们代表的关系可以是单向或者双向。
相异关系620-627(具有小写名称的虚线框)可以是由“U”符号指示的关系611-615的成员。
相异概念630-635(具有大写名称的虚线框)可以是对象601-604的成员。
例如从参与方601开始，该图指示个人631或者组织630可以是参与方601并且它们可以与事件603具有的关系、比如事务633或者通信634是“发起”626。换而言之，参与方发起通信(例如约翰史密斯发送电子邮件)。
以下列举示例使用情况场景。用于NLP和文本分析的潜在使用一般众多而触及深远，并且以下仅为少数示例。
示例1
保险提供商想要电子邮件与在数据贮存库(即客户、政策、索赔等)中维护的相关人为因素自动相关。
NLP模型可以用来通过处理包含的文本、标记对相关信息位的引用、比如名称、政策编号、索赔ID、然后将那些映射到现有记录来变换自由文本资源(比如电子邮件)作为数据数据。
示例2
建模者需要验证银行模型支持ISO20022/Sepa要求。SPEA是在2007与2010年之间跨EU引入的新的全欧洲支付***。有为了金融机构或者支付处理器成为SPEA注册和SPEA遵守而制定的具体要求。
NLP模型可以处理法规文档、标识必要模型要求(概念、关系、…)并且验证给定的银行模型是否针对那些要求提供必要支持。
示例3
IBM顾问想要更容易地估计将公司X的现有基础设施升级成给定的医疗保健模型的成本。
公司X雇用IBM基于由“行业模型”提供的医疗保健模型翻新他们的数据基础设施。顾问被委派分析公司X的***的容量并且估计在升级中所涉及的工作这样的任务。NLP模型可以在分析来自公司X的结构报告、架构文档等以从现有架构标识遗漏概念时有很大帮助。
可以通过网络向客户将自然语言处理模型生成***提供为服务。
本发明可以采用全硬件实施例、全软件实施例或者包含硬件和软件单元两者的实施例的形式。在优选实施例中，本发明在包括但不限于固件、驻留软件、微代码等的软件中实施。
本发明可以采用从计算机可用或者计算机可读介质可访问的计算机程序产品的形式，该计算机可用或者计算机可读介质提供用于由计算机或者任何指令执行***使用与其结合使用的程序代码。出于本描述的目的，计算机可用或者计算机可读介质可以是任何可以包含、存储、传达、传播或者传送用于由指令执行***、装置或者设备使用或者结合其使用的程序的装置。
介质可以是电子、磁、光、电磁、红外线或者半导体的***(或者装置或者设备)或者传播介质。计算机可读介质的示例包括半导体或者固态的存储器、磁带、可移除计算机盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前示例包括紧致盘只读存储器(CD-ROM)、紧致盘读/写(CD-R/W)和DVD。
可以对前文进行改进和修改而不脱离本发明的范围。

Claims (20)

1.一种用于生成用于信息领域的自然语言处理模型的方法，包括：
从所述信息领域的源模型(111)得出(101)自然语言词典的框架；
应用(102)定义概念和关系的语法规则的集合；
基于来自所述信息领域的参考文档扩展(103)所述自然语言词典的所述框架，以提供用于所述信息领域的自然语言处理模型，
其中扩展所述框架包括对用于概念和关系的术语聚类和打分。
2.根据权利要求1所述的方法，其中得出(101)自然语言词典的框架使用所述信息领域中的优选术语。
3.根据权利要求1或2所述的方法，其中应用(102)语法规则的集合包括取得主语、谓语、宾语和可变顺序以用于覆盖。
4.根据权利要求1至3中任一项所述的方法，其中扩展(103)所述框架包括：
选择(201)优选术语作为概念或者关系；
在来自所述信息领域的参考文档中执行(202)对所述优选术语的关键字搜索；以及
提供(206)用于所述优选术语的潜在术语的有序集合。
5.根据权利要求4所述的方法，包括：
确定(203)局部n元语法；
测量(204)所述n元语法的一个或者多个度量；以及
对所述n元语法打分(205)。
6.根据前述权利要求中任一项所述的方法，其中扩展(103)所述自然语言词典的所述框架包括：
基于来自所述信息领域的所述参考文档得出进一步的语法规则；以及
对所述语法规则与用于概念和关系的聚类的所述术语求交。
7.根据权利要求6所述的方法，包括：
使用来自动词的语言类的动词结构以驱动向聚类的术语应用的所述交集。
8.根据前述权利要求中任一项所述的方法，其中扩展(103)所述框架开始于起始概念或者关系，并且向外迭代地移出所述源模型中的邻近概念或者关系链接；并且
通过增大分数来细化概念和关系的扩展的所述术语。
9.根据权利要求8所述的方法，包括：
使用分数阈值来确定用于概念或者关系的最佳术语的散度。
10.根据前述权利要求中任一项所述的方法，其中扩展(103)所述框架基于结果动态地改变迭代策略。
11.根据前述权利要求中任一项所述的方法，其中得出(101)自然语言词典的框架是基于多于一个源模型(111)。
12.根据前述权利要求中任一项所述的方法，其中得出(101)自然语言词典的框架利用开放数据以初始地填充所述框架，其中所述源模型的本体类被匹配于开放数据的类。
13.一种在计算机可读介质上存储并且可向数字计算机的内部存储器中加载的计算机程序，包括当所述程序在计算机上运行时用于执行根据权利要求1-12中任一项所述的方法的软件代码部分。
14.一种用于生成用于信息领域的自然语言处理模型的***，包括：
处理器；
框架部件(311)，用于从所述信息领域(320)的源模型(321)得出自然语言词典的框架；
语法规则部件(312)，用于应用定义概念和关系的语法规则的集合；
扩展部件(313)，用于基于来自所述信息领域(320)的参考文档(322)扩展所述自然语言词典的所述框架，以提供用于所述信息领域的自然语言处理模型(314)，其中扩展所述框架包括对用于概念和关系的术语聚类和打分。
15.根据权利要求14所述的***，其中用于应用语法规则的集合的所述语法规则部件(312)包括取得主语、谓语、宾语和可变顺序以用于覆盖。
16.根据权利要求14或15所述的***，其中用于扩展所述框架的所述扩展部件(313)包括部件，所述部件包括概念/关系聚类部件(314)，用于：
选择优选术语作为概念或者关系；
在来自所述信息领域的参考文档中执行对所述优选术语的关键字搜索；以及
提供用于所述优选术语的潜在术语的有序集合。
17.根据权利要求16所述的***，其中所述概念/关系聚类部件(314)用于：
确定局部n元语法；
测量所述n元语法的一个或者多个度量；以及
对所述n元语法打分。
18.根据权利要求14至17中任一项所述的***，其中用于扩展所述自然语言词典的所述框架的所述扩展部件(313)包括：
语法规则生成部件(315)，用于基于来自所述信息领域的所述参考文档得出进一步的语法规则；以及
求交部件(316)，用于对所述语法规则与用于概念和关系的聚类的所述术语求交。
19.根据权利要求14至19中任一项所述的***，其中用于扩展所述框架的所述扩展部件(313)开始于起始概念或者关系，并且向外迭代地移出所述源模型中的邻近概念或者关系链接；并且通过增大分数来细化概念和关系的扩展的所述术语。
20.根据权利要求14至17中任一项所述的***，其中用于扩展所述框架的所述扩展部件(313)基于结果动态地改变迭代策略。
CN201280061093.8A 2011-12-12 2012-11-26 生成用于信息领域的自然语言处理模型 Pending CN103999081A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11306635 2011-12-12
EP11306635.1 2011-12-12
PCT/IB2012/056737 WO2013088287A1 (en) 2011-12-12 2012-11-26 Generation of natural language processing model for information domain

Publications (1)

Publication Number Publication Date
CN103999081A true CN103999081A (zh) 2014-08-20

Family

ID=48572831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280061093.8A Pending CN103999081A (zh) 2011-12-12 2012-11-26 生成用于信息领域的自然语言处理模型

Country Status (5)

Country Link
US (1) US9740685B2 (zh)
JP (1) JP2015505082A (zh)
CN (1) CN103999081A (zh)
DE (1) DE112012005177T5 (zh)
WO (1) WO2013088287A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391904A (zh) * 2014-11-14 2015-03-04 北京中海纪元数字技术发展股份有限公司 面向住户调查的用户终端数据快速录入方法及***
US9600471B2 (en) 2012-11-02 2017-03-21 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
US9640045B2 (en) 2012-08-30 2017-05-02 Arria Data2Text Limited Method and apparatus for alert validation
CN106681985A (zh) * 2016-12-13 2017-05-17 成都数联铭品科技有限公司 基于主题自动匹配的多领域词典构建***
US9904676B2 (en) 2012-11-16 2018-02-27 Arria Data2Text Limited Method and apparatus for expressing time in an output text
CN107851000A (zh) * 2015-04-28 2018-03-27 纳迪亚·安娜莉亚·韦夫拉 用于从自然语言自动生成功能架构文档和软件设计及分析规范文档的方法和***
US9946711B2 (en) 2013-08-29 2018-04-17 Arria Data2Text Limited Text generation from correlated alerts
CN108027822A (zh) * 2015-04-21 2018-05-11 里德爱思唯尔股份有限公司雷克萨斯尼克萨斯分公司 用于从文档语料库中生成概念的***和方法
CN108027833A (zh) * 2015-09-18 2018-05-11 国际商业机器公司 数据库的自然语言接口
US9990360B2 (en) 2012-12-27 2018-06-05 Arria Data2Text Limited Method and apparatus for motion description
CN108519963A (zh) * 2018-03-02 2018-09-11 山东科技大学 一种将流程模型自动转换为多语言文本的方法
CN108573257A (zh) * 2017-03-14 2018-09-25 奥多比公司 基于自然语言短语对图像进行自动分割
CN108628631A (zh) * 2018-05-14 2018-10-09 北京理工大学 一种对参数中的缩写词进行自动扩展的方法
US10115202B2 (en) 2012-12-27 2018-10-30 Arria Data2Text Limited Method and apparatus for motion detection
US10255252B2 (en) 2013-09-16 2019-04-09 Arria Data2Text Limited Method and apparatus for interactive reports
US10282422B2 (en) 2013-09-16 2019-05-07 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US10282878B2 (en) 2012-08-30 2019-05-07 Arria Data2Text Limited Method and apparatus for annotating a graphical output
CN110070114A (zh) * 2019-04-03 2019-07-30 北京奇安信科技有限公司 多规范融合的处理方法、装置、计算机设备和存储介质
US10445432B1 (en) 2016-08-31 2019-10-15 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
US10467333B2 (en) 2012-08-30 2019-11-05 Arria Data2Text Limited Method and apparatus for updating a previously generated text
CN110489561A (zh) * 2019-07-12 2019-11-22 平安科技（深圳）有限公司 知识图谱构建方法、装置、计算机设备和存储介质
US10565308B2 (en) 2012-08-30 2020-02-18 Arria Data2Text Limited Method and apparatus for configurable microplanning
US10664558B2 (en) 2014-04-18 2020-05-26 Arria Data2Text Limited Method and apparatus for document planning
US10769380B2 (en) 2012-08-30 2020-09-08 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US10776561B2 (en) 2013-01-15 2020-09-15 Arria Data2Text Limited Method and apparatus for generating a linguistic representation of raw input data
WO2020232943A1 (zh) * 2019-05-23 2020-11-26 广州市香港科大***研究院 用于事件预测的知识图构建方法与事件预测方法
US11176214B2 (en) 2012-11-16 2021-11-16 Arria Data2Text Limited Method and apparatus for spatial descriptions in an output text

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430506B2 (en) * 2012-12-10 2019-10-01 International Business Machines Corporation Utilizing classification and text analytics for annotating documents to allow quick scanning
KR102304052B1 (ko) 2014-09-05 2021-09-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9158786B1 (en) 2014-10-01 2015-10-13 Bertram Capital Management, Llc Database selection system and method to automatically adjust a database schema based on an input data
US9361075B2 (en) 2014-11-12 2016-06-07 International Business Machines Corporation Contraction aware parsing system for domain-specific languages
US20160162457A1 (en) * 2014-12-09 2016-06-09 Idibon, Inc. Optimization techniques for artificial intelligence
US20160189037A1 (en) * 2014-12-24 2016-06-30 Intel Corporation Hybrid technique for sentiment analysis
WO2016027170A2 (en) * 2015-12-04 2016-02-25 Kantorovitz Isaiah Pinchas Lexical analysis tool
US10140273B2 (en) 2016-01-19 2018-11-27 International Business Machines Corporation List manipulation in natural language processing
KR101835345B1 (ko) * 2016-02-29 2018-03-07 경기대학교 산학협력단 지식베이스 기반의 개념그래프 확장 시스템
US10353935B2 (en) 2016-08-25 2019-07-16 Lakeside Software, Inc. Method and apparatus for natural language query in a workspace analytics system
CN106547248A (zh) * 2016-10-09 2017-03-29 南京邮电大学 一种用于开放环境下控制***的策略生成方法
US10073831B1 (en) * 2017-03-09 2018-09-11 International Business Machines Corporation Domain-specific method for distinguishing type-denoting domain terms from entity-denoting domain terms
US10963492B2 (en) * 2018-06-14 2021-03-30 Google Llc Generation of domain-specific models in networked system
US11106736B1 (en) * 2018-08-23 2021-08-31 Wells Fargo Bank, N.A. Fuzzy search of graph database
US11295083B1 (en) * 2018-09-26 2022-04-05 Amazon Technologies, Inc. Neural models for named-entity recognition
CN113272799B (zh) 2018-12-25 2024-06-14 微软技术许可有限责任公司 编码信息提取器
US11119764B2 (en) 2019-05-30 2021-09-14 International Business Machines Corporation Automated editing task modification
US11100290B2 (en) * 2019-05-30 2021-08-24 International Business Machines Corporation Updating and modifying linguistic based functions in a specialized user interface
US11321534B2 (en) 2020-03-11 2022-05-03 International Business Machines Corporation Conversation space artifact generation using natural language processing, machine learning, and ontology-based techniques
EP4127969A4 (en) 2020-03-23 2024-05-01 Sorcero, Inc. ONTOLOGY EXTENDED INTERFACE
CN112632924B (zh) * 2020-12-18 2024-04-02 上海明略人工智能(集团)有限公司 规则化执行序列标注的方法、***、电子设备及存储介质
US11544795B2 (en) 2021-02-09 2023-01-03 Futurity Group, Inc. Automatically labeling data using natural language processing
US11416562B1 (en) 2021-04-23 2022-08-16 International Business Machines Corporation Corpus expansion using lexical signatures
US11451496B1 (en) * 2021-04-30 2022-09-20 Microsoft Technology Licensing, Llc Intelligent, personalized, and dynamic chatbot conversation
CN117494672A (zh) * 2023-11-13 2024-02-02 北京大学长沙计算与数字经济研究院 行业文档的生成方法、装置及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949211A (zh) * 2005-10-13 2007-04-18 中国科学院自动化研究所 一种新的汉语口语解析方法及装置
US20090076795A1 (en) * 2007-09-18 2009-03-19 Srinivas Bangalore System And Method Of Generating Responses To Text-Based Messages
US20090119095A1 (en) * 2007-11-05 2009-05-07 Enhanced Medical Decisions. Inc. Machine Learning Systems and Methods for Improved Natural Language Processing
CN101446941A (zh) * 2008-12-10 2009-06-03 苏州大学 一种基于历史信息的自然语言层次句法分析方法
CN101520775A (zh) * 2009-02-17 2009-09-02 北京大学 一种融入语义信息的中文句法分析方法
CN101529418A (zh) * 2006-01-19 2009-09-09 维里德克斯有限责任公司 用于获取、分析和挖掘数据和信息的***和方法
CN101833561A (zh) * 2010-02-12 2010-09-15 西安电子科技大学 面向自然语言处理的语义Web服务智能代理
US20100312545A1 (en) * 2009-06-05 2010-12-09 Google Inc. Detecting Writing Systems and Languages

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2277387A (en) 1993-04-21 1994-10-26 Ibm Natural language processing system
US6952666B1 (en) 2000-07-20 2005-10-04 Microsoft Corporation Ranking parser for a natural language processing system
US7010479B2 (en) * 2000-07-26 2006-03-07 Oki Electric Industry Co., Ltd. Apparatus and method for natural language processing
US20020046019A1 (en) * 2000-08-18 2002-04-18 Lingomotors, Inc. Method and system for acquiring and maintaining natural language information
US7027974B1 (en) 2000-10-27 2006-04-11 Science Applications International Corporation Ontology-based parser for natural language processing
JP2004139427A (ja) * 2002-10-18 2004-05-13 Fuji Xerox Co Ltd コミュニケーション支援システム及びコミュニケーション支援システム、並びにコンピュータ・プログラム
GB0226778D0 (en) * 2002-11-18 2002-12-24 Hewlett Packard Co Using semantic web technology to enhance current business-to-business integration approaches
JP3765799B2 (ja) * 2003-05-28 2006-04-12 沖電気工業株式会社 自然言語処理装置、自然言語処理方法及び自然言語処理プログラム
US7539619B1 (en) * 2003-09-05 2009-05-26 Spoken Translation Ind. Speech-enabled language translation system and method enabling interactive user supervision of translation and speech recognition accuracy
US7941310B2 (en) * 2003-09-09 2011-05-10 International Business Machines Corporation System and method for determining affixes of words
US7376670B2 (en) * 2004-02-20 2008-05-20 Alcatel-Lucent System and method for provisioning presence application services
US20060053174A1 (en) 2004-09-03 2006-03-09 Bio Wisdom Limited System and method for data extraction and management in multi-relational ontology creation
US20060074632A1 (en) 2004-09-30 2006-04-06 Nanavati Amit A Ontology-based term disambiguation
EP1889179A2 (en) 2005-05-27 2008-02-20 Hakia, Inc. System and method for natural language processing and using ontological searches
US7676485B2 (en) 2006-01-20 2010-03-09 Ixreveal, Inc. Method and computer program product for converting ontologies into concept semantic networks
CN101201818A (zh) * 2006-12-13 2008-06-18 李萍 用hmm计算语言结构、进行分词、机器翻译和语音识别的方法
US8812296B2 (en) * 2007-06-27 2014-08-19 Abbyy Infopoisk Llc Method and system for natural language dictionary generation
CN102301449A (zh) * 2009-01-29 2011-12-28 昭和电工株式会社 转印材料用固化性组合物和含有（甲基）丙烯酰基的脲化合物
US20100228538A1 (en) * 2009-03-03 2010-09-09 Yamada John A Computational linguistic systems and methods
WO2010107327A1 (en) * 2009-03-20 2010-09-23 Syl Research Limited Natural language processing method and system
US20100281025A1 (en) * 2009-05-04 2010-11-04 Motorola, Inc. Method and system for recommendation of content items
FR2946208B1 (fr) * 2009-05-26 2012-02-10 Thales Sa Procede d'adaptation de donnees dans un systeme de transmission de donnees et systeme associe
CA2679786A1 (en) * 2009-09-16 2009-12-16 Ibm Canada Limited - Ibm Canada Limitee Conceptual representation of business processes for cross-domain mapping
EP2383684A1 (en) * 2010-04-30 2011-11-02 Fujitsu Limited Method and device for generating an ontology document
GB201010545D0 (en) * 2010-06-23 2010-08-11 Rolls Royce Plc Entity recognition
JP2012063868A (ja) * 2010-09-14 2012-03-29 Internatl Business Mach Corp <Ibm> 言語処理パーサーを組み合わせて、組み合わせパーサーを生成する方法、並びにそのコンピュータ及びコンピュータ・プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949211A (zh) * 2005-10-13 2007-04-18 中国科学院自动化研究所 一种新的汉语口语解析方法及装置
CN101529418A (zh) * 2006-01-19 2009-09-09 维里德克斯有限责任公司 用于获取、分析和挖掘数据和信息的***和方法
US20090076795A1 (en) * 2007-09-18 2009-03-19 Srinivas Bangalore System And Method Of Generating Responses To Text-Based Messages
US20090119095A1 (en) * 2007-11-05 2009-05-07 Enhanced Medical Decisions. Inc. Machine Learning Systems and Methods for Improved Natural Language Processing
CN101446941A (zh) * 2008-12-10 2009-06-03 苏州大学 一种基于历史信息的自然语言层次句法分析方法
CN101520775A (zh) * 2009-02-17 2009-09-02 北京大学 一种融入语义信息的中文句法分析方法
US20100312545A1 (en) * 2009-06-05 2010-12-09 Google Inc. Detecting Writing Systems and Languages
CN101833561A (zh) * 2010-02-12 2010-09-15 西安电子科技大学 面向自然语言处理的语义Web服务智能代理

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026274B2 (en) 2012-08-30 2018-07-17 Arria Data2Text Limited Method and apparatus for alert validation
US10839580B2 (en) 2012-08-30 2020-11-17 Arria Data2Text Limited Method and apparatus for annotating a graphical output
US9640045B2 (en) 2012-08-30 2017-05-02 Arria Data2Text Limited Method and apparatus for alert validation
US10769380B2 (en) 2012-08-30 2020-09-08 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US10565308B2 (en) 2012-08-30 2020-02-18 Arria Data2Text Limited Method and apparatus for configurable microplanning
US10504338B2 (en) 2012-08-30 2019-12-10 Arria Data2Text Limited Method and apparatus for alert validation
US10467333B2 (en) 2012-08-30 2019-11-05 Arria Data2Text Limited Method and apparatus for updating a previously generated text
US10963628B2 (en) 2012-08-30 2021-03-30 Arria Data2Text Limited Method and apparatus for updating a previously generated text
US10282878B2 (en) 2012-08-30 2019-05-07 Arria Data2Text Limited Method and apparatus for annotating a graphical output
US10216728B2 (en) 2012-11-02 2019-02-26 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
US9600471B2 (en) 2012-11-02 2017-03-21 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
US11580308B2 (en) 2012-11-16 2023-02-14 Arria Data2Text Limited Method and apparatus for expressing time in an output text
US11176214B2 (en) 2012-11-16 2021-11-16 Arria Data2Text Limited Method and apparatus for spatial descriptions in an output text
US10853584B2 (en) 2012-11-16 2020-12-01 Arria Data2Text Limited Method and apparatus for expressing time in an output text
US9904676B2 (en) 2012-11-16 2018-02-27 Arria Data2Text Limited Method and apparatus for expressing time in an output text
US10311145B2 (en) 2012-11-16 2019-06-04 Arria Data2Text Limited Method and apparatus for expressing time in an output text
US9990360B2 (en) 2012-12-27 2018-06-05 Arria Data2Text Limited Method and apparatus for motion description
US10803599B2 (en) 2012-12-27 2020-10-13 Arria Data2Text Limited Method and apparatus for motion detection
US10115202B2 (en) 2012-12-27 2018-10-30 Arria Data2Text Limited Method and apparatus for motion detection
US10860810B2 (en) 2012-12-27 2020-12-08 Arria Data2Text Limited Method and apparatus for motion description
US10776561B2 (en) 2013-01-15 2020-09-15 Arria Data2Text Limited Method and apparatus for generating a linguistic representation of raw input data
US10671815B2 (en) 2013-08-29 2020-06-02 Arria Data2Text Limited Text generation from correlated alerts
US9946711B2 (en) 2013-08-29 2018-04-17 Arria Data2Text Limited Text generation from correlated alerts
US10282422B2 (en) 2013-09-16 2019-05-07 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US10255252B2 (en) 2013-09-16 2019-04-09 Arria Data2Text Limited Method and apparatus for interactive reports
US10860812B2 (en) 2013-09-16 2020-12-08 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US11144709B2 (en) 2013-09-16 2021-10-12 Arria Data2Text Limited Method and apparatus for interactive reports
US10664558B2 (en) 2014-04-18 2020-05-26 Arria Data2Text Limited Method and apparatus for document planning
CN104391904B (zh) * 2014-11-14 2018-10-12 北京中海纪元数字技术发展股份有限公司 面向住户调查的用户终端数据快速录入方法及***
CN104391904A (zh) * 2014-11-14 2015-03-04 北京中海纪元数字技术发展股份有限公司 面向住户调查的用户终端数据快速录入方法及***
CN108027822A (zh) * 2015-04-21 2018-05-11 里德爱思唯尔股份有限公司雷克萨斯尼克萨斯分公司 用于从文档语料库中生成概念的***和方法
CN107851000A (zh) * 2015-04-28 2018-03-27 纳迪亚·安娜莉亚·韦夫拉 用于从自然语言自动生成功能架构文档和软件设计及分析规范文档的方法和***
CN107851000B (zh) * 2015-04-28 2021-03-30 纳迪亚·安娜莉亚·韦夫拉 用于生成功能架构文档和软件设计文档的方法
CN108027833A (zh) * 2015-09-18 2018-05-11 国际商业机器公司 数据库的自然语言接口
CN108027833B (zh) * 2015-09-18 2022-04-08 国际商业机器公司 用于创建结构化数据语言查询的方法
US10853586B2 (en) 2016-08-31 2020-12-01 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10445432B1 (en) 2016-08-31 2019-10-15 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
US10963650B2 (en) 2016-10-31 2021-03-30 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
US11727222B2 (en) 2016-10-31 2023-08-15 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
CN106681985A (zh) * 2016-12-13 2017-05-17 成都数联铭品科技有限公司 基于主题自动匹配的多领域词典构建***
CN108573257A (zh) * 2017-03-14 2018-09-25 奥多比公司 基于自然语言短语对图像进行自动分割
CN108573257B (zh) * 2017-03-14 2023-12-08 奥多比公司 基于自然语言短语对图像进行自动分割
CN108519963A (zh) * 2018-03-02 2018-09-11 山东科技大学 一种将流程模型自动转换为多语言文本的方法
CN108519963B (zh) * 2018-03-02 2021-12-03 山东科技大学 一种将流程模型自动转换为多语言文本的方法
CN108628631A (zh) * 2018-05-14 2018-10-09 北京理工大学 一种对参数中的缩写词进行自动扩展的方法
CN110070114A (zh) * 2019-04-03 2019-07-30 北京奇安信科技有限公司 多规范融合的处理方法、装置、计算机设备和存储介质
WO2020232943A1 (zh) * 2019-05-23 2020-11-26 广州市香港科大***研究院 用于事件预测的知识图构建方法与事件预测方法
CN110489561A (zh) * 2019-07-12 2019-11-22 平安科技（深圳）有限公司 知识图谱构建方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20130151238A1 (en) 2013-06-13
WO2013088287A1 (en) 2013-06-20
US9740685B2 (en) 2017-08-22
DE112012005177T5 (de) 2014-08-28
JP2015505082A (ja) 2015-02-16

Similar Documents

Publication Publication Date Title
CN103999081A (zh) 生成用于信息领域的自然语言处理模型
US11132370B2 (en) Generating answer variants based on tables of a corpus
US11042794B2 (en) Extensible validation framework for question and answer systems
US10339168B2 (en) System and method for generating full questions from natural language queries
US10956463B2 (en) System and method for generating improved search queries from natural language questions
JP2020525897A (ja) 意味グラフにおけるメタ関係の適応評価のためのコンピュータ実施方法、コンピュータ・システム、及びコンピュータ・プログラム
US9996526B2 (en) System and method for supplementing a question answering system with mixed-language source documents
US10009466B2 (en) System and method for a cognitive system plug-in answering subject matter expert questions
US10104232B2 (en) System and method for a cognitive system plug-in answering subject matter expert questions
US10303766B2 (en) System and method for supplementing a question answering system with mixed-language source documents
US10339167B2 (en) System and method for generating full questions from natural language queries
US11934969B2 (en) Bias identification in cognitive computing systems
US11663518B2 (en) Cognitive system virtual corpus training and utilization
Ullah et al. Review on sentiment analysis for text classification techniques from 2010 to 2021
Song et al. Building conversational diagnosis systems for fine-grained diseases using few annotated data
KR102626714B1 (ko) 자연어이해 학습 모델을 위한 학습데이터의 이중 증강 방법 및 장치
Faralli et al. DWS at the 2016 open knowledge extraction challenge: a hearst-like pattern-based approach to hypernym extraction and class induction
Asenbrener Katic et al. Comparison of two versions of formalization method for text expressed knowledge
Qin A framework and practical implementation for sentiment analysis and aspect exploration
US20180276301A1 (en) System and method for type-specific answer filtering for numeric questions
Bautista et al. Deep learning, cloud computing for credit/debit industry analysis of consumer behavior
Patel Sentiment analysis on Twitter data using machine learning
Lin et al. An Empirical Study of ChatGPT-related projects on GitHub
De Silva Multilingual Dialogue Summary Generation System for Customer Services
Robin et al. Identifying FrameNet Lexical Semantic Structures for Knowledge Graph Extraction from Financial Customer Interactions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140820

WD01 Invention patent application deemed withdrawn after publication